SADGE: Structure and Appearance Domain Gap Estimation of Synthetic and Real Data

기술적 요약: SADGE – 구조 및 외관 도메인 간극 추정

문제 제기
합성 데이터 생성은 실제 세계의 주석이 비용이 많이 들거나 엣지 케이스에서 사용할 수 없을 때, 컴퓨터 비전 시스템을 확장하기 위한 핵심 전략입니다. 그러나 근본적인 병목 현상이 남아 있습니다: 하류 모델 학습에 따른 비용을 치르기 전에 특정 합성 데이터셋이 실제 세계 성능으로 성공적으로 이전될지 예측하는 것입니다. 현재 평가 관행은 시행착오에 크게 의존하는데, 이는 실무자가 데이터셋을 생성하고, 모델을 학습하며, 렌더링 파이프라인이나 도메인 무작위화 전략을 검증하기 위해 실제 세계 성능을 측정하는 방식입니다.

합성 데이터 품질을 평가하기 위한 기존 지표들은 주로 실제 이미지와 합성 이미지 간의 의미론적 또는 픽셀 수준의 정렬을 측정하는 외관 유사성(예: PSNR, FID, CLIP, LPIPS)에 중점을 둡니다. 일부 접근법은 기하학적 유사성(구조적 정렬)을 고려하지만, 다양한 합성 데이터셋에 걸쳐 하류 작업 성능을 가장 잘 예측하는 유사성 지표가 무엇인지에 대한 확립된 증거는 없습니다. 더 나아가, 외관이나 기하학 중 하나만으로는 충분한지, 아니면 그들의 상호작용이 합성 데이터의 유용성을 지배하는 요인인지 여부는 명확하지 않습니다.

방법론: SADGE
저자들은 하류 시각 인식 작업을 위한 합성 이미지 데이터셋의 유용성을 추정하도록 설계된 제로샷, 학습 없는 지표인 SADGE(Structure and Appearance Domain Gap Estimator, 구조 및 외관 도메인 간극 추정기)를 제안합니다. SADGE 는 두 가지 보완적 신호를 공동으로 모델링하여 작동합니다:

1. 외관 유사성 ($A$): 사전 훈련된 시각 인코더(예: DINOv3, CLIP, SigLIP, SAM)를 사용하여 고수준 의미론적 및 질감 정렬을 측정합니다. 이 점수는 정규화된 이미지 임베딩 간의 코사인 유사성으로 정의됩니다.
2. 기하학적 일관성 ($G$): 기하학적 인식을 고려한 매처 (예: MASt3R, LoFTR, SuperPoint+LightGlue) 를 사용하여 구조적 충실도를 측정합니다. 이는 실제 이미지와 합성 이미지 간의 조밀하거나 준조밀한 대응 관계를 추정하고, 에피폴라 기하학 또는 3D 일관성을 통해 검증된 기하학적으로 유효한 인라이어 (inliers) 의 수를 세는 과정을 포함합니다.

퓨전 메커니즘
SADGE 는 단순히 이러한 점수들을 평균내지 않습니다. 대신 제약된 이차 상호작용 모델을 사용하여 이를 융합합니다:
$$\text{SADGE} = a\hat{G} + b\hat{A} + c\hat{G}\hat{A}$$
여기서 $\hat{A}$와 $\hat{G}$는 각각 외관 및 기하학 점수의 z-점수 정규화된 값입니다. 계수 $a, b, c \geq 0$는 하류 성능과의 상관관계를 최대화하도록 학습됩니다. 이 공식은 단조성(어느 점수든 개선되면 전체 점수가 감소해서는 안 됨)과 보완성(상호작용 항 $c\hat{G}\hat{A}$는 외관과 기하학이 모두 강할 때 점수가 가장 높음을 보장)을 강제합니다. 이 모델은 합성 데이터가 시각적으로 사실적이고 구조적으로 충실할 때 가장 유용하다고 가정합니다.

실험 프로토콜
평가에는 5 개의 공개 합성 - 실제 벤치마크 패밀리와 15 개의 데이터셋 수준 변형이 포함되며, 총 약 79,000 개의 이미지 쌍을 다룹니다. 벤치마크는 다양한 도메인과 작업을 포괄합니다:

• DIMO: 산업용 금속 객체 (6D 포즈 추정).
• Virtual KITTI 2: 주행 장면 (시맨틱 분할).
• TUD-L / BOP: 질감이 없는 객체 (6D 포즈 추정).
• RarePlanes: 항공 이미지 (객체 감지).
• ASD (농업용 합성 데이터셋): 작물/잡초 분할.

저자들은 순수 외관 지표 (FID, LPIPS, PSNR, CLIP, DINO 변형) 와 순수 기하학 지표 (SSIM, LoFTR, SuperPoint+LightGlue) 를 포함한 광범위한 베이스라인과 SADGE 를 비교합니다.

주요 결과

• 우수한 상관관계: SADGE 는 테스트된 모든 지표 중에서 하류 이전 성능과 가장 강력한 연관성을 보입니다. 15 개의 데이터셋 변형에 걸쳐 피어슨 상관관계 $r = 0.879$와 스피어만 순위 상관관계 $\rho = 0.768$에 도달합니다.
• 베이스라인 비교: SADGE 는 가장 강력한 기하학 전용 베이스라인 (MASt3R, $r = 0.677$) 과 가장 강력한 외관 전용 베이스라인 (LPIPS, $r = 0.649$) 을 크게 능가합니다.
• 강건성: 한 데이터셋을 제외하는 평가에서 SADGE 는 일관되게 1 위를 차지합니다. 구조적 변형을 강조하는 DIMO데이터셋이 제외될 때 성능 저하가 가장 두드러지는데, 이는 기하학이 구조적으로 까다로운 시나리오에서 중요한 예측 변수임을 시사하며, 반면 외관은 높은 조명 또는 질감 변이가 있는 시나리오에서 우세함을 나타냅니다.
• 최적 구성: 가장 성능이 좋은 구성은 DINOv3(외관) 과 MASt3R(기하학) 을 융합한 것입니다.
• 민감도: 퓨전 계수는 강건합니다. 높은 상관관계는 계수 값의 넓은 평탄 구간에서 유지되므로, 결과가 좁은 매개변수 공간에 대한 과적합의 산물이 아님을 나타냅니다.

의의 및 주장
이 논문은 합성 데이터의 유용성이 단일 요인 (외관 또는 기하학) 에 의해 지배되는 것이 아니라, 그들의 비선형적 상호작용에 의해 지배된다고 주장합니다. SADGE 는 후보 합성 데이터셋을 순위 매기기 위한 원칙적이고 학습이 필요 없는 방법을 제공하여, 실무자가 다음과 같은 작업을 수행할 수 있게 합니다:

• 비용이 많이 드는 학습 전에 렌더링 구성, 도메인 무작위화 일정, 생성 파이프라인을 비교합니다.
• 실제 세계 작업으로 잘 이전될 가능성이 높은 합성 변형을 식별합니다.
• 데이터셋 품질을 평가하기 위해 모델을 학습하는 '시행착오' 루프를 피합니다.

저자들은 SADGE 가 최종 실제 도메인 검증, 특히 안전이 중요한 응용 분야에서의 대체제가 아닌 프록시 순위 지표임을 강조합니다. 이 연구는 비교 가능한 하류 평가 프로토콜을 갖춘 공개 벤치마크의 가용성에 의해 제한되지만, 민감도 분석은 해당 지표의 상호작용 모델이 테스트된 특정 데이터셋을 넘어 일반화된다는 것을 시사합니다.