SADGE: Structure and Appearance Domain Gap Estimation of Synthetic and Real Data

技術サマリー：SADGE – 構造と外観のドメインギャップ推定

問題定義
合成データの生成は、現実世界の注釈が高価であるか、エッジケースで利用できない場合に、コンピュータビジョンシステムを拡張するための重要な戦略です。しかし、根本的なボトルネックが残っています。それは、下流のモデルトレーニングのコストを負う前に、特定の合成データセットが現実世界の性能に成功して転移するかどうかを予測することです。現在の評価慣行は、試行錯誤に大きく依存しており、実践者はデータセットを生成し、モデルをトレーニングし、レンダリングパイプラインやドメインランダム化戦略を検証するために現実世界の性能を測定します。

合成データの品質を評価する既存の指標は、主に実画像と合成画像間のセマンティックまたはピクセルレベルの整合性を測定する外観類似性（PSNR、FID、CLIP、LPIPS など）に焦点を当てています。一部の手法は幾何学的類似性（構造的整合性）を考慮していますが、多様な合成データセットにわたって下流タスクの性能を最もよく予測する類似性指標がどれであるかについての確立された証拠はありません。さらに、外観または幾何学のどちらか一方だけで十分なのか、それともそれらの相互作用が合成データの有用性を支配する要因なのかは不明です。

手法：SADGE
著者は、下流の視覚認識タスクに対する合成画像データセットの有用性を推定するために設計された、ゼロショットかつトレーニング不要な指標であるSADGE（構造と外観のドメインギャップ推定器）を提案します。SADGE は、2 つの相補的な信号を共同でモデル化することで動作します。

1. 外観類似性（$A$）： 事前学習された視覚エンコーダ（DINOv3、CLIP、SigLIP、SAM など）を使用して計算され、高レベルのセマンティックおよびテクスチャの整合性を測定します。スコアは、正規化された画像埋め込み間のコサイン類似性として定義されます。
2. 幾何学的整合性（$G$）： 幾何学を考慮したマッチャ（MASt3R、LoFTR、SuperPoint+LightGlue など）を使用して計算され、構造的忠実度を測定します。これには、実画像と合成画像の間で密または半密な対応関係を推定し、幾何学的に有効なインライア（エピポーラ幾何または 3 次元整合性を介して検証されたもの）の数を数えることが含まれます。

融合メカニズム
SADGE はこれらのスコアを単に平均化するわけではありません。代わりに、制約付き双線形相互作用モデルを使用して融合します。
$$\text{SADGE} = a\hat{G} + b\hat{A} + c\hat{G}\hat{A}$$
ここで、$\hat{A}$ と $\hat{G}$ はそれぞれ外観スコアと幾何学スコアの z スコア正規化された値です。係数 $a, b, c \geq 0$ は、下流の性能との相関を最大化するように学習されます。この定式化は、単調性（どちらかのスコアを向上させても総スコアが低下しないこと）と相補性（相互作用項 $c\hat{G}\hat{A}$ により、外観と幾何学の両方が強い場合にスコアが最大になることを保証すること）を強制します。このモデルは、合成データが視覚的に現実的かつ構造的に忠実であるときに最も有用であると仮定しています。

実験プロトコル
評価は、5 つの公開された合成から実へのベンチマークファミリーと15 のデータセットレベルのバリアントにまたがり、合計約 79,000 枚の画像ペアを対象としています。ベンチマークは多様なドメインとタスクを網羅しています。

• DIMO： 工業用金属物体（6 次元姿勢推定）。
• Virtual KITTI 2： 走行シーン（セマンティックセグメンテーション）。
• TUD-L / BOP： テクスチャのない物体（6 次元姿勢推定）。
• RarePlanes： 航空画像（物体検出）。
• ASD（農業合成データセット）： 作物/雑草のセグメンテーション。

著者は、純粋な外観指標（FID、LPIPS、PSNR、CLIP、DINO のバリアント）と純粋な幾何学指標（SSIM、LoFTR、SuperPoint+LightGlue）を含む広範なベースラインと SADGE を比較しました。

主要な結果

• 優れた相関： SADGE は、テストされたすべての指標の中で、下流の転移性能との最も強い関連性を達成しました。15 のデータセットバリアント全体で、ピアソン相関係数 $r = 0.879$、スピアマン順位相関係数 $\rho = 0.768$ に達しました。
• ベースラインとの比較： SADGE は、最も強力な幾何学のみベースライン（MASt3R、$r = 0.677$）および最も強力な外観のみベースライン（LPIPS、$r = 0.649$）を大幅に上回りました。
• 頑健性： 1 つのデータセットを除外する評価において、SADGE は一貫して首位に立ちました。性能の低下は、構造的な変化を重視するDIMOデータセットが除外された場合に最も顕著であり、これは幾何学が構造的に要求の厳しいシナリオにおいて重要な予測因子であることを示唆しています。一方、外観は照度やテクスチャの変化が大きいシナリオで支配的です。
• 最適な構成： 最も性能の高い構成は、外観のDINOv3と幾何学のMASt3Rを融合させたものです。
• 感度： 融合係数は頑健です。高い相関は、係数値の広い高原にわたって維持されており、この結果が狭いパラメータ空間への過剰適合の産物ではないことを示しています。

意義と主張
本論文は、合成データの有用性は単一の要因（外観または幾何学）によって支配されるのではなく、それらの非線形的な相互作用によって支配されると主張しています。SADGE は、候補となる合成データセットを順位付けするための原理的かつトレーニング不要な手法を提供し、実践者が以下を可能にします。

• 高価なトレーニング前に、レンダリング構成、ドメインランダム化スケジュール、生成パイプラインを比較する。
• 現実世界のタスクにうまく転移する可能性が高い合成バリアントを特定する。
• データセットの品質を評価するためにのみモデルをトレーニングするという「試行錯誤」のループを回避する。

著者は、SADGE は最終的な実ドメイン検証の代わりではなく、特に安全性が重要なアプリケーションにおける代理順位付け指標であると強調しています。この研究は、比較可能な下流評価プロトコルを持つ公開ベンチマークの入手可能性によって制限されていますが、感度分析は、この指標の相互作用モデルがテストされた特定データセットを超えて一般化することを示唆しています。