Synthetic Designed Experiments for Diagnosing Vision Model Failure

Krisanu Sarkar による論文「Synthetic Designed Experiments for Diagnosing Vision Model Failures」の詳細な技術的サマリーを以下に示す。

1. 問題定義

コンピュータビジョンにおける合成データ生成の現在のパイプラインは、オープンループパラダイムに基づいて運用されている。これらは通常、大規模な画像を生成するためにヒューリスティック（例：ランダムなドメインランダム化、テキストプロンプト、難易度スコア）に依存し、合成データを現実データの安価な代替手段として扱っている。

特定された主要な課題:

• 非効率性: モデルがすでに視覚分布の 95% を処理している場合、ランダムに生成されたデータは学習シグナルを全く提供せず、計算リソースを浪費する。
• 診断機能の欠如: 既存の手法は、モデルがなぜ失敗するのか、あるいはどの特定のシーン要因（例：照明、遮蔽、視点）がその失敗を駆動しているのかを診断しない。
• 制御可能性の誤用: 合成ジェネレーター（3D エンジン、拡散モデル）はシーン要因に対して固有の制御可能なパラメータを有しているが、この特性はターゲットを絞ったモデル監査に対して十分に活用されていない。

2. 手法：表現の十分性のための合成設計実験（SDRS）

著者らは、合成データ生成に統計学における実験計画法（DoE）の理論を適用するフレームワークSDRSを提案する。これは、下流のビジョンモデルを「ブラックボックスシステム」として、合成ジェネレーターを「実験装置」として扱う。

このフレームワークは、4 つの明確なフェーズで運用される：

フェーズ 1：設計された実験

ランダムサンプリングの代わりに、SDRS は分数因子計画法を用いて、少量で構造化された合成画像セットを生成する。

• $k$個の要因に対して、解像度 IV の設計は、完全な組み合わせ空間（$2^k$）ではなく、わずか $2^{k-p}$ 枚の画像（例：5 つの要因に対して 8 枚）のみを必要とする。
• これにより、主要効果を推定する能力を維持しつつ、モデルの特定の要因に対する感度を効率的にプローブすることが保証される。

フェーズ 2：ANOVA による表現監査

生成されたプローブ画像は、下流モデル（$f_w$）に渡される。

• 指標: 各画像に対してタスク損失（$\ell$）が計算される。
• 分析: 各要因ごとにグループ化された損失に対して**一元配置分散分析（One-way ANOVA）**が実施される。
• 出力: 各要因に対して F 統計量（$F_j$）が計算され、モデルの性能の分散がその特定の要因に有意に依存するかどうかを判定する。多重比較の調整のために Holm–Bonferroni 補正が適用される。
• 区別: 特徴抽出可能性を測定する線形プロービングとは異なり、これは予測レベルの依存性を測定するものであり、失敗診断にとってより関連性が高い。

フェーズ 3：ギャップ診断

監査結果はタスク構造と照合され、失敗を 2 つのアクション可能なタイプに分類する。

• タイプ I ギャップ（カバレッジ失敗）: モデルが、要因の未表現または未観測レベル（例：欠落した向き）において著しく失敗する。
• タイプ II ギャップ（偽のショートカット）: モデルが、ターゲットと相関するが意味的に無関係なノイズ要因（例：背景の複雑さ）に強く依存している。
• 決定ルール: 要因にカバレッジの低下が見られる場合、それはタイプ I である。カバレッジの低下なしに顕著なノイズ依存性が示される場合、それはタイプ II である。

フェーズ 4：ターゲットを絞った処方箋

診断に基づき、ギャップに対処するための特定の合成データが生成される。

• タイプ I の場合: 不足している要因レベルを網羅する多様なサンプルを生成する。
• タイプ II の場合: ノイズ要因のみが変化する反事実的ペア $(x_a, x_b)$ を生成し、表現に対して不変性ペナルティを適用して、モデルがその要因を無視するように強制する。
• 目的: 総損失は、現実データおよびタイプ I データに対するタスク損失と、タイプ II 反事実的データに対する不変性損失を組み合わせる。

3. 主要な貢献

1. 原理的な診断ツール: 要因ごとの貢献にモデルの失敗を分解する ANOVA ベースの監査を導入し、合成ジェネレーターを構造化された評価装置へと変換する。
2. 統合フレームワーク: 既存のアプローチ（ドメインランダム化、反事実的拡張、能動学習）は、SDRS フレームワークの特殊かつしばしば最適ではないケースであることを実証する。
3. 「感度転移」の特定: 不変性ペナルティを通じてあるノイズ要因を抑制することが、意図せず他のノイズ要因に対する感度を増幅させる（表現の再配分）という重要な未解決課題を特定する。

4. 実験結果

このフレームワークは、3 つの実験で検証された。

実験 1：制御された診断（dSprites）

• 設定: 植え付けられたバイアスを伴う形状分類（ショートカット：形状と位置の相関；カバレッジギャップ：欠落した向き）。
• 結果: 監査は、位置のショートカット（タイプ II）と向きのギャップ（タイプ I）を正しく特定した。
• 性能: ターゲットを絞ったデータにより、保持されたデータセットの精度が49.9% から 79.0%（+29.1 ポイント）に向上した。
• 観察: ショートカットを除去すると、位置の F 統計量は 2.1 から 1.0（有意でない）に減少した。

実験 2：密セグメンテーション（手続き的シーン）

• 設定: 照明、背景の複雑さ、遮蔽などの要因を持つ 128x128 RGB シーン。
• 結果: 監査は、背景の複雑さにおける支配的なショートカット（タイプ II）と、遮蔽のカバレッジギャップ（タイプ I）を検出した。
• 性能: mIoU が0.948 から 0.998に向上した。
• 洞察: この飽和したベンチマークではランダムサンプリングも高い mIoU に到達したが、SDRS はモデルがなぜ失敗したかを特定する診断的洞察を提供し、これはより困難なベンチマークにおいて重要である。

実験 3：ジェネレーター絡み合いの検出

• 設定: 完全なジェネレーターと絡み合ったジェネレーター（「スタイル」が暗黙的にオブジェクトのサイズを変化させる）を比較。
• 結果: ANOVA 監査は漏洩を検出した。「スタイル」の F 統計量は**+4.7増加し、「サイズ」は-7.9**減少し、グランドトラースラベルなしでジェネレーターの欠陥を正常に特定した。

5. 意義と議論

• パラダイムの転換: SDRS は、合成データパイプラインはランダムサンプリングプロセスではなく、構造化された実験として設計されるべきであると主張する。
• 集計指標ではなく診断: 主な価値は最終的な精度の向上だけでなく、エラーの分解にある。それは実践者に、何を修正すべきか（例：「より多くの遮蔽サンプルを追加する」対「背景バイアスを除去する」）を正確に伝える。
• 感度転移: 重要な発見として、不変性ペナルティは感度転移を引き起こす可能性があること、すなわちある依存性を抑制することが別の依存性を増幅させることが挙げられる。これは、将来の修正損失がより包括的である必要があることを示唆し、このトレードオフを防ぐ必要がある。
• 将来の課題: 論文は、より良い修正損失の必要性と、因子分離が手続き的 3D エンジンよりも弱い拡散ベースのジェネレーターでの検証の必要性を強調している。

結論として、SDRS は、ビジョンモデルを監査し、特定の表現失敗を診断し、それらのギャップを効率的に埋めるためにターゲットを絞った合成データを処方するための、厳密で統計的に裏付けられた手法を提供する。