Breaking Spurious Correlations via Generative Randomization and Cross-Variant Self-Supervised Learning

技術要約：生成的なランダム化とクロスバリアント自己教師あり学習による偽相関の打破

問題提起
経験的リスク最小化（ERM）を用いて訓練された深層ニューラルネットワークは、分布シフトが発生した際に汎化性能が低下するという問題を抱えている。この失敗の主な原因は、ターゲットラベルと視覚的属性（背景、テクスチャ、シーンのコンテキストなど）との間の、予測には寄与するが因果関係のない関連性である「偽相関（spurious correlations）」の利用にある。例えば、Waterbirdsベンチマークにおいて、モデルは鳥固有の特徴を学習する代わりに、「水辺の鳥」を「水辺の背景」に、「陸の鳥」を「陸の背景」に関連付けるように学習してしまうことがある。その結果、これらのカテゴリが非典型的なコンテキストで出現した場合、性能が著しく低下する。GroupDROのような先行手法は、グループの重み付けを行うことでこれに対処しようとするが、グループの監督品質や最適化の初期ダイナミクスに対して敏感であるという課題が残っている。さらに、対抗的な画像を合成する近年の生成的手法は、通常それらを標準的なデータ拡張として扱うだけで、エンコーダに対して異なるコンテキスト間でも同一のオブジェクトの表現を一貫して維持することを明示的に強制できていない。

手法
著者らは、生成的な介入と表現レベルの不変学習を組み合わせ、背景に依存しない視覚的表現を明示的に学習するための2段階フレームワークを提案している。

1. 第1段階：生成的な環境のランダム化

   • 分離（Isolation）： パイプラインはゼロショット・セグメンテーション・アプローチを利用する。与えられた画像 $x_i$ とラベル $y_i$ に対して、Grounding DINOがバウンディングボックスを抽出し、それが**Segment Anything Model (SAM)**によって処理されることで、因果的な前景オブジェクトを孤立させるピクセルレベルのバイナリマスクが生成される。
   • 合成（Synthesis）： 単純な背景の入れ替えではなく、本手法では構造保存型の拡散インペインティングモデルであるFLUX.1-Fillを採用する。背景領域（反転させたマスク）は、異なるテキストプロンプト（例：「湖」、「山」、「森林」）を用いて再合成され、コンテキストがシフトした一連のバリアント $V_i$ を作成する。このプロセスにより、オブジェクトのアイデンティティとピクセル構造を保持したまま、周囲の環境を完全に変化させることができる。

2. 第2段階：クロスバリアント自己教師あり学習（SSL）とファインチューニング

   • クロスバリアントSSL： 生成された画像を単なる教師あり学習用のサンプルとして使用するのではなく、著者らはコントラスト的な事前学習戦略を導入している。単一の因果的オブジェクトに対して、2つの異なる生成バリアント（同じ前景を共有し、異なる背景を持つもの）をポジティブペアとして扱う。エンコーダは、NT-Xent (InfoNCE) ロスを用いてこれらのビュー間の類似度を最大化するように訓練される。この目的関数は、エンコーダがオブジェクト中心の表現を整列させ、背景固有の手がかりを抑制することを明示的に促す。
   • ファインチューニング： SSLで事前学習されたエンコーダは、その後分類のためにファインチューニングされる。これには、グループの重みを一様に固定するERMウォームアップフェーズ（分類器ヘッドを安定させるため）と、それに続くGroupDRO最適化が含まれる。極めて重要な点として、事前学習で学習された不変な特徴を保持しつつ、分類器をターゲットタスクに適応させるために、このフェーズでは**層ごとの学習率（layer-wise learning rates）**を採用している。

主な貢献

• 高精度な生成パイプライン： ゼロショット・セグメンテーションによって因果的なオブジェクトを分離し、構造保存型の拡散モデルを用いて多様なコンテキスト・シフト・バリアントを生成するパイプラインの導入。
• クロスバリアントSSL： 同一のオブジェクトを異なる背景間で整列させる、新しいコントラスト的事前学習戦略。これは、生成されたデータを単に教師あり学習の追加サンプルとして用いる手法とは異なり、背景への依存を直接的に標的としている。
• 堅牢な最適化戦略： 事前学習で得られた不変な特徴を破壊することなく、ワーストグループの性能に向けて最適化するために、ERMウォームアップ、層ごとの学習率、およびGroupDROを組み合わせたファインチューニング・プロトコル。

実験結果
本フレームワークは、深刻な環境分布シフトを特徴とする3つの標準的なベンチマーク（Waterbirds、MetaShift、NICO++）で評価された。本手法は、高い平均精度を維持しながら、最良のワーストグループ精度を達成した。

• Waterbirds: ワーストグループ精度 92.5%（GroupDROの 91.6% に対し）、平均精度 95.4%。
• MetaShift: ワーストグループ精度 81.7%、平均精度 82.6% を記録し、すべてのベースラインを上回った。
• NICO++: ワーストグループ精度 87.4%、平均精度 94.0%。

Waterbirdsにおけるアブレーション研究では、クロスバリアントSSLステージをバイパスすると、ワーストグループ精度が大幅に低下すること（92.5% から 89.6% へ）が確認され、生成されたデータを単に教師あり学習の追加サンプルとして用いるだけでは不十分であることが検証された。同様に、ERMウォームアップを除去すると、ノイズの多いマイノリティサンプルへの過学習により、性能の低下を招いた。

意義と主張
本論文の主要な意義は、生成的な介入は、表現レベルの不変性目的関数と組み合わされたときに最も効果的であることを示した点にあると著者らは主張している。異なる背景を持つ同一の因果的オブジェクトのバリアントを整列させることで、提案手法は偽のコンテキストへの依存を減少させ、分布シフト下での汎化性能を向上させている。著者らは、提案手法が複数のベンチマークにおいて強力なワーストグループ性能を達成していることを強調しており、生成されたバリアントは、単なる追加の教師あり学習サンプルとしてではなく、不変な表現を学習するためのより重要な役割を果たしていることを示唆している。

著者らは、アプローチが生成されたバリアントの品質と多様性に対する感度に影響を受けることを認めており、ランダムシードによる分散が見られることを指摘している。今後の課題として、より安定したバリアント選択および生成品質のフィルタリングに焦点を当てることが提案されている。