Not Too Generative, Not Too Discriminative: The Human Alignment Sweet Spot

技術的サマリー：「生成しすぎず、判別しすぎず：人間との整合性の絶妙なバランス点」

問題提起
計算機ビジョンにおける中心的な議論は、人間に似た視覚表現が、判別学習（入力をラベルにマッピングする）によって最もよく説明されるのか、それとも生成学習（内部の世界モデルから入力を推論する）によって説明されるのかという点に集約される。これら二つのパラダイム間の既存の比較は、アーキテクチャ、モデル規模、訓練データの同時的な差異によって混乱させられている。その結果、人間との整合性における観測された差異が、学習目的そのものから生じるのか、それとも相関するモデル特性から生じるのかは依然として不明である。本論文は、生成目的と判別目的の二項対立が、人間と整合するビジョンを理解するための誤った軸である可能性を指摘し、代わりに最適なバランスはその中間にあることを示唆する。

手法
学習目的の効果を孤立させるため、著者らはJoint Energy-Based Models (JEMs) を採用する。JEM は入力 - ラベル対 $E_\theta(x, y)$ 上で単一のエネルギー関数を定義し、単一のネットワークが同時に判別予測 ($p(y|x)$) と生成密度モデリング ($p(x)$) をサポートすることを可能にする。

• 補間: 著者らは訓練目的を制御するための混合係数 $\alpha \in [0, 1]$ を導入する。損失関数は、判別対尤度 ($L_D$) と生成対尤度 ($L_G$) の間の補間である：
  $$\mathcal{L} = \alpha \cdot \frac{\|\nabla_\theta L_D\|}{\|\nabla_\theta L_G\|} \cdot L_G + (1 - \alpha) \cdot L_D$$
  ここで、$\alpha=0$ は純粋な判別訓練に対応し、$\alpha=1$ は純粋な生成訓練に対応する。勾配ノルムの比率は、両方の項が比較可能なスケールで寄与することを保証する。
• アーキテクチャと訓練: 実験には Wide ResNet アーキテクチャが用いられる。ImageNet スケールの実験では、ハイブリッド訓練を計算的に実行可能にするため、事前学習済みの AutoencoderKL の潜在空間において訓練が行われる。モデルは $\alpha$ の全連続範囲（0.0 から 1.0 まで 0.1 刻みの 11 モデル）にわたって訓練される。
• 評価: 得られたモデルは、低次知覚、中次知覚、不確実性、頑健性、手掛かりの競合、診断的特徴帰属にわたる 6 つの異なる人間との整合性ベンチマークで評価される。これらには以下が含まれる：
  1. 知覚的類似性 (BAPPS): 2AFC および JND タスク。
  2. 光沢知覚: 合成表面に関する人間の判断との相関。
  3. 応答の不確実性 (CIFAR-10H): モデルと人間の応答分布間のクロスエントロピー。
  4. 頑健性 (OOD): 分布シフト下での人間との誤りの一貫性。
  5. 形状 - 質感の手掛かり競合: 競合する画像における形状対質感へのバイアス。
  6. 診断的特徴 (ClickMe): モデルの帰属マップと人間の視覚的注意との整合性。

主要な結果
すべての 6 つのベンチマークにおいて、人間との整合性は極端な値（$\alpha=0$ または $\alpha=1$）ではなく、中間的な $\alpha$ の値で一貫して最大化される。

• 知覚的類似性: ハイブリッドモデル（$\alpha \approx 0.6$）は、JND タスクにおいて判別ベースラインと一致しながら最高の 2AFC スコアを達成し、純粋な生成モデルと純粋な判別モデルの両方を上回る。
• 光沢知覚: 先行研究では生成モデル（PixelVAE）が判別モデル（ResNet）を上回ると示唆されていたが、制御された JEM 実験では、純粋な判別 JEM がすでに純粋な生成 JEM を上回ることが示された。最適な整合性は $\alpha \approx 0.5$ で生じ、PixelVAE および ResNet ベースラインの両方を凌駕する。
• 応答の不確実性: ハイブリッドモデル（$\alpha \approx 0.8$）は、カテゴリカル構造と曖昧さへの感度とのバランスを取りながら、人間の応答の全分布を最もよく再現する。
• 形状 - 質感バイアス: 形状バイアスは $\alpha$ とともに単調に増加する。ハイブリッドモデルは約 0.7 の形状バイアスを達成し、標準的な判別ベースライン（例：ResNet-50）よりも著しく高く、大規模な生成モデルのレベルに近づいている。
• 診断的特徴: 人間のサリエンシーマップとの整合性は $\alpha \approx 0.3$ でピークに達する。純粋な生成モデルは選択性を失い、純粋な判別モデルは拡散した帰属マップを生成する。
• テスト時の洗練: 著者らは、テスト時に入力に対して確率的勾配ランジュバン動力学（SGLD）を適用して洗練を行うことで、再訓練なしにハイブリッドモデルおよび生成モデルにおいて形状一貫性の応答を増幅し、生成目的によって誘発された形状を好むエネルギー地形を明らかにすることを示す。

意義と主張
本論文は、生成 - 判別に関する議論を再構築することを主張する。結果は、二項対立が人間と整合するビジョンを理解するための正しい枠組みではないことを示唆する。代わりに、人間に似た表現は、両方の目的をバランスさせることから生じる：

• 判別学習は、必要なカテゴリカル構造を提供する。
• 生成学習は、入力分布への感度とグローバルな整合性（例：形状）を提供する。

著者らは、人間との整合性が単一のスカラー特性ではなく、タスクによって生成的世界モデリングと判別ラベリングの最適なバランスが変化する制約のファミリーであると論じる（例：診断的特徴はより判別的なレジームを好み、応答の不確実性はより生成的なレジームを好む）。本研究は、人間と整合する AI には、「どの目的が最善か？」という問いを超えて、「これらの目的をどのようにバランスさせるべきか？」を理解することが必要であると結論づける。

限界
著者らは、エネルギーベースの訓練が依然として計算的に要求が高く、慎重な安定化を必要とする点を認めている。最適な $\alpha$ はベンチマークによって異なり、人間との整合性が多次元的であることを示している。さらに、ハイブリッド目的は人間の知覚や不確実性との整合性を向上させるが、それ自体が公平性、安全性、または頑健性を保証するものではなく、人間の誤りやバイアスを複製する可能性もある。