Text as Partial Constraint: Core-Residual Alignment for Robust Vision-Language Learning

技術要約：Text as Partial Constraint (TPC)

問題提起
視覚と言語の整合性は、オープンボキャブラリ認識、検索、および大規模視覚言語モデル（LVLM）の基盤となっています。しかし、自然言語による監督（supervision）は本質的に不完全です。キャプションは詳細を省略していたり、共通の文脈に依存していたり、表現が大きく異なったりすることが多いためです。既存の手法は、各キャプションを完全なターゲットとして扱う傾向があり、その結果、モデルは他の有効な記述には存在しない可能性のある「ビュー固有の詳細」にまで無理に適合しようとします。これは、「脆い（brittle）」マッチング（言い換えによって性能が低下する現象）、「過剰な自信（over-confident）」を持つ予測（テキストの制約が弱い場合でもモデルが高い確信度を示す現象）、そしてLVLMにおけるダウンストリームの幻覚（hallucination）を引き起こします。本論文は、現在のモデルが、同一画像の複数のキャプション・ビュー間で一貫して支持されていない「語られざる（unsaid）」残差（ビュー固有の偏差）に対して、過剰にコミットしていることを指摘しています。

手法：Text as Partial Constraint (TPC)
著者らは、自然言語のキャプションを完全なターゲットではなく「部分的な制約（partial constraints）」として再定義する、コア・残差整合フレームワークであるTPCを提案します。この手法は、画像に対する複数のキャプション・ビューは安定した「合意コア（consensus core）」を共有する一方で、「語られざる」残差空間において分岐するという前提に基づいています。

フレームワークは、以下の4つの主要コンポーネントで構成されます：

1. マルチビュー合意コア（Multi-View Consensus Core）： $K$ 個のキャプション・ビューを持つ画像に対し、合意コア $c_i$ をテキスト埋め込みの正規化された平均方向として定義します。このコアは、共有された、ビューに依存しない意味論を表します。
2. シングルビュー・コア・フィルタ（Single-View Core Filter）： 単一のクエリテキストでのデプロイを可能にするため、単一のビュー埋め込み $t_{i,k}$ から合意コア $c_i$ を予測する軽量な線形フィルタ $\psi_\theta$ を学習します。これにより、推論時に複数のキャプションを必要とせずに、堅牢な意味的ターゲットを復元できるようになります。
3. 語られざる残差の抑制（Unsaid Residual Suppression）： テキスト埋め込みは、予測されたコアと直交する「語られざる」残差 $r_{i,k}$ に分解されます。非コミットメント正則化（non-commitment regularizer）は、画像埋め込みとこれらの残差との間の整合性を明示的にペナルティ化し、ビュー固有の詳細への過学習を防ぎます。
4. 不確実性を考慮した対照的整合（Uncertainty-Aware Contrastive Alignment）： 合意に対する $K$ 個のキャプション・ビュー間の不一致（分散）に基づいて、不確実性指標 $u_i$ を算出します。この不確実性がInfoNCE損失における温度パラメータ $\tau_i$ を調整します。キャプションが一致しない場合（高不確実性）、整合性は「軟化」され、過剰な更新を抑えます。逆に、キャプションが一致する場合、整合性は「鋭敏化」されます。

総学習目的関数は、コアの整合損失、シングルビュー・フィルタが合意に一致することを保証する合意損失、および残差を抑制するための非コミットメント損失を組み合わせたものです。

主な貢献

1. 言語の未規定性（Underspecification）の定式化： 本論文は、キャプション・ビューの変動を言語の未規定性の形態として定式化し、「語られざる」残差への過剰なコミットメントが、脆さと幻覚を生む主要なメカニズムであることを特定しました。
2. コア・残差フレームワーク： ビューに依存しない意味論を優先し、単一のクエリでもデプロイ可能な、テキストの制約強度を追跡する信頼スコアを生成する学習原理を導入しました。
3. 理論的正当化： 著者らは、コアの整合を高め、残差への感度を下げることで堅牢性が向上することを示す理論的境界を提示しています。また、マルチビューの合意が、不完全なテキストによる監督に対するデノイジング（ノイズ除去）メカニックとして機能することを、汎化に関する統計的保証とともに示しています。

実験結果
TPCは、ゼロショット認識、敵対的堅牢性、およびLVLM転送において評価されました：

• ゼロショット認識： ImageNetにおいて、TPCはクリーン環境で81.42%、堅牢環境で64.05%のTop-1精度を達成し、最強の堅牢なベースラインであるAdv-W2Sを+5.58/+5.75上回りました。Avg-14転送スイートでは、クリーン環境で76.19%、堅禄環境で**52.03%**の精度を達成しました。
• LVLM転送： LLaVA-1.5-7Bのビジョンエンコーダとして使用した場合、TPPCは物体幻覚の指標を改善し、平均85.16 POPE F1スコア（Adv-W2Sを+1.36上回る）および59.57 OKVQA精度を達成しました。
• 堅牢性分析： TPCは、キャプション選択に対する感度の低減（低いランク揮発性）と、弱いテキスト制約下での優れた較正（calibration）を示しました。制御されたキャプション削除を含むストレス・テストにおいて、TPCは標準的なCLIPファインチューニングと比較して、高い精度と低い期待較正誤差（ECE）を維持しました。

意義と主張
本論文は、テキストを部分的な制約としてモデリングすることが、より信頼性の高い視覚言語表現を実現するための実用的かつ原理的な経路であると主張しています。安定した意味的コアと、不安定なビュー固有の残差を明示的に分離することで、TPCは、未規定な言語による監督における脆さの根本原因に対処します。著者らは、このアプローチがダウンストリームのLVLMのアーキテクチャを変更する必要はなく、むしろ幻覚に対するデコーディングおよびコネクタレベルの修正を補完する、より堅牢な「知覚バックボーン」を提供するものであることを強調しています。この手法は、既存のモデルに対するドロップイン（置き換え可能）なビジョンエンコーダとして提示されています。