技術要約：YARD – 効率的な幻覚抑制のためのY型アーキテクチャ・レジスタ・デコーディング

1. 問題提起

大規模視覚言語モデル（LVLMs）は、意味的には妥当であるが視覚入力と矛盾するテキストを生成する（例：存在しないオブジェクト、誤った属性、または支持されない空間関係）という**幻覚（ハルシネーション）**に頻繁に陥ります。**コントラスティブ・デコーディング（CD）**は、「クリーン」なモデルブランチと「劣化」させたブランチを対比させることで、幻覚を起こしやすいロジットを抑制するトレーニングフリーの解決策を提供しますが、既存の手法には2つの決定的なジレンマがあります。

1. 不適切な劣化したブランチ:
   • テキストのみのアプローチ: 視覚トークンを完全に削除すると、劣化したブランチは言語事前知識モデルへと退化します。これは、特定の入力画像とは一致しない一般的な事前知識に基づく幻覚を誘発し、画像固有の幻覚を分離することに失敗します。
   • ピクセルレベルの劣化: 入力画像を破損させる（例：ノイズの追加）手法は、制御が粗雑です。視覚的特徴（色、テクスチャ、境界）はピクセル空間において密接に絡み合っているため、これらの摂動は幻覚の原因となる局所的な根拠を分離できず、代わりに劣化したロジットを真の視覚信号で汚染してしまうことがよくあります。
2. 推論レイテンシ: ほとんどの既存のCD手法は、2回のフルフォワードパス（クリーンブランチ用と劣化したブランチ用）を必要とするため、推論レイテンシが大幅に増加します。

2. 手法：YARD

著者らは、LLMデコーダの内部に劣化したブランチを構築する、トレーニングフリーのフレームワークであるYARD（Y-Architecture Register Decoding）を提案しています。この手法は、クロスモーダル情報の流れに関する2つの重要な観察に基づいています。

A. 劣化させる場所：中間層のウィンドウ

テキスト・トゥ・ビジョン・アテンションと介入実験の分析により、以下が明らかになりました：

• 浅い層: アテンションが拡散しており、注意が逸れやすい。
• 深い層: タスクに関連する視覚的根拠が、テキスト側の表現にほぼ統合されています。ここで視覚トークンを摂動させても、最終的な予測への影響は最小限です。
• 中間層: ここは信頼できる視覚的接地（グラウンディング）が立ち現れ、テキストトークンが完全な統合が行われる前に局所的な視覚的根拠を獲得し始める、極めて重要なウィンドウです。
  YARDの戦略: 本フレームメントは、浅いデコーダ層（1からKまで）をクリーンブランチと劣化したブランチの間で共有し、中間層（例：25層のモデルにおけるレイヤー10）で正確に分岐（ブランチ）させます。これにより、劣化したブランチは初期のマルチモーダルなコンテキストを継承しつつ、微細な局所的根拠の完全な統合を防ぐことができます。

B. 劣化させる方法：レジスタに基づく特徴レベルの劣化

入力画像を破損させたり、トークンを完全に削除したりする代わりに、YARDは特徴レベルで劣化した条件を構築します：

• レジスタ・トークン: YARDは、レジスタ・トークン（Vision Transformerにおける高ノルムの外れ値アーティファクトを吸収するために提案されたもの）を利用します。これらは、異常なMLP活性化を付加されたトークンへとリダイレクトすることによって、テスト時に構築されます。
• 劣化メカニズム:
  • クリーンブランチ: 元のパッチレベルの視覚トークン（$Z$）とレジスタ・トークン（$R$）を保持します。
  • 劣化したブランチ: 微細なパッチ・トークン（$Z$）を破棄し、レジスタ・トークン（$R$）とテキスト・トークン（$T$）のみに依存します。
• 効果: レジスタ・トークンは粗いグローバルな画像意味論を保持しますが（ブランチを「画像認識可能」に保つ）、微細な局所的対応関係を欠いています（ブッチを「局所的に接地不足」にする）。これにより、テキストのみのブランチのような極端なモダリティの不一致や、ピクセルレベルの破損のようなノイズを伴うことなく、幻覚を起こしやすい構成要素を露出させる対比信号を作り出します。

C. 効率性のためのY型アーキテクチャ

YARDは、分岐前の浅い層（1から$K$）の計算を共有することで、入力レベルのコントラスティブ手法で必要とされるコストの高い2回目のフルフォワードパスを回避します。ブランチは、残りの層（$K+1$から$D$）においてのみ分岐します。

最終的なロジットは次のように計算されます：
$$\ell^{yard}_i = (1 + \alpha)\ell^c_i - \alpha\ell^d_i$$
ここで、$\ell^c$ と $\ell^d$ はそれぞれ、クリーンブランチとレジスタ条件付きの劣化したブランチからのロジットです。

3. 主な貢献

1. レジスタに基づく特徴レベルの劣化: 視覚入力を破損させることなく、グローバルな意味論を維持しながら局所的な根拠を除去する、画像認識可能だが局所的に接地不足な対比ブランチを構築する新しい手法を導入しました。
2. 劣化したブランチの純度の分析: アブレーションを通じて、特徴レベルの劣化（特にレジスタによるグローバル情報）が、保守的なクリーン・ロジット・アンカリング（$\alpha$）を取り除いた場合でも、テキストのみやピクセルレベルの劣化よりも純粋な幻覚信号を露出させることを示しました。
3. YARDフレームワーク: 複数のLVLM間で一貫して幻覚を抑制しつつ、デュアルパス手法と比較して推論レイテンシを大幅に削減する、効率的なトレーニングフリーのY型アーキテクチャ・デコーディング・フレームワークを提示しました。

4. 実験結果

YARDは、多様なバックボーン（LLaVA-1.5, LLaVA-NeXT, Qwen2/3-VL, InstructBLIP, Mini-Gemini）を用いて、生成的（AMBER, Object HalBench, MME-Hallucination）および判別的（AMBER Discrimination, POPE）なベンチマークの両方で評価されました。

• 生成的パフォーマンス: LLaVA-1.5-7Bにおいて、YARDはObject HalBenchのスコア（CHs/CHi）を27.0/10.5から19.7/6.5に減少させ、OPERA、VCD、FuzzyCDなどの最先端手法を上回りました。また、MME-Hallucinationにおいて最高の色彩知覚スコアを達成し、視覚能力が維持されていることを示しました。
• 判別的パフォーマンス: YARDは、LLaVA-1.5においてAMBERの精度/F1を67.00/71.10から78.70/84.10へ、POPEの精度/F1を83.93/82.24から86.14/85.85へと向上させました。
• 転移性: この手法は、Qwen3-VLやLLaVA-NeXTを含むテストされたすべてのアーキテクチャにおいて一貫した改善を示し、アーキテクチャ固有の特性ではなく、LVLMのデコーディングにおける一般的な性質を捉えていることを示唆しています。
• アブレーション研究: 中間層（例：$K=10$）での分岐が極めて重要であることを確認しました。分岐が早すぎたり遅すぎたりすると、最適ではない結果をもたらします。また、レジスタベースの劣化は、「平均的」な特徴劣化や「テキストのみ」のバリアントよりも優れた性能を示しました。

5. 意義と主張

本論文は、YARDがコントラスティブ・デコーディングにおける根本的なトレードオフ、すなわち「幻覚を露出させるために十分に異なりつつ、一般的な言語事前知識を避けるために画像と十分に整合している必要がある」という課題に対処していると主張しています。デコーダ内の構造化された特徴レベルの空間に劣化を組み込むことで、YARDは以下を実現します：

• 忠実な対比信号: 「グローバルだがローカルが欠如している」設計により、弱い局所的接地のもとでは妥当に見えるが、クリーンな視覚的根拠によって支持されない予測を効果的に抑制します。
• 効率性: Y型アーキテクチャは、2回目のフルフォワードパスを不要にし、実用的なデプロイメント・ソリューションを提供します。
• 汎用性: このアプローチは特定のモデルアーキテクチャに縛られず、幻覚抑制のための一般的なトレーニングフリーのヒューリスティックを提供します。

著者らは、特定のTransformerベースのLVLMに対して効果的なレジスタ表現を構築することへの依存や、分岐層の選択に対する感度について限界を認めており、これらのメカニズムをより広範なマルチモーダル・アーキテクチャに適応させる今後の課題を示唆しています。