技術要約：大規模言語モデルにおけるコントラスティブ・デコーディングのためのアテンション誘導型レイヤー選択

問題定義

大規模言語モデル（LLM）は、もっともらしいが事実とは異なる内容を生成してしまうハルシネーション（幻覚）を起こしやすい。DoLa（Decoding by Contrasting Layers）のようなコントラスティブ・デコーディング手法は、単一モデル内の「成熟した（最終層）」層と「未熟な（初期層）」層の出力分布を対比させることで事実性を向上させているが、これらは出力語彙分布（ロジット）の差異のみに依存している。このアプローチは、モデル内部の自己アテンション機構に埋め込まれた構造的情報を無視しており、事実的知識が顕在化するレイヤーを特定するためのより敏感な信号となり得る情報を活用できていない。

手法

著者らは、DoLaフレームワークにおける未熟なレイヤーを選択するための3つのアテンション誘導型戦略を提案している。これらの手法は、出力ロジットを比較する代わりに、自己アテンション分布（$A_l$）を利用して、最終層（$L$）と対比させるべきレイヤー（$l$）を決定する。

特定のトークン位置 $t$ において、各手法は、過去のトークンに対するレイヤー $l$ のアテンション分布を表す、ヘッド平均のアテンション行 $a^l_t$ を計算する。3つの戦略は以下の通りである：

1. Attention-JSD: 自身の分布と最終層の分布との間のイェンセン・シャノン多様体（JSD）を最大化するレイヤー $l^*$ を選択する。
   $$l^* = \arg \max_{l \in C} \text{JSD}(a^L_t, a^l_t)$$
2. Attention-Entropy-Max: 最大のアテンション・エントロピーを持つレイヤーを選択する。これは、広く分散したアテンションがレイヤー選択のキューとして機能するという仮説に基づいている。
   $$l^* = \arg \max_{l \in C} H(a^l_t)$$
3. Attention-Entropy-Min: 最小のアテンション・エントロピーを持つレイヤーを選択する。これは、集中したアテンションが特定の証拠トークンへの強い依存を反映しているという仮説に基づいている。
   $$l^* = \arg \min_{l \in C} H(a^l_t)$$

これらの戦略は、妥当性制約（候補を最終層における高確率トークンに限定すること）や、各トークンにおける動的な選択プロセスを含むDoLaのフレームワークを維持している。

主な貢献

• 新規な選択信号: 本論文は、出力語彙分布への依存を超え、自己アテンション機構からの構造的情報（ダイバージェンスとエントロピー）を、トークンレベルのレイヤー選択のための動的な信号として用いる、初の体系的な試みを導入した。
• 実証的検証: 6つのモデル（LLaMA-7B/13B/33B/65B, Gemma-7B, Mistral-7B）を用いたTruthfulQAおよびFACTORベンチマークにおける広範な実験により、アテンション誘導型戦略が、特に複数の正解がある場合（MC2およびMC3）において、オリジナルのDoLaを一貫して上回ることを示した。
• メカニズムの洞察: ヘッドごとの分析を通じて、著者らは特定の注意ヘッドが事実性の識別に資する明確な信号を保持していることを特定した。彼らは、事実性の向上がすべてのヘッドで一様ではないことを示しており、例えば、LLaMA-7BのHead 6は、全ヘッドの平均よりも有意に高いMC3スコアを示した。

実験結果

• TruthfulQA: 提案手法は一貫してベースラインおよびDoLaを上回った。Attention-Entropy-Minは、LLaMA-7Bにおいて最高のMC2（62.8%）およびMC3（36.5%）スコアを達成し、DoLaを大幅に上回った。Attention-JSDは、LLaMA-13Bにおいて最良の結果をもたらした。Do-Laは、より大きなモデル（33B/65B）において最も高いMC1（単一の正解）を維持したが、アテンションベースの手法はMC2およびMC3においてDoLaを上回っており、これはアテンション分布が多回答シナリオにおける事実的知識の解決に対してより敏感であることを示唆している。
• FACTOR: 長文テキストの事実性において、提案手法はDoLaと同等またはそれ以上の性能を示した。例えば、Attention-Entropy-MaxはLLaMA-7BのWikiサブセットで62.6%の精度を達成し（DoLaの62.1%に対し）、Attention-JSDはGemma-7BのWikiサブセットで64.1%に達した（Do laの63.3%に対し）。
• レイヤー選択パターン: 分析によれば、DoLaやAttention-JSDは利用可能な最も浅いレイヤーを選択する傾向があるのに対し、Attention-Entropy-Minは、より広く深い範囲（例：LLaMA-7Bにおけるレイヤー22–30）にわたって適応的にレイヤーを選択しており、入力コンテキストに対してより動的に反応していることが示唆された。
• スコア分布: DoLaは、単一の正解に対して高い確信度を持つ「鋭い」分布を生成する傾向がある（MC1に有利）一方で、アテンションベースの手法は、スコアを複数の正解の選択肢に分散させる「平坦な」分布を生成する傾向がある（MC2/MC3に有利）。

意義と主張

本論文は、内部のアテンション分布が、特に出力語彙分布よりも、複数の有効な回答の特定を必要とするタスクにおいて、事実的知識を解決するためのより敏感な信号を提供すると主張している。自己アテンションからの構造的情報を活用することで、提案手法は追加の学習や外部モデルを必要とせずに事実性を高めている。

著者らは、自身のアプローチが推論時の実用的なプラグインであり、計算オーバーヘッドを合理的な範囲内に維持していることを強調している。彼らは、現在の手法は候補となる未熟なレイヤーのバケットを選択するために事前の検証を必要とするものの、特定の注意ヘッド（単なる平均ではなく）が事実性を駆動しているという発見は、コンテキスト依存のヘッド選択を通じたさらなる最適化への道筋を示唆していると結論づけている。

限界

著者らは、現在の評価が多肢選択式ベンチマークに限定されていること、および自由形式の生成への適用可能性が未検証であることを認めている。さらに、候補となる未熟なレイヤーのバケットの選択には依然として検証が必要であり、なぜ特定の注意ヘッドが事実的回想に優れているのかという理論的根拠も、まだ完全には解明されていない。