技術要約：グラウンディングか、それとも推測か？手話翻訳におけるハルシネーション検出のための視覚的信号

1. 問題提起

手話翻訳（SLT）は、視覚的モダリティが補助的なコンテキストではなく、ソース言語そのものを構成するという、ユニークなビデオ・トゥ・テキスト（動画からテキストへの変換）タスクである。現代のSLTシステム、特にグロスフリー（中間的な手話単語表記を必要としない）アーキテクチャや大規模言語モデル（LLM）のバックボーンを利用したシステムにおいて、極めて重要な失敗モードは**ハルシネーション（幻覚）**である。この文脈において、ハルシネーションは「生成されたトークンが、署名されたビデオの証拠によって支持されていない状態」と定義される。

近年のグロスフリーモデルは、コストのかかる中間的なグロス注釈の必要性を排除することでスケーラビリティの問題を解決したが、新たな脆弱性を導入した。それは、視覚的表現が曖昧または低品質である場合、デコーダーが視覚入力よりも**言語的事前知識（language priors）**に過度に依存してしまう傾向があることである。これにより、流暢ではあるが事実としては不正確な翻訳が生成される。信頼度、エントロピー、パープレキシティといったテキスト固有の信号に依存する既存のハルシネーション検出手法は、「言語パターンに基づいて自信を持って予測されたトークン」と、「実際の視覚的証拠に基づいて自信を持って予測されたトークン」を区別することができない。

2. 手法

著者らは、生成されたトークンが言語的事前知識ではなく、どの程度ビデオの証拠に依存しているかを定量化する、グラウンディング使用量（grounding usage）に基づく新しい信頼性指標を提案している。この手法はトークンレベルで動作し、反事実的分析を用いて文章レベルへと集計される。

2.1 コアとなる直感

各デコーディングステップにおいて、モデルは次のトークンをビデオ信号にグラウンディング（接地）させるか、あるいは言語的事前知識から推測（guess）するかのいずれかを行う。提案手法は、真のビデオ入力下でのモデルの挙動と、視覚入力が変更された反事実的なシナリオを比較することで、この依存度を測定する。

2.2 信号の構成要素

信頼性スコアは、2種類の証拠から導出される：

1. 特徴量ベースの感度（内部的依存度）:

   • 隠れ状態の感度: ビデオ入力が除去（マスク）された場合と、存在する場合のデコーダーの隠れ状態における方向的な変化（正規化された角度距離）を測定する。角度が大きいほど、ビデオへの依存が強いことを示す。
   • クロスアテンションの使用量: デコーダーのトークンからビデオエンコーダーの位置へ向けられたアテンションの質量を集計する。クリーンなビデオ下のアテンションと、マスクされたビデオ下のアテンションの差は、視覚的グラウンディングの程度を示す。

2. 反事実的信号（外部的証拠）:

   • システムは、同じプレフィックス（接頭辞）を条件として、3つの並行したデコーディングパスを実行する：
     1. クリーン (Clean): 真のビデオ ($x$) を使用。
     2. ビデオなし (No-Video): 視覚エンコーダーを無効化 ($\emptyset$)。
     3. 不一致 (Mismatched): シャッフルされた、または無関係なビデオ ($x'$) を使用。
   • 確率マージン: この手法は、クリーンなパスと、最も強力な反事実的パス（ビデオなし、または不一致ビデオのパスにおける最大確率）との間の対数確率およびロジットの差を計算する。
   • 利点: 正しいビデオが、代替案と比較して予測を能動的に改善しているかどうかを判断するために、絶対的な確率利得（$\Delta_{clean}$ および $\Delta_{mis}$）を算出する。

2.3 融合と集計

• トークンレベル: 特徴量ベースの信号と反事実的信号を線形融合し、シグモイド関数を適用することで、トークンレベルの信頼性スコア ($r_t$) を得る。
• 文章レベル: トークンスコアはテール10プーリング（tail-10 pooling）（信頼性の低い下位10%のトークンの平均）を用いて集計される。これは、ハルシネーションのリスクを最も示唆する、最も信頼性の低い部分に焦点を当てるためである。
• 統合: グラウンディングに基づく信頼性は、標準的なテキストのみのベースライン（信頼度、パープレキシティ、エントロピー）と共に「META」バリアントとして組み合わされ、包括的なハルシネーションリスク推定器を作成する。

3. 主な貢献

• SLTにおけるハルシネーションの初の調査: 本研究は、手話翻訳の領域において、ハルシネーションを明示的に調査し、特性を明らかにした最初の研究である。
• グラウンディング使用量メトリック: 視覚的証拠によって生成されたトークンと、言語的事前知識によって推測されたトークンを区別する、視覚的グラウンディングを定量化する新しい信頼性指標を導入した。
• 反事実的フレームワーク: ビデオのマスキングおよびミスマッチングによる反事実的な摂動を用いて、モデルの内部状態の変化と外部の確率シフトの両方を捉えるスコアリングフレームワークを設計した。
• 実証的検証: 提案手法が、ハルシネーション検出においてテキストのみのベースラインよりも優れており、言語的な不確実性指標と組み合わせた際に補完的な情報を提供することを実証した。

4. 実験結果

本手法は、PHOENIX-2014T（ドイツ手話）およびCSL-Daily（中国手話）の2つのベンチマークを用い、グロスベース（TwoStream-SLT）とグロスフリー（SpaMo）の両方のモデルで評価された。

• ハルシネーションとの相関: 提案された信頼性スコアとCHAIR（画像適合性によるキャプション・ハルシネーション評価）指標の間には、強い負の相関がある。グラウンディングの使用量が増加すると、ハルシネーション率は低下する。
• 検出性能: グラウンディングに基づく信頼性は、バイナリのハルシネーション検出において、テキストのみのベースライン（信頼度、パープレキシティ、エントロピー）を大幅に上回った。
  • CSL-Daily（グロスフリー）において、グラウンディング手法はAUC 0.951、精度 0.970を達成した。これに対し、最良のテキストのみのベースライン（信頼度）は、AUC 約0.953、精度 0.868であった。
  • 統合されたMETAバリアントは最高の性能を発揮し、CSL-Daily（グロスフリー）でAUC 0.963、精度 0.883に達した。
• 回帰性能: 信頼性スコアは、連続的なCHAIR率を効果的に予測し、CSL-Daily（グロスフリー）においてスペアマンの順位相関係数 $\rho = -0.680$ を達成した。
• 汎用性: 1つのデータセット/モデルファミリーで訓練された信頼性ウェイトは、他のものに対しても頑健に転移するが、トークン化の粒度やハルシネーションの発生頻度の違いにより、グロスベースからグロスフリーモデルへの転移時には性能がわずかに低下する。
• ストレス・テスト: 視覚的な劣化（ガウスノイズ、フレームドロップ）の下で、信頼性スコアは低下し、視覚情報の品質に対する感度を確認した。
• グロスフリー vs. グロスベース: 分析の結果、グロスフリーモデルは、視覚情報を体系的に過小利用し、言語的事前知識にデフォルトで頼ってしまうため、より頻繁にハルシネーションを起こすことが明らかになった。トークンレベルの分布は、グロスフリーモデルがグロスベースのモデルと比較して、より小さい対数マージンと、より小さな隠れ状態の感度角を持つことを示している。

5. 意義と主張

本論文は、マルチモーダル生成におけるハルシネーション検出は、テキスト固有の信号だけでは十分に説明できないと主張している。視覚入力がソース言語であるSLTにおいて、「推測（言語的事前知識への依存）」と「グラウンディング（視覚的証拠への依存）」を区別することは極めて重要である。

著者らは以下のことを確立した：

1. 信頼性は実用的なツールである: 提案された指標は、参照翻訳を必要とせずに、SLTにおけるハルシネーションを診断するための再利用可能で解釈可能なツールを提供する。
2. 相補性: 視覚的グラウンディング信号は、テキストベースの不確実性指標に対して補完的な情報を提供する。これらを組み合わせることで、最も堅牢な検出フレームワークが得られる。
3. グロスフリー・エラーの根本原因: グロスフリーモデルにおける言語的事前知識への体系的な過剰依存が、高いハルシネーション率の主な要因である。中間的なグスの監督がないことにより、デコーダーが視覚的証拠から逸脱してしまう。
4. 基礎的研究: 本研究は、視覚的グラウンディングの寄与と言語的流暢さを明示的に切り分けることにより、より堅牢なマルチモーダル生成におけるハルシネーション検出の基礎を築くものである。

結論として、堅牢なマルチモーダルモデルは、流暢さ（推測）と事実的正しさ（グラウンディング）のバランスを保つ必要があり、このバランスを明示的に測定することが、信頼性の高いSLTシステムにとって不可欠である。