技術要約: TIGER

問題提起

本論文は、マルチモーダル生成における**忠実性のハルシネーション（faithfulness hallucination）に対処している。これは、流暢な出力の中に、入力には支持されない特定の事実が含まれる現象である（例：2台のトラックの画像に対し、3台あると記述する）。既存の反復的な修復手法は、入力と現在の出力の両方に条件付けられたフィードバックを生成することでこれらのエラーを修正しようと試みるが、著者らは決定的な失敗モードとして「偽の相関（spurious correlations）」**を特定している。フィードバック生成器が入力とハルシネーションを含む出力を結合して条件付けを行うと、ハルシネーションによる主張がモデルの入力解釈にバイアスを与え、フィードバックが支持されない内容を指摘するのではなく、むしろそれを肯定してしまう。さらに、既存の手法は多くの場合、自由形式の自然言語フィードバックを生成するため、事実レベルのリスクスコアが明示されず、限られた計算予算の下で修復の優先順位を付けることが困難である。

手法: TIGER

TIGER（Traceable Inference with Graph-Based Evidence Routing：グラフベースのエビデンスルーティングを用いた追跡可能な推論）は、フィードバックメカニズムを再設計することでハルシネーションを軽減するために設計された、推論時のフレームワークである。これは凍結されたバックボーンモデル上で動作し、以下の3つのコアコンポーネントで構成される：

1. 独立した原子投影（Independent Atomic Projection）:
   入力と出力を結合して処理する代わりに、TIGERはそれらを独立して構造化された事実グラフへと抽出する：

   • 観測グラフ ($G_X$): 入力 ($X$) から、事実をトリプル $(e_1, rel, e_2)$ として列挙するプロンプトを用いて抽出される。このグラフは一度計算されると固定される。
   • 主張グラフ ($G_{Y_t}$): 現在の出力 ($Y_t$) から、同じ原子抽出プロンプトを用いて抽出される。
     この分離により、出力に含まれるハルシネーションによる主張が、入力からの事実の抽出に影響を与えることを防ぐ。

2. 決定論的な事実レベルのリスクランキング（Deterministic Fact-Level Risk Ranking）:
   TIGERは、$G_{Y_t}$ 内の各主張 $f$ について、$G_X$ との関係に基づいたリスクスコア $r(f)$ を算出する：

   • 支持スコア ($s(f)$): ある主張と、最も一致する $G_X$ 内の事実との間の類似性を測定する。抽出漏れに対処するため、このスコアは $G_{Y_t}$ 内の共参照エッジに沿って幾何学的な減衰を伴って伝播される。
   • 矛盾スコア ($c(f)$): 主張と $G_X$ との間の最も強い矛盾を測定する。これはトピックの一貫性と結論の相違によって定義される。
   • リスク計算: $r(f) = (1 - s(f)) + \lambda \cdot c(f)$。
     スコアリングが決定論的であるため、システムは主張をランク付けし、修復のために特定のサブセット（上位 $\lceil \alpha N \rceil$）を選択でき、事実レベルのスケジューリングが可能になる。

3. 局所的な洗練（Localized Refinement）:
   モデルは、選択された高リスクの主張のみを対象とする反復的な修復を行う。洗練ステップ（$Y_{t+1} = \Phi(P_{refine}, X, Y_t, F_t)$）では、バックボーンを凍結したまま、生の入力 $X$ と現在の出力 $Y_t$ を使用して、フラグが立てられたスパンを局所的に修復する。

理論的保証:
本論文は、収束解析（定理 3.1）を提供しており、緩やかな仮定（グラフサイズの限定、事実ごとの修復の進展、副作用の限定）の下で、期待される総リスクが明示的な漸近限界に向かって幾何級数的に減少することを示している。

主な貢献

1. フィードバックの失敗モードの特定: 著者らは、フィードバック生成における結合条件付けが、入力の解釈にバイアスを与え、エラーを増幅させることを実証した。
2. TIGERフレームワーク: 自由形式の結合フィードバックを、独立した原子投影と決定論的なリスクランキングに置き換える新しい推論時フレームワーク。これにより、フィードバックが明示的、ランク付け可能、かつ局所的な修復に適したものとなる。
3. 包括的な評価: TIGERは、以下の4つのクロスモーダル生成パスにわたって評価されている：
   • 画像 $\to$ テキスト (COCO, AMBER)
   • 画像＋テキスト $\to$ テキスト (MMHal-Bench)
   • 音声 $\to$ テキスト (Clotho)
   • ビデオ $\to$ テキスト (VideoHallucer)
     本フレームワークは、Qwen2.5-Omniを主要なバックボーンとして使用し、LLaVA-1.5およびプロプライエタリなモデルでの検証も行っている。

実験結果

• ハルシネーションの削減: TIGERは、すべてのモダリティにおいて、サポートされていない主張（CHAIR、AEHR、HallucRateなどの指標で測定）を一貫して減少させている。例えば、Qwen2.5-Omniを用いたCOCOにおいて、CHAIRsを0.070から0.050へ、CHAIRiを0.069から0.035へと減少させた。
• 品質の維持: 流暢さを犠牲にして正確性を高める他のベースラインとは異なり、TIGERはタスクの品質を維持または向上させている（例：COCOにおけるBERTScoreが0.588から0.643に上昇）。
• アブレーション研究:
  • （独立した抽出を行わない）反復修復単体では、ハルシネーションを増幅させることで性能が悪化した。
  • 原子投影を追加することで性能が回復した。
  • 決定論的なリスクランキングを追加することで最良の結果が得られ、これら3つのコンポーネントすべてが必要であることが確認された。
• メカニズム分析: 実験により、原子投影がフィードバックにおける欠落したオブジェクトへの言及率を（結合フィードバックの5.0%からTIGERの2.0%へ）減少させることが示された。さらに、洗練ステップは、入力グラフの初期抽出時に見落とされた正しい事実を正常に回復した。
• 実世界のケーススタディ: 多ソースの危機報道シナリオ（CrisisFACTS）において、TIGERは適合率（precision）を0.65から0.96へ、F1スコアを0.66から0.74へと向上させ、ノイズの多い多ソースのエビデンスに要約を接地させる能力を実証した。

重要性と主張

本論文は、TIGERが反復的なマルチモーダル修復における「フィードバック・バイアス」問題に対する堅牢な解決策を提供すると主張している。入力の観測と出力の主張抽出を切り離し、決定論的でランク付け可能なリスク指標を導入することで、TIGERはモデルのファインチューニングを必要とせずに、精密で局所的な修復を可能にする。著者らは、このアプローチが異なるバックボーンやモダリティに汎用でき、生成コンテンツの有用性を維持しながらハルシネーションを効果的に削減できると断言している。本研究は、構造化されたグラフベースのエビデンスルーティングが、よりノイズの多い現実世界の環境において、より忠実なマルチモーダル生成を実現するための実行可能な道筋であることを示唆している。

留意された限界:
著者らは、TIGERが局所的な事実トリプルに焦点を当てているため、抽象的、因果的、または主観的なコンテンツに対しては直接的ではない可能性があることを認めている。また、反復的な性質は推論時の計算量を増加させるため、リアルタイム展開のためのより効率的なスケジューリング戦略に関する今後の研究の必要性を示唆している。