💬 NLP

Do We Really Need External Tools to Mitigate Hallucinations? SIRA: Shared-Prefix Internal Reconstruction of Attribution

SIRA は、後続の層におけるマスクド・アテンションを用いて同一トランスフォーマー内で言語事前分布優勢の対照的仮定参照を生成することにより、大規模視覚言語モデルにおける幻覚を軽減するトレーニング不要の内部対照的デコーディング枠組みであり、記述的カバレッジを維持しつつ外部ツールや追加のフォワードパスへの依存を低減する。

原著者： Tian Qin, Junzhe Chen, Yuqing Shi, Tianshu Zhang, Qiang Ju, Lijie Wen

公開日 2026-05-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tian Qin, Junzhe Chen, Yuqing Shi, Tianshu Zhang, Qiang Ju, Lijie Wen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが今さっき見せた画像を説明しようとしている、非常に賢く読書家なアシスタント（大規模視覚言語モデル）を想像してみてください。ときどき、このアシスタントは実際にそこにあるものではなく、自分が「見ている」と思っていることに対して、少し過剰な自信を持ってしまうことがあります。画像が実際には単に自転車の可能性のあるぼやけた形なのに、「赤い自転車が見えます」と言ったり、自転車についての物語をあまりにも多く読んでいるため、脳が空白を埋めてしまい、詳細を捏造したりすることがあります。これをハルシネーション（幻覚）と呼びます。

この論文は、アシスタントを再訓練したり、作業を二重チェックするために第二の人を雇ったりすることなく、このハルシネーションを食い止めるための巧妙な新手法SIRAを紹介しています。

従来の手法の問題点

以前、アシスタントが嘘をつくのを防ぐために、研究者たちは以下のような手法を試みました：

アシスタントに元の画像を見せる。
次に、同じ画像のぼやけたり歪んだりしたバージョンを見せる。
二つの回答を比較する。画像がぼやけたときにアシスタントが話を変えるなら、おそらく推測していたのかもしれない。

欠点：これは、誰かに絵画の説明を求めた後、同じ絵画を説明する際に「霧のかかった眼鏡」をかけている状態で説明を求めたようなものです。「霧のかかった眼鏡」バージョンは公平な比較ではありません。なぜなら、眼鏡自体が画像を歪めてしまうからです。これは不条理で、画像を二度見る必要があるため時間がかかり、歪みが新たな誤りを生む可能性があります。

SIRA の解決策：「共有プレフィックス」

SIRA は異なるアプローチを取ります。画像をいじるのではなく、アシスタントがまだ思考している最中に、その内部思考プロセスを操作します。

アシスタントの脳を、画像と質問を処理する多くのステーション（層）を持つ工場の組立ラインだと考えてみてください。

共有の始まり：アシスタントはまず画像と質問を一緒に見て、工場の初期ステーションでシーンの確かな理解を構築します。これが「共有プレフィックス」です。SIRA は、両バージョンのアシスタントがこの初期理解で一致することを保証します。
分岐点：初期理解が形成された後、SIRA はプロセスを同じ脳内で並行して走る二つのトラックに分割します：
- トラック A（完全な視界）：アシスタントは文を完成させる際、画像の詳細を見続けながら進みます。
- トラック B（「盲目」の視界）：アシスタントは全く同じ出発点から進みますが、後続のステーションでは、特定の画像詳細に対して目隠しをされます。彼らは、すでに書き始めた文と一般的な知識にのみ頼ることができます。

嘘を修正する方法

ここで SIRA は、文を書き進める各ステップで二つのトラックを比較します：

アシスタントが「犬が見えます」と言い、トラック A（犬を見ている）とトラック B（目隠し）の両方が高い確信度で「犬」と言う場合、SIRA はこれがおそらく一般的な言語に基づく推測（犬が物語によく登場するからなど）であると判断します。目隠しバージョンが画像を必要とせずにそれを言ったため、「犬」のスコアを低下させます。
アシスタントが「紫色の象が見えます」と言い、トラック A は（それを見ているため）「紫色の象」と言う一方、トラック B は（見られないため）「ありえない、それは物語にない」と言う場合、SIRA はこの主張が画像だけが理由であると認識します。その結果、「紫色の象」のスコアを引き上げます。

なぜ優れているのか

追加ステップなし：画像を二度見る必要はありません。内部思考プロセスを分割するだけで、すべてを一度に行います。
不条理な歪みなし：画像をぼかす必要はありません。思考プロセスのバージョンの一つに対して視覚入力を一時的に「オフ」にするだけで、残りのコンテキストは完全に整ったまま保たれます。
訓練不要：既存のモデルですぐに機能します。モデルに新しいことを教える必要はありません。

結果

テストにおいて、SIRA は写真に存在しない物体（写真にない「バナナ」など）を捏造することをアシスタントに成功させ止めつつ、実際のものを正確に説明させることができました。これは、モデル自身の脳内で即座に発生する組み込みの「現実確認」のようなもので、彼らが言うことが単に期待されるものではなく、実際に見ているものによって支えられていることを保証します。

技術的概要：SIRA – 帰属の共有プレフィックス内部再構成

問題定義

大規模視覚言語モデル（LVLM）は頻繁に幻覚に悩まされます。これは、モデルが視覚入力によって支持されていないが、言語的に妥当な物体、属性、または関係の説明を生成する現象です。この問題は、視覚的証拠が弱いか曖昧な場合に特に顕著であり、高確率の言語事前分布がトークン予測を支配することを許容してしまいます。

既存の軽減戦略、特に対照的デコーディングは、元の画像に対するモデルの予測を、劣化または摂動された入力（例えば、ぼやけた画像やマスクされた画像）から導出された参照予測と比較することで、この問題に対処しようとします。しかし、著者らはこれらの外部アプローチには 2 つの決定的な限界があると指摘しています：

計算オーバーヘッド：これらは通常、モデルを通じた 2 回目の完全なフォワードパスを必要とします。
多様体外アーティファクト：入力画像を摂動させることは、真の視覚分布を代表しないアーティファクトを導入する可能性があります。その結果、生じるログオッドの不一致は、視覚的証拠対言語事前分布の明確な帰属ではなく、摂動自体に起因するミスマッチを反映する可能性があります。

本論文は、効果的な反事実的参照は入力空間で外部に構築される必要はないと主張します。代わりに、著者らは鍵となる要件は、整合性の取れた参照であり、微細な視覚的証拠へのアクセスが後続の処理段階で制限された場合、同じマルチモーダル状態がどのように進化するかを明らかにするものであると論じます。

手法：SIRA

著者らは、SIRA（帰属の共有プレフィックス内部再構成）を提案します。これは、トレーニング不要な内部対照的デコーディングフレームワークです。SIRA は、入力画像を変更するのではなく、トランスフォーマー層内の情報フローを操作することで、同じ LVLM 推論軌跡の内部に反事実的参照を構築します。

中核メカニズム

SIRA は、共通の「プレフィックス」を維持し、特定の分割境界（ $b$ ）の後にのみ分岐する 2 つの同期デコーディングブランチを運用します：

共有プレフィックス（$0 $から$ b-1$）：フルブランチ（標準推論）と反事実ブランチの両方が、同じプロンプト、モデルパラメータ、デコーディング履歴、位置構造、および初期層の計算を共有します。これにより、両方のブランチは分割前に同一で安定したマルチモーダル解釈と初期の視覚的グラウンディングを継承することが保証されます。
後期分岐（ $b$ から $L-1$ ）：境界層 $b$ $b$ の後、ブランチは分岐します：
- フルブランチは、画像トークンへのアテンションを許可する標準的なマルチモーダル推論を継続します。
- 反事実ブランチは、画像トークン位置へのアクセスを遮断する特定のattentionマスク（ $M_{cf}$ ）を適用します。このブランチでは、画像トークンはクエリによって読み取られることも、テキストストリームに供給するクエリを生成することもできません。
内部対照：各デコーディングステップにおいて、SIRA は両方のブランチのログオッド（ $z_{full}$ $z_{f u l l}$ および $z_{cf}$ $z_{c f}$ ）を計算します。最終的なデコーディングログオッド（ $z_{cd}$ $z_{c d}$ ）は以下のように計算されます：
$z_{cd}(v) = (1 + \alpha)z_{full}(v) - \alpha z_{cf}(v)$
ここで、 $\alpha$ $α$ は対照の強さを制御します。
- 視覚的アクセスを欠く反事実ブランチで依然として強力なトークンは、それらが言語事前分布によって駆動されている可能性が高いため、ペナルティを受けます。
- フルブランチで特に優位性を獲得するトークンは、その確率が継続的な視覚的証拠に依存するため、優先されます。

効率性

2 つの完全なフォワードパスを必要とする手法（VCD など）とは異なり、SIRA は最初の $b$ 層の計算を共有します。反事実ブランチに対しては、最終的な $K$ 層のコストのみが発生します。これにより、理想的なトークンあたりのコスト比は $1 + K/L$ （中間層の分割の場合、約 $1.5\times$ ）となり、外部対照的手法の $2\times$ のコストよりも大幅に低くなります。

主要な貢献

情報フローの視点：本論文は、効果的な参照が外部の入力摂動に依存するのではなく、後続の画像トークンアクセスを制限しつつ初期のマルチモーダルグラウンディングを維持する必要があると論じることで、幻覚軽減を再評価します。
SIRA フレームワーク：共有プレフィックスによる後期分岐と境界後の画像トークンマスクを通じて反事実的参照を構築する、トレーニング不要な内部対照的デコーディング手法の提案。
実証的検証：SIRA が幻覚を軽減しつつ記述カバレッジを維持し、2 パス手法よりも低いオーバーヘッドを伴うことを示す包括的な実験。

実験結果

著者らは、Qwen2.5-VLおよびLLaVA-v1.5において、3 つのベンチマーク（POPE（物体レベルの幻覚）、CHAIR（キャプション化の幻覚）、AMBER（多次元キャプション化））で SIRA を評価しました。

POPE：SIRA は、すべての 36 指標（バックボーン、データセット、ネガティブサンプリング戦略の組み合わせ）で最良の結果を達成しました。ベースデコーダーに対して、Qwen2.5-VL で平均 +5.4 ポイント、LLaVA-v1.5 で +4.9 ポイントの精度向上を達成し、DoLa、OPERA、VCD などの強力なベースラインを上回りました。特に、言語事前分布が強い「敵対的」分割においても、改善は一貫していました。
CHAIR：SIRA は、文レベル（CHAIRs）およびインスタンスレベル（CHAIRi）の幻覚率の両方を削減しました。例えば、LLaVA-v1.5 において、長さ 64 での CHAIRs は 31.5 から 23.1 に低下し、単純な省略ではなく、不要な物体言及の減少を示しています。
AMBER：SIRA は幻覚指標（Hal, Cog）を削減しつつ、記述カバレッジ（Cover）を維持または増加させました。これは、キャプションを短縮または過剰な留保（over-hedging）することで幻覚を削減する OPERA や VCD などのベースラインとは対照的です。SIRA は特に、言語事前分布と密接に結合している「認知的」幻覚（Cog）を削減しました。
効率性：SIRA は、標準的なデコーディングと比較して約1.4–1.5 $\times$ のレイテンシオーバーヘッドしか発生させず、VCD（ $\sim2.1\times$ ）や OPERA（ $\sim5.9\times$ ）よりも大幅に低いです。

意義と限界

意義：
本論文は、SIRA が外部に構築された参照よりも、より直接的でクリーンなトークンレベルの帰属代理を提供すると主張しています。反事実ブランチを同じモデル多様体上に保ち、初期のセマンティック状態を共有することで、SIRA は摂動アーティファクトを導入することなく視覚的証拠の貢献を分離します。モデルの再トレーニング、外部検証器、または摂動入力を必要とせずに最先端の幻覚削減を達成するため、ホワイトボックスアクセスを有するオープンウェイト LVLM に適用可能です。

限界：
著者らは、2 つの主要な限界を認めています：

オーバーヘッド：2 パス手法よりも低いものの、反事実ブランチの再評価に伴う非ゼロのステップごとのデコーディングコストを依然として有しています。
アクセス要件：内部対照の構築には、隠れ状態、アテンションマスク、キャッシュ状態へのホワイトボックスアクセスが必要であり、その適用はブラックボックス API ではなく、オープンウェイトまたは制御可能な LVLM に制限されます。