🤖 AI

Adaptive Residual-Update Steering for Low-Overhead Hallucination Mitigation in Large Vision Language Models

本論文は、プリフィル残差更新から導出された適応的かつ証拠に基づく視覚的アンカーをデコーディングプロセスに注入することで大規模視覚言語モデルにおけるハルシネーションを軽減し、さまざまなアーキテクチャにわたって高いスループットを維持しながらハルシネーション発生率を大幅に低減する、低オーバーヘッドのフレームワークであるRUDDERを提案する。

原著者： Zhengtao Zou, Ya Gao, Jiarui Guan, Bin Li, Pekka Marttinen

公開日 2026-05-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhengtao Zou, Ya Gao, Jiarui Guan, Bin Li, Pekka Marttinen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いロボットアシスタントを想像してみてください。このロボットは画像を見て、それを声に出して説明します。このロボットは優れていますが、少し奇妙な癖があります。自分の「単語の連想」に自信を持ちすぎると、時折、事実を捏造してしまうのです。

例えば、机の上に本がある画像を見せると、ロボットは「机の上に本とコップがあります」と言うかもしれません。画像にコップは存在しないのに、ロボットは「本」と「コップ」が物語の中でよく一緒に登場することを知っているため、コップを幻視（想像）してしまうのです。

これは、ロボットが話し続けるにつれて、実際の画像の記憶が薄れていくために起こります。まるで、ロボットの内部の声が大きくなる一方で、背景で流れていた音楽が静かになっていくようなものです。

この論文は、ロボットを遅くすることなくこの問題を解決する新しい手法「RUDDER」を紹介しています。その仕組みを、簡単な比喩を使って説明します。

1. 問題：薄れゆく錨

ロボットが見ている画像を、現実へと繋ぎ止める錨だと考えてください。

問題点: ロボットが話し始めると、この錨は引きずり離されてしまいます。ロボットは画像を見なくなる代わりに、そこに「あるべきだ」と思うものに基づいて推測し始めるのです。
従来の解決策: 以前の手法は、ロボットを停止させ、画像を再読み込みして、やり直すことでこの問題を解決しようとしました。これは、学生にエッセイを書くのをやめさせ、図書館に戻って本を再読し、それから続けるよう命じるようなものです。機能はしますが、非常に時間がかかり、遅い方法です。

2. 解決策：RUDDER（「視覚的錨」システム）

RUDDERは、ロボットを停止させたり画像を再読み込みしたりすることなく、錨をロボットの手に結びつけたままにする巧妙な方法です。これは 2 つのステップで行われます。

ステップ A: 「スナップショット」（CARD）

ロボットが話し始める前に、画像の最も重要な詳細を素早く、一度だけ「スナップショット」します。

比喩: ロボットが画像のメンタルフォトを撮り、画像に何が正確に含まれているかを要約する、単一の強力な文を書き留めると想像してください。これをCARD（文脈的活性化残差方向）と呼びます。
特別性: これは、画像がロボットの記憶にまだ鮮明に残っている間に情報を捉えます。後で新しい写真を撮る必要はありません。コンパスのようにこの「証拠の方向」を保持するだけで十分なのです。

ステップ B: 「スマートゲート」（ベータゲート）

さて、ロボットが単語ごとに話し始めるにつれて、そのコンパスをいつ使うべきかを知る必要があります。

従来の手法の問題点: ロボットが話すたびにコンパスを見るよう強制すると、文法や接続詞（「the」や「and」など）について話しているときに混乱する可能性があります。
RUDDER の解決策: RUDDER は、信頼できる信号機のような役割を果たすベータゲートを使用します。
- 青信号: ロボットが画像と一致するもの（例：「赤い車」）について話している場合、ゲートは青に変わります。「素晴らしい、順調だ！コンパスに従い続けろ」と言います。
- 赤信号: ロボットが画像と一致しないものについて話している場合、または単に文法語句を使っている場合、ゲートは赤に変わります。「待て！ここで画像の詳細を無理に押し付けるな。ただ自然に文の流れを続けろ」と言います。

3. なぜこれが重要なのか

この論文は、RUDDER を効率化の「魔法のトリック」として主張しています。

追加ステップなし: 画像を再読み込みする（遅い）他の手法とは異なり、RUDDER はすべてを単一のパスで実行します。これは、10 歩歩くたびに地図を見て停止するのではなく、歩きながらコンパスを持っているようなものです。
速度: ロボットを元の速度の 96% に保ち、ほぼ以前と同じ速さを維持します。
精度: 多くの異なる種類のロボット（モデル）において、（偽のコップのような）物体を捏造するのを成功裡に防ぎ、これらの誤りを平均して約 24% 削減します。

まとめ

要約すると、RUDDERはロボットにコンパス（視覚的証拠）と、いつコンパスを見るべきで、いつ単に話し続けるべきかを正確に指示するスマートな信号機（ゲート）を与えます。これにより、ロボットは遅くも不器用になることなく、自分が何を見ているかについて正直であり続けることができます。

技術的サマリー：大規模視覚言語モデルにおける低オーバーヘッドな幻覚軽減のための適応的残差更新ステアリング

1. 問題提起

大規模視覚言語モデル（LVLM）は、通常、視覚入力を言語デコーダのプレフィックスとしてエンコードします。モデルが自己回帰的にテキストを生成するにつれて、この初期の視覚情報は「希薄化」し、モデルは視覚的文脈ではなく、内部の言語事前知識に過度に依存するようになります。この現象は、画像に存在しない物体を自信を持って記述する物体幻覚（例：「surface」という言語的連想に基づいて「cup」を幻覚すること）の主要な駆動力です。

既存の推論時介入（ITI）手法は、対照的デコーディングや反復的洗練を通じてこれを修正しようと試みます。しかし、これらのアプローチは深刻な効率性のボトルネックに直面しています。通常、複数のフォワードパス（追加の FWD）や外部分類器を必要とし、実世界での展開を損なう許容しがたい遅延コストを伴います。効果性（幻覚の削減）と効率性（低遅延の維持）の間には、決定的なトレードオフが存在します。

2. 手法：RUDDER

著者は、追加のフォワードパスなしで永続的な視覚的アンカーを作成することにより視覚的希薄化に対抗するために設計されたフレームワーク、**Residual-Update Directed DEcoding Regulation（RUDDER）**を提案します。この手法は単一の推論パス内で動作し、2 つの中核的コンポーネントから構成されます。

2.1. CARD ベクトル（文脈的活性化残差方向）

核心的な洞察は、視覚信号が必須のプレフィル段階（画像とプロンプトトークンが並列に処理される段階）において、残差ストリーム内で最大限に保持されるという点です。

抽出: プレフィル段階において、RUDDER は対象デコーダ層 $l$ から自己注意の残差更新（ $\Delta^l_i$ ）を抽出します。
集約: これらの更新は、すべての画像およびプロンプトトークンにわたってプーリング（平均または大きさ重み付き平均など）され、L2 正規化されてサンプルごとのベクトル $v_{CARD}$ を形成します。
機能: このベクトルは、視覚的証拠がトークン表現に及ぼす正味効果を捉える、堅牢で画像条件付きの方向を表します。これは、生成軌道を視覚的文脈へと戻すための「視覚的アンカー」として機能します。
コスト: 抽出は標準的なプレフィルパス中に発生し、追加のフォワードパスはゼロです。

2.2. ベータゲート（適応的ステアリング機構）

構文トークンや非視覚トークンの生成を妨げることなく視覚的アンカーを注入するために、RUDDER はベータ分布に基づく適応的ゲーティング機構を採用します。

信頼メカニズム: 誤り検出器として機能するのではなく、このゲートは「信頼」推定機として機能します。現在の隠れ状態（ $h_{l,t}$ ）と $v_{CARD}$ ベクトルとの間のコサイン類似度（ $s_t$ ）を計算します。
定式化: ゲートパラメータ（ $\alpha_t, \beta_t$ $α_{t}, β_{t}$ ）は、 $s_t$ $s_{t}$ の softplus マッピングを用いたベータ - ベルヌーイ共役事後分布から導出されます。ゲート値 $g_t = \frac{\alpha_t}{\alpha_t + \beta_t}$ $g_{t} = \frac{α _{t}}{α _{t} + β _{t}}$ は、介入の強さを決定します。
- 高い整合性（ $s_t \uparrow$ ）: 生成が視覚的証拠と一致していることを示します。ゲートは、接地された軌道を維持するために注入を強化します。
- 低い/負の整合性（ $s_t \downarrow$ ）: 不確実性または非視覚的文脈（例：構文トークン）を示します。ゲートは、過度のステアリングを防ぎ、流暢さを維持するために介入を抑制します。
注入: ステアリングベクトル $v^{steer}_t = (\alpha_{max} \cdot g_t) \cdot v_{CARD}$ は、デコーディング段階中の自己注意操作の直後に、特に回答スパン内で残差ストリームに追加されます。

3. 主要な貢献

CARD ベクトル: プレフィル残差更新から永続的なサンプルごとの視覚的アンカーを抽出する手法であり、追加の計算なしでデコーディング全体を通じてモデルを視覚的文脈に接地させます。
ベータゲート: ベータ分布に基づくトレーニングフリーの適応的ゲーティング機構であり、生成が視覚的証拠と整合するときにのみ修正を適用することで、視覚的接地と流暢さのバランスを取ります。
汎用性: この手法はアーキテクチャ非依存であることが実証され、多様な LVLM（LLaVA-1.5、Idefics2、InstructBLIP）で効果的に機能し、大規模モデル（LLaVA-1.5-13B）や最新のアーキテクチャ（Qwen2.5-VL）にも拡張可能です。
効率性: RUDDER は単一のフォワードパス内で動作し、無視できる遅延（< 4% のオーバーヘッド）を導入し、バニラモデルと比較して 96.0% のスループットを維持します。これにより、マルチパス手法を大幅に凌駕します。

4. 実験結果

著者は、RUDDER を標準的な幻覚ベンチマーク（CHAIR、POPE）および一般能力ベンチマーク（MME）で評価しました。

幻覚軽減（CHAIR）: 自由記述キャプションの CHAIR ベンチマークにおいて、RUDDER-Beta は一貫して幻覚を削減しました。貪欲デコーディングを用いた場合、テストされたモデル全体で、CHAIRs（文レベル）で平均相対削減率24.4%、CHAIRi（物体レベル）で**23.6%**を達成しました。VISTA や VCD などの最先端手法を上回るか同等の性能を示しつつ、それらの遅延コストを回避しました。
物体プロービング（POPE）: 有無を問う物体質問の POPE ベンチマークにおいて、RUDDER は LLaVA-1.5、Idefics2、InstructBLIP 全体で精度と F1 スコアを向上させ、多くの場合、強力なステアリングベースのベースラインを上回りました。
一般能力（MME）: RUDDER は、MME ベンチマークにおける一般的なマルチモーダル能力（推論、数え上げ）を維持するか、わずかに向上させ、幻覚削減が一般モデル性能の犠牲を伴わないことを確認しました。
効率性: RUDDER-Beta は、バニラモデルに対して96.0% のスループットを維持しました。対照的に、追加のフォワードパスを必要とする手法（例：VISTA）は、スループットが約 58.1% まで低下しました。
スケーラビリティ: この手法は LLaVA-1.5-13B へ効果的に拡張され、Qwen2.5-VL-7B にも汎用化され、最低のインスタンスレベル幻覚率（CHAIRi: 7.0）を達成しながら POPE パフォーマンスを向上させました。

5. 意義と主張

本論文は、RUDDER が幻覚軽減における一般的な効果性 - 効率性のトレードオフを解決すると主張しています。軽量な「視覚的アンカー」と適応的信頼メカニズムを通じて視覚情報の希薄化を構造的に防止することにより、RUDDER は実世界の環境における LVLM の信頼性を高めるための実用的で低オーバーヘッドな解決策を提供します。

著者は、彼らのアプローチがトレーニングフリーであり、小さなホールドアウト検証セット上でハイパーパラメータの一度きりの較正のみを必要とすることを強調しています。彼らは RUDDER を「グリーン AI」への一歩として位置づけ、反復的洗練や複数のフォワードパスの必要性を排除することで、高品質なモデル推論のエネルギーフットプリントを削減しています。

限界: 著者は、RUDDER がハイパーパラメータ（特に介入層、ステアリング強度、ゲート感度）に対して敏感であり、各特定のモデルアーキテクチャに対して調整する必要があることを認めています。今後の研究は、堅牢性と展開の容易さを向上させるための自動ハイパーパラメータ最適化に焦点を当てるべきであると示唆されています。