💻 computer science

Mitigating Object Hallucinations via Sentence-Level Early Intervention

本論文は、オープンボキャブラリー検出器を用いてドメイン内選好データをブートストラップし、人間の注釈を必要とせずに生成プロセスの初期段階で介入する文レベルの文脈認識選好学習を適用することで、マルチモーダル大規模言語モデルにおける物体の幻覚を軽減するフレームワーク「SENTINEL」を提案する。

原著者： Shangpin Peng, Senqiao Yang, Li Jiang, Zhuotao Tian

公開日 2026-05-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shangpin Peng, Senqiao Yang, Li Jiang, Zhuotao Tian

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に聡明で芸術的な友人がいて、その友人があなたに絵を描写するのが大好きだと想像してください。この友人は全体像を見るのが得意ですが、奇妙な癖があります。話し続けるにつれて、実際には存在しないものを創作し始めてしまうのです。

静かなキッチンの写真を彼らに見せると、最初は「テーブルと椅子が見えます」と言うかもしれません。それは事実です。しかし、描写を続けるにつれて、突然「そして見てください、テーブルの上に花瓶に入った花があります」と付け加えるかもしれません。実際には花は存在しないのにです。すると、さらに乗っかって「そして猫が花瓶の上で眠っています」と言うかもしれません。実際には猫は存在しないのにです。

これが論文でオブジェクト・ハルシネーション（物体の幻覚）と呼ばれるものです。モデルは意図的に嘘をついているわけではありません。ただ、自分の物語に乗りすぎて、視覚的な現実と矛盾する詳細を創作してしまっているのです。

既存の解決策の問題点

著者らは、他の研究者たちがこの問題を解決しようと試みたが、その解決策は「ナッツを割るために金槌を使う」ようなものだと説明しています。

「人間の編集者」アプローチ: いくつかの方法では、物語が書かれた後、高価な人間の編集者や超強力なAIモデルに書き直しを依頼します。これは遅く、コストが高く、しばしば元モデルの「声」を変えてしまいます。
「停止して確認」アプローチ: 他の方法では、文のたびにモデルを一時停止させ、物体が存在するか確認しようとします。これは、ドライバーが地図を確認するために10フィート走るたびに車を止めるようなものです。機能はしますが、プロセスを信じられないほど遅く、不器用にします。

大きな発見：「雪だるま効果」

この論文の著者であるSENTINELは、決定的な観察を行いました。彼らは、ハルシネーションが一度に起こるのではなく、早期に発生し、その後雪だるま式に増大することに気づいたのです。

「電話ゲーム」を想像してください。列の最初の人が間違った事実をささやけば、その後の全員がその間違った事実を繰り返し、その上にさらに嘘を重ねていきます。論文によると、モデルが2文目でハルシネーションを起こすと、3文目、4文目、5文目でもハルシネーションを起こす可能性が格段に高まることがわかりました。誤りが伝播するのです。

解決策：SENTINEL（早期介入者）

著者らはSENTINELと呼ばれる新しいフレームワークを提案します。物語全体が書き上がってから修正するのではなく、SENTINELは最初の嘘が語られた瞬間に介入する、警戒心の強い編集者のように機能します。

SENTINELの仕組みを、簡単な比喩を使って説明します。

練習走行（ブートストラッピング）:
モデルをシーンのリハーサルを行う俳優だと想像してください。SENTINELは、モデルにシーンを実行（画像の描写）させるよう、複数回求めます。
- 走行1: 「テーブルが見えます。」（真実）
- 走行2: 「テーブルと花瓶が見えます。」（花瓶は実際には存在しません！）
- 走行3: 「テーブルと猫が見えます。」（猫は存在しません！）
事実確認（クロスチェック）:
SENTINELは、写真とモデルの台本を見る2つのシンプルで高速な「探偵」（物体検出器）を使用します。
- 台本に「花瓶」と書かれているのに写真に花瓶がない場合、探偵たちはそれをハルシネーションとしてマークします。
- 台本に「テーブル」とあり、写真にテーブルがある場合、それは事実としてマークされます。
- 探偵たちが合意できない場合は、混乱を避けるために無視します。
教訓（選好学習）:
ここで、SENTINELはモデルのために「自分自身の冒険を選べ」スタイルの教訓を作成します。
- 選択肢A（良い道）: 「テーブルは椅子に囲まれています。」（これは写真と一致します）
- 選択肢B（悪い道）: 「テーブルは椅子と花瓶に囲まれています。」（これには嘘が含まれています）
  モデルは訓練を通じて、次のように理解します。「ああ！選択肢Aを選ぶべきだ。選択肢Bは、偽物の花瓶を含んでいるので間違っている。」
「文脈」のひねり:
これが秘密のソースです。モデルは孤立した正しい文を選ぶことだけを学ぶのではありません。それは、その前に何が来たかに基づいて正しい文を選ぶことを学びます。
- 前の文が真実だった場合（「テーブルが見えます」）、モデルは次の文も真実になるように学びます。
- 一度「嘘」（ハルシネーション）が始まると、物語全体が軌道から外れることを学びます。したがって、嘘が現れた瞬間に、それを即座に止めることを学びます。

結果

この論文は、これらの嘘を非常に早い段階（文レベルの早期介入）で捉えることで、SENTINELが「雪だるま」の転がりを止めると主張しています。

ハルシネーションの減少: 元のモデルと比較して、物体のハルシネーションが90%以上削減されました。
より優れた汎用スキル: モデルを「愚かに」したり遅くしたりする他の方法とは異なり、SENTINELは実際にはモデルの質問への回答能力や正確な描写能力を向上させました。
追加コストなし: 高価な人間の編集者やスーパーコンピュータを必要としません。モデルに自分自身で事実確認を行うよう教えるだけです。

まとめ

元のAIモデルを、興奮しすぎて何かを創作してしまう物語語りだと想像してください。

古い方法は、物語が完成した後、厳格な編集者を雇って物語全体を書き直すことを試みました（高価で遅い）。
SENTINELは、物語語りに自分の内なる声を聞くよう教えます。真実ではないことを言いかけると同時に、一時停止し、事実を確認し、代わりに真実を言うことを学びます。これにより、嘘が広がる前にそれを食い止め、正確かつ創造的な物語が生まれます。

技術概要：SENTINEL

問題定義

マルチモーダル大規模言語モデル（MLLM）は、クロスモーダル理解を進展させたものの、オブジェクトの幻覚に悩まされている。これは、モデルが意味的に一貫しているが視覚入力と事実的に矛盾するテキストを生成する現象である。既存の緩和策には重大な限界がある：

デコーディングベースの手法（例：コントラスティブデコーディング）は、しばしば莫大な計算コストと推論遅延の増加を招く。
選好アライメント手法は、書き換えのための専有大規模言語モデル（LLM）やデータ選曲のための人間アノテーターなど、高価な外部リソースに依存することが多い。さらに、これらの手法は、外部モデルによって書き換えられた訓練データと、対象モデルの元の出力分布との間に分布の不一致をもたらすことが多く、汎化能力を損なう可能性がある。

手法：SENTINEL

著者は、外部の書き換えや人間によるアノテーションに依存することなく、幻覚の発生初期段階で介入することで幻覚を緩和するフレームワークSENTINEL（Sentence-level Early iNtervention Through IN-domain prEference Learning：ドメイン内選好学習による文レベルの早期介入）を提案する。この手法は以下の 6 つの主要なステップで動作する：

ドメイン内候補のブートストラッピング：
- 現在の MLLM がサンプリングを通じて複数の候補応答を生成する。
- これらの出力で言及されたオブジェクトを Scene-GraphParser を用いて抽出する。
- クロス検証： 2 つのオープンボキャブラリーオブジェクト検出器（GroundingDINO と YOLO World）を使用して、入力画像におけるこれらのオブジェクトの存在を相互に確認する。
- オブジェクトは、両方の検出器が存在を確認した場合を事実的、両方が不在を確認した場合を幻覚的、それ以外を不確実として分類する。幻覚的オブジェクトを含む文は負のサンプルとしてフラグ付けされ、事実的オブジェクトのみを含む文は正のサンプルとする。不確実なオブジェクトはデータ品質を確保するために無視する。
文脈認識選好データ生成：
- フレームワークは、 $y_w^+$ が幻覚のない文で $y_l$ が幻覚的な文であるような選好ペア $(y_w^+, y_l)$ を構築する。
- 重要なのは、正のサンプル $y_w^+$ が文脈一貫性を持つように選択される点である。つまり、文中で記述されたオブジェクトが、先行する文脈に明示的に参照されているか、論理的に接続されていることを意味する。これは、著者が汎化には効果的でないことが判明した文脈非依存のサンプルとは対照的である。
反復的文脈ブートストラッピング（ICB）：
- 多様なシナリオにおける堅牢性を高めるため、フレームワークは生成文脈を反復的に拡張する。幻覚のない正のサンプルを特定した後、それを次のイテレーションの文脈 $c$ に追加する。これにより、モデルは幻覚のない基盤を維持しつつ、徐々に複雑で多様な文脈から学習できる。
文脈認識選好学習（C-DPO）：
- モデルは、修正された直接選好最適化（DPO）損失、すなわちC-DPOを用いて訓練される。
- 方策モデルへの入力は文脈 $c$ を追加して拡張される： $x' = [v, q, c]$ 。
- 損失関数は、文脈一貫的な正のサンプル $y_w^+$ の生成尤度を最大化し、幻覚的な負のサンプル $y_l$ を最小化する。
- 主要な設計： 文脈 $c$ は損失計算から除外される（マスクされる）。勾配は $y_w^+$ と $y_l$ の間の識別のみから導出され、最適化中に文脈トークンにバイアスされずに、モデルが文レベルで幻覚を区別することを学習する。

主要な貢献

早期介入の洞察： 著者は分析を通じて、幻覚の強度はテキストの長さとともに増大し、幻覚の初回発生時点で介入することが、その後の出力におけるその伝播を著しく防止することを示した。
効率的なドメイン内フレームワーク： SENTINEL は、外部の専有モデルや人間アノテーターへの依存を排除する。モデル自身の出力と軽量なオープンボキャブラリー検出器を使用することで、高品質でスタイル一貫性のある選好データを構築する。
モデル非依存の性能： この手法は、幻覚ベンチマークにおいて最先端の結果を達成しつつ、汎用能力を維持または向上させ、書き換えベースのアプローチよりもドメイン内選好学習が優れていることを実証した。

実験結果

実験は、複数のベンチマークにおける LLaVA-v1.5（7B および 13B）モデルで行われた：

幻覚の緩和：
- Object HalBenchにおいて、SENTINEL は 7B モデルの応答レベルの幻覚発生率をベースラインの 52.7% から**4.3%**に削減し、以前の SOTA（TPO）を大幅に上回った。
- AMBERにおいて、幻覚は元のモデルと比較して（Object HalBench で）約92%、（AMBER で）**65%**削減された。
- この手法は、6 つのすべてのカテゴリ（存在、属性、状態、関係、動作、数）において幻覚を効果的に削減した。
汎用能力：
- 多くの緩和手法が汎用性能を低下させるのとは異なり、SENTINEL はVQAv2、TextVQA、ScienceQA、MM-Vetのスコアを維持または向上させた。
- 例えば、MM-Vet において、7B モデルは 31.0 から32.6へ、13B モデルは 36.0 から36.2へ向上した。
アブレーション研究：
- 書き換え vs. ドメイン内： GPT-4 による書き換えデータでの訓練は性能低下を招き、モデルの内在的分布を維持することの重要性を確認した。
- 文脈一貫性： 文脈非依存のサンプルよりも、文脈一貫的な正のサンプル（ $y_w^+$ ）を使用した場合に良い結果が得られた。
- クロスチェック： 2 つの検出器を用いた検証は、単一検出器のアプローチを大幅に上回った。
- スケーラビリティ： 訓練データの規模が増大するにつれて性能が向上し、高価なアノテーションなしに大規模データセットを効率的に活用できることを示した。

意義と主張

本論文は、SENTINEL が MLLM の信頼性を高めるためのスケーラブルで効率的かつモデル非依存の解決策を提供すると主張している。その主な意義は、高価で分布をシフトさせる外部介入から、ドメイン内、文レベルの早期介入へとパラダイムを転換する点にある。幻覚が発生する正確な瞬間に焦点を当て、モデル自身の分布を活用することで、SENTINEL はモデルの一般的な推論や言語生成能力を損なうことなく、誤りの伝播を効果的に抑制する。

著者は限界として、現在のフレームワークは時空推論能力を欠いており、長期的な推論を必要とする動画ベースの MLLM における幻覚の問題を完全に解決できない可能性があると指摘している。ただし、静的画像理解においては、効率的な幻覚緩和のための新たな基準を確立している。