💻 computer science

Aligning with Your Own Voice: Self-Corrected Preference Learning for Hallucination Mitigation in LVLMs

本論文は、プロプライエタリモデルへの依存に起因する分布の不一致を克服するために、合意に基づく検証メカニズムを通じて在分布の好対を生成し、大規模視覚言語モデルにおける幻覚を軽減する自己修正型好適学習フレームワークであるAVES-DPOを提案する。

原著者： Byeonggeuk Lim, JungMin Yun, Junehyoung Kwon, Kyeonghyun Kim, YoungBin Kim

公開日 2026-04-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Byeonggeuk Lim, JungMin Yun, Junehyoung Kwon, Kyeonghyun Kim, YoungBin Kim

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが非常に賢く、芸術的なロボットを想像してみてください。そのロボットは写真の説明をすることが大好きです。あなたがキッチンの写真を見せると、ロボットは「茶色のキャビネット、木製の床、そして犬の隣に立っている人が見えます」と言います。しかし、待ってください。写真には犬などいません！ロボットはただ作り出したのです。これをハルシネーション（幻覚）と呼びます。まるでロボットが写真を見ながら昼間から空想にふけっているようなものです。

長年、科学者たちはこの問題を解決しようと試みました。彼らは「スーパー専門家」（GPT-4V のような巨大で高価な AI モデル）を雇い、ロボットの間違いを見て、「いいえ、その犬はいません。修正してください」と伝えるようにしました。そして、これらの修正を使ってロボットに教えを授けたのです。

旧来の方法の問題点
この論文の著者たちは、この計画に欠陥があることに気づきました。想像してみてください。全く異なる芸術家の傑作をコピーさせることで、学生に絵を描くことを教える場面を。学生はマスターのスタイルを学ぶかもしれませんが、それは彼ら自身の自然な絵の描き方とは一致しません。

同様に、「スーパー専門家」がロボットを修正すると、その修正は専門家らしく聞こえ、ロボットらしく聞こえません。これによりミスマッチが生じます。ロボットは混乱します。なぜなら、「正解」が自分自身の脳には馴染みのないものとして聞こえるからです。その結果、学習プロセスは非効率的になり、膨大な量のデータを必要とします。

新しい解決策：「AVES-DPO」（自己修正する芸術家）
著者たちは、AVES-DPOと呼ばれる新しい方法を提案します。外部の専門家を雇う代わりに、ロボットに自分の仕事をチェックし、修正することを教えるのです。

彼らの「自己修正」プロセスがどのように機能するか、簡単なステップに分解して示します。

最初の草案（間違い）： ロボットが写真を見て説明を書きます。それは偶然、犬を創作したり、キャビネットの色を間違えたりするかもしれません。
探偵仕事（検証）： ロボットが修正を試みる前に、彼らは「探偵」チーム（専門的なオープンソース AI ツール）を使って説明をスキャンします。
- ロボットは犬がいると言いましたか？ 探偵は写真を確認します。「いいえ、犬はいません。」
- キャビネットが青だと言いましたか？ 探偵は確認します。「いいえ、茶色です。」
- 人がカップを持っていると言いましたか？ 探偵は確認します。「カップはありません。」
- もし探偵たちが同意すれば、間違いは確認されます。もし不確かな場合は、確実を期すために第二の意見を求めます。
自己修正（修正）： ここで、ロボットは確認された間違いのリストを見ます。そして物語を書き直します。
- 架空の犬を削除します。
- 「青いキャビネット」を「茶色のキャビネット」に変更します。
- 重要なのは、単に悪い部分を削除するだけでなく、見落としていたより多くの実際の詳細も追加することです。例えば「床が光っている」や「窓がある」などです。
レッスン（選好学習）： これでロボットは物語の 2 つのバージョンを持っています。
- バージョン A： 元の、間違いだらけの物語（「悪い」答え）。
- バージョン B： 新しい、自己修正され、詳細な物語（「良い」答え）。
- ロボットはバージョン Bを好むように訓練されます。バージョン B はロボット自身が書いたものなので、「良い」答えは自分自身と全く同じように聞こえるのです。それはロボット自身の脳に完璧にフィットします。

これが大きな進歩である理由
この論文は、この方法が以下の 3 つの理由でゲームチェンジャーであると主張しています。

効率的であること： ロボットは自分自身の「声」から学ぶため、はるかに速く学習します。ロボットを教えるために必要だったのはわずか5,200 例でした。他の方法は同様の結果を得るために 25 倍ものデータ（12 万例以上）を必要としました。これは、外国のアクセントを真似しようとするのではなく、鏡に向かって自分自身と会話しながら言語を学ぶようなものです。
より多くの間違いを捉えること： 旧来の方法は、物体全体（犬など）を創作するような「大きな」間違いを主に捉えていました。この新しい方法は、「小さな」間違いも捉えます。例えば、関係性を間違えること（犬が左側にあると言っているのに、実際は右側にあるなど）や、色を間違えることです。
安価であること： 修正を行うために高価な「スーパー専門家」AI モデルにお金を払う必要はありません。ロボットが重労働を行います。

結果
彼らがこの新しい方法をテストしたところ、ロボットは写真の描写を非常に正確に行うようになりました。物体を創作することをやめ、詳細を正しく捉えるようになり、すべてがごく少量のトレーニングデータで行われました。

限界に関する注記
著者たちは、彼らの方法がまだ何を行わないかについて正直に述べています。

これは 1 つの物体を一度に見る場合に最もよく機能します。もし写真に複雑な方法で相互作用する 50 人の人々が混沌と集まっている場合、システムは少し混乱するかもしれません。
最大で最も強力なロボット（130 億パラメータモデル）の場合、ハルシネーションの修正は、彼らをわずかに「慎重」にしました。彼らは物事を創作しないことに非常に優れるようになったため、以前は知っていた一般的な知識を忘れ去ることがありました。100% 事実であることと、100% おしゃべりであることの間のトレードオフです。

要するに、AVES-DPOとは、ロボットに自分自身最高の編集者になることを教え、そのロボットが学ぶ「真実」が、自然にその自身の心の中にフィットする種類の真実であることを保証するものです。

以下は、論文「Aligning with Your Own Voice: Self-Corrected Preference Learning for Hallucination Mitigation in LVLMs」の詳細な技術的サマリーです。

1. 問題定義

大規模視覚言語モデル（LVLM）は頻繁にハルシネーションに悩まされ、入力画像と整合性の取れないコンテンツ（存在しない物体、誤った属性、または誤った関係性など）を生成します。**直接選好最適化（DPO）**は、人間の選好にモデルを整合させることでこれを緩和する主流の解決策として登場しましたが、既存のアプローチには 2 つの重要な限界があります：

分布の不一致：ほとんどの手法は、「選好された」（事実に基づいた）応答を生成するために、GPT-4V などのプロプライエタリなモデルに依存しています。これは、外部の教師モデルの修正パターンが対象 LVLM の内在的分布と異なるため分布シフトを引き起こし、効率的な整合を妨げます。
物体の存在へのバイアス：既存のデータセットと訓練目的は、主に物体の存在（二値的な有無）に焦点を当てており、属性（色、素材など）や関係性（空間的な位置など）に関わる微細なハルシネーションを軽視しています。

2. 手法：AVES-DPO

著者は、対象モデルの内在的知識を活用して分布内選好データを生成し、外部プロプライエタリモデルへの依存を排除するフレームワークであるAVES-DPO（Alignment via VErified Self-correction DPO）を提案します。このフレームワークは 2 つの明確な段階で構成されます：

A. ハルシネーション検証

この段階では、コンセンサスベースの検証メカニズムを用いてモデルの初期応答（ $y_{init}$ ）の誤りを診断します：

シーングラフ抽出：応答を、物体（ $O$ ）、属性（ $A$ ）、関係性（ $R$ ）を含む構造化されたシーングラフに解析します。
コンセンサス検証：2 つの独立した検証モデル（ $V_1, V_2$ $V_{1}, V_{2}$ ）が各要素の事実性を確認します。
- 物体検証：堅牢なオープンソース検出器（YOLO、Grounding DINO）を使用します。曖昧なケースは、Qwen3-VL モデルによる二次検証で解決されます。
- 属性・関係性検証：検証済みの物体のみが、Qwen3-VL モデルを用いて属性と関係性について確認されます。
- コンセンサス規則：ラベルは両方のモデルが合意した場合にのみ確定され、それ以外は「曖昧」としてマークされます。
修正候補：要素がハルシネーションである場合、システムは GQA と MS-COCO から派生した事前構築された語彙から、意味的サブタイプに基づいて正しい置換候補を取得します。

B. 自己修正

検証診断に基づき、LVLM は 2 つのフェーズで自身の出力を洗練させます：

事実的修正：モデルはハルシネーション要素を除去するか、検証済みの正しいコンテンツに置き換え、簡潔で事実に基づいた応答を生成します。
詳細な充実：応答が過度に希薄になるのを防ぐため、モデルは画像に基づいて欠落している視覚的詳細を追加します。
- 反復的フィルタリング：品質を確保するための循環パイプラインです。充実されたテキストを検証モジュールにフィードバックします。ハルシネーションが検出された場合、再生成されます。このループは 7B モデルでは最大 3 回、13B モデルでは最大 5 回実行されます。
- 負の制約：モデルには、以前にハルシネーションとして特定された物体に言及しないよう明示的に指示されます。

C. 選好学習

このプロセスにより、以下のペアからなる選好データセット $\mathcal{D}_{SC}$ が生成されます：

$y^-$ ：初期のハルシネーション応答。
$y^+$ ：最終的な自己修正済みかつ充実された応答。
訓練目的：モデルは標準的な DPO 損失関数を用いて最適化され、 $y^-$ に対する $y^+$ の尤度を最大化します。これにより、モデルは検証済みで事実に基づいた自身の出力を好むように効果的に学習します。

3. 主な貢献

分布内整合：AVES-DPO は、外部の「教師」モデルを使用する際に内在する分布不一致の問題を解決する、対象モデルの内在的知識から厳密に選好ペアを生成する最初のフレームワークです。
包括的なハルシネーション緩和：物体の存在に主に焦点を当てた先行研究とは異なり、AVES-DPO は、その微細な検証パイプラインを通じて、属性や関係性を含むハルシネーションの広範なスペクトルに対処します。
高いデータ効率：この手法は（7B モデルの場合）わずか5.2k サンプルのみを使用して最先端のパフォーマンスを達成し、高価なプロプライエタリ API 呼び出しを必要とせず、LLaVA-RLHF などの手法に比べて約25 倍少ないデータで済みます。
堅牢な検証パイプライン：検出器と VLM を組み合わせた 2 フェーズのコンセンサスベース検証戦略の導入により、高品質でノイズの少ない選好データが保証されます。

4. 実験結果

著者は、複数のベンチマークにおいて**LLaVA-1.5（7B および 13B）**に対して AVES-DPO を評価しました：

ハルシネーションベンチマーク（Object-Hal, AMBER, MMHal-Bench）：
- AVES-DPO は、7B モデルの評価指標の60% 以上で最先端（SOTA）のパフォーマンスを達成しました。
- POVID、oDPO、SENTINEL などのベースラインと比較して、CHAIR スコア（ハルシネーション率）を大幅に削減しました。
- 微細な改善：この手法は、他の手法がしばしば苦労する関係性および属性カテゴリで大幅な改善を示しました。例えば、AMBER ベンチマークにおいて、7B モデルの「Relation」カテゴリで 66.6 のスコアを達成し、この分野でパフォーマンスを低下させることが多いベースラインを上回りました。
汎用マルチモーダル能力（MME ベンチマーク）：
- 7B モデルは、一般的な知覚および認識タスクで大幅な改善を示し、ハルシネーション緩和が汎用能力を低下させていないことを確認しました。
- 注記：13B モデルは汎用ベンチマークでわずかなトレードオフを示し、事実の基盤と広範な知識検索のバランスを取るためのスケールを考慮した戦略の必要性を示唆しています。
アブレーション研究：
- 分布の不一致：選好マージンを可視化した結果、自己修正はモデルの内部分布に整合していること（マージンがゼロ付近または正）が示されましたが、外部 GPT-4V による監督は負のシフト（分布の不一致）を引き起こしました。
- データ効率：600 サンプルという少量でもパフォーマンスの向上は顕著でしたが、5.2k サンプルを超えると限界効用逓減が観察されました。

5. 意義

本論文は、LVLM におけるハルシネーション緩和のパラダイムシフトを提示します。自己修正が選好学習において外部監督よりも優れていることを実証することで、AVES-DPO はコスト効果が高く、スケーラブルで、データ効率的な解決策を提供します。これは、GPT-4V などの高価なプロプライエタリ API への依存を排除しながら、同時に物体、属性、関係性など、より広範なハルシネーションタイプに対処します。このフレームワークは、LVLM がより事実に基づき信頼性の高い出力を生成するために、自身の内部知識基盤に整合することを効果的に学習できることを証明しています。