🤖 AI

Reasoning Matters: Mitigate Hallucination in Multimodal Large Reasoning Models via Reasoning-Conditioned Preference Optimization

本論文は、論理的に整合性があり視覚的に裏付けられた推論連鎖と回答生成を明示的に対応させることで、単一の出力として扱うのではなく、マルチモーダル大規模推論モデルにおけるハルシネーションを軽減する新たなトレーニングフレームワークである推論条件付き直接選好最適化（RC-DPO）を提案する。

原著者： Jiawei Kong, Hao Fang, Shunxiang Liao, Jinyu Li, Bin Chen, Hao Wu, Shu-Tao Xia, Min Zhang

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiawei Kong, Hao Fang, Shunxiang Liao, Jinyu Li, Bin Chen, Hao Wu, Shu-Tao Xia, Min Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「Reasoning Matters: Mitigate Hallucination in Multimodal Large Reasoning Models via Reasoning-Conditioned Preference Optimization」について、平易な言葉と創造的な比喩を用いて解説したものです。

問題：「自信に満ちた嘘つき」

あるテストで写真について問われている、非常に賢い生徒（AI）を想像してください。この生徒は難しい問題を解くのが得意ですが、悪い癖があります。それは頻繁に幻覚（ハルシネーション）を見ることです。

過去には、生徒が最終的な答えを間違えた場合、先生は単に「いいえ、その答えは不正解です」と伝えていました。しかし、この論文は「推論モデル」（答えを出す前に思考を声に出す AI）には新たな問題があることを発見しました。

これらのモデルは、単に最終的な答えを間違えるだけでなく、思考している最中に嘘をつくことが多いのです。

シナリオ：生徒は砂漠にあるトラックの写真を見ています。
嘘：彼らの「思考」ステップ（Chain-of-Thought）の中で、彼らは物語を捏造します。「前景に青いダイニングテーブルが見えます」と。実際にはテーブルなど存在しません。
結果：自分自身にテーブルがあると思い込ませたため、自信を持って「はい、ダイニングテーブルがあります」と答えます。

この論文は、現在のトレーニング手法は最終的な答えだけを採点する先生のようなものだと主張しています。彼らは「はい」や「いいえ」を見てそれを修正しようとしますが、生徒の思考プロセス自体が嘘で満ちているという事実を無視しています。その結果、生徒は実際に写真を正しく見ることを学ばず、運良く正解を当てたり、近道だけを暗記したりして答えを推測するようになります。

解決策：RC-DPO（「思考コーチ」）

著者たちは、RC-DPO（Reasoning-Conditioned Direct Preference Optimization）と呼ばれる新しいトレーニング手法を提案しています。

これは、コーチがアスリートを鍛える新しい方法だと考えてください。「レースのタイムが遅すぎたから、もう一度走れ」と言うのではなく、コーチは以下のように分解して指導します。

条件：コーチは言います。「もし良いフォーム（誠実な思考プロセス）で走れば、金メダルを授与する。もし悪いフォーム（嘘の思考プロセス）で走れば、たとえゴールに最初に到達したとしてもペナルティを与える」と。
目標：AI は、「良い答え」は「良い思考プロセス」によって支えられている場合にのみ有効であると学びます。これにより、AI は思考を視覚的な証拠と一致させることを強制されます。

トレーニングデータの構築方法（「探索と剪定」戦略）

AI にこの新しい教訓を教えるために、研究者たちは「良い思考」と「悪い思考」の例を必要としました。彼らは人間にこれらを書いてもらうのではなく、自動的に生成するシステムを構築しました。

「良い思考」の発見（MCTS）：
謎を解こうとする探偵を想像してください。探偵は一つの道筋を推測するのではなく、多くの異なる道筋（モンテカルロ木探索という手法を使用）を試します。そして各道筋をチェックします。「このステップは写真と一致しているか？論理は妥当か？」
- 最も論理的で視覚的に正確な道筋を選びます。これがポジティブサンプル（「良い思考」の例）となります。
「悪い思考」の作成（Attention Pruning）：
AI に何をしてはいけないかを教えるために、通常の答えを意図的に壊しました。彼らは「思考」部分の中で、画像と最も強く結びついている単語（「赤い」、「トラック」、「塵」など）を探しました。
- それらの重要な視覚的単語を剪定（カットアウト）しました。
- これにより、思考しているように聞こえるが、実際には写真を無視している「悪い思考」のサンプルが作成されました。これがネガティブサンプルとなります。

結果：より誠実な思考者

最終的な答えが同じであっても、「悪い思考」の道筋よりも「良い思考」の道筋を好むように AI をトレーニングした結果、モデルは思考プロセス中に嘘をつくことをやめることを学びました。

以前：AI はテーブルを幻覚として見て、それについて考え、「はい」と答えていました。
以後：AI は写真を見て、テーブルがないことを確認し、「トラックと小屋が見えますが、テーブルはありません」と考え、「いいえ」と答えます。

まとめ

この論文は、AI が嘘をついて何かを作り出す（幻覚を見る）ことを防ぐためには、最終的な答えだけを修正するだけでは不十分だと主張しています。思考プロセスそのものを修正する必要があります。彼らの新しい手法である RC-DPO は、「推論が嘘であれば、正解を得ることはできない」と言う、厳格なコーチのような役割を果たします。モデルを、良い答えを良い証拠に基づく推論と厳密に結びつけるようにトレーニングすることで、彼らはこれらの複雑なビジョン・ランゲージモデルにおける幻覚の数を大幅に削減しました。

技術的サマリー：Reasoning Matters: 推論条件付き選好最適化によるマルチモーダル大規模推論モデルにおける幻覚の軽減

問題定義

マルチモーダル大規模推論モデル（MLRMs）は、最終的な回答を生成する前に中間推論ステップ（Chain-of-Thought、CoT）を明示的に生成することで、複雑な視覚言語タスクにおいて高い能力を発揮しています。しかし、これらのモデルは依然として幻覚に陥りやすく、視覚入力と矛盾するがもっともらしく見えるコンテンツを生成する傾向があります。従来のマルチモーダル大規模言語モデル（MLLMs）では幻覚が通常最終出力で発生するのに対し、MLRM の幻覚は中間 CoT 内で発生し、その後最終回答に伝播する可能性があります。

既存のトレーニングベースの軽減手法、例えば直接選好最適化（DPO）は、通常 CoT と最終回答を単一の出力として扱います。本論文は、この応答レベルでの最適化が回答のみの最適化と類似した振る舞いをし、主に回答レベルの選好を学習する一方で CoT レベルの監督を十分に活用できていないと指摘しています。その結果、推論チェーンに残存する幻覚がしばしば残存し、完全な応答の全体的な誤り率を支配することになります。

手法：RC-DPO

粗粒度の監督の不足に対処するため、著者らは**推論条件付き直接選好最適化（Reasoning-Conditioned Direct Preference Optimization: RC-DPO）**を提案します。このフレームワークは、CoT を回答生成の条件として扱うことで、推論チェーンと最終回答の関係を明示的にモデル化します。

1. 核心となる目的

RC-DPO は、応答 $(c, a)$ 全体を共同で最適化するのではなく、異なる CoT 条件の下での同一の好ましい回答 ( $a_w$ ) の生成確率を対比させます：

好ましい条件 ( $c_w$ )：視覚的に根拠があり論理的に妥当な推論チェーン。
却下された条件 ( $c_l$ )：幻覚を含んでいるか破損した推論チェーン。

目的関数は、回答生成に対する推論チェーンの影響を分離します。高品質な CoT を与えた場合の好ましい回答の条件付き確率と、破損した CoT を与えた場合のそれを比較し、そのマージンを最大化します：
$L_{RC} = -\log \sigma \left( \beta \left[ \log \frac{\pi_\theta(a_w|x, c_w)}{\pi_{ref}(a_w|x, c_w)} - \log \frac{\pi_\theta(a_w|x, c_l)}{\pi_{ref}(a_w|x, c_l)} \right] \right)$
最終的なトレーニング目的関数は、この推論条件付き損失と標準的な応答レベルの DPO を組み合わせたものです：
$L = L_{DPO} + \lambda L_{RC}$

2. 選好データの構築

RC-DPO は、外部の正解アノテーションや強力なモデルに依存することなく、選好ペア $(x, c_w, a_w, c_l, a_l)$ を構築する必要があります。著者らは、モデル自身の出力を利用するパイプラインを導入しました：

ポジティブサンプルの構築（MCTS）：著者らはモンテカルロ木探索（MCTS）を用いて高品質な推論軌跡を発見します。教師あり微調整（SFT）済みモデルから開始し、MCTS は候補となる推論ステップを展開し、検証器を用いて視覚的一貫性、論理的妥当性、回答の正しさに基づいて軌跡をスコアリングします。最高スコアの軌跡がポジティブサンプル $(c_w, a_w)$ として選択されます。
ネガティブサンプルの構築（アテンション誘導プルーニング）：挑戦的なネガティブサンプルを作成するために、著者らは画像アテンション誘導のトークンプルーニング戦略を採用します。各 CoT トークンから画像トークンへのアテンションスコアを計算します。視覚的関連性が高いトークンを特定し、元の CoT から削除（プルーニング）します。これにより推論チェーンの視覚的根拠が破壊され、同じ回答に対するネガティブ条件として機能する破損した CoT（ $c_l$ ）が生成されます。

3. トレーニングパイプライン

CoT フォーマットの整合：ウォームアップの SFT ステージで、モデルを構造化された CoT フォーマット（段階的な推論に続き回答）に整合させ、MCTS 操作を容易にします。
データ生成：MCTS とアテンション誘導プルーニングにより選好データセットを生成します。
最適化：モデルを、組み合わせた $L_{DPO} + \lambda L_{RC}$ 目的関数を用いてトレーニングします。

主要な貢献

既存の DPO の分析：標準的な応答レベルの DPO は回答レベルの最適化に偏っており、CoT レベルの幻覚が十分に解決されていないことを明らかにしました。
RC-DPO フレームワーク：異なる CoT 条件の下で同一の好ましい回答を対比させることで、推論チェーンを明示的に整合させる、細粒度の選好最適化フレームワークを提案しました。
データ生成戦略：ポジティブサンプリングに MCTS を、ネガティブ構築にアテンション誘導トークンプルーニングを利用する、自己完結型の選好データ生成パイプラインを導入しました。
実証的検証：4 つの MLRM と 9 つのベンチマークにわたる広範な実験により、この手法の有効性を実証しました。

実験結果

著者らは、R1-Onevision-7B、MM-Eureka-7B、ThinkLite-VL-7B、OpenVLThinker-7B という 4 つの代表的な MLRM に対して RC-DPO を評価しました。

幻覚の軽減：Object HalBenchにおいて、RC-DPO はすべてのモデルで一貫して最低の CHAIRS および CHAIRI スコアを達成し、VCD、SID、RLAIF-V、OPA-DPO などのベースラインを大幅に上回りました。例えば、R1-Onevision において、CHAIRS は Vanilla の 36.7 から RC-DPO では 21.7 に削減されました。
物体の存在：POPEベンチマークにおいて、RC-DPO はランダム、人気、対立的な設定のすべてで最高精度と F1 スコアを達成し、物体の存在認識の向上を示しました。
オープンエンド生成：MMHal-BenchおよびGPT-4 支援評価において、RC-DPO は幻覚発生率を低減しつつ、記述の質や流暢さを維持または向上させました。
汎用能力：MME、MMBench、VMCBench、MMVPにおける評価は、RC-DPO が汎用的なマルチモーダル知覚や推論能力を犠牲にしないことを示しました。多くの場合、OCR や位置認識などの細粒度の視覚タスクのパフォーマンスが向上しました。

意義と主張

本論文は、中間推論チェーンの明示的な整合が、忠実で信頼性の高い MLRM を構築するために不可欠であると主張しています。粗粒度の応答レベル最適化から、細粒度の推論条件付き最適化へと移行することで、RC-DPO は推論モデルにおける幻覚の伝播の根本原因に対処します。著者らは、この手法が中間 CoT と最終回答の両方における幻覚を効果的に軽減し、汎用能力を損なうことなくより信頼性の高いマルチモーダル推論を実現すると強調しています。この研究は、CoT を回答生成の条件として扱うことが、回答を支援する推論選好を学習するための直接的なトレーニング信号を提供することを浮き彫りにしています。