MoD-DPO: Towards Mitigating Cross-modal Hallucinations in Omni LLMs using Modality Decoupled Preference Optimization

本論文は、オムニマルチモーダル大規模言語モデルにおけるクロスモーダルの幻覚を軽減するため、無関係なモダリティのノイズへの不変性と関連モダリティの変化への感応性を強制し、テキスト依存を抑制する「モダリティ分離型直接選好最適化（MoD-DPO）」を提案し、複数のベンチマークで既存手法を上回る性能を実証したものである。

要約

この論文は、「オムニ型 AI（映像・音声・テキストをすべて理解する AI）」が、なぜよくある「勘違い（ハルシネーション）」をしてしまうのか、そしてそれをどうやって直したかという話です。

タイトルにある**「MoD-DPO」**という新しい技術が、AI の「耳と目」を正しく使い分けさせる魔法のレシピのようなものです。

以下に、専門用語を避け、身近な例え話を使って解説します。

---

🎬 物語：「耳が良すぎるがゆえの勘違い」をする探偵

想像してください。優秀な探偵（AI）が、事件現場の映像と音声を同時に聞いています。

• 映像： 静かな川の流れ。
• 音声： 誰かが「犬が吠えている」と言っている声。

ここで、従来の AI はこう答えてしまいます。

「はい、映像の中に犬が吠えているのが見えます！」

でも、実際は映像には犬なんていません。AI は「犬が吠えている」という音声を聞いて、勝手に「映像にも犬がいるはずだ」と思い込み（ハルシネーション）をしてしまったのです。

この「音声と映像がズレているのに、無理やり結びつけてしまう癖」や、「映像がないのに、言葉の知識だけで『あるはずだ』と答えてしまう癖」を直したのが、この研究です。

---

🛠️ 解決策：「モダリティ・デカップリング（MoD-DPO）」の 3 つの魔法

この新しい技術（MoD-DPO）は、AI に 3 つの特別なトレーニングを施します。

1. 「邪魔なノイズ」に無反応になる練習（Invariance：不変性）

例え話：
探偵に「映像だけを見て答えなさい」と言います。その時、背景で全く関係ない音（例えば、犬の吠え声）を流します。

• 以前の AI： 「あ、犬が吠えてる！映像にも犬がいるに違いない！」と動揺して答えを間違える。
• MoD-DPO の AI： 「その音は映像とは関係ないな。映像に犬が映ってなければ、犬はいない」と冷静に無視する。

意味： 質問に関係ない情報（ここでは音声）が壊れたり、変な音が入ったりしても、答えが揺らがないようにします。

2. 「重要な情報」に敏感になる練習（Sensitivity：感度）

例え話：
今度は「映像だけを見て答えなさい」と言います。その時、映像の犬の部分を消したり、ぼかしたり（壊したり）します。

• 以前の AI： 「犬の音があるから、犬がいる」と言いつつ、映像が変わっても気づかない。
• MoD-DPO の AI： 「あれ？映像が変わった！犬の姿が消えた！だから答えは『いない』だ！」と即座に気づいて答えを変える。

意味： 質問に関係ある情報（ここでは映像）が壊れたら、すぐに「あれ？おかしいぞ」と反応して答えを修正できるようにします。

3. 「言葉の先入観」を消す練習（Language-Prior Debiasing）

例え話：
AI は元々、本やネットの文章を大量に読んでいるので、「犬＝吠える」という言葉の知識が強すぎて、映像や音がなくても「犬がいる」と言いたがります。

• MoD-DPO の AI： 「待てよ、映像も音もないのに、ただ『犬』という言葉があるからって答えるのはやめよう」と、自分の言葉の癖を自分で抑えるように訓練します。

---

🍳 厨房での実験：どうやって教えたのか？

この AI を訓練するために、研究者たちは**「1 万 8000 問以上」**の特別な練習問題を作りました。

1. 素材集め： 動画と音声をバラバラにします（映像は川、音は犬の吠え声など）。
2. 質問作成： 「映像に犬はいるか？」という質問を作ります。
3. 正解と不正解のペア：
   • 正解（チョイス）： 「映像に犬はいない」と、映像の情報だけで正しく答える。
   • 不正解（リジェクト）： 「犬の音が聞こえるから、映像にもいるはずだ」と、関係ない音声の情報を使って間違った答えをする。

AI に「この 2 つの答え、どっちが正しい？」と繰り返し教えて、**「関係ない情報に惑わされない正解」**を好きになるように学習させました。

---

🏆 結果：どう変わった？

この新しいトレーニングを受けた AI は、以下の点で劇的に良くなりました。

• 嘘をつかなくなった： 映像にないものを「ある」と言ったり、音にないものを「聞こえる」と言ったりする間違いが大幅に減りました。
• バランスが良くなった： 映像と音声を、それぞれの役割に忠実に使い分けられるようになりました。
• 他の方法より優秀： 従来の「AI に正解を教えるだけ」の方法や、他の最新の技術よりも、はるかに高い精度を達成しました。

🌟 まとめ

この論文は、**「AI に『耳と目』を正しく使い分けさせる方法」**を見つけました。

AI が「言葉の先入観」や「無関係な音」に流されて嘘をついてしまうのを防ぎ、「実際に見ていること、聞いていること」に忠実に答えるようにしたのです。これにより、より信頼できる、賢いマルチメディア AI が作れるようになるはずです。

技術概要

論文技術サマリー：MoD-DPO

論文タイトル: MoD-DPO: Towards Mitigating Cross-modal Hallucinations in Omni LLMs using Modality Decoupled Preference Optimization
著者: Ashutosh Chaubey, Jiacheng Pang, Mohammad Soleymani (USC Institute for Creative Technologies)

1. 背景と課題 (Problem)

近年、音声・映像・テキストを統合的に理解する「Omni LLM（Omni-modal Large Language Models）」は急速に進化していますが、依然としてクロスモーダルな幻覚（Cross-modal Hallucinations）に悩まされています。

具体的には、以下のような問題が発生します：

• 偽の相関（Spurious Correlations）: 視覚的な手がかりから存在しない音を感じ取ったり、逆に音声から存在しない視覚的イベントを想像したりする。
• 言語プリアの過剰依存（Over-reliance on Language Priors）: モデルが音声や映像の入力を無視し、トレーニングデータに偏った言語的な知識（プリア）のみに基づいて回答してしまう。

既存の手法（マルチモーダルな DPO やデコーディング時の防御策）は、モダリティ間の依存関係を明示的に分離したり、言語プリアを罰則化したりするまで至っておらず、これらの幻覚を根本的に解決できていません。

2. 提案手法 (Methodology)

著者らは、MoD-DPO（Modality-Decoupled Direct Preference Optimization）を提案しました。これは、Omni LLM のモダリティ接地（Grounding）を改善するための、シンプルかつ効果的なフレームワークです。

2.1. モダリティ脱結合（Modality Decoupling）

DPO の目的関数に、2 つの補完的な性質を強制する正則化項（KL 正則化）を追加します。

1. 不変性（Invariance）: プロンプトと無関係なモダリティ（例：映像に関する質問に対して音声入力を破損させた場合）が破損しても、モデルの出力分布が安定するようにします。これにより、無関係な情報への過剰反応を防ぎます。
2. 感度（Sensitivity）: プロンプトと関連するモダリティ（例：映像に関する質問に対して映像入力を破損させた場合）が破損すると、出力分布が適切に変化（シフト）するようにします。これにより、重要な入力情報への感度を高めます。

これにより、モデルは特定のタスクに関連するモダリティに焦点を当て、他のモダリティからのノイズや偽の相関を抑制するようになります。

2.2. 言語プリアのバイアス除去（Language-Prior Debiasing, LPD）

Omni LLM の基盤モデルは大量のテキストデータで事前学習されているため、言語入力のみで回答する傾向が強いです。これを防ぐため、言語プリア・デバイジング・ペナルティを導入します。

• 選択された回答（Chosen Response）が、テキスト入力のみ（音声・映像なし）で生成された場合、その確率を罰則化（ペナルティ）します。
• これにより、モデルはマルチモーダルな証拠に基づいて回答することを強制されます。

2.3. 学習データ生成パイプライン

自動生成された 18,112 件の選択データ（10,854 件のユニークな動画）を用いて学習を行います。

• Stage 1: 音声と映像を分離し、それぞれを独立してキャプション化・タグ付けします（GPT-4o, AudioFlamingo 3, RAM++ 使用）。
• Stage 2: 分離された情報に基づき、QA ペアを生成します。
• Stage 3: ハードネガティブサンプルを生成します。例えば、映像に関する質問に対して、拒絶回答（Rejected Response）には「音声情報から得られた誤った情報」を含めることで、モデルがモダリティを混同しないよう学習させます。

3. 主要な貢献 (Key Contributions)

1. MoD-DPO の提案: クロスモーダル幻覚を軽減するための新しい選択最適化手法。
2. 大規模な自動生成データセット: 10,800 以上の動画から、モダリティを脱結合した 18,000 以上の選択データセットを構築。
3. 言語プリア・デバイジング: 言語モデルのバイアスを軽減するためのペナルティ項の導入。
4. 閉形式解の導出: 従来のマルチモーダル DPO と異なり、提案手法の目的関数に対して閉形式解を導出し、効率的に最適化可能であることを示しました。

4. 実験結果 (Results)

AVHBench（クロスモーダル幻覚ベンチマーク）と CMM（Curse of Multi-Modalities）において、既存の手法と比較評価を行いました。

• ベンチマーク性能:
  • AVHBench: 音声駆動の映像幻覚、映像駆動の音声幻覚、マルチモーダルマッチングのすべてのタスクで、Qwen 2.5 Omni や MiniCPM-O 2.6 などのベースラインモデル（標準 DPO や OmniDPO）を大きく上回る性能を示しました。特に、音声・映像マッチングタスクでは最大 27% の精度向上が見られました。
  • CMM: 全体的な知覚精度（pa）と幻覚耐性（hr）で、ベースラインに対して 3-4% の改善を達成しました。
• 一般化能力: DailyOmni（音声・映像理解）、MVBench（映像理解）、MMAU（音声理解）などの汎用ベンチマークでも、MoD-DPO++ は一貫して性能向上を示しました。
• アブレーション研究:
  • 「不変性」「感度」「言語プリア除去」のすべてのコンポーネントが性能向上に寄与していることを確認しました。
  • 特に「言語プリア除去（LPD）」は、言語支配タスクにおける幻覚耐性の向上に顕著な効果がありました。
  • 破損データとして拡散モデル（Diffusion）を用いたノイズ付与が、ランダムな入力やゼロ埋めよりも効果的であることを示しました。

5. 意義と結論 (Significance)

MoD-DPO は、Omni LLM におけるクロスモーダル幻覚を軽減するための、スケーラブルで効果的なアプローチを示しました。

• モダリティ忠実なアライメント: モデルが「見るべきもの」や「聞くべきもの」に正しく焦点を合わせ、言語的なバイアスや偽の相関に左右されないことを可能にします。
• 計算効率: 追加のフォワードパスは必要ですが、勾配計算は不要なため、標準 DPO と比較して計算コストの増加は最小限に抑えられています。
• 将来展望: この手法は、信頼性が高く、回復力のあるマルチモーダル基盤モデルの構築に向けた重要なステップであり、自律的なエージェント（見て、聞いて、考えて、行動する）の実現に不可欠な技術です。

要約すると、MoD-DPO は「モダリティを分離して学習させる」というシンプルなアイデアと、言語バイアスを抑制する工夫によって、Omni LLM の幻覚問題を劇的に改善する画期的な手法です。