🤖 AI

Separate First, Fuse Later: Mitigating Cross-Modal Interference in Audio-Visual LLMs Reasoning with Modality-Specific Chain-of-Thought

本論文は、Audio-Visual Large Language Models におけるクロスモーダル干渉と幻覚を軽減するため、モーダリティ固有の連鎖思考推論を強制し、その後に証拠を融合させる「Separate First, Fuse Later (SFFL)」という新しい音声・視覚推論フレームワークを提案し、その結果、AVQA ベンチマークにおいて精度と頑健性の大幅な向上をもたらす。

原著者： Xuanchen Li, Yuheng Lu, Chenrui Cui, Tianrui Wang, Zikang Huang, Yu Jiang, Long Zhou, Longbiao Wang, Jianwu Dang

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xuanchen Li, Yuheng Lu, Chenrui Cui, Tianrui Wang, Zikang Huang, Yu Jiang, Long Zhou, Longbiao Wang, Jianwu Dang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ミステリーを解くために、ビデオを見て同時にオーディオを聴いていると想像してください。通常、あなたの脳はこの作業を難なくこなします。しかし、人工知能（AI）にとって、これは罠になり得ます。

本論文は、AI がこれらの「音視覚的」なミステリーを混乱することなく解くための新しい手法を紹介しています。著者たちはこの手法をSFFL（Separate First, Fuse Later：まず分離し、後に融合）と呼んでいます。

以下に、問題と彼らの解決策を、シンプルな比喩を用いて解説します。

問題：「騒がしい部屋」効果

現在の AI モデルは、非常に騒がしい部屋に座って、二人の人が同時に話しているのを聞き分けようとする探偵のようです。

視覚探偵：ビデオの中で羊を見ています。
聴覚探偵：犬の鳴き声を聞いています。
過ち：AI が両方を完全に同時に処理しようとするため、視覚の手がかり（羊）が聴覚の手がかり（鳴き声）の邪魔をします。AI は混乱し、「羊の鳴き声が聞こえる」と言うかもしれません。実際にはビデオには犬が吠えていることが明確に映っており、羊は静かです。これをクロスモーダル干渉または幻覚と呼びます。AI は、通常その音を出す動物を見たという理由だけで、音を「幻覚」しているのです。

解決策：「二段階の尋問」

著者たちは、AI が即座にすべてを混ぜ合わせるのではなく、証言を統合する前に別々に証人を尋問する賢い探偵のように振る舞うべきだと気づきました。

1. まず分離（個別の尋問）
ビデオを見てオーディオを聴くことを同時に行う代わりに、AI は 2 つの別々の「尋問」を行うよう強制されます。

尋問 A：AI はオーディオを聴くことを許されず、ビデオのみを見て、見たものを記録します（例：「犬と羊が見えます」）。
尋問 B：AI はビデオを見ることを許されず、オーディオのみを聴いて、聞こえたものを記録します（例：「吠え声が聞こえます」）。

これらの尋問中に AI がうっかり他の証人を「覗き見」しないよう、著者たちはモダリティ非対称アテンションマスクと呼ばれる特別なデジタルの壁を構築しました。これは、視覚探偵にヘッドホンを装着してオーディオを聴かせないようにし、聴覚探偵に目隠しをしてビデオを見せないようにするのと同じです。

2. 後に融合（チームの協議）
両方の探偵がそれぞれの報告書を書き終えて初めて、AI はそれらを統合します。

「ビデオ報告書」と「オーディオ報告書」を読み取ります。
比較します：「ビデオには羊がいるとあるが、オーディオ報告書には羊の音はなく、吠え声しかない」。
結論：その音は犬に属し、羊はただ静かにそこにいると判断します。

「好ましい証拠」コーチ

論文には、巧妙なトレーニングの工夫についても触れられています。AI は、特定の質問に対してどの証人が「主役」かを認識するように教えられます。

質問が「どの動物が音を出しているか？」であれば、AI はオーディオの証人が最も重要だと学びます。
質問が「車の色は何ですか？」であれば、視覚の証人が主役です。

AI は、それぞれのミステリーに対してどの証人を最も信頼すべきかを正しく特定した際に報酬を得ます。これにより、通常は部屋で最も声が大きいからといって、盲目的にビデオを信頼することを防ぎます。

結果

研究者たちがこの「まず分離し、後に融合」の方法をテストしたところ、以下の結果が得られました。

誤りの減少：AI は静かな動物に対して音を作り出すことをやめました。
精度の向上：標準的なテストで正解する頻度が高まりました。
堅牢性：混乱させるビデオや音で AI を欺くことが、以前よりもはるかに難しくなりました。

要約すると：この論文は、AI が早期にマルチタスクをしようとするのをやめるよう教えます。AI にまず見たことと聞いたことを別々に考えさせ、その後で慎重にそれらの考えを統合させることで、愚かな間違いを犯さず、はるかに優れた探偵になるのです。

技術的概要：分離後融合（SFFL）

1. 問題定義

現在の音声・視覚大規模言語モデル（AVLM）は、しばしばクロスモーダル干渉に悩まされており、あるモーダル（例：視覚）からの情報が、別のモーダル（例：音声）の解釈を不当に偏らせ、ハルシネーション（幻覚）を引き起こします。例えば、モデルは、音声にその音の証拠が全く含まれていなくても、動画に映っている動物に音を帰属させる可能性があります。著者らは、この原因を主に以下の 2 つの要因に帰着させています：

制御されていない共同推論：既存の AVLM の大半は、音声トークンと視覚トークンを単一のストリームに連結しており、あるモーダルからの無関係な信号が、もう一方のモーダルの推論プロセスに干渉することを許容しています。
モーダルバイアス：現在のモデルは視覚優位のバイアスを示し、聴覚的証拠を過小評価したり誤解釈したりしながら、視覚的手がかりに過度に依存する傾向があります。

2. 手法：分離後融合（SFFL）

著者らは、証拠を統合する前にモーダル固有の処理を分離するように設計された構造化推論フレームワークであるSFFLを提案します。このフレームワークは、以下の 3 つの中核的コンポーネントで構成されます：

A. 優先証拠モーダル（PEM）データパイプライン

モデルが特定の質問に対してどのモーダルが決定的な証拠を提供するかを識別するように訓練するために、著者らはAVQA-PEM-14Kデータセットを構築しました。

プロセス：各 AVQA インスタンスに対して、音声のみ（A）、ビデオのみ（V）、音声・視覚（AV）という 3 つの入力設定のもとで、思考の連鎖（CoT）回答を生成します。
ラベリング：これらの設定間での一貫性と正解率に基づき、インスタンスは以下のようにラベル付けされます：
- PEM = 音声：A と AV で解決可能だが、V では不可能。
- PEM = 視覚：V と AV で解決可能だが、A では不可能。
- PEM = 音声・視覚：AV のみで解決可能（両方が必要）。
使用：これらのラベルは、インスタンス依存のモーダル優先度を促す補助信号として機能します。

B. モーダル非対称アテンションマスク（MAAM）による構造化推論

SFFL は、特定の制御タグ（<mod>, <v>, <a>, <sum>, <ans>）を使用して出力を構造化し、「分離後融合」の推論パラダイムを強制します。

分離：モデルは、視覚（<v>）と音声（<a>）の入力に対して、独立して個別の推論トレースを生成します。
融合：証拠は、最終的な回答の前に <sum> ステージでのみ統合されます。
MAAM：分離された推論段階中の情報漏洩（標準的な因果アテンションでは、トークンが誤ったモーダルの入力にアテンションを向ける可能性がある）を防ぐため、著者らはモーダル非対称アテンションマスクを導入します。このマスクは、以下を明示的にブロックします：
- 視覚推論トークンが音声入力トークンにアテンションを向けること。
- 音声推論トークンがビデオ入力トークンまたは視覚推論スパンにアテンションを向けること。

C. 2 段階強化学習（GRPO）

モデルは、2 つの異なる段階と報酬関数を用いたグループ相対方策最適化（GRPO）で訓練されます：

段階 1（構造と優先度）：モーダル優先度と構造報酬（ $R_{mps}$ ）を最適化します。モデルは、PEM を正しく識別し、分離された推論構造に準拠することに対して報酬を与えられます。
段階 2（精度と構造）：回答精度報酬（ $R_{acc}$ ）と構造報酬の加重和を最適化します。この段階では、分離された推論構造を維持しつつ、正しい回答を生成する能力を洗練させます。

3. 主な貢献

SFFL フレームワーク：思考の連鎖（CoT）段階中にモーダル分離を強制し、証拠統合段階まで融合を遅らせることで、早期のクロスモーダル干渉を防ぐ、新しい推論パラダイム。
PEM データパイプライン：「優先証拠モーダル」ラベル付きの訓練データを自動的に構築する手法。これにより、モデルは特定のモーダルへのインスタンス依存の依存関係を学習できます。
モーダル非対称アテンションマスク（MAAM）：トークン生成中にモーダル分離を厳格に強制するメカニズム。標準的なアテンションメカニズムにおける音声・視覚情報の構造的な絡み合いに対処します。
2 段階 GRPO 訓練：まずモデルの証拠優先度と推論構造を整合させ、その後回答精度を最適化する訓練戦略。堅牢性と性能のバランスを取ります。

4. 実験結果

著者らは、SFFL をクロスモーダルハルシネーションのAVHBenchと、3 つの一般的な AVQA ベンチマーク（AVQA、Valor32k-AVQA v2.0、MUSIC-AVQA）で評価しました。

ハルシネーションの軽減：AVHBench クロスモーダルハルシネーションベンチマークにおいて、SFFL はベースラインと比較して平均相対改善率**11.17%**を達成しました。
一般的な性能：一般的な AVQA ベンチマークにおいて、SFFL は平均相対改善率**5.16%**をもたらしました。
具体的な改善：Qwen3-Omni-30B をバックボーンとして使用した場合、SFFL は平均ハルシネーションスコアを81.29（ゼロショットの 73.12 対比）に、一般的な QA の平均を80.24に向上させました。
アブレーション研究：
- SFR（分離後融合推論）：モーダル間の一貫性が求められるタスク（MIS）の性能を主に向上させ、干渉を軽減しました。
- MAAM：クロスモーダル漏洩を効果的に抑制することで、すべての指標において一貫した有意な改善をもたらしました。
- 訓練戦略：2 段階 GRPO アプローチは、SFT および単一報酬 GRPO ベースラインの両方を上回り、回答精度の最適化に先立ってモーダル優先度を整合させる必要性を実証しました。

5. 意義と主張

本論文は、SFFL が AVLM が情報を処理する方法を根本的に再構築することで、クロスモーダル干渉に対する効果的な解決策を提供すると主張しています。ヒューリスティックな制約や高価な事後修正に頼るのではなく、SFFL は音声と視覚データの構造的な絡み合いを源流において解決します。

著者らは、彼らの手法が新しい知識を注入するものではなく、既存のバックボーンの潜在能力を解き放つものであることを強調しています。インスタンス固有の証拠要件（PEM 経由）にモデルの推論プロセスを整合させ、情報漏洩（MAAM 経由）を防ぐことで、このフレームワークは、特にハルシネーションを起こしやすいシナリオにおいて、音声・視覚推論の精度と堅牢性を大幅に向上させます。