Separate First, Fuse Later: Mitigating Cross-Modal Interference in Audio-Visual LLMs Reasoning with Modality-Specific Chain-of-Thought
本文提出了一种名为“先分后融”（SFFL）的新型音视频推理框架，该框架通过强制实施模态特定的思维链推理随后进行证据融合，以减轻音视频大语言模型中的跨模态干扰和幻觉现象，从而在音视频问答基准测试中显著提升了准确性和鲁棒性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图通过同时观看视频和聆听音频来解开一个谜团。通常，你的大脑能毫不费力地完成这一任务。但对于人工智能（AI）而言，这可能是一个陷阱。
本文介绍了一种新方法，教导 AI 在解开这些“视听”谜团时避免混淆。作者将其方法称为SFFL（先分离，后融合）。
以下是问题及其解决方案的分解，辅以简单的类比：
问题：“嘈杂房间”效应
当前的 AI 模型就像一名侦探，坐在一个非常嘈杂的房间里，试图同时听两个人说话。
- 视觉侦探：在视频中看到了一只羊。
- 听觉侦探：听到了狗叫声。
- 错误：由于 AI 试图完全同时处理两者，视觉线索（羊）会干扰听觉线索（吠叫）。AI 可能会感到困惑，甚至说“我听到了羊叫”，尽管视频清楚地显示狗在叫而羊是沉默的。这被称为跨模态干扰或幻觉。AI 仅仅因为看到了一种通常发出该声音的动物，就“幻觉”出了声音。
解决方案：“两步访谈”
作者意识到，与其让 AI 立即混合所有信息，不如让它像一位聪明的侦探那样，在综合故事之前分别采访证人。
1. 先分离（单独访谈）
AI 不是同时观看视频和聆听音频，而是被迫进行两次独立的“访谈”：
- 访谈 A：AI 仅观看视频并写下它看到的内容（例如，“我看到一只狗和一只羊”）。此时它不允许聆听音频。
- 访谈 B：AI 仅聆听音频并写下它听到的内容（例如，“我听到吠叫声”）。此时它不允许观看视频。
为了确保 AI 在这些访谈期间不会意外“偷看”另一位证人，作者构建了一道特殊的数字屏障，称为模态非对称注意力掩码。这就像给视觉侦探戴上耳机，使其听不到音频；同时给听觉侦探蒙上眼罩，使其看不到视频。
2. 后融合（团队会商）
只有当两位侦探都写好了各自的报告后，AI 才将它们结合起来。
- 它阅读“视频报告”和“音频报告”。
- 它进行比较：“视频显示有一只羊，但音频报告说没有羊叫，只有吠叫声。”
- 决策：它得出结论，声音必然属于狗，而羊只是静静地待在那里。
“首选证据”教练
本文还提到了一种巧妙的训练技巧。AI 被教导去识别哪位证人是针对特定问题的“明星”。
- 如果问题是“什么动物在发出声音？”，AI 会学到听觉证人是最重要的。
- 如果问题是“汽车是什么颜色的？”，视觉证人就是明星。
AI 因能正确识别针对每个特定谜题应最信任哪位证人而获得奖励。这防止了它仅仅因为视频通常是房间里声音最大的声音源，就盲目地信任视频。
结果
当研究人员测试这种“先分离，后融合”的方法时：
- 错误更少：AI 不再为沉默的动物编造声音。
- 准确性更高：在标准测试中，它更频繁地给出正确答案。
- 鲁棒性更强：用令人困惑的视频或声音来欺骗 AI 变得困难得多。
简而言之：这篇论文教导 AI 停止过早地尝试多任务处理。通过迫使 AI 先分别思考所见和所闻，然后在最后仔细结合这些想法，它不再犯愚蠢的错误，从而成为一名更出色的侦探。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。