💻 computer science

CogniRoute: Learning to Route Social Evidence in Omni-Modal Models

本文介绍了 CogniRoute，这是一个由模式引导的混合专家（Mixture-of-Experts）框架，通过增强型路由感知强化学习进行优化，并在全新的 OmniSocialBench 数据集上进行训练，该框架通过有效地路由和协调涉及手势、语气和时序线索的复杂推理任务中的多模态证据，显著提升了社交视频问答能力。

原作者： Yifan Shen, Pei Tian, Xinzhuo Li, Bowen Fang, Shujun Xia, Bingxuan Li, Ana Jojic, Wenming Ye, Xu Cao, James Matthew Rehg, Ismini Lourentzou

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yifan Shen, Pei Tian, Xinzhuo Li, Bowen Fang, Shujun Xia, Bingxuan Li, Ana Jojic, Wenming Ye, Xu Cao, James Matthew Rehg, Ismini Lourentzou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一个拥挤的房间里破解一个谜团。你拥有一台摄像机、一个麦克风和一份人们说话的文字记录。为了破解这个谜题，你需要知道看什么、如何解读以及什么时候发生的。

目前的多数 AI 模型就像是拥有所有这些设备却不知道如何使用的侦探。它们可能会在应该倾听语调的时候去盯着视频看，或者可能会关注错误的时间点。它们经常通过运气或记忆模式来猜对答案，但并不真正理解为什么答案是正确的。

这篇论文介绍了 CogniRoute，一种让 AI 成为更好侦探的新方法。以下是它的工作原理，通过简单的概念进行拆解：

1. 问题：“样样通，样样松”的 AI

目前的 AI 模型可以同时看、听和阅读。但当你问它们一个棘手的社交问题（比如，“那个人是真的开心，还是在假装？”）时，它们往往会感到困惑。它们可能会因为太专注于说话的内容而忽略了一个细微的面部表情，或者可能错过对话中一个关键的 2 秒停顿。它们可以使用所有的线索，但不知道哪个线索才是“确凿证据”。

2. 解决方案：一个“智能交通控制器”（CognitiveRoute）

作者构建了一个名为 CogniRoute 的系统。把 AI 模型想象成一个拥有数百名专业员工（称为“专家”）的大型工厂。有些员工擅长分析面部，有些擅长理解语调，还有些擅长追踪时间。

在普通的工厂里，经理（路由器）只是把工作发给谁有空谁就做。在 CogniRoute 中，经理被训练成一个智能交通控制器。在向员工发送任务之前，控制器会针对该任务提出三个具体问题：

证据来源： 我需要看视频、听音频，还是将两者进行对比？
推理需求： 我只需要“看到”发生了什么，还是需要弄清楚某人隐藏的情感或社交规则？
时间范围： 我需要观察一个瞬间，还是需要观看整个场景？

3. 训练：带着“小抄”学习

为了教导这个交通控制器，研究人员创建了一份特殊的“小抄”，称为认知图式（Cognitive Schema）。

类比： 想象一名正在参加考试的学生。通常，他们只有在结束时才会得到一个成绩（对/错）。有了 CogniRoute，老师会在考试过程中给他们一份小抄，上面写着：“对于这个问题，你必须查看音频并检查时间点。”
过程： AI 被训练去使其内部的“交通控制”决策与这份小抄相匹配。它学会了如果一个问题需要理解讽刺的语气，它必须将数据路由到“音频专家”和“社交专家”，而不仅仅是“视觉专家”。

4. 强化：“做得好，但你做对了吗？”

即使 AI 得出了正确答案，它也可能是靠猜出来的。为了解决这个问题，研究人员增加了第二个训练阶段，称为路由感知强化学习（Route-Aware Reinforcement Learning）。

类比： 想象一名教练在观察球员射门。如果球员是通过绊倒对手得分的，教练会说：“进球不错，但技术很差。”如果球员是通过完美的传球得分的，教练会说：“好球，技术也很棒！”
奖励： 只有当满足以下条件时，AI 才会获得“高分”：
1. 它得到了正确答案。
2. 它使用了正确的证据类型（例如，没有忽略音频）。
3. 它抓住了正确的时刻。

5. 新的测试：OmniSocialBench

为了证明这套方法的有效性，团队构建了一个新的测试，名为 OmniSocialBench。

类比： 大多数视频测试都像是选择题，你只需要选出正确的字母。OmniSocialBench 则像是一场侦探考试，你必须展示你的推理过程。该测试包含 118,000 个示例，其中“正确答案”都配有一个详细的地图，标明了使用了哪些线索以及在何时使用的。
结果： 在这项测试中，CogniRoute 得分为 59.38%，大幅超越了现有的最佳 AI 模型（比顶尖的商业模型高出超过 15%）。它在处理需要结合音频和视频，或解决冲突（例如，当某人说“我很好”但看起来很伤心时）的问题方面表现尤为出色。

总结

CogniRoute 就像是在教 AI 停止猜测，开始像人类侦探一样思考。它不再仅仅是寻找正确答案，而是学会了：

识别它需要什么样的线索（视觉、音频或两者皆有）。
理解如何处理该线索（简单的观察 vs. 复杂的社交推理）。
精准定位该线索发生的时间。

通过迫使 AI 根据这些线索将其“脑力”路由到正确的专家手中，它变得能够更好地理解人类社交互动中那些混乱且复杂的世界。

技术摘要：CogniRoute

问题陈述

全模态模型（Omni-modal models）通过统一的自回归系统摄取视频、音频和文本，已展现出强大的多模态感知能力。然而，在拥有多种模态的访问权限与有效利用“正确”证据来回答特定问题之间，仍存在一个关键差距。这一问题在**社交视频问答（Social Video QA）**中尤为突出，因为正确的答案往往取决于微妙的线索，如手势、音调、时间顺序，或言语内容与视觉表达之间的冲突。

现有的基准测试通常仅对最终答案进行监督，使得底层的证据结构处于隐性状态。因此，模型可能会通过错误的模态得出正确答案，或者关注无关的时间段，亦或是利用数据集的先验知识。此外，标准的混合专家（Mixture-of-Experts, MoE）路由机制通常针对下一 Token 预测和负载均衡进行优化，缺乏显式的样本级监督，无法区分不同类型的多模态推理（例如：仅视觉推理 vs. 音画冲突解决）。

方法论：CogniRoute

为了应对这些挑战，作者引入了 CogniRoute，这是一个旨在实现社交全模态推理的模式引导型（Schema-guided）MoE 训练框架。该框架通过两个主要阶段，将专家路由与每个输入的潜在证据结构进行对齐：

1. 模式对齐预测路由 (SAPR)

在监督微调（SFT）阶段，CogniRoute 引入了一个仅用于训练的认知模式（Cognitive Schema），将每个示例分解为三个维度：

证据来源（Evidence-Source）： 音频与视觉证据之间的关系（视觉、音频、联合或冲突）。
推理需求（Reasoning-Demand）： 所需的推理操作（例如：直接感知、社会规范、心理状态、讽刺）。
时间范围（Temporal-Scope）： 相关线索的时间窗口（瞬时、局部窗口、长程、多段）。

该方法通过聚合所有 MoE 层中路由器对输入 Token（视频、音频、问题）的概率分布，计算出一个全局路由签名（Global Routing Signature）。一个轻量级的预测头将此签名映射到源自模式标签的目标嵌入。SAPR 损失促使路由器为具有不同证据结构的样本生成截然不同的签名，从而有效地教会模型在生成答案之前，“知晓”问题需要哪种模态和哪种推理类型。

2. 路由感知 MoE 强化学习 (RMRL)

标准的答案似然度不足以优化专家分配，因为即使路径错误，也可能生成正确答案。CogniRoute 引入了第二个训练阶段，使用路由感知 MoE 强化学习。该阶段使用复合奖励信号共同优化 Token 生成和专家路由：

答案正确性 ( $\mathcal{R}_{ans}$ )： 针对最终答案的二元奖励。
模态一致性推理 ( $\mathcal{R}_{mcr}$ )： 通过一个冻结的 LLM 判别器计算奖励，验证生成的推理轨迹是否明确地将答案建立在所需的模态证据（视觉、音频或两者皆有）之上，并正确描述了它们的关系。
认知时间定位 ( $\mathcal{R}_{ctg}$ )： 衡量模型最终的推理状态是否聚焦于标注的时间证据跨度。该指标通过将模型自身的因果注意力权重转换为时间分布，并与地面真值（Ground-truth）证据跨度进行 KL 散度比较来计算。

RL 目标同时更新 Token 生成策略和路由器的门控选择，利用 Rollout 级的优势函数（Advantages），确保成功的生成不仅是正确的，而且是具备证据意识且具备时间定位能力的。

核心贡献

CogniRoute 框架： 一个模式引导的 MoE 框架，将专家路由与社交视频问题的证据结构对齐，使模型能够区分何时依赖特定模态、解决冲突以及进行具备时间定位能力的推理。
路由感知强化学习： 一种新型 RL 目标，通过正确性、模态一致性和时间定位的奖励，共同优化答案生成和专家分配，超越了简单的答案监督。
OmniSocialBench： 一个诊断性的社交视频 QA 资源，包含 11.8 万个结构化训练样本和一个经过人工校验的评估集。与标准基准不同，它为模态证据、音画关系、推理需求和时间证据跨度提供了显式监督。

结果

在 OmniSocialBench 上进行的评估显示，CogniRoute 达到了 59.38% 的平均准确率。

它比最强的商业模型基准（Gemini 3.1 Pro）高出 15.33 个百分点。
它比最强的开源全模态基准（Qwen3 Omni）高出 26.77 个百分点。
最显著的提升出现在需要复杂协调的类别中，如动作目标（Action Goal）（比最佳基准高 18.79%）和**社会规范（Social Norm）**推理（高 24.80%）。

除了 OmniSocialBench，CogniRoute 在 10 个公开音画及视频推理基准（包括 OmniBench、WorldSense 和 Video-MME-v2）中的 8 个上均提升了性能，证明了所提出的路由和强化学习目标可以泛化到更广泛的多模态任务。

意义与主张

论文声称，**证据结构化路由（Evidence-structured routing）**是提高社交全模态推理能力的有效训练信号。通过根据证据结构（模态关系、推理需求和时间范围）显式监督模型的内部路由行为，CogniRoute 迫使模型进行更具解释性且更恰当的计算。

作者强调，他们的方法解决了多模态推理中的“黑盒”问题，即模型经常通过伪相关（Spurious correlations）得出正确答案。CogniRoute 证明，将专家分配与任务的认知模式对齐，可以显著提升需要跨模态协调、冲突解决和具备时间定位能力的社交推理任务。这项工作将社交视频问答定位为一个强大的全模态理解测试场，强调了仅仅拥有多种模态是不够的，还需要具备选择并整合正确证据的机制。