CALM-AH: An ABAW11-Calibrated Multimodal Ensemble with Reliability-Gated Multi-Expert Consensus for Video-Level Ambivalence and Hesitancy Recognition
本文提出了 CALM-AH，这是一个通过可靠性门控多专家共识（RG-MEC）机制增强的多模态集成系统，该系统通过结合多样化的特征分支与一致性门控修正策略，在 ABAW11 挑战赛中实现了 0.7771 的 Macro-F1 分数，用以识别视频级的矛盾与犹豫。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正坐在一个房间里，试图弄清楚一个人是否真的对一个重大决定感到犹豫不决。他们可能会说：“我想我会去的，”但声音却在颤抖，或者长时间的停顿，并且不断地盯着地板看。又或者，他们可能会说：“我非常确定，”但却在紧张地坐立不安。这种词汇、声音和肢体语言的复杂交织被称为矛盾心理（ambivalence，即内心纠结）或犹豫（hesitancy，即不确定）。这是一种微妙的人类状态，在各种场合中随处可见——从求职面试到心理咨询环节——但对于计算机来说，识别这种状态极其困难。不同于简单的微笑或皱眉，矛盾心理就像是隐藏在言语间的间隙、声音的节奏以及肌肉微小抽动中的秘密代码。如果我们能教会机器阅读这些线索，我们就能构建出更好的工具，来帮助人们做出艰难的选择或更好地理解彼此。这正是莫纳什大学（Monash University）的一组研究人员致力于解决的挑战。
由此诞生了 CALM-AH，一个旨在破解人类不确定性谜题的新型数字侦探团队。研究人员意识到，仅仅观察一种线索——比如只看转录文本或只看脸部表情——就像是用一张模糊的照片来试图解开谜团。你需要全貌。因此，他们构建了一个系统，其运作方式就像一个组织严密的陪审团。这个系统不是只有一个法官，而是有 15 名不同的“陪审员”，每位陪审员都观察不同组合的线索：有的听声音，有的读文字，有的观察面部表情，有的甚至追踪人体行为的奇特统计模式。
以下是该团队的工作流程：首先，他们收集所有的证据。他们使用智能 AI 工具将口语转化为文本，分析声音的节奏与停顿，并扫描视频中的面部表情。然后，他们以 15 种不同的方式将这些线索进行混合与匹配。对于每一种组合，他们都会挑选出最优秀的“侦探”（一种类型的计算机算法），并教导它何时大喊“有罪！”（矛盾/犹豫）或“无罪！”（不矛盾/确定）。这 15 名侦探随后会对最终答案进行投票。如果大多数人达成一致，那就是判决结果。这部分系统被称为 CALM-AH，它在针对从未见过的人群进行的测试中，取得了 0.7525 的高分。
但研究人员并没有止步于此。他们知道，即使是聪明的侦探也会犯错。有时，一名侦探可能会被巨大的噪音或一句晦涩的句子所迷惑。因此，他们添加了一个名为 RG-MEC（可靠性门控多专家共识，Reliability-Gated Multi-Expert Consensus）的特殊“安全网”。你可以把它想象成一个非常严格的更改判决的规则。系统首先由一位“默认法官”做出初步判断。要改变这位法官的想法，你不能仅仅依靠另一名专家的异议，而需要三位特定的专家同时对同一个新答案达成一致。
这三位专家分别是：
- CALM-AH（我们刚刚提到的 15 名侦探团队）。
- AffectGPT（一种非常擅长理解情感与情绪的 AI）。
- 基于 GPT 的验证器（一种擅长理解语言含义与逻辑的 AI）。
如果默认法官判定为“不矛盾”，但 CALM-AH、AffectGPT 和验证器同时大喊“矛盾！”时，系统才会改变心意。如果其中任何一个专家感到不确定或持有异议，系统就会维持原判。这可以防止系统被单个嘈杂的专家所误导。这就像一个俱乐部，只有当三位特定成员共同签署请愿书时，才能修改规则；仅凭一个人的抱怨是不足以扭转局面的。
结果如何？这个“安全网”让系统变得更加敏锐。通过使用这种严格的一致性投票规则，最终得分跃升至 0.7771。论文表明，这种方法在识别真实的犹豫感方面表现得更为出色，而不会被随机的停顿或意外的噪音所欺骗。研究人员发现，仅仅增加专家的数量并不能带来帮助；关键在于如何组织他们。通过给“默认法官”一个稳定的锚点，并仅在所有人都达成一致时才允许“安全网”进行覆盖，系统变得更加可靠。
团队在真实面试视频的数据集上测试了该系统，这些视频中的人物与系统训练时的人物完全不同。这一点至关重要，因为它证明了系统并非只是在死记硬背面孔，而是在真正学习识别“不确定感”的情绪。论文明确排除了“仅仅通过平均所有专家的意见”或“让单一强势专家凌驾于其他专家之上”的可能性；相反，他们发现，一个严格的“一致性门控”效果最好。虽然该系统是一个巨大的进步，但作者也谨慎地指出，这是一个针对这一特定挑战的专门解决方案，而非适用于所有人类情感的万能药。但对于判断一个人是否真的处于徘徊不定状态，带有 RG-MEC 安全网的 CALM-AH 确实是一个非常聪明的全新工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。