CF-Net: Conflict Fusion with Speaker Normalisation and Certainty Weighting for Ambivalence/Hesitancy Recognition
本文介绍了 CF-Net，这是一个深度多模态网络，它利用说话人归一化、针对跨模态不一致性的显式冲突融合以及确定性加权训练，在检测不受限视频中的矛盾情绪和犹豫行为方面达到了最先进的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你不是通过观察人们在说什么来读懂一个房间，而是通过捕捉他们言语、声音与表情之间那细微的裂痕。这就是多模态情感识别（multimodal affect recognition）的迷人世界——这是人工智能的一个分支，试图通过倾听我们的说话方式、观察我们的动作以及阅读我们输入的文字，来理解人类的情感。通常情况下，当人们感到快乐时，他们的微笑、笑声和那句“耶！”是完美契合的。但有一种更复杂、更具人性化的情感叫做矛盾与犹豫（ambivalence and hesitancy）。这就是那种尴尬的时刻：你想说“是”，但你的声音却在颤抖；或者你看起来很自信，但你的措辞却显得底气不足。这就像是一个音乐三重奏，鼓手在玩爵士乐，吉他手在玩摇滚乐，而歌手却在哼唱摇篮曲；这种“感觉”并不存在于任何单一的乐器中，而是在它们之间混乱、冲突的碰撞之中。检测这种情感对计算机来说极其困难，因为大多数人工智能旨在识别清晰的、开心的微笑，而不是这些微妙且相互矛盾的信号。
于是，由研究员 Tung Hung Bui、Hong Hai Nguyen 和 Van Thong Huynh 构建的新型数字侦探 CF-Net 应运而生，旨在解决这个特定的谜题。他们参加了第 3 届矛盾/犹豫视频识别挑战赛（属于 ABAW 第 11 届竞赛的一部分），其设计的系统旨在停止盲目猜测，转而开始倾听一个人不同“感官”之间的争论。
问题所在：“身份陷阱”与“混乱信号”
研究人员面临着一个棘手的局面。他们拥有一个名为 BAH 的数据集，其中包含人们接受采访的视频片段。目标是识别说话者何时感到矛盾。然而，他们面临着三个巨大的障碍：
- 信号不匹配： 与清晰的“快乐”表情不同，矛盾的定义在于不一致性（incongruence）。如果一个人说着积极的话语，但声音听起来却有些颤抖，计算机需要注意到这种“分歧”，而不仅仅是关注单词本身或声音本身。
- “陌生人”问题： 测试视频中的人物是计算机从未见过的。如果 AI 学会了识别特定的人脸或声音音色（比如记住了某个朋友的笑声），那么在面对陌生人时它就会彻底失效。它需要忽略说话者是“谁”，而专注于他们是如何“表达”的。
- “模糊”标签： 有时，甚至连人类专家也无法达成共识，无法判断一段视频是否表现出了矛盾。该数据集为每个片段都包含了一个“确定性评分”，指示了人类标注者的意见一致程度。AI 需要知道何时该信任一个标签，何时该保持谨慎。
解决方案：CF-Net 的三步魔术技巧
团队构建了 CF-Net，这是一个系统，它扮演着视觉（我们看到的）、音频（我们听到的）和文本（我们所说的）之间三方争论中的超级聪明的中介。
第一步：“幽灵”过滤器（说话者归一化）
首先，系统会观察视频和音频。但诀窍在于：在分析情感之前，它会进行“说话者归一化”。想象一下，你正在评判一位歌手的表现，但你首先要减去他们独特的、永久性的声音纹理，这样你听到的就只是他们在特定歌曲中音调的变化。CF-Net 在数学上也是如此。它计算出每个说话者的平均“面部”和“声音”，然后将其减去。这消除了“身份泄露”——即 AI 仅仅通过记住“A 看起来很紧张”来作弊的风险——并迫使系统只关注瞬间的犹豫或冲突。
第二步：“冲突”检测器（冲突融合）
接下来，系统会对来自眼睛、耳朵和文本的净化后的信号进行处理。CF-Net 并没有简单地将它们揉捏在一起（这假设它们是一致的），而是使用了一个名为 ConflictFusion 的特殊模块。你可以把它想象成一个裁判，它不仅听取选手的发言，还专门测量他们的观点有多大的差距。它计算文本与声音、文本与面部、以及声音与面部之间的“距离”。如果文本说“我很好”，但声音听起来很颤抖，系统就会看到巨大的鸿沟。它将这种鸿沟转化为一种特征，明确地教会 AI：这种“分歧”正是它要寻找的信号。
第三步：“诚实”检查（确定性加权）
最后，系统被训练得非常谦逊。研究人员给 AI 配备了一个“确定性头”（certainty head）——一个额外的脑细胞，试图猜测人类标注者对某个片段的确定程度。如果人类不确定（低确定性），AI 就会收到指令：“不要对你的答案过于自信，这是一个棘手的例子。”这是通过一种被称为**确定性加权焦点损失（certainty-weighted focal loss）**的特殊数学技巧实现的，它告诉 AI 要格外关注那些清晰、明显的例子，而对那些令人困惑的例子则要更加温和。
结果：轻量级的投入，沉甸甸的胜利
团队在 BAH 数据集上测试了 CF-Net。他们并没有尝试重新训练那些用于读取图像和声音的大型预训练大脑（backbones）；而是保持它们冻结状态以节省时间并防止过拟合。他们只是训练了连接它们的那些微小的“胶水”部分。
结果令人印象深刻。在验证集（练习测试）上，CF-Net 达到了 0.7155 的 Macro F1 分数。但真正的魔力发生在包含完全陌生说话者的私有测试集上。在那里，分数跳升至 0.7364（平均精度为 0.7392）。
这具有重要意义，因为许多其他系统在练习测试中表现出色，但在实际测试中却表现糟糕（这表明它们只是记住了练习中的面孔）。CF-Net 则恰恰相反：面对陌生人时，它的表现反而提升了。这证明了“幽灵过滤器”（说话者归一化）和“诚实检查”（确定性加权）确实发挥了作用，帮助 AI 泛化到新的人群，而不是通过死记硬背旧人来作弊。
在其他团队花费数小时微调大型模型却仍难以解决“陌生人问题”的领域，CF-Net 凭借一种轻量级的方法，仅用一张消费级显卡在不到 15 分钟内完成了训练，便取得了优异成绩。它证明了，要理解人类的犹豫，你不需要知道那个人是谁；你只需要仔细聆听他们的言语、声音与表情之间产生分歧的地方。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。