⚡ electrical engineering

Simple Features and Honest Calibration for Ambivalence and Hesitancy Recognition in Video

本文提出了一种用于识别视频面试中矛盾与犹豫情绪的系统，该系统利用了 ASR 消减时间特征（ASR-erased time features）和情感特化多模态融合技术，并证明了在 ABAW 2026 BAH 挑战赛中，简单的 AP 加权集成配合诚实校准（honest calibration）优于复杂的架构和过拟合的验证策略。

原作者： Vikas Kumar, Aditya Mishra, Haroon R. Lone

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Vikas Kumar, Aditya Mishra, Haroon R. Lone

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破解谜团的侦探：这个人是在两种选择之间犹豫不决，还是仅仅在迟疑？ 线索隐藏在一个关于某人回答面试问题的短视频中。这篇论文是侦探关于如何使用一套新工具破解此案的报告，更重要的是，它记录了哪些方法没有奏效。

巨大的谜团：寻找“摇摆”

目标是识别矛盾与迟疑（Ambivalence and Hesitancy, A/H）——即那种内心“我不确定”的感觉，即一个人被两种力量拉扯的状态。团队在名为 BAH 的数据集上测试了他们的侦探技巧，该数据集包含来自 300 名不同人士的 1,427 段视频。他们必须猜测视频中的人是否表现出了犹豫不决的迹象。

“神奇”线索：转录文本中的“幽灵”

最大的惊喜在于？团队发现了一个没人关注过的“幽灵”信号。

想象一个语音转文本机器人（ASR）正在聆听视频。它的任务是记录下单词。为了让文本变得干净，机器人会删除“嗯”、“啊”以及长久的停顿。但诀窍在于：它无法删除这些声音所占据的时间。

团队意识到，尽管“嗯”之类的词消失了，但它们曾经存在的空白空间在时间戳中依然存在。他们开发了一个名为**“ASR 擦除时间”（ASR-erased time）**的新工具。它测量剩余单词之间的间隙。

为什么很酷： 这个测量间隙的工具被证明是他们发现的最强的非言语线索。它的 AP 为 0.718（衡量线索好坏的指标）。
独立性： 它非常独特，与其他任何线索几乎都没有相关性（相关性仅为 0.11–0.36）。这就像是发现了一个其他侦探从未见过的指纹。

“文本”是主角，“面部”是配角

团队测试了三类主要的线索：文本（他们说了什么）、音频（他们听起来如何）和视频（他们的脸看起来如何）。

文本是王者： 人们使用的词汇是最好的线索。当他们使用一种专门针对情绪训练的特殊文本模型时，得分达到了 AP 0.811。即使是一个简单的“迟疑标记”列表（例如统计某人说了多少次“但是”或“也许”），其表现也几乎一样出色（AP 0.800）。
音频是亚军： 如果音频模型是专门针对情绪（而非仅仅是语音）进行训练的，它会很有帮助（AP 0.764）。但如果使用的是通用的语音模型，它几乎毫无用处。
视频是挣扎的配角： 这是一个残酷的事实。无论他们如何尝试——使用高级的面部扫描模型、追踪眼球运动或观察眉毛的抽动——视频线索始终很弱。它们的 AP 维持在 0.63 到 0.67 之间。论文指出，由于只有 778 个训练视频，计算机无法学会捕捉犹豫不决的细微面部特征。面部提供的信息量显然不足。

“冲突”陷阱：什么没有奏效

许多之前的侦探认为，解决这个问题的关键在于寻找不同通道之间的冲突。他们认为：“如果文本说‘是’，但脸部看起来像是在说‘不’，那就是犹豫！”

团队通过构建一个寻找这些分歧的“冲突机器”来测试了这个想法。

结果： 没有帮助。无论是寻找冲突、忽略冲突，还是以不同的方式拆分数据，结果几乎没有变化（变化小于 0.05）。论文明确排除了“冲突设计”作为秘密武器的可能性。信号并不在通道之间的冲突中，而是在文本和那些间隙之中。

“过拟合”陷阱：不要在测试中作弊

这是关于他们如何获胜的最重要教训。

团队有一个由 124 段视频组成的练习组（验证集）和一个由 525 段视频组成的大型真实测试组。

错误做法： 如果你试图专门针对练习集来调整你的“旋钮”（权重和阈值）以获得最高分，你就是在作弊。团队尝试了这种方法，他们在练习集上的得分高达 0.741，但当他们进行真实测试时，分数跌落到了 0.690。这被称为过拟合（overfitting）——即死记硬背练习题而不是学习知识本身。
解决方法： 他们停止了调整旋钮。相反，他们使用了一个简单的固定规则：0.5（50/50 的猜测线），并根据线索在历史上表现出的准确性进行加权（AP 加权）。
胜利： 通过坚持这种简单、诚实的规则，他们在真实测试上的得分跃升至 0.731。这击败了之前的获胜者（得分 0.694）。

最终计分板

团队将六个不同的“侦探”（模型）组合成了一个团队。

结果： 他们的最终系统在公开测试中取得了 0.731 的 Macro-F1 分数。
他们有多确定？ 他们进行了统计检查（“自助法/bootstrap”），发现有 97% 的概率他们的得分确实高于之前获胜者的 0.694。这是一个强有力的领先，但并非绝对锁定。

总结

论文得出结论：要识别犹豫，要倾听文字及其间的沉默，而不是看脸。

不要试图强迫计算机去寻找眼睛和嘴巴之间的“冲突”；这并不奏效。
要信任文本以及语音识别留下的“幽灵”时间间隙。
要在测试中保持诚实：不要为了在练习测试中表现出色而微调设置，否则你在真实测试中会失败。

该团队的系统是一个简单的单命令脚本，它证明了有时解决谜团最好的方式并不是依靠超级复杂的机器，而是通过对故事间隙进行简单、诚实的观察。

技术摘要：用于识别矛盾与犹豫的简单特征与诚实校准

问题定义
本研究旨在解决 ABAW 2026 BAH 挑战赛中的矛盾与犹豫（Ambivalence and Hesitancy, A/H）识别任务。目标是在给定一段短篇访谈视频的情况下，预测说话者是否表现出内在冲突或不确定性的迹象。该任务被设定为一个二分类、视频级分类问题，主要通过宏观 F1 分数（macro-F1，即呈现类与缺失类的非加权平均 F1 分数）进行评估，次要指标为平均精度（Average Precision, AP）。数据集（BAH）包含来自 300 名参与者的 1,427 段视频，分为训练集（778 段）、验证集（124 段）和公开测试集（525 段），各拆分集之间不存在参与者重叠。

方法论
所提出的系统背离了当前流行的复杂跨模态冲突建模范式，转而关注情感特化表示、可解释的语言线索以及严格的校准。

模态编码器： 系统使用冻结的预训练编码器，而非从头开始训练。
- 文本： 在 GoEmotions 上进行微调的 RoBERTa（768 维）以及 11 个手工构建的犹豫标记（例如：填充词、停顿、自我修复和情感翻转的速率）。
- 音频： 一个情感特化的 wav2vec2 模型（1024 维）。研究发现通用语音编码器（如 HuBERT）的表现较差。
- 视频： 基于 16 帧对齐帧的面部表情 Vision Transformer（FER-ViT），提供嵌入向量和 7 类表情剖面。通用视频编码器（VideoMAE）以及特定的注视/眉毛动态未能提升性能。
- ASR-擦除时间（ASR-Erased Time）： 一种从自动语音识别（ASR）块的时间戳中提取的新型 16 维特征集。由于 ASR 模型（如 Whisper）会删除填充词和停顿以生成纯净文本，剩余块之间的时序间隙保留了这些被删除事件的持续时间。特征包括间隙计数、按语音时间归一化的间隙大小、块碎片化以及对比词之前的停顿模式。
情感标记融合（AMF）：
- 各流被投影到共享宽度，并通过一个学习到的可靠性门控（reliability gate）进行处理。该机制为每个流分配权重，从而有效地降低弱通道（如视频）的权重，而不是将其作为噪声加入。
- 一个辅助头仅利用 11 个可解释的标记来预测 A/H，起到正则化作用，确保共享表示即使在其他模态较弱时仍具有预测性。
- 模型使用类别平衡的二元交叉熵和标签平滑（ $\epsilon=0.1$ ）进行训练。
集成与校准：
- 最终预测是六个模型成员（包括 AMF 网络和单个流探测器）的 AP 加权平均值，其固定决策阈值为 $\tau = 0.5$ 。
- 作者明确拒绝在验证集上调整阈值或集成权重，并证明这种“搜索”会导致过拟合（在验证集上得分为 0.741，但在测试集上降至 0.690）。
- 相反，权重完全由每个成员的平均精度（AP）导出，这是一种在小规模数据集上保持稳定的无阈值指标。
- 最终模型使用所有可用标注数据（训练 + 验证 + 测试 = 1,427 段视频）进行训练，并使用一个带种子、分层的 113 段视频留出集进行早停和权重拟合，以确保没有数据泄露。

关键结果

性能： 该系统在公开测试集上实现了 0.731 的 macro-F1，超越了上一届的获胜者（0.694）以及所有基线模型，包括零样本多模态大语言模型（0.283）和协同注意力（co-attention）基线（0.590）。
信号分布：
- 文本占主导地位： 文本流（RoBERTa-GoEmotions）产生的 AP 最高（0.811），紧随其后的是 11 个犹豫标记（0.800）。
- 音频次之： 情感特化音频编码器（AP 0.764）显著优于通用音频编码器（HuBERT, AP 0.606）。
- 视频较弱： 所有视觉表示（包括 FER 和注视动态）都接近随机水平（AP 0.63–0.67），并未做出有意义的贡献。
- ASR-擦除时间： 这一非言语通道实现了 0.718 的 AP，优于所有视觉特征，且与其他模型成员的相关性较低（0.11–0.36），表明其具有高度独立性。
消融实验发现：
- 冲突设计： 改变跨模态冲突算子（绝对差值、正交拆分或无冲突）导致的变化微乎其微（<0.05 AP），且在验证集与测试集之间的排名不一致，证明它不是一个关键的调节杠杆。
- 校准： 最显著的增益来自于诚实的校准。移除在验证集上对权重和阈值的搜索，使测试得分提高了 0.041（从 0.690 提升至 0.731）。

意义与主张
论文认为，对于 BAH 数据集，矛盾与犹豫的“信号”几乎完全集中在语言和特定的韵律间隙中，而非复杂的跨模态面部或声音冲突特征。作者提出了三个主要结论：

冲突设计并非关键杠杆： 当编码器固定时，预设的冲突特征并不能可靠地提高性能。
特征提升具有局限性： 只有情感特化音频和可解释的语言标记提供了实质性的收益；视觉通道在当前数据规模下仍然无效。
校准至关重要： 最大的性能提升源于避免在校准阶段发生过拟合。使用基于 AP 加权的集成和固定阈值，比在小型验证集上调整权重和阈值更为优越。

该工作强调，“诚实”的评估——即在测试前固定校准规则——比架构复杂度更具影响力。作者指出，虽然相对于上一届获胜者的提升在统计学上是可能的（95% 自助法置信区间 [0.693, 0.770]），但并非绝对确定。目前确定的最有前景的未来方向是进一步挖掘 ASR-擦除时间，该特征目前提供了一个强大的、独立的信号，正等待更大规模的数据集来将其独立性充分转化为准确率。