💻 computer science

Foundation Model Embeddings Meet Blended Emotions: A Multimodal Fusion Approach for the BLEMORE Challenge

本文提出了一种针对 FG 2026 BLEMORE 挑战赛的混合情绪识别系统，通过融合包括 Gemini Embedding 2.0 在内的六种编码器家族及晚期概率融合策略，结合冻结 Wav2Vec2 特定层特征与软标签训练，在测试集上取得了 0.279 的得分并位列第 6 名。

原作者： Masoumeh Chapariniya, Aref Farhadipour, Sarah Ebling, Volker Dellwo, Teodora Vukovic

发布于 2026-03-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Masoumeh Chapariniya, Aref Farhadipour, Sarah Ebling, Volker Dellwo, Teodora Vukovic

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个团队如何教计算机“读懂”人类复杂且混合的情绪。想象一下，当一个人既生气又害怕，或者既开心又有点悲伤时，他的表情、声音和肢体语言会交织在一起，很难用简单的“开心”或“难过”来概括。这就是BLEMORE挑战的核心：不仅要识别出有哪些情绪，还要判断哪种情绪更占主导地位（比如是 70% 的愤怒 +30% 的恐惧，还是反过来）。

为了在 2026 年的 FG 会议上解决这个问题，作者团队设计了一个像**“超级侦探联盟”**一样的系统。他们不是只派一个侦探去破案，而是召集了六位不同背景的专家，让他们各自提供线索，最后由一位“总指挥”综合所有信息做出判断。

以下是这个“侦探联盟”的运作方式，用生活中的比喻来解释：

1. 六位专家（编码器）的分工

这个系统由六个不同的“专家”组成，他们分别负责观察不同的线索：

面部专家（S4D-ViTMoE）：
- 角色： 就像一位擅长微表情的心理学家。
- 工作： 他专门盯着人的脸看。为了让他更专业，团队对他进行了“特训”（微调），让他不仅看脸，还能理解“混合情绪”的比例（比如用软标签训练，让他知道愤怒和恐惧是 7:3 的关系，而不是非黑即白）。
- 特点： 他非常擅长捕捉面部肌肉的细微变化。
声音专家（Wav2Vec2）：
- 角色： 一位听力敏锐的侦探，但他有个特殊的习惯。
- 工作： 这个挑战里的声音不是说话（没有具体的词），而是笑声、哭声、喘息声。普通的语音模型（像教人认字的老师）如果全学，反而会学偏。
- 秘诀： 团队发现，这个模型的“中间层”（第 6 到 12 层）最擅长捕捉语调、节奏和情绪，而“顶层”只关心发音。于是，他们只冻结（不训练）中间层，直接拿来用。这就像只借用一位老厨师的“火候感”，而不让他重新学切菜。结果证明，这种“拿来主义”比重新训练整个模型效果好得多，因为数据量太小，重新训练容易“死记硬背”（过拟合）。
肢体语言专家（TimeSformer 和 VideoMAE）：
- 角色： 观察全身动作的侦探。
- 工作： 有时候脸很平静，但拳头握紧了，或者身体在发抖，这代表了强烈的情绪。这两位专家专门看人的全身动作，补充面部专家看不到的信息。
全能新星（Gemini Embedding 2.0）：
- 角色： 一位来自未来的“超级 AI 助手”，这是第一次在情绪识别中使用这种大模型。
- 工作： 它非常聪明，但有个限制：它只能看前 2 秒钟的视频。
- 奇迹： 尽管只能看短短 2 秒，它竟然能猜出情绪，而且猜得很准！这就像只看了一个人进门时的一个眼神，就猜出了他今天的心情。这证明了大模型拥有极强的“直觉”，能从极短的信息中捕捉到丰富的情感语义。
其他辅助专家：
- 还有几位专家使用了之前别人提取好的现成特征（如 HiCMAE, CLIP 等），作为团队的补充力量。

2. 投票与决策（融合与后处理）

加权投票：
六位专家各自给出一个概率（比如：愤怒 70%，恐惧 30%）。系统不会简单地取平均值，而是给每位专家分配不同的**“投票权重”**。
- 结果发现，那些经过专门训练、懂这个特定任务的专家（如面部和肢体专家）获得了62%的票数，而通用的现成模型只占 38%。这说明“术业有专攻”，针对特定任务微调过的模型更靠谱。
- 有趣的是，那个只能看 2 秒的“全能新星”Gemini，因为表现太出色，获得了最高的单票权重。
最后的“门槛”（阈值调整）：
这是系统最棘手的地方。专家们的投票是连续的分数（比如 0.65），但比赛要求输出离散的结果（比如“愤怒”或“恐惧”）。
- 这就需要设定两个**“门槛”**：
  1. 存在门槛 ( $\alpha$ )： 分数超过多少才算“有这种情绪”？
  2. 主次门槛 ( $\beta$ )： 两个情绪分数差多少，才算“谁主谁次”？
- 大发现： 团队发现，这个“主次门槛”( $\beta$ ) 非常不稳定。对于不同的人，这个门槛从 0.05 变到 0.43，差别巨大。
- 比喻： 这就像每个人的“情绪表达风格”都不同。有的人即使很生气，表情也很含蓄（门槛低）；有的人稍微有点不开心就大喊大叫（门槛高）。目前的模型很难适应这种**“千人千面”**的差异，这是导致系统在不同人身上表现不一的主要原因。

3. 最终成绩与启示

成绩： 这个“超级侦探联盟”在测试中拿到了第 6 名，综合得分 0.279，远超之前的最佳记录。
三个核心启示（用大白话总结）：
1. 少即是多（针对小数据）： 对于这种只有几千个样本的小数据集，不要试图让大模型从头学起（全量微调），而是挑选大模型里最合适的“中间层”直接拿来用，效果反而更好。
2. 大模型的直觉： 即使是像 Gemini 这样只能看 2 秒视频的大模型，也能在情绪识别上大放异彩，这为未来研究打开了新大门。
3. 人的复杂性是最大瓶颈： 技术已经很强了，但最大的难点在于每个人表达情绪的方式太独特了。目前的“一刀切”的判定标准（阈值）很难适应所有人，未来的方向可能是让系统学会“因人而异”地判断。

总结来说：
这篇论文就像是在说，要读懂人类复杂的情绪，不能只靠一个死板的规则。我们需要组建一个多元化的专家团队，利用大模型的直觉，同时尊重每个人独特的表达习惯。虽然目前我们还在努力克服“千人千面”带来的判断难题，但这条路已经走通了，而且前景非常光明。

这是一份关于论文《Foundation Model Embeddings Meet Blended Emotions: A Multimodal Fusion Approach for the BLEMORE Challenge》的详细技术总结。

1. 研究背景与问题定义 (Problem)

核心任务：BLEMORE 挑战旨在解决混合情绪识别（Blended Emotion Recognition）及其相对显著性预测（Relative Salience Prediction）。
数据特点：BLEMORE 数据集包含 3,050 个视频片段，由 58 名演员表演 6 种基本情绪及 10 种混合组合（如 70% 愤怒 +30% 恐惧）。每个片段标注了情绪的相对显著性比例（50/50, 70/30, 30/70）。
关键挑战：
1. 双重任务耦合：系统需同时解决“情绪存在性识别”（哪些情绪出现）和“显著性识别”（各情绪的相对强度）。
2. 非语言音频：音频数据主要由非语言发声（笑声、哭泣、喘息等）组成，而非语音，这使得传统的语音识别模型（ASR）上层特征失效。
3. 评估瓶颈：评估流程依赖两个后处理阈值（存在性阈值 $\alpha$ 和显著性阈值 $\beta$ ）将连续输出转化为离散预测。研究发现 $\beta$ 高度依赖演员的个人表达风格，导致验证集与测试集之间存在显著的性能差距（过拟合风险）。
评价指标：最终得分为 $Score = 0.5 \times ACCP + 0.5 \times ACCS$ ，其中 $ACCP $为存在性准确率，$ ACCS$ 为显著性准确率。

2. 方法论 (Methodology)

该系统采用多模态融合（Multimodal Fusion）架构，通过晚期概率融合（Late Probability Fusion）结合六个编码器家族的输出。整体流程如图 1 所示：

A. 视觉编码器 (Visual Encoders)

面部表情 (S4D-ViTMoE)：
- 架构：基于 S4D 框架（Vision Transformer + Mixture-of-Experts 适配器），在 VoxCeleb2 和 AffectNet 上预训练。
- 适配策略：
  - 预处理：使用 MTCNN 提取对齐的面部裁剪（160x160），保持与预训练域一致，避免背景干扰。
  - 训练目标：将交叉熵损失替换为软标签 KL 散度损失（Soft-label KL Training），以保留混合情绪的比例信号（如 [0.7, 0, 0.3...]）。
  - 微调策略：冻结骨干网络前 5 层，仅微调 MoE 适配器和分类头。
  - 采样：训练时随机裁剪时间窗口作为数据增强；测试时采用多片段策略（4 个片段）取平均以减少时间敏感性。
肢体语言 (Body Language)：
- 使用 TimeSformer 和 VideoMAE 对全身帧（不裁剪面部）进行微调。
- 目的：捕捉面部无法体现的姿态、手势和肢体动态，作为面部编码器的互补信息。
- 同样采用软标签 KL 训练和判别式学习率策略。

B. 音频编码器 (Audio Encoder)

模型：基于 Wav2Vec2-Large。
核心发现：由于 BLEMORE 音频是非语言的，Wav2Vec2 的上层（负责音素）特征无效。
创新策略：层选择冻结特征（Layer-selective Frozen Features）。
- 提取中间层（第 6-12 层）的隐藏状态，这些层编码了韵律、节奏和副语言特征（音高轮廓、发声努力等）。
- 冻结骨干网络，仅训练轻量级 MLP 分类器。
- 对比：该方法（Score 0.207）显著优于端到端微调（Score 0.161），证明了在小规模非语言数据集上，选择正确的预训练层比全量微调更重要。

C. 大模型嵌入 (LMM Embeddings)

创新点：首次将Gemini Embedding 2.0（大型多模态模型）引入情绪识别。
输入：仅使用视频的前 2 秒。
表现：尽管时间极短，其 ACCP 达到 0.317，证明了 LMM 嵌入能捕捉丰富的语义信息，且泛化能力强。

D. 融合与后处理 (Fusion & Post-processing)

融合：加权平均融合（Weighted Late Fusion）。权重通过验证集上的网格搜索优化。
后处理：
1. 保留 Top-2 情绪。
2. 应用存在性阈值 $\alpha$ 过滤低概率。
3. 应用显著性阈值 $\beta$ 决定输出是 50/50 还是 70/30。
4. 若出现“中性”则合并为单一情绪。

3. 关键贡献 (Key Contributions)

S4D-ViTMoE 的混合情绪适配：开发了完整的管道，包括针对预训练域的面部预处理和保留比例信号的软标签 KL 训练。
音频层选择策略：证明了在 BLEMORE 这种非语言数据集中，冻结 Wav2Vec2 的中间层（6-12 层）并训练轻量分类器，比端到端微调性能提升 22%。
LMM 嵌入的首次应用：首次探索使用 Gemini Embedding 2.0 进行混合情绪识别，仅凭 2 秒视频即达到具有竞争力的性能，开辟了情感计算的新方向。
阈值敏感性分析：量化了后处理阈值的不稳定性，发现显著性阈值 $\beta$ 在不同折（fold）间变化巨大（0.05 到 0.43），揭示了个性化表达风格是主要瓶颈，而非模型容量。

4. 实验结果 (Results)

测试集表现：
- 最终得分：0.279 (ACCP = 0.391, ACCS = 0.168)。
- 排名：第 6 名。
- 对比基线：显著优于 BLEMORE 官方最佳基线（VideoMAEv2 + HuBERT, Score 0.223）和 ImageBind+WavLM (0.221)。
- 融合增益：引入 Gemini 嵌入后，12 编码器系统的测试得分从 0.262 提升至 0.279 (+6.5%)。
权重分析：
- 任务自适应的编码器（S4D, 身体编码器，音频）在融合中占据了 62% 的权重，而通用基线特征占 38%。
- Gemini Embedding 2.0 在 12 编码器融合中获得了最高权重 (0.192)。
验证集与测试集差距：验证集得分 (0.311) 高于测试集 (0.279)，主要归因于 $\beta$ 阈值的演员依赖性过拟合。

5. 意义与启示 (Significance)

数据驱动的策略选择：对于小规模非语言情感数据集，“选择正确的预训练层”（如 Wav2Vec2 的中间层）比“端到端微调”更有效，避免了过拟合。
基础模型的潜力：大型多模态模型（LMM）的嵌入即使在极短的时间窗口（2 秒）下也能捕捉丰富的情感语义，表明通用基础模型在细粒度情感任务中具有巨大的迁移潜力。
评估方法的反思：研究揭示了基于固定阈值（特别是 $\beta$ ）的评估方法存在根本缺陷，因为情感表达具有高度的个性化（Actor-dependent）。未来的方向应转向连续显著性回归或无阈值预测，以消除这种人为的评估偏差。
多模态互补性：面部、肢体和音频（韵律）提供了互补信息，混合模态融合是解决复杂混合情绪识别的关键。

总结：该论文通过结合先进的视觉 Transformer、精心设计的音频特征提取策略以及新兴的大模型嵌入技术，在 BLEMORE 挑战中取得了优异成绩。其核心贡献不仅在于系统性能的提升，更在于揭示了非语言情感数据处理的特殊规律（层选择优于微调）以及当前评估范式的局限性（阈值不稳定性）。