💬 NLP

DemaFormer: Damped Exponential Moving Average Transformer with Energy-Based Modeling for Temporal Language Grounding

本文介绍了 DemaFormer，这是一种新颖的基于 Transformer 的架构，它将基于能量的建模框架与阻尼指数移动平均机制相结合，以有效学习时刻查询分布，并在时序语言定位任务中超越最先进的方法。

原作者： Thong Nguyen, Xiaobao Wu, Xinshuai Dong, Cong-Duy Nguyen, See-Kiong Ng, Luu Anh Tuan

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Thong Nguyen, Xiaobao Wu, Xinshuai Dong, Cong-Duy Nguyen, See-Kiong Ng, Luu Anh Tuan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一段长达一小时的家庭度假视频，有人要求你找出其中“戴墨镜的女子走过一座小型彩色桥梁”的确切 10 秒片段。这就是时序语言定位（Temporal Language Grounding）的工作：在视频中找出与句子相匹配的具体时刻。

本文的作者 Thong Nguyen 及其团队认为，目前用于完成这项任务的最佳工具有点像一位困惑的图书管理员。它们会查看视频和句子，但常常搞错“氛围”，将桥梁场景与附近某棵树的随机镜头混淆。

为了解决这个问题，他们构建了一个名为DemaFormer的新系统。以下是通过简单类比对其工作原理的解释：

1. 问题：“模糊”的搜索

将视频想象成一长列排队等待的人群，而“目标”就是你要找的那个人。

旧方法：之前的 AI 模型使用标准的“注意力”机制。想象一下，AI 试图通过同时观察所有人来挑选出正确的人。问题在于，它常常分心。你想要的那个人（桥上的女子）最终看起来与站在她旁边的人（“剩余时刻”）非常相似。在论文的数据中，这些不同的场景被“搅混”在一起，使得很难将目标与背景噪声区分开来。

2. 解决方案：DemaFormer 的两大超能力

作者赋予了他们的新模型两个特殊技巧来解决这一混乱局面。

技巧 A：“阻尼”记忆（DEMA）

想象你正走在走廊里，试图记住你看到了什么。

标准 AI：它查看当前的房间，然后查看下一个房间，将它们视为完全独立的快照。它没有意识到走廊将它们连接在一起。
DemaFormer：它使用了一种称为阻尼指数移动平均（Damped Exponential Moving Average, DEMA）的技术。将其想象为一种“智能记忆”，它既记住当前的房间，又温和地保留来自前一个房间和后一个房间的一小部分信息。
“阻尼”因子：这是秘诀所在。它就像一个音量旋钮。模型会学习到底要借用多少“邻居信息”。如果借得太多，场景就会模糊在一起；如果借得太少，就会错过上下文。“阻尼”旋钮让模型能够完美地调整这种平衡，使其知道：“好吧，这个桥梁场景与河流场景相连，但它仍然是独特的。”

技巧 B：“能量”过滤器（基于能量的建模）

现在，想象 AI 必须决定哪些视频片段是“好的匹配”，哪些是“坏的匹配”。

旧方法：它只是试图根据以前看到的模式来猜测正确答案。
新方法（EBM）：作者将这种情况视为一个带有能量的物理实验。
- 低能量 = 好的匹配：想象一个球滚入深谷。山谷越深，球就越稳定。模型希望正确的视频时刻处于“深谷”（低能量）中。
- 高能量 = 坏的匹配：想象一个球栖息在摇摇欲坠的山峰上。它是不稳定的。模型希望错误的时刻处于“高峰”（高能量）上。
训练过程：为了训练模型，他们使用了一种称为朗之万动力学（Langevin Dynamics）的数学过程。想象摇晃一盒弹珠。起初，弹珠（视频片段）全部混在一起。随着模型“摇晃”（训练），它将错误的弹珠（坏匹配）推到高而不稳定的山峰上，并让正确的弹珠（好匹配）滚入深邃、安全的山谷。这迫使模型清晰地将“桥梁”场景与其他一切区分开来。

3. 结果：更清晰的聚焦

该团队在四个不同的视频数据集（如日常 Vlog、新闻片段和体育集锦）上测试了 DemaFormer。

视觉证据：在论文的图表（图 1）中，他们展示了 AI“观看”视频的方式图。
- 旧模型（UMT）：代表“桥梁”场景和“树木”场景的点都混杂在一个巨大、混乱的云雾中。
- DemaFormer：“桥梁”的点形成了一个紧密、整齐的簇，与“树木”的点完全分离。这就像 AI 终于戴上了眼镜，能够清晰地看到区别。
分数：DemaFormer 显著击败了之前的最佳模型（如 UMT 和 Moment-DETR）。它在找出视频片段的确切开始和结束时间方面表现更好，并且在将正确片段排名为第 1 选择方面也更出色。

总结

简而言之，DemaFormer是一个视频搜索引擎，它：

更好地记住上下文，通过温和地融合来自相邻时刻的信息（DEMA）。
学会将信号与噪声分离，通过将错误答案推向“高能量”（不稳定）区域，并将正确答案拉向“低能量”（稳定）区域（基于能量的建模）。

其结果是一个系统，能够比以前更准确地找到“那个过桥的女子”，而不会被她周围的景色所迷惑。

技术摘要：DemaFormer

问题陈述

时序语言定位（TLG）是一项旨在定位与自然语言查询在语义上对应的特定视频片段的任务。尽管近期方法利用基于 Transformer 的注意力机制来学习视频片段与文本查询之间的关系，但本文指出“朴素”的注意力机制往往不足。具体而言，标准注意力机制缺乏关于输入元素的先验知识，未能利用时序邻域内的视频片段通常表现出紧密相关特征这一事实。这一局限导致无效的时刻 - 查询联合建模，使得目标定位与非目标片段在表示空间中变得难以区分（t-SNE 可视化显示混合分布即证明了这一点）。

方法论

作者提出了 DemaFormer，这是一种新颖的基于 Transformer 的架构，整合了两项主要创新：阻尼指数移动平均（DEMA）注意力机制和基于能量的模型（EBM）框架。

1. 阻尼指数移动平均（DEMA）注意力

为了捕捉时刻 - 查询输入之间的局部依赖关系，作者将 DEMA 计算引入 Transformer 架构。

机制：模型将输入映射到中间空间，并将当前隐藏状态计算为前一隐藏状态与当前输入的加权和。
阻尼：与标准指数移动平均（EMA）不同，DEMA 除了使用加权系数（ $\alpha$ ）外，还采用可学习的阻尼系数（ $\delta$ ）。这些系数使模型能够充分吸收相邻信息，同时确保输入之间的区分度。
集成：DEMA 输出经过非线性层（SiLU）处理，并用作注意力机制中的值张量。最终输出是原始输入与注意力输出的自适应聚合。

2. 基于能量的建模（EBM）框架

为了显式学习时刻 - 查询表示的分布并将目标定位与非目标分离，作者采用了 EBM 框架。

目标：模型旨在最小化相关定位的能量，同时最大化偏离定位的能量。这被表述为对比散度目标。
负采样：由于 EBM 需要负样本来表示高能量区域，作者调整了 Langevin 动力学方程，直接从 EBM 分布中采样负输入。
- 最初，生成的样本被确保为负样本，因为分布尚未匹配真实分布。
- 随着训练的进行，Langevin 方程产生“硬负样本”。
能量函数：能量函数定义为预测显著性分数的负值（ $E_\theta = -\hat{s}_i$ ）。这建立了一种负显著性 - 能量关系，即最大化显著性对应于最小化能量。
训练损失：总损失结合了标准匹配损失（用于显著性、中心、宽度和偏移）与源自 EBM 框架的负对数似然（NLL）损失。NLL 损失中负样本的权重随训练轮次衰减。

3. 整体架构

输入：模型处理视觉片段、文本查询和音频信号。由于音频具有噪声特性，它通过单层注意力机制融合到视觉序列中。
编码器 - 解码器：该架构由编码器和解码器组成，两者均利用 DEMA 注意力层、归一化、非线性激活和残差连接。
预测：解码器输出通过线性层，以预测显著性分数、中心、偏移和片段宽度。

主要贡献

DemaFormer 架构：一种新颖的 Transformer 变体，将带有可学习阻尼系数的指数移动平均集成到注意力机制中，以有效捕捉视频 - 语言输入中的依赖模式。
基于能量的学习框架：一种用于 TLG 的新方法，利用 EBM 对时刻 - 查询分布进行建模。该目标被表述为对比散度，以辅助经典定位损失，并利用 Langevin 动力学进行负采样。
实证优越性：大量实验表明，所提出的方法在四个公共数据集上优于最先进（SOTA）的基线模型。

实验结果

作者在四个基准数据集上评估了 DemaFormer：QVHighlights、Charades-STA、YouTube Highlights 和 TVSum。

QVHighlights：DemaFormer 相比之前的最佳基线（UMT）取得了显著改进，Rank 1@0.5 的绝对增益为 4.54%，Rank 1@0.7 的绝对增益为 2.01%。在 ASR 字幕上进行预训练后，mAP 进一步提高了 2.59%，Hit@1 提高了 2.64 个百分点。
Charades-STA：该模型相比 UMT 将 Rank 1@0.5 提高了 3.28%，Rank 5@0.5 提高了 2.53%。在更严格的阈值（ $\mu=0.7$ ）下，Rank 1 的改进达到了 5.99%。
YouTube Highlights 和 TVSum：DemaFormer 在所有类别和总体上的 mAP 得分均最高，在特定的 TVSum 类别中，其表现优于第二好的模型（如 UMT）高达 19.34%。
消融研究：
- 移除阻尼因子或整个 DEMA 计算会导致性能下降，证实了建模局部依赖关系的必要性。
- 移除 EBM 目标会导致显著下降（例如，QVHighlights 上的 Rank 1@0.5 下降约 3.16%），验证了显式建模表示分布的重要性。
- 使用显著性分数作为能量函数被证明优于基于余弦相似度的能量函数。
- 当 Langevin 采样步数（ $K$ ）超过 100 时，性能趋于收敛。

意义与主张

本文声称，DemaFormer 解决了以往基于注意力方法的核心局限：无法在表示空间中有效地将目标视频片段与视频其余部分分离。通过结合 DEMA 以捕捉局部时序依赖关系，并结合 EBM 以显式建模时刻 - 查询对的分布，该框架实现了更准确的定位。

作者指出，他们的方法在多样化场景（日常 Vlog、新闻、体育集锦）中特别有效，且 t-SNE 可视化证实，他们的模型将目标定位与非目标保持区分，而不同于以往基线中它们相互混杂的情况。

局限性：作者承认，由于负输入所需的 Langevin 动力学采样，该框架会产生额外的计算成本。此外，他们尚未研究模型在跨域场景（例如，在滑雪视频上训练并在滑冰视频上测试）中的性能，这被确定为未来工作的一个缺口。