💻 computer science

OmniEncoder: See, Hear, and Feel Continuous Motion Like Humans With One Encoder

本文介绍了 Omni-Encoder，这是一种统一的 Transformer 骨干网络，能够以对称的 25 帧/秒速率协同嵌入视觉与音频信号，从而克服特定模态编码器的局限性，进而实现对连续运动的整体性、类人感知，在显著提升细粒度视觉任务性能的同时，保持具有竞争力的视听基准表现。

原作者： Detao Bai, Shimin Yao, Weixuan Chen, Chengen Lai, Yuanming Li, Zhiheng Ma, Xihan Wei

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Detao Bai, Shimin Yao, Weixuan Chen, Chengen Lai, Yuanming Li, Zhiheng Ma, Xihan Wei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，试图通过每秒只看一张静止照片、同时以全速聆听原声带的方式来理解一部电影。这基本上就是当今大多数“全模态”AI 模型（即能看也能听的系统）的工作方式。它们缓慢地查看视频帧（每秒 1 到 2 帧），却以极快的速度处理音频（每秒 25 次）。这造成了不匹配：AI 以慢动作观察世界，却以实时速度聆听声音，导致它难以将特定的手势与其发出的确切声音联系起来。

本文介绍了一种名为Omni-Encoder的新型 AI 大脑，旨在通过像人类一样同时“看”、“听”并“感受”运动来解决这一问题。

以下是其工作原理，使用简单的类比说明：

1. 问题所在：“慢动作摄像机”与“快耳”

当前的 AI 模型就像一名保安，每 10 秒检查一次走廊，却能瞬间听到每一个脚步声。如果有人在两次检查之间快速挥手，保安就会错过这一动作。

问题所在： 现有模型采样视频的速度太慢，无法捕捉快速运动（如手语或体操），却以全速处理音频。这导致它们错过了视觉与听觉之间那种“共舞”般的关联。

2. 解决方案："25 帧/秒超级大脑”

Omni-Encoder 被设计为以同样的高速度处理视频和音频：每秒 25 帧。它不仅仅是在看图片，而是理解图片之间的运动。

为了在不让计算机因数据过载而崩溃的情况下实现这一点，作者发明了三个巧妙的技巧：

A. “三车道高速公路”（Omni-Encoder 令牌模板）

该系统不再将视频和音频视为一团混乱的数据堆，而是将每一时刻的信息组织成三条 distinct 的“车道”：

音频车道： 承载声音。
“运动”车道（视觉连续）： 这是关键要素。这些是特殊的数据点，充当“运动传感器”。它们不关心物体看起来是什么（颜色或形状），只关心它如何从一帧移动到下一帧。可以将它们想象为追踪舞者手部的路径，而非舞者的面部。
“静态”车道（视觉基础）： 承载物体外观的细节（纹理、形状、背景）。

效率技巧： 系统保持“运动”和“音频”车道以全速（25 帧/秒）运行，以确保不遗漏任何运动。然而，它将“静态”车道减速至每秒仅 2 帧。为什么？因为背景不会变化得那么快。这节省了巨大的计算资源，同时保留了快速运动数据。

B. "3D GPS"（Omni-RoPE）

在普通 AI 中，很难区分一段数据是声音、移动的手还是静止的墙壁，因为它们看起来都是相同的数字。
Omni-Encoder 为每一个数据点赋予一个独特的3D GPS 坐标（时间、高度、宽度）。

声音获得位于“原点”的坐标 (0,0)。
移动的手获得紧邻其旁的坐标 (0,1)。
静止的墙壁获得更靠外的坐标 (1,1)。
这使得 AI 能够瞬间明白：“哦，这个数据点是声音，而那个是移动物体”，从而在不混淆的情况下理解它们之间的关系。

C. “滑动窗口”（时间窗口移位）

一次性处理 25 帧视频和音频，就像试图同时阅读图书馆里的每一本书——负担太重。
作者使用了一种称为时间窗口移位的技术。想象一下通过一个每次覆盖 16 页的小窗口来读书。

首先，你阅读第 1 到 16 页。
然后，你将窗口移动一半，阅读第 9 到 24 页。
接着，再次移动。
这使 AI 能够看到故事如何从一个时刻流向下一个时刻，而无需一次性记住整部电影。它保持了思维过程的快速与高效。

3. 结果：他们证明了什么？

团队在需要捕捉快速、细致动作的任务上测试了这一新系统：

手语： 识别手语就像阅读一本用快速手部动作写成的书。旧模型的正确率约为 1% 到 37%。Omni-Encoder 达到了90% 到 97% 的正确率，甚至击败了专为手语构建的专用系统。
体育与动作： 在识别跳水动作或体操等任务中，它匹配或超越了现有最佳模型。
视听推理： 当被问及需要同时听和看的问题时（例如“谁在说话？”），其表现与使用独立“耳朵”和“眼睛”的复杂系统一样出色。

核心结论

该论文声称，通过统一 AI 的“看”与“听”——将它们视为单一、同步的数据流，而非两个分离且不匹配的流——我们可以构建出更像人类那样理解世界的模型。它们能够捕捉连续运动的“感觉”，从而在理解快速动作、手势以及声音与视觉之间的关系方面表现得更加出色。

技术摘要：OmniEncoder

1. 问题陈述

当前的全模态大语言模型（OmniLLMs）通常采用特定模态的模块化设计，即为视觉和音频使用独立的编码器。这种架构往往导致“视频粗糙、音频密集”的采样策略，即视觉帧以低频（1–2 fps）采样，而音频则以高频（25 fps）处理。

作者认为，这种设计与人类感知存在根本性差异。人类以整体方式感知世界，同时看到、听到并感受连续的运动，跨模态交互发生在感官处理的最早阶段。主流的“逐帧、逐模态”方法导致：

在编码阶段跨模态交互贫乏。
无法捕捉细粒度的视觉运动，而这对手语识别、细粒度运动分析和唇读等任务至关重要。
当试图利用全局注意力机制提高视觉帧率以匹配音频密度时，会出现计算效率低下的问题，因为全局注意力机制的复杂度随序列长度呈二次方增长（ $O(T^2)$ ）。

2. 方法论：Omni-Encoder

为应对这些挑战，作者提出了Omni-Encoder，这是一种统一的 Transformer 骨干网络，旨在共享的潜在空间内以对称的25 fps频率共同嵌入视觉和音频信号。该架构同时处理原始视频和音频，而不是在后期阶段进行融合。

核心架构组件

A. Omni-Encoder 令牌模板

输入视频在每个时间步（ $t$ ）被分解为三个不同的令牌流：

音频令牌（ $a_t$ ）： 通过轻量级 1D CNN 从对数梅尔频谱图中提取。
视觉连续（VC）令牌（ $vc_t$ ）： 逐帧引入的可学习向量，用于捕捉帧间运动动态（例如运动轨迹、手势起始、微动）。
视觉基础（VB）令牌（ $vb_t$ ）： 通过补丁嵌入生成，用于捕捉静态外观特征（纹理、形状、布局）。

令牌稀疏化： 为了在保持运动保真度的同时确保计算可行性，应用了令牌稀疏器。它在完整的 25 fps 分辨率下保留所有音频和 VC 令牌，但将 VB 令牌下采样至 2 fps。这大幅减少了转发给下游 LLM 解码器的令牌总数，同时未牺牲由 VC 令牌捕捉的高频运动信息。

B. Omni-RoPE（3D 旋转位置编码）

标准的 3D 旋转位置嵌入（RoPE）分配坐标 $(t, h, w)$ 。然而，直接将此应用于异构模态会产生冲突，因为音频和 VC 令牌缺乏独立的空间坐标。

解决方案： 作者重新映射了空间坐标。VB 令牌被移位至从 $(t, 1, 1)$ 开始，而音频令牌占据 $(t, 0, 0)$ ，VC 令牌占据 $(t, 0, 1)$ 。
优势： 这确保了所有三种模态在相同的 3D RoPE 公式中获得不重叠的位置编码，使模型能够区分模态并建模跨模态关系，同时保留与分辨率无关的外推能力。

C. 时间窗口移位

为了处理 25 fps 视频的计算成本，作者用受 Swin Transformer 启发的时间窗口移位机制取代了全局时空注意力。

机制： 令牌序列被划分为不重叠的时间组（ $G=16$ 帧）。联合时空注意力在这些组内计算。
移位： 在交替的层中，窗口边界移位 $G/2$ 帧，允许信息在相邻组之间流动。
复杂度： 这将注意力复杂度从二次方 $O(T^2)$ 降低为线性 $O(T \cdot G)$ ，从而在可管理的计算开销下实现 25 fps 的密集跨模态交互。

训练策略

该模型采用单阶段、端到端的训练策略：

基础： 使用 Qwen2.5-Omni-3B 的 LLM 组件作为固定的解码器。
初始化： Omni-Encoder 使用来自自监督视频表示学习（V-JEPA）的权重进行初始化。新组件（音频嵌入、VC 可学习查询）随机初始化。
优化： 仅最终的语言建模（LM）头是可训练的；所有其他 LLM 参数均被冻结。这避免了复杂的多阶段预训练流程。

3. 主要贡献

统一的高频编码： 首个统一编码器，能够以 25 fps 同时处理视觉和音频信号，弥合了类人连续感知与当前离散采样方法之间的差距。
新颖的架构创新： 引入了令牌模板（分离运动与外观）、Omni-RoPE（统一时空模态坐标）和时间窗口移位（高效密集注意力）。
密集运动任务上的性能： 证明了统一编码器在需要细粒度时间建模的任务（特别是手语和运动动作识别）上，能够超越专用模型。

4. 实验结果

作者在多个基准测试中将 Omni-Encoder 与特定模态基线及现有 OmniLLMs（如 Qwen2.5-Omni、Gemini-2.5-Pro）进行了评估：

视觉连续理解：
- 手语： 在 NationalCSL6707 上，Omni-Encoder 达到了 90.32%，超越了之前最好的领域专用模型（69.61%）超过 20 个百分点。在 SLR500 上，它达到了 97.8%，优于专用模型 SignBERT。
- 动作识别： 在 Diving48 上，它达到了 90.8%（对比 90.3% 的 SOTA），在 SthSv2 上达到 68.7%，与 InternVideo2-S2-1B 等强基线竞争。
- 观察： 现有的 OmniLLMs（即使经过 SFT）在这些任务上表现接近随机或较差（例如，Qwen2.5-Omni SFT 在 Diving48 上得分为 25.7%），突显了稀疏视觉编码的局限性。
视听推理：
- 说话人定位/识别： Omni-Encoder 实现了 98.8% 的定位率和 82.31% 的识别率，匹配或超越了 HumanOmni-Speaker 等专用模型。
- AVQA： 达到了 82.6%，与 Qwen2.5-Omni-3B 的 SFT 变体相当。
视听识别（LRS2）：
- 在不进行唇部裁剪预处理的情况下，该模型实现了 45.3%（仅视觉）、10.2%（仅音频）和 7.2%（视听）的词错误率（WER），证明了有效的跨模态融合。

5. 意义与主张

该论文提出，统一的全食性编码是构建更接近人类感知整合性质的全模态模型的一个有前景的方向。

范式转变： 结果表明，从特定模态、不匹配的采样率转向统一的高频编码空间，使模型能够捕捉此前通用 OmniLLMs 无法获取的细粒度运动动态。
效率与保真度： 该架构成功调和了模态解耦（区分音频、静态视觉和运动信号）与计算效率（随视频长度线性扩展）的双重挑战。
泛化能力： 该模型在密集运动任务上达到了专家级性能，而无需针对特定任务的架构定制，验证了高密度时间建模作为一种有效的通用表示策略。

作者总结道，虽然该模型目前在特定识别任务上因训练数据规模有限而略逊于专有的最先进模型，但这种统一方法为未来能够整体感知世界的 Omni-modal 系统提供了坚实的基础。