技术摘要：用于视觉-语言-动作模型的神经动作编解码器 (NAC)

问题陈述

视觉-语言-动作 (VLA) 模型旨在将视觉观测和自然语言指令直接映射为低层机器人控制信号。为了利用预训练视觉-语言模型 (VLM) 的泛化和推理能力，机器人控制通常被表述为一个自回归序列建模任务。然而，这种方法需要进行动作标记化 (action tokenization)：即将连续的物理动作轨迹转换为离散符号。

现有的标记化方法在压缩率、延迟和下游性能之间面临权衡：

• 均匀分箱 (Uniform Binning)： 早期方法使用逐维分箱，导致在高频控制下产生过长的标记序列。
• 手工设计的压缩： 如 FAST 等方法利用频域压缩（例如离散余弦变换）来缩短序列，但可能会因为固定的先验知识而忽略复杂的非线性动力学。
• 延迟与保真度： 设计一个最优的标记器具有挑战性，因为它必须既能捕捉统计规律以进行有效的分布建模，又能保持低延迟（每个动作块的标记数）和快速解码。

音频生成领域已成功解决了类似的挑战（高保真压缩、低延迟和复杂的时域分布），使用了神经音频编解码器 (Neural Audio Codecs)，但这些架构尚未被直接应用于机器人领域。在理解如何将音频编解码器原理——特别是残差向量量化 (RVQ) 和对抗训练——转移到具有多通道、低频运动学信号的独特领域方面，仍存在关键空白。

方法论：神经动作编解码器 (NAC)

作者提出了 NAC，一种学习型动作标记器，它通过将最先进的神经音频编解码器架构（特别是多尺度 RVQGAN）适配于机器人动作标记化。

1. 信号表示与架构

NAC 将连续的动作块视为多通道 1D 信号。

• 输入： 一个连续动作块 $a \in \mathbb{R}^{B \times H_a \times D_a}$ 被展平为一个 1D 伪波形 $w \in \mathbb{R}^{B \times 1 \times L}$，其中 $L = H_a \cdot D_a$。
• 编码器： 一个全卷积 SEANet 式编码器 处理该伪波形。它使用带有步幅下采样的堆叠 1D 卷积和残差块来生成连续潜表示 $z$。
• 量化： 使用多尺度残差向量量化 (MRVQ) 对潜变量 $z$ 进行离散化。与标准 RVQ 不同，NAC 在量化前应用了逐阶段时间池化。这迫使早期阶段在更宽的时间窗口内捕捉粗粒度的全局轨迹结构，而后期阶段则捕捉细粒度的、高频的残差。
• 解码器： 一个带有 逆短时傅里叶变换 (ISTFT) 头 的 Vocos 式解码器 从离散代码重建连续动作信号。ISTF 头预测 STFT 幅度和相位，并与编码器的跳步长度同步，以恢复编码过程中丢失的相位信息。

2. 针对机器人的关键适配

论文指出，如果不进行特定修改，直接应用音频编解码器会失败：

• 损失函数转变： 音频模型通常针对 梅尔频谱图 (mel-spectrogram) 损失进行优化，以符合人类听觉感知。作者证明，梅尔频谱图目标函数不适用于运动学信号，会导致下游策略性能降至接近于零。NAC 使用简单的时域 (MSE/L1) 和非梅尔频谱重建损失取代了它们。
• 对抗训练： NAC 引入了对抗损失在动作标记化中的首次应用。通过使用判别器（具体为 DAC 式判别器）来保持高频保真度，这对于建模机器人所需的快速纠正动作和剧烈的速度变化至关重要。
• 承诺损失 (Commitment Loss)： 为了防止码本崩溃，应用了带有激进缩放（例如 1000 倍因子）的承诺损失，以严格限制潜空间。

3. 策略公式化

NAC 支持自回归行为克隆策略：

• 偏移码本 (Offset Codebooks)： 为了提供结构化的标记空间，NAC 使用了偏移码本。如果存在 $n_q$ 个量化尺度，则词表大小为 $|V| = n_q \times V_{bins} + 1$。每个尺度的标记都被限制在特定的 ID 范围内。
• 训练： 策略根据视觉观测和语言指令预测离散标记序列 $C = [c_1, \dots, c_L]$，最大化该标记序列的对数似然。
• 推理： 策略以自回归方式生成标记。标记按尺度进行划分，转换回代码索引，然后传递给冻结的 NAC 解码器以恢复可执行的连续动作。

核心贡献

1. NAC 架构： 引入了一种基于多尺度 RVQGAN 架构的学习型动作标记器，通过将动作视为 1D 伪波形，专门适配了多通道机器人轨迹。
2. 结构化自回归策略： 提出了一种行为克隆策略，利用 NAC 的偏移码本进行结构化的因果下一标记预测。
3. 损失函数见解： 证明了舍弃音频特有的梅尔频谱图损失对于将神经音频编解码器应用于机器人至关重要。论文引入了时域和非梅尔频谱损失的使用，以及对抗损失在动作标记化中的首次应用。
4. 实证验证： 在模拟 (LIBERO-10, RoboMimic) 和真实世界操纵任务中进行了全面评估，显示出优于现有基准的重建保真度和下游策略性能。

实验结果

作者将 NAC 与连续控制基准（Diffusion Policy）和离散标记基准（Uniform Binning, FAST, VQ-VLA, OAT）进行了对比。

• 重建与消融实验：
  • 梅尔频谱图损失： 使用梅尔频谱图损失导致下游任务的成功率为 0%，证实了音频与运动学之间的感知不匹配。
  • 对抗训练： 去除判别器会导致下游任务完全失败，凸显了对抗训练对于保留细粒度时间细节的必要性。
  • 解码器头： 用线性解码器替换 ISTFT 头会显著恶化重建误差和策略成功率。
• 下游性能（模拟环境）：
  • 在 LIBERO-10 上，NAC 达到了 49.73% 的成功率，超过了 FAST (38.02%) 和 OAT (44.17%)。
  • 在 RoboMimic 上，NAC 达到了 33.94%，超过了 FAST (28.38%) 和 OAT (31.94%)。
• 真实世界性能：
  • 在 8 项物理操纵任务套件中，NAC 达到了 50.0% 的成功率，优于所有基准（例如 FAST 为 40.0%，OAT 为 40.0%）。

重要性与主张

该论文声称，重新利用的神经音频编解码器为现代 VLA 中的学习型动作标记化提供了强大的、实用的骨干网络。其重要性在于证明了：

1. 音频基础模型的核心架构（卷积编码器、RVQ、对抗训练）对于机器人技术非常有效，前提是其频率域目标需适配运动学信号。
2. 对抗训练对于捕捉精确机器人控制所需的高频动力学特性是必不可少的。
3. NAC 提供了一个紧凑且有序的标记空间，使标准的自回归策略能够处理短小且结构化的序列，在达到相同或更好压缩率的同时，实现了比分箱、FAST 和以往基于 VQ 的标记器更高的重建精度和成功率。

作者总结道，NAC 弥合了音频基础模型与机器人控制之间的鸿沟，为通过数据驱动的替代方案取代手工设计的压缩提供了一种选择，从而保留了有效策略学习所需的结构保真度。