技术摘要：CRONA——基于多智能体强化学习的跨模态导航

问题定义

鲁棒的具身导航依赖于互补的感官线索（例如 RGB-D、音频、语言）。然而，在实践中获取高质量、对齐良好的多模态数据十分困难。训练单体模型来处理丰富的多模态输入，往往会导致表征复杂化、策略空间扩大，并因模态未对齐（在维度、噪声和时间结构上存在差异）而导致学习不稳定。此外，现有的多智能体协作导航方法主要关注同质智能体（接收相同模态）或有限的感官配置，使得异质协作（即智能体拥有互补的、专门的模态）的潜力在很大程度上未被探索。

作者通过将问题框架化为完全去中心化的协作导航任务（无需智能体间通信）来解决这一问题。该场景被建模为去中心化部分可观测马尔可夫决策过程（Dec-POMDP），其中智能体必须基于部分局部观测（例如，音频智能体听到声源，视觉智能体看到视觉目标）来推断任务分配并学习协作策略，以在复杂的 3D 环境中定位特定物体。

方法论：CRONA 框架

本文提出了CRONA（基于多智能体强化学习的跨模态导航），这是一个专为跨模态协作设计的去中心化多智能体强化学习（MARL）框架。该架构遵循集中训练与去中心化执行（CTDE）范式。

1. 辅助信念预测器

为了减轻原始音频信号固有的随机性和噪声，CRONA 为配备音频传感器的智能体采用辅助信念预测器。

• 功能：这些预测器根据频谱图观测值估计与控制相关的信念，具体预测目标位置（相对于智能体）和目标类别。
• 机制：卷积编码器提取声学特征。位置头预测全局坐标系中的声源目标，并将其转换为智能体的局部坐标系。类别头预测物体类别的信念分布。
• 稳定化：预测值使用指数移动平均进行平滑，以减少方差。这些信念是从局部历史中推断得出的，确保与去中心化策略在执行期间可用的信息保持一致。

2. 基于注意力的历史编码器

智能体维护观测和动作的短期历史缓存。

• 编码：视觉输入（RGB-D）和音频输入（频谱图）由模态特定的编码器处理（视觉使用 ResNet-18，音频使用 CNN）。
• 融合：编码后的特征与智能体的位姿及自然语言指令拼接，形成潜在观测嵌入。
• 时间建模：基于 Transformer 的架构（多头注意力）处理缓存的观测 - 动作嵌入序列，以捕捉空间和时间的依赖关系，生成用于策略选择的紧凑历史表征。

3. 集中式多模态评论家

在训练期间，集中式评论家估计联合价值函数以促进学习。

• 输入：评论家利用所有智能体的联合历史嵌入、辅助信念（来自音频智能体）以及全局状态（场景布局、目标位置、智能体位姿、任务完成状态）。
• 训练目标：评论家被训练以最小化相对于通过广义优势估计（GAE）计算的回报目标的截断代理目标。每个去中心化智能体的策略更新仅以其局部历史和辅助信念为条件，使用来自评论家的共享优势估计。
• 参数共享：编码器、信念预测器和历史 Transformer 在去中心化执行器和集中式评论家之间共享，以改进表征学习并加速训练。

主要贡献

1. 基准构建：作者利用多样化的 Matterport3D 场景构建了协作导航基准，其中包含多模态智能体（视觉和/或音频）必须协作以定位目标的任务。
2. CRONA 框架：他们提出了一个 MARL 框架，利用辅助信念预测器和集中式多模态评论家，实现在无需智能体间通信的情况下进行有效的跨模态协作。
3. 模态主导模式：通过大量实验，本文识别并分析了不同场景下五种不同的模态主导模式：
   • 无明显主导：无论模态组合如何，协作均优于单一智能体。
   • 视觉主导：视觉线索更优；音频输入可能会引入噪声。
   • 音频主导：声学线索至关重要（例如在走廊中）；视觉输入可能不足。
   • 跨模态主导：异质协作（互补模态）显著优于同质团队，特别是当目标具有清晰的模态特定线索时。
   • 多模态主导：在高度复杂的环境中，需要完整的多模态输入和更高的模型容量才能达到最佳性能。

实验结果

实验在五个 Matterport3D 场景（Studio、Corridor、Apartment、Ranch、Maze）上进行，这些场景具有不同的复杂度和目标配置。

• 性能与基线对比：在大多数场景中，CRONA 在成功率和导航效率方面始终优于单一智能体基线和同质协作基线（VLA-Collab、ALA-Collab、AVLA-Collab）。
• 跨模态效率：在"Ranch"场景中，目标具有独特的模态特定线索（照片的快门声、桌子的餐具掉落声），CRONA 实现了**64.62%**的成功率，显著优于同质全模态基线（AVLA-Collab 为 18.93%）。这突显了专用智能体相对于容量受限的单体模型的效率优势。
• 复杂度处理：在最复杂的"Maze"场景中，同质全模态基线（AVLA-Collab）取得了最高的成功率（26.16%），表明大型复杂环境受益于更丰富的多模态输入和更高的模型容量，尽管 CRONA 仍具有竞争力。
• 消融研究：
  • 模型容量：同质多模态智能体对嵌入大小高度敏感；CRONA 在不同容量下更为稳定。
  • 信号质量：与视觉主导的基线相比，CRONA 对低分辨率视觉输入表现出更强的鲁棒性，因为音频智能体可以弥补不足。
  • 组件：辅助位置信念和全局状态信息被证明至关重要；移除它们会导致性能下降约 50%。

意义与主张

本文主张，跨模态协作提供了一种鲁棒且可扩展的替代方案，以取代单体多模态导航。通过将互补的感官模态分配给专用智能体，CRONA 减轻了在单个模型中学习密集、对齐的多模态表征的负担，同时保留了每种模态的优势。

作者强调，协作的有效性取决于领域。他们指出：

• 对于短距离导航，模态有限的同质协作已足够。
• 当目标具有清晰的模态特定线索时，异质协作通常高效且有效。
• 大型复杂环境需要更丰富的多模态感知和增加的模型容量。

这项工作表明，去中心化智能体可以在没有显式通信的情况下有效协调，前提是它们使用集中式评论家进行训练，该评论家利用全局状态和辅助信念。这种方法解决了嘈杂、未对齐和异步的真实世界感官数据带来的挑战，为多样化环境中的鲁棒具身导航提供了一条切实可行的途径。