COMPASS 论文技术总结

1. 研究背景与问题定义 (Problem)

核心挑战：缺失模态下的多模态融合
在基于多模态传感器（如 WiFi、毫米波雷达、RFID、RGB 相机、LiDAR 等）的泛在感知系统中，由于传感器故障、遮挡、功耗限制或隐私问题，推理时经常会出现一个或多个模态缺失的情况。

现有方法的局限性：
现有的缺失模态处理方法主要存在以下结构性问题：

1. 分支跳过 (Branch-skipping)： 直接丢弃缺失的模态分支。这导致融合模块的输入结构在训练和推理时不一致，破坏了预训练好的融合逻辑。
2. 子集特定融合 (Subset-specific fusion)： 根据观察到的模态子集动态切换融合模块。这增加了模型复杂度，且不同子集间的交互模式难以统一。
3. 特征插补 (Feature Imputation)： 尝试重建缺失的特征。虽然恢复了输入数量，但生成的替代特征往往在特征空间上看似合理，却与融合头（Fusion Head）预期的交互模式不匹配，导致跨模态交互不完整。

核心洞察：
缺失模态问题不仅仅是信息丢失问题，更是一个融合接口不匹配 (Fusion-interface mismatch) 问题。融合模块在训练时学习的是固定数量的模态槽位（Slots），而推理时输入结构的变化破坏了这一假设。

---

2. 方法论 (Methodology: COMPASS)

COMPASS (Complete Multimodal Fusion via Proxy Tokens and Shared Spaces) 提出了一种基于融合完整性 (Fusion Completeness) 原则的框架。其核心思想是：无论哪些模态缺失，融合头始终接收一个固定的 $N$ 个 Token 的输入，每个模态槽位恰好对应一个 Token（真实 Token 或代理 Token）。

2.1 整体架构

系统包含四个阶段：

1. 模态特定编码 (Modality-specific Encoding)： 不同模态通过各自的编码器（如 ResNet, Point Transformer）提取特征序列。
2. 共享空间投影 (Shared-space Projection)： 将异构特征投影到统一的潜在空间，统一 Token 数量和维度，并计算每个模态的全局 Token ($\bar{z}_m$)。
3. 跨模态代理生成 (Cross-modal Proxy Generation)：
   • 当模态 $v_j$ 缺失时，利用所有观测到的模态 $v_i$ 生成代理 Token。
   • 使用有向源到目标生成器 (Directed Source-to-Target Generators) $G_{i \to j}$。每个生成器是一个单层 Transformer，包含一个可学习的代理查询 (Proxy Query)。
   • 生成器接收源模态特征和查询，输出针对目标模态 $v_j$ 的代理 Token $\hat{t}_{i \to j}$。
   • 将所有观测模态生成的代理 Token 进行平均聚合，得到缺失模态槽位的最终代理 Token $\hat{t}_j$。
4. 固定融合 (Fixed Fusion)：
   • 融合输入由 $N$ 个 Token 组成：观测模态使用真实全局 Token，缺失模态使用聚合后的代理 Token。
   • 使用简单的求和 (Summation) 操作将所有 Token 融合，随后通过任务头进行预测。

2.2 训练策略与损失函数

为了确保生成的代理 Token 既与真实表示对齐，又对下游任务有用，COMPASS 设计了三级训练信号：

1. 代理对齐损失 (Proxy Alignment Loss, $L_{align}$)：
   • 在训练时，通过随机掩码模拟缺失，利用被掩码模态的真实全局 Token 作为监督信号。
   • 最小化生成的代理 Token 与真实目标 Token 之间的均方误差 (MSE)，强制代理 Token 在特征空间上接近真实分布。
2. 共享空间正则化 (Shared-space Regularization, $L_{ss}$)：
   • 使用 VICReg 损失对观测模态的全局 Token 进行正则化。
   • 包含不变性 (Invariance)、方差 (Variance) 和协方差 (Covariance) 三个子项，旨在构建一个适合跨模态转移的潜在几何空间，防止特征坍缩并促进不同模态间的对齐。
3. 单代理判别损失 (Per-proxy Discriminative Loss, $L_{proxy}$)：
   • 将任务头直接应用于每一个生成的代理 Token，计算分类损失。
   • 确保每个代理 Token 本身都包含对下游任务有用的判别性信息，而不仅仅是特征匹配。

总目标函数： $L = L_{task} + \lambda_a L_{align} + \lambda_s L_{ss} + \lambda_p L_{proxy}$

---

3. 主要贡献 (Key Contributions)

1. 问题重构： 将缺失模态多模态感知重新定义为**“槽位完整融合问题” (Slot-complete Fusion Problem)**，主张通过保持固定的融合接口而非适应输入子集来实现鲁棒性。
2. COMPASS 框架： 提出了一种基于代理 Token 的框架，利用共享潜在空间中的有向生成器，为每个缺失模态槽位生成目标特定的代理 Token，并聚合观测信息。
3. 三级训练策略： 设计了包含代理对齐、共享空间正则化和单代理判别监督的组合训练策略，解决了代理 Token“既要对齐又要有用”的难题。
4. 广泛的实验验证： 在 XRF55、MM-Fi 和 OctoNet 三个泛在感知基准数据集上进行了评估，涵盖了单模态和多模态缺失的多种场景，证明了其优越性。

---

4. 实验结果 (Results)

实验在三个数据集上进行，对比了传统的分支跳过基线、X-Fi (基于交叉注意力的单模型方法) 以及 COMPASS。

• MM-Fi (4 模态，27 类动作)：
  • COMPASS 在 15 种模态组合中的平均准确率达到 70.6%，显著优于 X-Fi (62.5%) 和基线 (59.7%)。
  • 在困难场景下提升巨大：例如仅用 RGB+LiDAR 时，准确率从 X-Fi 的 35.2% 提升至 60.4% (+25.2%)。
• XRF55 (3 模态，55 类动作)：
  • 7 种场景平均准确率达到 84.6%，远超 X-Fi (72.1%)。
  • 在 WiFi+RFID (缺失 mmWave) 场景下，准确率从 58.1% 飙升至 86.3%，证明了代理 Token 有效填补了弱模态缺失的信息。
• OctoNet (5 模态，62 类动作，31 种组合)：
  • COMPASS 在 31 种组合中赢得了 30 种。
  • 单模态平均准确率提升 28.0% (vs X-Fi)，双模态提升 10.7%。
  • 即使在模态较多接近饱和时，COMPASS 仍保持微弱优势。

效率分析：

• COMPASS 使用求和融合，无需额外的融合参数，而 X-Fi 使用多层交叉注意力。
• 虽然模型总参数量相近 (约 34M vs 32.9M)，但 COMPASS 的推理速度比 X-Fi 快 1.9 倍 (全模态) 到 2.6 倍 (单模态)。

几何分析：

• t-SNE 可视化显示，COMPASS 将不同模态映射到了更紧密对齐的潜在空间，同时保持了类间分离度，验证了共享空间正则化的有效性。

---

5. 意义与结论 (Significance & Conclusion)

核心意义：
COMPASS 证明了在泛在感知中，保持模态完整的融合接口是一个简单而有效的设计原则。通过生成与任务相关的代理 Token 来填充缺失槽位，可以避免融合结构的动态变化，从而在训练和推理之间建立一致的交互模式。

优势总结：

1. 鲁棒性： 在单模态和多模态缺失场景下均表现出极强的鲁棒性，特别是在弱模态缺失需要强模态补偿时。
2. 通用性： 适用于任意模态组合，无需为每种组合重新训练模型。
3. 高效性： 相比基于复杂注意力机制的方法，计算开销更低，推理速度更快。

局限性：

• 求和融合缺乏可学习参数，可能限制了复杂跨模态交互的建模能力。
• 对于本身信号极弱的模态（如纯 RFID），即使有代理辅助，准确率仍然较低，表明在极弱模态的对齐与判别性之间仍存在权衡挑战。
• 目前主要评估分类任务，尚未扩展到回归任务（如人体姿态估计）。

总体而言，COMPASS 为多模态感知系统在面对现实世界传感器不稳定性时提供了一种结构化的、高效的解决方案。