技术摘要：语言模型能否理解毫米波数据？

问题陈述

尽管大语言模型（LLMs）在视觉（RGB）和音频领域的集成已取得显著进展，但在毫米波（mmWave）雷达领域仍处于探索阶段。毫米波感知具有独特的优势——例如在低光照、遮挡以及由于依赖电磁反射而非外观而具备的隐私保护方面的鲁回性——但当前的方法面临三个主要瓶颈：

1. 数据稀缺性： 缺乏公开的雷达-语言配对数据集；现有的数据集规模较小、针对特定实验室环境，且缺乏自然语言标注。
2. 异构性： 毫米波观测结果在不同硬件（载波频率、天线数量）、环境条件（杂波、多径效应）和实验设置之间存在显著差异，导致严重的分布偏移，从而阻碍了泛化能力。
3. 缺乏基础编码器： 该领域缺乏标准化的分词器或基础编码器来将原始毫米波张量与语言骨干网络连接起来，迫使现有系统必须针对每个新数据集或场景进行重新训练。

因此，现有的毫米波人类感知模型是“场景调优型”的，需要针对每个数据集进行重新训练，且无法利用现代大语言模型的零样本（zero-shot）推理能力。

方法论

1. mmWave-QA 基准测试构建

为了填补这些空白，作者引入了 mmWave-QA，这是首个旨在评估语言调节下的毫米波人类感知的基准测试。其构建流程包括：

• 数据集成： 汇总了三个异构的公开数据集（mmBody、MM-Fi 和 mRI），涵盖了不同的设备（TI IWR 系列、Phoenix 定制板）、受试者和环境。
• 文本化： 一个极简的文本接口将 5D 毫米波点云帧（$[x, y, z, \text{Doppler}, \text{intensity}]$）转换为坐标格式的文本字符串。这使得现成的 LLMs 能够处理雷达数据，而无需专门的雷达编码器。
• 分类法与问答生成： 该基准测试定义了五种核心问题类型，以探测运动理解的不同方面：
  1. ActRec： 动作识别（识别执行的动作）。
  2. TrajCheck： 空间运动验证（确定质心是否发生了位置变化）。
  3. ActOrder： 时间动作序列（识别动作的先后顺序）。
  4. ActNum： 动作基数估计（统计不同动作的数量）。
  5. LimbFocus： 主要肢体运动检测（识别移动的身体部位）。
• 质量控制： 通过人工在环（human-in-the-loop）的过程来优化标注、平衡动作分布，并确保在六种场景（正常、有家具、雨天、烟雾、黑暗和遮挡）中的语义清晰度。

2. 评估框架

本研究使用三种提示策略在 mmWave-QA 基准测试上评估了商业 LLMs（Gemini 2.5、GPT-4o、GPT-5）的表现：

• 零样本（Zero-shot）： 直接从点云文本和问题进行推理。
• 少样本（Few-shot）： 使用示例问答对进行上下文学习。
• 思维链（CoT）： 在得出最终答案前生成中间推理步骤。
• 混合模式（Hybrid）： 将少样本示例与 CoT 推理相结合。

评估过程对比了不同动作类别（上肢、下肢、躯干、全身）和硬件类型的性能，并将毫米波性能与在不同环境条件下的基于 RGB 的视觉语言模型（VLMs）进行了对比。

关键结果

1. 零样本推理能力

LLMs 展示了在无需针对特定任务进行微调的情况下，解释文本化毫米波点云的能力。

• 性能提升： 在所有模型中，准确率从零样本到少样本、CoT，最后到少样本 CoT 策略呈现出持续提升的趋势。例如，GPT-5 在全身动作类别中使用 Few-shot CoT 设置时达到了最高准确率（38.37%）。
• 泛化性： 模型在异构硬件和环境条件下表现出稳健的推理能力，表明即使没有雷达特定的训练，也具有强大的泛化能力。

2. 特定任务性能

• ActRec 与 TrajCheck： 这些任务表现出最高的性能。在提供少样本上下文的情况下，模型能有效区分运动与静态情况（例如，GPT-4o 的静态准确率在 few-shot 下提高到了 32.0%，而 Gemini 2.5-flash 提高到了 27.2%）。
• LimbFocus： 模型在单肢运动方面表现良好，但在多肢体场景中表现挣扎，这可能是由于雷达数据中的多径干扰和虚假反射造成的。
• 时间推理（ActOrder/ActNum）： 对于“当前”动作识别的性能最高，但对于“前一个/后一个”动作以及高动作计数时的性能有所下降，这表明在捕捉密集点云序列中的长程时间依赖方面存在挑战。

3. 毫米波模态 vs. RGB 模态的鲁棒性

一个关键发现是毫米波数据在视觉退化情况下的相对鲁棒性：

• 清晰条件下： 在正常和有家具的环境中，基于 RGB 的 VLMs 优于毫米波模型，这可能是由于其拥有更丰富的视觉线索和更大的预训练数据集。
• 退化条件下： 在黑暗和遮挡场景下，基于毫米波的推理显著超过了 RGB。VLMs 在视觉线索受损时经常产生幻觉或失效，而利用多普勒效应和坐标偏移的 LLMs 则能保持稳定且符合物理规律的推理。
• 天气影响： 在雨天和烟雾环境下，两种模态的表现相当，证明了雷达对可见度问题的韧性。

4. 帧数敏感性

当使用约 16 帧 时，性能达到峰值。帧数过少会限制时间上下文，而帧数过多（如 64 帧）则会引入冗余或噪声信息，从而阻碍推理，这表明进行雷达运动分析需要一个最优的时间平衡。

意义与主张

本文提出了三个主要贡献：

1. mmWave-QA 基准测试： 它建立了第一个统一的基准测试，将异构的毫米波数据集协调为自然语言问答任务，从而实现了跨设备和跨场景的标准评估。
2. 零样本雷达-LLM 集成的可行性： 它证明了在提供文本化点云数据的情况下，现成的 LLMs 可以对人类运动进行强大的零样本推理，挑战了“雷达数据需要专门编码器或重度微调”的观点。
3. 视觉受限环境下的鲁棒性： 它提供了实证证据，表明当毫米波模态与 LLMs 结合时，在低光照和遮挡环境下比 RGB 视觉具有更高的鲁棒性，突显了其在现实世界、隐私敏感或视觉退化场景中实现可靠人类感知的潜力。

作者总结道，虽然目前的现成模型展现出了前景，但未来的工作应侧重于微调开源模型并集成检索增强生成（RAG），以进一步弥合非视觉传感与基于语言的智能之间的差距。