⚡ electrical engineering

RadarFuseNet: Complex-Valued Cross-Attention Fusion of Time-Frequency IQ Radar Features for Robust Classification

本文提出了一种名为 RadarFuseNet 的基于复数交叉注意力机制的双向融合网络，通过结合时频域 IQ 雷达特征，在遮挡物体识别和材料分类任务中实现了显著优于现有方法的鲁棒分类性能。

原作者： Stefan Hägele, Adam Misik, Eckehard Steinbach

发布于 2026-02-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Stefan Hägele, Adam Misik, Eckehard Steinbach

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 RadarFuseNet 的新技术，它能让毫米波雷达（一种能穿透墙壁、在黑暗中工作的“超级眼睛”）变得更聪明，从而更准确地识别物体和材料。

为了让你轻松理解，我们可以把这项技术想象成教一个侦探同时用“肉眼”和“透视眼”来破案。

1. 背景：雷达的“超能力”与“烦恼”

想象一下，你身处一个伸手不见五指的黑屋，或者烟雾缭绕的房间。普通的摄像头（像我们的眼睛）这时候就瞎了，什么都看不见。但毫米波雷达不一样，它发射无线电波，能穿透烟雾、甚至轻薄的墙壁，看到里面的物体。

雷达的“原始数据”（IQ 信号）：就像侦探手里拿的一堆原始录音。这录音里包含了声音的波形、相位等所有细节，非常原始且复杂，普通人（普通 AI）很难直接听懂里面在说什么。
雷达的“处理数据”（FFT 信号）：就像把录音转成了乐谱。乐谱把声音变成了可视化的频率和高度，让人一眼就能看出是钢琴声还是鼓声。

以前的方法，要么只盯着“原始录音”听，要么只盯着“乐谱”看。但这篇论文的作者发现，如果同时看这两样东西，破案（分类）的成功率会高得多！

2. 核心创新：RadarFuseNet（雷达融合网）

作者设计了一个聪明的 AI 架构，叫 RadarFuseNet。它的运作方式就像是一个拥有双重感官的超级侦探团队：

左脑（处理原始录音）：有一个专门的“专家”负责分析原始的 IQ 信号（录音）。它擅长捕捉那些细微的、还没被加工过的波形细节。
右脑（处理乐谱）：另一个“专家”负责分析 FFT 变换后的信号（乐谱）。它擅长识别物体的距离、角度和整体轮廓。
超级大脑（交叉注意力机制）：这是最精彩的部分！这两个专家不是各干各的，他们之间有一个**“双向沟通频道”**（论文里叫“双向交叉注意力机制”）。
- 左脑会问右脑：“嘿，你在那个频率上看到了什么？这对我理解这个波形有帮助吗？”
- 右脑也会问左脑：“你在那个波形里发现了什么异常？这能帮我确认那个物体的材质吗？”

通过这种互相提问、互相补充的方式，AI 把两种视角的优势完美融合，得出了比单独看任何一种都更准确的结论。

3. 为什么它这么厉害？（实验结果）

作者用两个实际场景测试了这个系统：

场景一：隔着箱子猜东西（遮挡物体分类）
- 就像把锤子、水瓶、胶带等 10 种东西装进纸箱，让雷达去猜里面是什么。
- 结果：RadarFuseNet 的准确率达到了 94.20%，比之前所有的方法都要高。它就像那个能透过纸箱听到里面声音并猜出内容的侦探。
场景二：猜墙壁是什么做的（材料分类）
- 让雷达识别墙壁是混凝土、玻璃、金属还是木头。
- 结果：在熟悉的距离下，准确率高达 99.92%（几乎完美）。
- 更厉害的是：当雷达被移到从未见过的距离（比如以前只在 50 厘米处训练，现在放到 60 厘米或 80 厘米测试）时，它的表现依然很稳，准确率保持在 65.56%。这说明它真的“学会”了物体的本质，而不是死记硬背距离。

4. 总结：这对我们意味着什么？

简单来说，这篇论文告诉我们：不要只给 AI 看一种形式的雷达数据。

就像我们人类既看照片也读文字描述一样，RadarFuseNet 让 AI 同时“看”雷达的原始波形和变换后的频谱。通过让这两部分数据“互相聊天”，AI 变得更聪明、更鲁棒（不容易被环境变化搞糊涂）。

未来的应用前景：
这项技术可以让自动驾驶汽车在暴雨或浓雾中更清楚地“看”到行人；让智能家居在黑暗中准确识别老人是否摔倒；或者让机器人能透过包装箱知道里面装的是易碎品还是重物。

这就好比给雷达装上了一副**“透视 + 增强”的双层眼镜**，让它在这个充满遮挡和干扰的世界里，看得更清、认得更准。

RadarFuseNet 论文技术总结

1. 研究背景与问题 (Problem)

毫米波（mmWave）雷达作为一种紧凑且强大的感知模态，在机器学习中展现出巨大潜力，特别是在视觉传感器（如摄像头、LiDAR）失效的场景（如遮挡物体检测、恶劣天气、室内表面材料识别）中。然而，现有的基于雷达信号的研究存在以下局限性：

信息丢失：大多数深度学习方案将雷达信号转换为图像（如距离 - 角度图、距离 - 多普勒图）或点云，这一过程丢弃了关键的相位信息。
直接处理复数信号的不足：虽然直接处理复数域的同相正交（IQ）信号能保留完整信息，但现有的基于 IQ 信号的遮挡物体分类和表面材料分类任务仍有提升空间。
泛化能力弱：特别是表面材料分类任务，在训练集未包含的未知探测距离下，模型性能往往显著下降。
特征融合策略单一：现有研究多关注多模态传感器融合，而较少探索同一信号在不同域（时域与频域）表示下的特征融合，以增强特征的可提取性。

2. 方法论 (Methodology)

论文提出了 RadarFuseNet，一种基于双向交叉注意力（Bidirectional Cross-Attention）的融合网络，旨在结合原始 IQ 信号及其 FFT 变换后的频域特征。

2.1 信号预处理

输入数据：使用 Vayyar 雷达传感器采集的 20×20 天线配置数据，形成 400 通道、100 个时间点的复数信号立方体 $s \in \mathbb{C}^{20 \times 20 \times 100}$ 。
双域表示：
1. 时域 IQ 信号 ( $x$ )：原始复数信号，展平为 $2D$ 形式。
2. 频域 FFT 信号 ( $X$ )：对 $s$ 进行 3D 快速傅里叶变换（FFT），得到包含距离、方位角和俯仰角谱的复数信号 $S$ ，同样展平为 $2D$ 形式。
目的：利用时域和频域两种互补的特征空间，在不增加信息总量的前提下优化特征的可用性。

2.2 模型架构

RadarFuseNet 由三个核心部分组成：

复数卷积神经网络 (Complex-valued CNNs)：
- 设计了两条独立的 CNN 分支，分别处理时域 IQ 信号 ( $x$ ) 和频域 FFT 信号 ( $X$ )。
- 全复数运算：卷积、池化、批归一化（BN）和激活函数（ReLU）均在复数域进行。
  - 复数卷积： $k \cdot x = (c \cdot a - d \cdot b) + j(c \cdot b + d \cdot a)$ 。
  - 复数 BN：分别对实部和虚部进行归一化。
  - 复数 ReLU：仅当实部和虚部均非负时输出原值，否则为 0。
- 这种设计允许直接从完整的信号相量中提取特征，而非分离实虚部。
特征转换与对齐：
- 由于交叉注意力机制通常处理实数输入，复数特征向量 $f$ (IQ) 和 $F$ (FFT) 在融合前被转换为实数形式 $\tilde{f}$ 和 $\tilde{F}$ 。
- 转换方式：将复数向量的实部和虚部拼接（Concatenate），以保持位置一致性。
双向交叉注意力融合 (Bidirectional Cross-Attention)：
- 采用多头交叉注意力机制，实现双向特征交互：
  - $A_1 = \text{Attn}(\tilde{f}, \tilde{F}, \tilde{F})$ ：IQ 特征关注 FFT 特征。
  - $A_2 = \text{Attn}(\tilde{F}, \tilde{f}, \tilde{f})$ ：FFT 特征关注 IQ 特征。
- 将 $A_1$ 和 $A_2$ 拼接，形成统一的融合特征表示。
- 最终通过全连接层和交叉熵损失函数进行分类。

3. 主要贡献 (Key Contributions)

架构创新：设计了一种集成两个复数 CNN 与双向交叉注意力机制的架构，专门用于处理复数雷达信号。
复数特征适配：提出了一种将复数特征表示适配为实数交叉注意力处理的方案（通过实虚部拼接），在保留复数域提取优势的同时利用成熟的注意力机制。
性能提升与泛化：证明了在变探测条件下（特别是未知距离），该融合策略能显著提升模型的鲁棒性和泛化能力，优于单一分支模型及传统基线模型。

4. 实验结果 (Results)

研究在两个数据集上进行了评估：

数据集 A：10 种被遮挡/包装的物体（如球、锤子、计算器等）。
数据集 B：5 种室内表面材料（混凝土、干墙、玻璃、金属、木材），包含已知距离（训练/测试）和未知距离（仅测试）。

关键性能指标：

遮挡物体分类：
- RadarFuseNet 达到了 94.20% 的准确率。
- 优于单分支复数 CNN (90.70%)、ResNet-18 (93.36%) 以及消融实验中的实数 CNN 流和 MLP 融合模型。
- 混淆矩阵显示大多数类别分类准确，尽管计算器和球体仍有提升空间。
表面材料分类：
- 已知距离 ( $d_0$ )：RadarFuseNet 达到 99.92% 的准确率，略优于单分支复数 CNN (99.33%) 和 ResNet-18 (99.91%)。
- 未知距离 ( $d_1$ )：RadarFuseNet 在未见过的探测距离上表现出最强的泛化能力，准确率为 65.56%。
  - 对比单分支复数 CNN (59.50%) 和 ResNet-18 (64.62%)，RadarFuseNet 展现了显著优势。
  - 消融实验表明，复数 CNN 流与交叉注意力融合的结合是提升泛化性能的关键。

5. 意义与结论 (Significance & Conclusion)

技术意义：RadarFuseNet 证明了直接利用复数域 IQ 信号并结合时频域特征融合的有效性。它避免了传统信号转图像过程中的信息丢失，并通过注意力机制挖掘了同一信号不同表示形式间的互补性。
实际应用价值：该模型在遮挡检测和材料识别任务中表现出极高的鲁棒性，特别是在探测距离变化（泛化）场景下，为室内感知、自动驾驶等应用提供了更可靠的雷达感知方案。
局限性：当前使用的数据集规模相对较小，限制了模型在更多样化场景下的验证。
未来方向：收集更大规模、更多样化的雷达数据集，并开发能处理更复杂数据分布的增强版模型。

总结：RadarFuseNet 通过创新的复数域特征提取与双向交叉注意力融合策略，显著提升了毫米波雷达在复杂分类任务中的性能，特别是在应对未知探测距离时的泛化能力，为雷达信号处理与深度学习结合提供了新的范式。