⚡ electrical engineering

Data-Free Knowledge Distillation for LiDAR-Aided Beam Tracking in MmWave Systems

本文提出了一种用于激光雷达辅助毫米波波束跟踪的数据无关知识蒸馏框架，该框架通过一个与教师模型特征统计量对齐的生成器来合成类激光雷达序列，从而使学生模型能够在无需访问真实样本的情况下，通过合成数据进行有效的训练。

原作者： Abolfazl Zakeri, Nhan Thanh Nguyen, Ahmed Alkhateeb, Markku Juntti

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Abolfazl Zakeri, Nhan Thanh Nguyen, Ahmed Alkhateeb, Markku Juntti

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：无需过去，预见未来

想象你正在深夜的高速公路上开车。为了保持与基站的连接稳定（就像保持视频通话清晰一样），你的汽车需要不断向基站发射一束“激光束”数据。如果汽车转弯或有建筑物挡住了视线，信号就会中断。

通常，汽车会使用一种叫做 LiDAR（激光雷达，相当于一个超精准的 3D 摄像头）的高科技传感器来观察道路，并预测未来几秒钟内基站的位置。这有助于汽车在移动之前就完美地对准光束。

问题在于：
LiDAR 数据非常庞大。这就像是试图在你的手套箱里装下一座 3D 地图图书馆。存储所有这些数据来训练一个擅长对准光束的计算机既昂贵又缓慢，有时甚至因为隐私规则而无法实现（你不能直接把每个人的驾驶数据上传到中央服务器）。

解决方案：
本文作者创建了一个名为**无数据知识蒸馏（Data-Free Knowledge Distillation, DF-KD）**的系统。你可以把它想象成一种教学方法：在从未向学生展示过实际道路或原始驾驶手册的情况下，教会他们如何开车。

它是如何工作的：老师、幽灵与学生

这个过程分为三个主要步骤，涉及三个角色：

1. 老师（专家）

首先，他们使用真实的 LiDAR 数据训练一个超级聪明的计算机模型（老师）。这个“老师”就像一位记住了道路每一个转弯和起伏的高级驾驶员。它完全知道应该将光束指向哪个方向。

注：一旦老师训练完成，真实的 LiDAR 数据就会被丢弃。老师将其“知识”保存在大脑中，但我们不再拥有原始数据。

2. 幽灵生成器（想象机器）

这是最聪明的部分。由于他们无法使用真实数据来训练一个更小、更廉价的模型，因此需要制造出看起来像真实数据的“假数据”。

他们使用一个生成器（一个“幽灵”）从随机噪声（类似于电视上的雪花点）开始。
幽灵尝试创造虚假的 LiDAR 图像。
它如何知道自己做得好不好？它并不看图像本身。相反，它会询问老师：“如果我把这张假图像展示给你，它会让你的大脑产生和真实图像一样的感觉吗？”
老师检查自己的内部“感觉”（数学统计数据），然后告诉幽 얼：“不，这种感觉不对。再试一次。”
最终，幽灵制造假数据的技术变得如此高超，以至于老师也无法分辨真伪。幽灵成功地重现了真实数据的“本质”，而从未见过一张真实的图片。

3. 学生（轻量级驾驶员）

现在，他们仅使用幽灵的假数据来训练一个微型、简单的计算机模型（学生）。

学生观察老师如何根据幽灵的假图像来预测光束方向。
学生试图完美地模仿老师给出的答案。
因为幽灵的数据是为了欺骗老师而制造的，所以学生学到了与老师相同的技能，但它从未需要看到那些沉重的原始 LiDAR 数据。

教导学生的两种方式

论文测试了学生向老师学习的两种不同方式：

“软”方式（KL 散度/KL Divergence）： 老师说：“我有 90% 的把握是 A 光束，但可能有 10% 是 B 光束。” 学生尝试匹配这些精确的百分比。这就像老师在解释猜测背后的推理过程。
“直接”方式（MSE 损失/MSE Loss）： 老师直接给出一个原始的分数，学生尝试精确匹配这些数字。论文发现这种方法与“软”方式一样有效，但更简单，因为它不需要调节额外的设置（比如“温度”旋钮）。

结果：小而强大

研究人员在名为 DeepSense（模拟城市驾驶）的数据集上进行了测试。以下是他们的发现：

老师很重要： 他们测试了不同类型的老师。使用特殊的“空间”和“时间”传感器组合（称为 CNN-GRU）的老师，比仅使用时间传感器的老师要优秀得多。这就像是一位既理解道路形状又理解汽车速度的老师。
学生表现出色： 这个微小的学生模型最终比之前研究中使用的原始沉重模型在计算机内存占用方面缩小了 23 倍。
性能： 尽管学生模型很小且是在“假”数据上训练的，但它的表现几乎与使用真实数据训练的模型一样好。它能够预测当前时刻以及未来几秒钟内的正确光束方向。

为什么这很重要

这种方法解决了 5G 和 61G 网络的一个重大难题。它允许我们在小型设备（如汽车或手机）上实现超智能、预测性的波束追踪，而无需存储海量的敏感驾驶数据，也不需要等待收集巨大的数据集。

简而言之：他们通过让一个小巧、廉价的计算机模仿一位天才老师，并利用一个“幻觉机器”来创造虚假的练习路面，从而教会了这个小电脑如何成为一名大师级驾驶员，这样我们就再也不需要使用真实的道路数据了。

技术摘要：用于毫米波系统中基于 LiDAR 辅助波束跟踪的数据无关知识蒸馏

问题陈述
毫米波（mmWave）通信系统高度依赖精确的波束训练，以克服高路径损耗和遮挡问题。虽然多模态感知辅助通信（特别是利用激光雷达 LiDAR）在降低波束训练开销和预测连接车辆最佳波束方面展现出了潜力，但现有的机器学习（ML）方法面临着显著的部署障碍。这些方法通常需要大规模的训练数据集，而由于用户设备（UE）的存储限制、基站（BS）的隐私限制或数据采集的高昂成本，这些数据往往难以获取。此外，实现高精度所需的复杂模型难以部署在资源受限的平台上。本文旨在解决这样一个挑战：在初始教师模型训练阶段结束后，如何在无法访问原始 LiDAR 训练数据的情况下，训练一个轻量级的波束跟踪模型。

方法论
作者提出了一种基于**知识反转（knowledge inversion）的数据无关知识蒸馏（DF-KD）**框架。该过程分为三个截然不同的步骤：

教师模型训练与元数据收集： 首先在一个真实的 LiDAR 数据集上训练一个高容量的教师模型。在此阶段，收集教师模型内部特征统计信息（具体为最后一层隐藏层输出的均值和方方差），以形成“元数据”集。在后续步骤中，不保留任何原始 LiDAR 数据或地面真值标签。
合成数据生成（知识反转）： 训练一个生成器模型（ $G$ ），从随机噪声中合成类 LiDAR 序列。生成器通过**元数据损失（metadata loss）**进行优化，该损失函数旨在最小化教师模型在处理合成数据与处理收集到的元数据时，其内部特征统计分布之间的差异。这确保了合成数据能够像真实数据一样激发教师模型产生相似的内部表示，而无需访问原始样本。
学生模型训练： 使用由 $G$ $G$ 生成的合成数据对轻量级学生模型进行训练。学生模型通过以下方式学习模仿教师的行为：
- KL 散度（Kullback-Leibler Divergence）： 使学生的输出概率分布与教师的软化 Logits 对齐。
- 均方误差（MSE）： 一种提出的替代方案，直接最小化教师与学生之间原始 Logits 的误差，从而消除了对温度超参数调优的需求。

核心贡献

用于波速跟踪的 DF-KD 框架： 本文引入了一个框架，在初始教师训练完成后即可消除对真实 LiDAR 训练数据的需求，解决了隐私和存储限制问题。
CNN-GRU 教师架构： 作者提出了一种结合卷积神经网络（CNN，用于从 LiDAR 帧中提取空间特征）和门控循环单元（GRU，用于时间建模）的教师模型。研究表明，这种架构比仅使用 GRU 的替代方案更具表达能力。
用于蒸馏的 MSE 损失： 本文提出使用原始 Logits 之间的 MSE 损失作为标准 KL 散度的简化替代方案，它需要的超参数更少，同时能保持相当的性能。
显著的复杂度降低： 与教师模型相比，所得的学生模型实现了约 23 倍的参数减少和 38 倍的 FLOPs 减少，使其适用于资源受限的车载部署环境。

结果
模拟采用了 DeepSense 6G 数据集（场景 8），代表了车路协同（V2I）场景，其中车辆行驶速度范围为 3 至 18 km/h。主要发现包括：

生成器容量： 具有 128 个隐藏神经元的生成器在表达能力和泛化能力之间达到了最佳平衡，表现优于较小（32, 64）和较大（256）的配置。
架构优越性： 提出的 CNN-GRU 教师模型实现了最高的波束跟踪精度（59.1% 的当前槽位 Top-1 准确率），优于仅使用 GRU 的基准模型。至关重要的是，在 DF-KD 框架下由该教师训练的学生模型优于由仅 GRU 教师训练的学生模型，证明了在数据无关设置下，更强大的教师能直接转化为更好的学生性能。
损失函数对比： 提出的 MSE 损失实现了与标准 KL 散度损失相当的性能，且无需进行温度调优。
DF-KD 与标准 KD 对比： 虽然标准 KD（在真实数据上训练）实现了更高的准确率（57.98% vs. 54.12% 的当前槽位 Top-1 准确率），但 DF-KD 框架的表现显著优于未经任何蒸馏训练的学生模型。在未来的波束预测槽位中，DF-KD 与标准 KD 之间的性能差距缩小，验证了在无法获得真实数据时，DF-KD 是一个可行的替代方案。

意义与主张
本文声称，所提出的 DF-KD 框架有效地解决了 LiDAR 辅助波束跟踪中的计算和数据存储负担。通过合成能够忠实反映教师内部特征分布的数据，该方法能够在不损害预测当前及未来波束索引能力的前提下，将高度紧凑的模型部署到资源受限的平台上。作者强调，其方法通过引入更强大的 CNN-GRU 教师、通过知识反转消除训练后对真实数据的需求以及实现模型复杂度的剧烈降低，从而区别于以往的工作（如 [10]）。这项工作被视为迈向实用、隐私保护且高效的感知辅助通信的重要一步，并提出了针对非视距（NLoS）环境和更广泛移动条件的未来研究方向。