⚡ electrical engineering

Transformer Architecture with Minimal Inference Latency for Multi-Modal Wireless Networks

本文提出了一种面向多模态无线网络的新型快速 Transformer 推理框架，通过设计模态特定分词器、令牌路由器及可训练保留率来动态筛选关键令牌，在 DeepSense 6G 波束成形和实测切换数据集上实现了显著降低推理延迟、显存占用和计算量的同时保持任务精度，从而有效支持动态环境下的实时通信任务。

原作者： Minsu Kim, Walid Saad, Kui Wang, Zongdian Li, Tao Yu, Kei Sakaguchi

发布于 2026-04-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Minsu Kim, Walid Saad, Kui Wang, Zongdian Li, Tao Yu, Kei Sakaguchi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种让 6G 无线网络变得更聪明、更快速的新方法。

想象一下，未来的 6G 网络就像是一个超级敏锐的“交通指挥官”。为了指挥车辆（比如自动驾驶汽车）在高速公路上安全行驶，这个指挥官需要同时看着好几块屏幕：摄像头拍的视频、激光雷达扫描的 3D 地图、雷达波以及 GPS 定位。这些数据合起来叫“多模态数据”。

🚗 核心问题：指挥官“反应太慢”了

现在的 AI 模型（基于 Transformer 架构）虽然很聪明，能看懂这些复杂的数据，但它们有一个大毛病：太慢了，而且太费脑子。

比喻：想象指挥官面前有一堆杂乱的线索（数据）。传统的 AI 就像是一个强迫症侦探，它必须把每一根线索（每一个数据点，文中称为"Token"）都拿出来，和所有其他线索逐一比对，才能得出结论。
后果：当车辆开得很快，或者周围有障碍物突然出现时，这种“逐一比对”需要花费太多时间。等指挥官终于算出“前面有墙，快转弯”时，车可能已经撞上了。这就是**推理延迟（Inference Latency）**太高带来的危险。

💡 解决方案：聪明的“筛选员”

这篇论文提出了一种新的框架，就像给指挥官配备了一个超级高效的“筛选员”。

这个新框架的核心思想是：不是所有线索都重要，我们只处理最重要的那些。

1. 统一语言（模态 Tokenization）

首先，摄像头、雷达和 GPS 说的“语言”不一样（有的像图片，有的像数字）。

比喻：就像把来自不同国家的翻译官（不同传感器）都派去同一个语言学校，让他们学会用同一种“通用语”（嵌入维度）交流。这样，指挥官就能把所有人的意见放在一起看，不会乱套。

2. 智能筛选（Token Router）

这是最关键的一步。系统里有一个“智能筛选员”（Token Router）。

比喻：想象指挥官面前有一百份报告。筛选员一眼就能看出：“这份报告是背景噪音，不用看；那份报告说前面有卡车，非常重要！”
操作：筛选员只把最重要的前 K 份报告（Top-K tokens）交给指挥官去详细分析，其他的报告直接跳过，连看都不看。
效果：原本需要处理 100 份报告的复杂计算，现在只需要处理 20 份。计算量瞬间从“平方级”爆炸（100x100）降到了“线性级”（20x20），速度飞快。

3. 动态调整（可学习的保留率）

怎么知道该留多少份报告呢？是留 30% 还是 50%？

比喻：以前是死板的规则（比如“永远只看前 50 份”）。现在，系统里有一个可调节的旋钮（可学习的保留率）。
操作：在训练过程中，系统会自动学习：“哦，第一层需要看多一点的线索，最后一层只需要看最关键的几个。”它会动态调整每一层该保留多少线索，既保证算得准，又保证算得快。

🏆 实际效果：快如闪电，稳如泰山

作者们在真实的 6G 测试场（日本东京工业大学）和公开数据集上做了实验，效果惊人：

速度提升：推理延迟降低了 86.2%。这意味着指挥官能在障碍物挡住视线之前，就提前发出“切换信号”的指令。
资源节省：显卡内存占用减少了 35%，计算量（FLOPs）减少了 80%。这意味着这个系统可以装在普通的手机或车载芯片上，不需要昂贵的超级计算机。
精度未降：虽然只看了很少的数据，但判断的准确率几乎没有损失（甚至有时候因为去掉了干扰项，反而更准了）。

🌟 总结

这就好比在拥挤的早高峰路口：

旧方法：交警要把路口每一辆车、每一个行人的动作都分析一遍，等分析完，红灯都变绿了，车已经堵死了。
新方法：交警只盯着最关键的几辆车（比如那辆要变道的、那辆要冲红灯的），忽略那些正常行驶的背景车流。结果就是，交警能瞬间做出反应，指挥交通，既快又准，而且交警自己也不累（省资源）。

这项技术让未来的 6G 网络在面对高速移动和复杂环境时，能够实时、实时、再实时地做出反应，是自动驾驶和智能交通系统的一大步飞跃。

这篇论文提出了一种面向多模态无线网络的低延迟 Transformer 推理框架，旨在解决现有 Transformer 模型在处理多模态数据（如图像、LiDAR、雷达、GPS 等）时推理延迟高、显存占用大和计算量（FLOPs）过高的问题，从而满足 6G 等下一代无线网络对实时性（如波束成形、阻塞预测、切换决策）的严格要求。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景：下一代无线网络（如 6G）需要利用多模态感知数据（摄像头、LiDAR、雷达等）进行情境感知，以执行波束成形、阻塞预测和 proactive 切换等任务。Transformer 架构因其强大的多模态融合能力被广泛采用。
核心痛点：
- 高延迟与资源消耗：现有的 Transformer 依赖自注意力机制（Self-Attention），其计算复杂度随 Token 数量 $N$ 呈二次方增长（ $O(N^2)$ ）。多模态数据导致 Token 数量激增，使得推理延迟过高。
- 实时性失效：在动态变化的无线环境（如高速移动车辆）中，如果推理延迟超过信道相干时间（例如毫米波波束相干时间约 100ms），预测结果将过时，导致波束对准失败或切换滞后，进而引起信号强度（RSSI）严重下降。
- 现有方案局限：现有的 Token 剪枝或合并方法（如 ToMe, MoD）通常针对单一模态（如仅图像或仅文本），且多采用启发式规则，未能在保证精度的同时针对多模态场景联合优化 Token 数量与模型性能。

2. 方法论 (Methodology)

论文提出了一种可学习的、基于 Token 路由的多模态 Transformer 推理框架，主要包含以下三个核心组件：

A. 多模态 Token 化 (Modality Tokenization)

目标：消除不同模态间的嵌入空间差异。
实现：设计轻量级的 Tokenizer，将不同模态（图像、点云、雷达、GPS、RSSI）映射到统一的嵌入维度 $d$ $d$ 。
- 图像/LiDAR：使用轻量级 CNN（ResNet 块 + 1D 卷积）提取特征并投影。
- 雷达：通过最高采样和线性层处理 FMCW 雷达数据。
- GPS/RSSI：通过线性层直接映射为 Token。
效果：所有模态的 Token 在同一空间内，便于后续统一评估重要性。

B. Token 级路由 (Token-level Routing)

核心机制：在每个 Transformer 块中引入一个轻量级的Token Router。
工作原理：
1. Router 根据 Token 的嵌入向量预测每个 Token 的重要性分数 $s_l$ 。
2. 仅选择重要性最高的 Top-K 个 Token 进入后续的 Transformer 块进行计算。
3. 其余 Token 直接**旁路（Bypass）**该 Transformer 块，仅保留残差连接。
复杂度降低：将注意力机制的复杂度从 $O(N^2)$ 降低为 $O(K^2)$ ，其中 $K \ll N$ 。

C. 可微分的 Keep Ratio 优化 (Differentiable Keep Ratio Optimization)

问题：如何确定每层应该保留多少个 Token（即 $K$ 值）？
创新点：引入可学习的 Keep Ratio 参数 $r_l \in [0, 1]$ ，表示第 $l$ 层需要处理的 Token 比例。
训练策略：
- 由于 Top-K 操作不可微，作者采用**分段松弛（Piecewise Relaxation）**方法。
- 将 $N \cdot r_l$ 映射到两个最近的整数 $K_{up}$ 和 $K_{down}$ 。
- 分别对这两个 $K$ 值进行前向传播，然后根据 $r_l$ 与两个整数的距离，线性组合两次前向传播的输出。
- 这种方法生成了关于 $r_l$ 的梯度路径，使得 $r_l$ 、Router 参数和模型参数 $\Theta$ 可以端到端联合优化。
约束控制：引入目标 Keep Ratio $\gamma'$ （对应目标 FLOPs 预算），通过均方误差（MSE）损失函数 $(r_{avg} - \gamma')^2$ 约束总计算量，确保满足无线任务的延迟要求。

3. 主要贡献 (Key Contributions)

首个多模态无线专用框架：提出了首个针对多模态无线通信场景的 Transformer 推理框架，联合优化了 Token 数量和模型参数，以在目标计算预算下最大化网络性能。
可微分的 Token 路由机制：首次将 Token 路由思想应用于多模态无线领域，并设计了可微分的 Keep Ratio 优化方法，解决了离散 Top-K 操作无法直接梯度的问题，实现了层级的自适应 Token 选择。
理论与实验验证：
- 在理论层面证明了优化问题的收敛性。
- 在公开数据集（DeepSense 6G, CARLA）和自建真实世界测试床上进行了验证。

4. 实验结果 (Results)

实验在 NVIDIA A30 和 T4 GPU 上进行，对比了全量 Token 处理（Baseline MHA）、Token 合并（ToMe）和启发式 Token 路由（MoD）。

DeepSense 6G 波束成形任务：
- 当目标 Token 保留率 $\gamma' = 30\%$ $γ^{'} = 30%$ 时：
  - 推理延迟降低 86.2%（从 158ms 降至 21.7ms）。
  - GPU 显存降低 35%。
  - FLOPs降低 80%。
  - 精度损失极小（Top-1 准确率仅下降 0.12%）。
- 在 $\gamma' = 50\%$ 时，甚至获得了比全量处理更高的精度（归因于 Router 的正则化效应，去除了冗余 Token）。
真实世界主动切换测试（Proactive Handover）：
- 在东京工业大学测试床采集的数据上，模拟车辆移动和阻塞场景。
- 延迟优势：提出的框架比 Baseline 快 83%。
- 实际效果：
  - 提出的模型：能在阻塞发生前完成推理并触发切换，避免了 RSSI 的剧烈下降。
  - Baseline (MHA)：由于推理延迟过高（>300ms），导致在阻塞发生后才做出决策，造成 70% 的 RSSI 信号衰减，导致连接中断风险。
消融实验：证明了 Token 化（消除模态差异）、Token Router（学习重要性）和可学习 Keep Ratio（自适应层间分配）三个组件缺一不可。

5. 意义与总结 (Significance)

解决实时性瓶颈：该工作成功解决了 Transformer 在动态无线环境中因计算复杂度高而导致的“预测过时”问题，使得基于 AI 的实时波束管理和切换成为可能。
资源效率：在几乎不牺牲精度的前提下，大幅降低了计算量和显存占用，使得在边缘设备（如 RSU）上部署复杂的多模态 AI 模型成为现实。
方法论推广：提出的“可微分 Keep Ratio"和“多模态 Token 路由”方法不仅适用于无线通信，也为其他需要处理长序列或多模态数据的实时边缘计算场景提供了通用的优化思路。

综上所述，这篇论文通过算法层面的创新（可学习 Token 选择与路由），在理论极限和实际部署之间找到了平衡点，为 6G 网络中的智能感知与通信一体化（ISAC）提供了关键的底层技术支撑。