技术摘要：6G 的推理能力极限在哪里？面向 AI 原生网络的微型至小型语言模型缩放研究

问题陈述

向 AI 原生 6G 网络演进的愿景预示着一种结构性转变，即人工智能将作为原生架构层，横跨无线接入网（RAN）、核心网以及分布式边缘-云基础设施。3GPP、IETF、ETSI、ITU-T 和 O-RAN 联盟的标准化工作日益表明，这些系统需要高层语义推理能力，以处理诸如意图驱动管理、网络切片、资源仲裁和信任感知控制等任务。

虽然前沿规模的大型语言模型（LLM）（70B–500B 参数）展现出强大的推理能力，但其计算足迹使得它们在延迟敏感、功耗受限的边缘及 RAN 部署中显得并不实际。目前在理解小型和微型语言模型（亚十亿至低十亿参数）在网络级语义推理方面的表现方面，仍存在关键性的研究空白。具体而言，目前尚不清楚在何种参数规模下，能够实现适用于安全关键型 6G 任务的稳定且确定性的推理，以及更大规模模型的边际收益是否足以抵消其在边缘环境中增加的推理成本。

研究方法

作者使用 6G-Bench 进行了一项系统的实证缩放分析。该基准测试与标准化对齐，包含五个能力领域的 30 个决策任务：

1. 意图与策略推理
2. 网络切片与资源管理
3. 信任、安全与 SLA 感知
4. AI 原生网络与智能体控制
5. 分布式智能与新兴用例

实验方案：

• 模型谱系： 本研究评估了 11 个经过指令微调的模型，参数量从 135M 到 7B 不等。这包括超紧凑模型（如 SmolLM2-135M、Granite-350M）、低中规模模型（约 1B）、过渡区模型（1.5B–3B）以及上限模型（7B）。所选模型涵盖了多种架构（稠密 Transformer、混合卷积-注意力机制）和对齐策略。
• 评估设置： 所有模型均在 零样本（zero-shot） 设置下进行评估，未针对 6G-Bench 任务进行额外微调。评估过程包含 488 个回合和 3,722 道多选题（MCQ）。
• 推理配置： 模型在 NVIDIA A100 GPU 上本地运行。研究对比了确定性解码（贪婪搜索，temperature=0）与随机性解码（temperature=0.7，k-采样）。
• 指标：
  • 确定性准确率 ($A_1$)： 贪婪解码下的 pass@1 准确率。
  • 随机鲁棒性 ($A_k$)： pass@k 准确率（即 $k$ 个样本中至少有一个正确的概率）。
  • 推理不稳定性 ($\Delta_k$)： $A_k - A_1$ 的差距，用于衡量是否存在正确的推理逻辑但无法在确定性推理中被可靠选择的情况。
  • **边缘得分 ($ES$)：** 一种部署效率指标，定义为$ES(N) = \frac{A_1(N)}{L(N) \cdot M(N)}$，其中$L$为延迟，$M$ 为峰值显存（VRAM）占用。

核心结果

1. 非均匀缩放与稳定性跃迁

确定性准确率 ($A_1$) 从 0.224（135M 参数）增长到 0.707（7B 参数）。然而，这种增长是非均匀的：

• 稳定性跃迁（1B–1.5B）： 在 1–1.5B 范围内出现了显著的性能跳跃。准确率从 0.373（Llama-3.2-1B）上升至 0.531（Qwen2.5-1.5B）。
• 不稳定性差距收缩： 随着规模扩大，推理不稳定性差距 ($\Delta_5$) 显著收缩，从 0.365（135M）降至 0.138（1.5B），并进一步降至 0.031（7B）。这表明随着模型规模增大，随机探索趋于收敛于确定性推理，从而增强了安全关键型控制的可靠性。
• 边际收益递减： 在 3B 参数之后，规模化带来的边际收益开始递减。3B 与 7B 模型之间的差距很小，表明对于某些推理任务，性能饱和发生得较早。

2. 领域特定的缩放弹性

缩放敏感性在五个能力领域之间存在显著差异：

• 高敏感度： 意图与策略推理 (G1) 和 分布式智能 (G5) 表现出最高的缩放敏感性（$S_{G1} = 0.154$, $S_{G5} = 0.131$）。这些任务需要深层的语义集成和多步协调，表现出对参数量的强依赖性。
• 中/低敏感度： 信任、安全与 SLA 感知 (G3) 的敏感性最低（$S_{G3} = 0.104$），这表明此类任务更多依赖于结构化规则的内化而非原始容量。网络切片 (G2) 和 智能体控制 (G4) 则表现出稳定但中等的增益。

3. 边缘效率与“甜点区”

边缘得分 分析揭示了参数规模与部署效率之间存在非单调关系：

• 超紧凑模型占优： 混合架构和超紧凑模型（如 LFM2-350M、SmolLM2-135M）由于极低的延迟和内存占用，获得了最高的边缘得分，尽管其绝对准确率较低。
• 中等规模的平衡： 在 1.5B–3B 范围内的模型（如 Qwen2.5-1.5B、Qwen2.5-3B）提供了确定性稳定性与计算效率之间最理想的平衡。它们在提供比 1B 以下模型更高的可靠性飞跃的同时，又不会产生 7B 模型那样不成比例的延迟和显存开销。
• 大模型惩罚： 7B 模型虽然达到了最高的绝对准确率，但由于复合延迟和显存开销，其边缘得分显著降低。

重要性与主张

本文声称提供了第一个专门用于表征小型语言模型在 AI 原生 6G 语义推理 领域缩放机制的系统性实证框架。

• 架构指导： 研究确定了 1.5B–3B 参数范围 是在分层 6G 网络中部署 AI 智能体的“甜点区”。该范围既能提供安全关键型控制所需的确定性稳定性，又能在边缘原生部署中保持可行性。
• 超越规模： 研究结果挑战了“模型越大越好”的假设。相反，本文认为核心目标是确定实现可靠语义控制所需的最小稳定容量，而非最大化模型规模。
• 稳定性阈值： 通过识别 1–1.5B 参数左右的稳定性跃迁点，本文为何时可以将紧凑型 LLM 基智能体部署到分层 6G 控制平面提供了数据驱动的阈值。
• 实际部署： 通过引入边缘得分（Edge Score），本文提供了一个原则性的指标，用于在 6G 边缘环境下平衡语义可靠性与严格的延迟及显存约束。

作者总结道，虽然前沿模型在开放领域任务中表现卓越，但对于未来 AI 原生 6G 系统所需的结构化、受策略约束的推理任务，中等规模模型（1.5B–3B）是最具实用性和效率的选择。所有脚本和结果均已公开，以支持复现性。