Zero-Shot Knowledge Base Resizing for Rate-Adaptive Digital Semantic Communication

技术摘要：面向速率自适应数字语义通信的零样本知识库重缩放

问题陈述
数字语义通信系统，特别是基于向量量化变分自编码器（VQ-VAE）框架的系统，依赖于共享的离散语义知识库（KB）或码本进行信息传输。在这些系统中，传输速率直接受知识库大小 $K$ 的控制。较大的 $K$ 可以实现更细粒度的语义表示和更高的重建质量，但会增加传输载荷（每个索引需要 $\lceil \log_2 K \rceil$ 比特）和计算开销。相反，较小的 $K$ 虽然能降低带宽和延迟，但会降低质量。

当前基于 VQ-VAE 系统的一个根本局限在于，知识库大小 $K$ 是在训练前确定的固定超参数。为了使传输速率能够适应动态信道条件，现有方法需要为每个期望的知识库大小训练并存储一个完整的独立模型。这种做法在计算和存储上都是极其昂贵的，阻碍了实现真正的细粒度、即时速率自适应。虽然一些方法试图通过从离散的预定义配置中进行选择或使用可变子知识库来近似实现灵活性，但它们无法支持任意规模的重缩放，也无法有效地降低实际传输速率。

方法论
作者提出了一种零样本知识库重缩放方法，该方法能够使知识库动态适配到任何更小的目标规模，且无需重新训练。其核心前提是，一个训练良好的知识库内部的语义关系本质上是层次化的。该方法基于一个单一的大型“父”知识库（规模为 $\hat{K}$），通过三个步骤的框架提取出一个高质量的小型知识库（规模为 $K < \hat{K}$）：

1. 用于语义粒度的双曲嵌入：
   将预训练的父知识库向量从其原生的欧几里得空间嵌入到双曲空间（具体为庞加莱球模型）。这种几何变换利用了双曲空间能够以低失真自然表示层次结构的特性。在此映射中，代表粗粒度、基础概念的向量被置于靠近原点的位置，而代表细粒度、具体概念的向量则被推向边界。因此，距离原点的距离可以作为语义重要性的代理指标。

2. 通过最小生成树（MST）进行层次化剪枝：
   利用向量之间的双曲距离，作者使用最小生成树算法（Prim 算法）构建了一个“主语义树”。距离原点最近的向量（最通用的概念）被指定为根节点。该树明确定义了知识库向量之间的父子关系。为了将知识库重缩放至目标大小 $K$，该方法执行确定性剪枝：它迭代地移除叶节点（代表最具体的概念），直到恰好剩余 $K$ 个节点。这一过程保留了知识库的“基础骨架”，同时丢弃了最细粒度的细节。

3. 欧几里得投影：
   经过剪枝后的向量集（现处于双曲空间中）通过对数映射（即步骤 1 中使用的指数映射的逆映射）映射回原始的欧几里得空间。生成的向量集构成了最终的、重缩放后的知识库，它与现有的在欧几里得空间中运行的数字语义通信系统完全兼容。

核心贡献

• 一个原则性的三步框架： 本文引入了一种完整的零样本知识库重缩放方法，该方法利用双曲嵌入揭示语义层次结构，利用 MST 构建形式化该层次结构，并通过迭代叶节点剪枝来实现即时重缩放。
• 消除重新训练开销： 该方法允许从单个训练好的父模型创建任意大小的知识库，消除了为不同速率水平训练多个专用模型的必要性。
• 低速率下的鲁棒性： 与从头开始训练的小规模知识库模型相比，该方法在极低传输速率下表现出卓越的稳定性。

实验结果
作者在 ImageNet 数据集上的端到端图像语义传输任务中评估了该方法，并将其“零样本重缩放”方法与“从头开始训练”的基准模型（即为每个特定的知识库大小都训练一个专用模型）进行了对比。

• 重建质量： 在广泛的知识库规模范围内，零样本重缩放知识库的结构相似性指数（SSIM）与专用基准模型几乎一致，平均差异仅为 0.8%。
• 鲁棒性： 在极低速率（例如 $K=256$）下，从头开始训练的基准模型会出现灾难性失效，产生带有严重伪影和不自然色彩的图像。相比之下，零样本方法保持了语义连贯性，生成的图像虽然模糊但仍可辨认。这表明层次化剪枝保留了最核心的概念，确保了系统的优雅降级而非系统崩溃。
• 效率： 所提方法将总训练时间和 GPU 资源需求降低了约 9 倍。无需为九种不同的知识库大小分别训练九个模型，只需训练一个父模型，其余规模均可通过计算开销极低的剪枝过程生成。

意义
本文声称解决了基于 VQ-VAE 的数字语义通信系统的一个基本架构局限。通过实现无需重新训练即可将知识库瞬时重构为任意规模，该方法为灵活、速率自适应的语义通信提供了一条切实高效的路径。这种能力对于未来无线网络至关重要，因为在这些网络中，信道条件和资源约束是动态变化的，该方法允许系统在不承担维护多个专用模型之高昂成本的前提下，实时平衡重建质量与传输开销。