Diffusion-Aided Bandwidth-Efficient Semantic Communication with Adaptive Requests

技术摘要：基于自适应请求的扩散辅助带宽高效语义通信

问题陈述
传统的通信系统优先考虑精确的比特级恢复，而语义通信则旨在传输任务相关的含义。在使用生成式接收器（如潜在扩散模型）进行图像传输时，仅依赖文本描述往往无法保留特定实例的视觉细节，而传输密集的潜在表示（latent representations）则会产生显著的带宽开销。在无线环境下，一个关键挑战在于：接收端无法获取源图像的真值（ground-truth），因此无法预先确定多少视觉证据（潜在块/latent blocks）足以满足语义保真度。固定预算的传输策略是低效的，因为它们要么在简单图像上浪费资源，要么无法为复杂图像提供足够的证据。此外，经典的混合自动重传请求（HARQ）机制依赖于比特级的错误检测，这在此处并不适用，因为接收端并没有用于验证比特正确性的源图像。

方法论
本文提出了一种接收端驱动的闭环语义通信方案，该方案根据语义一致性而非比特可靠性来动态调整传输的有效载荷。

1. 系统架构：

   • 发送端： 使用 VAE 编码器将输入图像 $x$ 编码为潜在嵌入 $\tilde{z}$。潜在空间被划分为正方形块。发送端发送一段短文本描述（通过图像转文本转换器生成）和初始的稀疏潜在块子集，并对剩余部分进行掩码处理。两路流通过 AWGN 信道进行调制与传输。
   • 接收端： 在接收到噪声化的描述 $\hat{y}$ 和稀疏的潜在块 $\hat{z}$ 后，接收端使用**描述条件的潜在扩散修复（caption-conditioned latent diffusion inpainting）**来重建图像。扩散模型在保持接收到的块固定的同时，填充缺失（被掩码）的区域。

2. 自适应重传循环：

   • 语义停止规则： 由于源图像不可用，接收端通过生成新的描述 $\bar{y}$（使用 BLIP-2 等描述生成器）并计算其与接收到的描述 $\hat{y}$ 之间的语义相似度得分（ROUGE-L，记作 $\Phi$）来评估重建图像 $\hat{x}$ 的质量。
   • 决策逻辑： 如果得分 $r_t = \Phi(\bar{y}_t, \hat{y})$ 达到预设阈值 $\tau$，则停止传输。如果未达到，接收端则请求被遮盖的潜在块中的一小部分随机子集。
   • 细化过程： 新接收到的块被合并到潜在表示中，并使用更新后的参数重新运行扩散修复过程。
   • 鲁棒性机制： 为了应对噪声，接收端每轮生成两个候选结果：一个使用引导扩散（使用引导尺度 $w$），另一个使用无引导扩散（$\gamma=0$）。接收端选择语义得分较高的候选结果。

3. 参数： 系统利用可调阈值 $\tau$ 来控制带宽（轮数/块数）与语义质量之间的权衡。修复强度根据信噪比（SNR）和当前被遮盖块的比例进行启发式调整。

核心贡献

• 接收端语义控制： 作者提出了一种新型触发和早停规则，使得在不需要接收端访问源图像的情况下实现变长传输。停止准则完全定义在语义空间内（描述一致性）。
• 增量式潜在表示细化： 本研究将增量式潜在块请求与描述条件的潜在扩散修复相结合，实现了渐进式的重建细化，即仅在必要时才补充缺失的视觉证据。
• 对噪声的鲁棒性： 通过根据相同的语义一致性得分在引导式和无引导式重建之间进行动态选择，该系统提高了在噪声链路下的可靠性，而非依赖固定的生成参数。

实验结果
实验在 Flickr30k 数据集上通过 AWGN 信道进行，并与以下几种基准方案进行了对比：

• 无引导（No-guidance）： 不带文本条件的仅潜在表示传输。
• 全掩码（Full-mask）： 仅描述传输（无潜在块）。
• 固定预算（Fixed-budget）： 一次性传输数量等于所提方案平均有效载荷的潜在块。
• 固定轮数（Fixed-round）： 高开销参考方案，始终运行最大轮数而不进行早停。

发现：

• 语义对齐： 与所有基准方案相比，所提出的自适应方案实现了最高的 ROUGE-L 得分和最低的语义失败概率（$P_{fail}$）。它优于固定预算的一次性传输，证明了将有效载荷适配于图像难度可以提高语义对齐度。
• 效率： 虽然“固定轮数”方案由于传输了更多数据而获得了更好的像素级保真度（SSIM/LPIPS），但所提方案在处理较简单的图像时，平均使用的潜在块数量更少，同时达到了与固定预算基准相当的像素/感知质量。
• 权衡控制： 阈值 $\tau$ 有效地控制了速率-质量权衡；较高的 $\tau$ 值会导致更多的轮数和更高的语义一致性，但也增加了带宽消耗。
• 失败率： 自适应方案始终保持最低的失败率，因为它专门在语义得分不足时注入额外的证据，而固定轮数方案由于扩散过程的随机性，并不保证语义得分呈单调提升。

意义与主张
本文声称，在固定平均证据预算下，接收端语义控制可以显著提高生成式接收器的可靠性。通过将反馈机制从比特级纠错转向语义一致性验证，该系统实现了可控的速率-质量权衡。结果表明，该方法在语义对齐和失败率方面优于预算匹配的一次性传输，同时通常比连续重传方案需要更少的潜在块。作者指出，未来的工作将解决重要性感知块选择、不可靠的描述/反馈以及向视频和多用户场景的扩展问题。