Information-supported granularity: an information-theoretic framework for bandwidth-adaptive edge perception

技术摘要：面向带宽自适应边缘感知的信息支持粒度研究

问题陈述
在无线环境下运行的边缘感知系统由于带宽波动，通常依赖于固定的语义粒度（一组预定的目标类别）。这种静态方法假设资源是恒定的，但在动态信道条件下，这种假设会失效。当信道容量下降时，固定粒度的系统要么会出现灾难性的性能退化（退化为随机猜测），要么会传输不可靠的预测结果。现有的方法（如模型压缩、提前退出或动态网络）优化的是固定任务的执行过程，但并未解决在特定信息预算下，预定义任务本身是否具有可行性的根本问题。核心问题在于：给定当前的可用信息，边缘系统能够可靠支持的最细语义粒度是多少，而不是强行执行一个超出信息论极限的固定任务。

方法论
作者提出了**信息支持粒度（Information-Supported Granularity, ISG）框架，该框架将语义粒度视为可用信息的内生函数，而非固定的超参数。该框架通过信息论深度粒度学习（IT-DGL）**系统实现。

1. 理论基础：

   • 该框架将感知流水线建模为一个马尔可夫链（$Y \to X \to Z_s \to Z_r \to \hat{Y}$）。
   • 它整合了香农信道容量（$C_s(B)$）、数据处理不等式以及法诺不等式（Fano's Inequality）。
   • 它推导出了物理带宽（$B$）与最大可靠粒度（$K_{cap}$）之间的解析映射关系，以及实现目标粒度所需的最小带宽。
   • 只有当信息需求 $g(K, \varepsilon)$（根据法诺不等式针对目标错误率 $\varepsilon$ 推导得出）小于或等于可用信息预算时，粒度 $K$ 才被视为“信息可行”的。

2. 系统架构 (IT-DGL)：

   • 编码器： 利用变分信息瓶颈（Variational Information Bottleneck, VIB）将传感器输入（$X$）映射为随机潜在表示（$Z_s$），通过最小化一个平衡重构精度与压缩程度（由 $\beta$ 控制）的损失函数来实现。
   • 层级化分类头： 系统采用三个在不同粒度下运行的分类头：粗粒度（$K=2$：正常/故障）、中粒度（$K=4$：故障类型）和细粒度（$K=10$：具体故障细节）。这些分类头共享潜在表示 $Z_s$，并使用一致性损失进行训练。
   • 控制器： 一个无参数的确定性决策规则，用于实时估计任务相关互信息 $\hat{I}(Y; Z_s)$。它选择满足法诺需求的最高精细度 $K^*$：$K^* = \max \{K \in \mathcal{K} : g(K, \varepsilon) \leq \hat{I}(Y; Z_s)\}$。如果没有任何粒度能达到阈值，系统将输出“无法分类”，而不是强制进行不可靠的预测。

核心贡献

• 问题重构： 将范式从固定任务的资源分配转向信息驱动的粒度选择。
• 理论框架： 建立了信道容量、互信息与分类错误界限之间的严谨联系，为带宽-粒度权衡提供了闭式解。
• 可解释的系统设计： 开发了一个不需要学习策略网络进行决策的系统；相反，它使用基于法诺不等式的理论驱动、无参数规则。
• 实验验证： 在四个负载工况下的西储大学（CWRU）轴承故障诊断基准测试中验证了该框架。

实验结果
实验使用 CWRU 数据集（12 kHz 采样，10 个类别）在不同的带宽预算（$C \in \{0.2, 0.5, 1.0, 2.0, 4.0\}$ bit/sample）和负载（0–3 HP）下进行。

• 偏序关系验证： 研究证实了在所有测试条件下，不等式 $K_{emp} \leq K^* \leq K_{cap}$ 均成立，其中 $K_{emp}$ 是经验实现的粒度，$K^*$ 是控制器的选择，$K_{cap}$ 是理论上限。
• 优雅降级： 系统能够适应信道质量。在低预算（例如 0.2–0.5 bit/sample）下，系统会正确地放弃分类（$K=0$）。随着带宽增加，仅当信息预算允许时，系统才会向粗粒度（$K=2$）、中粒度（$K=4$）和细粒度（$K=10$）过渡。
• 性能对比基准： 在中等预算区间，IT-DGL 显著优于固定粒度基准模型。例如，在 $C=1.0$ bit/sample 时，IT-DGL 在 1–3 HP 负载下达到了 100% 的准确率，而固定 10 类模型的准确率则降至 36.6–47.4%。
• 组件必要性： 消融实验（E11）表明，VIB 压缩和层级化分类头对于系统都是必不可少的。移除 VIB 会导致产生过多的表示信息而无法提升任务信息；而移除层级结构则会导致系统在信息不足时无法回退到较粗的粒度。
• 跨负载泛化： 该框架成功识别了跨负载迁移场景中的信息可行性差距，即使在原始准确率看起来很高的情况下，也会因目标域的任务信息低于法诺阈值而将其标记为不可行决策。

意义与主张
本文声称提供了一种在可变带宽约束下确保可靠边缘感知的理论与实践解决方案。通过将粒度视为依赖于信息预算的变量，该系统避免了固定粒度模型的“沉默失效”。作者强调，其方法侧重于信息层面的可行性，而非模拟物理层面的空中传输。

其意义在于建立了一个“法诺一致的可行性准则”，作为决策的硬性边界。该系统保证了所选的任何粒度在理论上都能得到可用信息的支持，从而确保错误率保持在目标界限 $\varepsilon$ 内。作者也谦虚地指出，目前的验证仅限于信息层面（使用 VIB 估计）以及一个特定的基准测试，未来的工作需要解决实际的信道模型、在线信息估计更新以及更广泛的领域自适应问题。然而，在测试范围内，该框架成功证明了语义粒度可以在无需学习复杂控制策略的情况下，根据信道条件进行动态且可靠的自适应。