Doing More With Less: Towards More Data-Efficient Syndrome-Based Neural Decoders

技术摘要：以更少数据实现更多：迈向更高数据效率的基于综合征的神经解码器

问题陈述
尽管大量研究致力于开发先进的神经解码架构（如神经置信传播和基于综合征的神经解码器），但相对而言，对训练数据的质量与构建的关注较少。现有文献主要依赖“按需”数据生成，即在训练过程中动态生成含噪接收字。这种方法与涉及固定数据集的标准深度学习实践形成对比，使得公平基准测试变得复杂，并难以估算达到特定性能水平所需的数据量。此外，按需训练通常针对“真实”错误模式（即实际信道错误），导致训练目标与逼近最优最大似然解码（MLD）这一最终目标（其本身不可避免地会产生错误）之间出现不匹配。作者认为，对训练数据构建关注不足是神经解码器往往无法在实际码字上逼近 MLD 性能的主要原因。

方法论
本研究聚焦于基于综合征的神经解码器（SBND），具体利用两种无模型架构：堆叠门控循环单元（GRU）网络和基于 Transformer 的纠错码 Transformer（ECCT）。作者提出从动态按需生成转向经过策划的固定数据集范式。其方法论包含三个核心策略：

1. 固定数据集：作者不再实时生成数据，而是离线构建静态数据集。这使得能够精确控制训练分布，并实现可复现的基准测试。
2. 目标选择（MLD 与真实错误）：作者主张，神经解码器应被训练以复现 MLD 解码器的输出，而非原始信道错误。他们使用最大重处理阶数为 $i_{max} = \lfloor d_{min}/4 \rfloor$ 的有序统计解码器（OSD）推导出的 MLD 错误模式（$e_{ML}$），替换真实错误模式（$e_{chan}$）。
3. 优化数据分布：鉴于标准信道噪声分布（二项分布）过度代表易于学习的低权重错误模式，作者研究了四种构建训练集的启发式方法，以更好地覆盖与帧错误率（FER）相关的错误空间：
   • 参考：直接从 OSD 蒙特卡洛模拟中收集 MLD 错误模式（遵循自然信道分布）。
   • 均匀权重：采样以实现直至阈值 $w_{max}$ 的汉明权重均匀分布。
   • 偏置输入噪声：使用重要性采样生成输入噪声，以鼓励接近 MLD 决策边界的错误事件。
   • 均匀综合征：过滤样本，确保所有非零综合征在数据集中得到同等表示。

关键结果
实验在短块码上进行，主要是 (31, 21, 5) 和 (63, 51, 5) BCH 码，将所提出的固定数据集策略与传统按需训练进行了比较。

• 数据效率：使用包含 MLD 错误模式的固定数据集进行训练具有显著更高的数据效率。对于 (31, 21) 码，在 400 万固定样本上训练的模型达到了与在 10 亿按需样本上训练的模型相当的性能（样本复杂度降低了两个数量级）。
• 目标对齐：针对 MLD 错误模式（$e_{ML}$）进行训练，相较于针对真实错误模式（$e_{chan}$）进行训练，始终能产生更低的帧错误率（FER），特别是在使用较小数据集或较低信噪比（SNR）时。
• 分布影响：采用与自然信道分布不同的分布（特别是均匀权重和均匀综合征分布）构建的数据集，其表现优于遵循自然信道分布的数据集。例如，在 (63, 51) 码上，使用优化分布训练的 3200 万样本 GRU 模型，其表现优于在 30 亿按需样本上训练的模型。
• 模型效率：与 GRU 架构相比，ECCT 架构展现了更优越的性能与样本复杂度权衡。值得注意的是，在策划的 5000 万样本数据集上训练的较小 ECCT 模型（30.4 万参数），其表现优于在 1.28 亿按需样本上训练的较大 ECCT 模型（170 万参数）。
• 性能上限：研究观察到，无论数据量如何进一步增加，两种架构均达到了性能平台期（在测试的 SNR 下稳定在 FER 0.04 左右），这表明逼近 MLD 的限制因素是模型容量而非数据量。

意义与主张
本文声称，神经解码领域忽视了训练数据质量的关键作用。作者断言，通过采用固定数据集、针对 MLD 错误模式以及优化训练数据分布，现有的神经解码器架构可以用显著更少的训练样本实现更优越的性能。

这项工作的意义在于它证明了“以更少数据实现更多”并非通过发明新的、更复杂的神经架构来实现，而是通过完善数据工程过程来实现。作者强调，这些发现适用于无模型解码器（如 SBND），并可能扩展到基于模型的解码器（如神经置信传播）。他们得出结论，精心策划训练数据对于降低训练成本、提高泛化能力以及实现神经解码技术的公平基准测试至关重要。