技术摘要：训练-推理算子契约

问题陈述

现代大语言模型（LLM）的后训练流水线将策略符号 $\pi_\theta$ 视为一个单一的数学对象。然而，在有限精度下，$\pi_\theta$ 是由两个不同的程序评估的：一个是针对可微性优化的训练算子（$K_{train}$，使用高精度累加器、固定形状和参考注意力机制），另一个是针对吞吐量优化的推理算子（$K_{inf}$，使用低精度算子、分页键值缓存和动态注意力分块）。

本文识别出了一个关键的“规范差距”：这两个算子计算的是关于相同权重 $\theta$ 的可测量的不同函数。这种分歧并非均匀分布；它集中在特定的切片上（例如，长上下文输入、安全性敏感提示词），而这些切片往往在聚合基准测试中代表性不足。将 $K_{train}$ 与 $K_{inf}$ 混为一谈会导致多种失效模式：

1. 强化学习中的离策偏差（Off-policy bias）： 强化学习流水线（如 PPO、GRPO）从 $K_{inf}$ 中采样轨迹，但使用 $K_{train}$ 计算梯度。标准估计量假设重要性采样比 $w = \pi^{K_{train}}_\theta / \pi^{K_{inf}}_\theta$ 为 1，这引入了偏差，表现为 KL 崩溃、奖励黑客行为或性能突然下降。
2. 部署漂移（Deployment Drift）： 在 BF16 下微调的模型在转换为 FP8 或 INT4 进行推理时可能会发生显著漂移，特别是在处理罕见的安全性提示或结构化输出时。
3. 不可复现性（Non-reproducibility）： 异构的服务集群（由于不同的硬件或算子构建版本）会对同一个请求产生不同的输出，使得 A/B 测试和安全性审计无法复现。

目前，尚不存在机器可读的规范来定义 $K_{train}$ 与 $K_{inf}$ 之间的何种程度的分歧是可容忍的、在哪些数据切片上可容忍，以及当超过限制时应采取何种行动。

方法论：算子契约

作者提出了一个被称为算子契约（Kernel Contract）的正式规范对象，记作 $C = (N, S, R, \Pi)$。该契约随模型检查点和算子构建过程通过 CI/CD 流水线进行传递。

1. 契约结构

契约由四类条款和一个升级策略组成：

• 数值（$N$）： 对原始数值差异的约束，例如 Logit 漂移（$\Delta_{logit}$）、KL 散度、全变差（TV）距离以及强化学习中的重要性比例 $w$。
• 统计（$S$）： 对行为结果的约束，包括 Top-$k$ Token 一致性、校准漂移（$\Delta_{ECE}$）、奖励增量以及结构化输出的可解析性。
• 运行时（$R$）： 对延迟、吞吐量、内存使用（包括 KV 缓存）和故障率的操作性约束。
• 可观测性（$O$）： 对追踪字段、算子指纹和回放签名（Replay Signatures）的要求，以确保违规行为可归因。
• 升级策略（$\Pi$）： 从违规严重程度等级（$L1$：信息级，$L2$：质量影响级，$L3$：安全关键级）到路由动作（日志记录、拦截、回退/回滚）的映射。

每个条款都通过阈值 ($\tau$)、允许的超限率 ($\rho$) 以及适用的特定数据切片 ($\Sigma$) 来定义。

2. 理论界限（链式关系）

论文推导了一条连接底层数值误差与高层奖励误差的 Lipschitz 风格界限链：

1. Logit 到分布： 对 Logit 漂移（$\|\varepsilon\|_\infty$）的界限会传播到全变差距离（$\Delta_{TV}$）和 KL 散度的界限，并受温度 $T$ 缩放。
2. 分布 到 奖励： 对于有界奖励函数 $r$，期望奖励差异被限制在 $2R \cdot \Delta_{TV}$ 之内。
3. 应用于强化学习： 在支持集重叠和有界优势函数的假设下，论文证明了对重要性比例 $w$（或等价于 $K_{train}$ 与 $K_{inf}$ 策略之间的 TV 距离）的逐 Token 约束，可以限制标准策略梯度估计器的偏差。这重新解释了 PPO 裁剪参数 $\epsilon$——它不仅是策略更新的信任区域，也是训练-推理算子对的预算。

3. 执行流水线

该框架提出了一个四阶段晋升流水线来强制执行契约：

1. 离线 CI： 针对固定数据集评估硬性的数值条款。
2. 影子测试（Shadow）： 镜像实时流量到候选算子，以检测与工作负载相关的回归。
3. 金丝雀发布（Canary）： 将一小部分实时流量路由到激活了升级策略的候选算子。
4. 全面晋升： 仅在经过稳定的稳定性窗口并持续达标后进行。
   在线路由循环持续监控契约健康度 ($h_t$)，并根据实时违规水平将流量切换到受保护或安全的算子。

核心贡献

本文提出了三个主要贡献：

1. 概念层面： 它指出在现代 LLM 流水线中，正确的规范单元不是单纯的检查点或引擎本身，而是 $(K_{train}, K_{inf})$ 这一对组合，以及它们必须保持一致的具体数据切片。
2. 技术层面： 它提供了一套界限链，允许工程师在可测量的数值层面（Logits）设定约束，并由此继承行为层面的保证（Rewards）。
3. 应用层面： 它展示了标准的强化学习稳定性启发式方法（如 PPO 裁剪）可以被形式化地解释为约束算子分歧的契约条款，并概述了一种用于实现这些人工制品的极简 YAML DSL。

结果与验证

论文明确指出，它并未报告生产规模下的实证验证，也并未声称算子分歧是所讨论的失效模式的唯一原因。相反，它呈现的是一个框架和术语论文。

其“结果”是理论推导以及为未来验证提出的实验协议（第 8 节）：

• 理论： 证明了 Logit 漂移界限意味着奖励漂移界限，且算子不匹配会引入可计算的策略梯度偏差。
• 拟议实验： 作者概述了五个可证伪的实验（E1–E5）来测试该框架，包括映射数值漂移基准、测试硬件敏感性、验证 RL 偏差界限、探索契约感知蒸馏，以及模拟故障注入下的自愈路由。

意义与范围

本文将自己定位为一个基础性的规范层，桥接了几个平行的文献领域：强化学习后训练、高吞吐量服务、形式化验证和软件契约。

• 谦逊性： 作者明确表示这是一篇“框架和术语”论文。他们并未声称已经从经验上解决了算子分歧问题，而是提供了 $\pi_\theta$ 的“缺失索引”以及讨论该问题的专业词汇。
• 未来方向： 论文提出了四个研究方向：动态契约（上下文感知阈值）、契约感知蒸馏（训练满足契约的模型）、形式化验证子集以及自愈路由。
• 局限性： 该框架增加了工程开销（计算、存储、可观测性），并带有优化代理条款（Proxy Clauses）导致古德哈特定律（Goodhart's Law）风险的可能性。作者承认目前的形式化验证工具尚无法扩展到完整的生产级 Transformer，只能依赖松散的界限和经验测试。

总之，本文认为，将训练和推理算子视为两个独立的、受契约约束的实体，对于将 LLM 部署从关于实现脆弱性的“民间知识”转向可审计、可复现的工程实践是必要的。