技术摘要：用于上下文确定性的有限证书与涌现的阈值理论

问题陈述

本文旨在解决评估大语言模型（LLM）时存在的根本性验证差距。经验性评估依赖于分布、准确率和阈值评分，这些指标往往混淆了三种截然不同的现象：

1. 模型为正确输出分配了高概率，但该上下文在语义上并未蕴含该输出。
2. 提示词覆盖了默认设置，却未增加单调公理。
3. 基准测试得分因不连续的观测映射而发生跳跃，即便底层的语义置信度是在逐渐变化的。

作者认为，现有的理论（例如潜在贝叶斯推理、机械电路研究）并未提供一个共同的语义目标——即一种将行为视为公式、上下文视为更新、并将规模趋势与极限承诺进行对比测试的逻辑。本文寻求用有限语义证书来取代基准测试标签，以严格定义上下文何时强制产生答案（确定性），以及基准跳跃究竟是真实的语义转变还是度量伪影（涌现）。

方法论

作者将预训练 LLM 建模为语义呈现（semantic presentations），而非物理变换器：即在规模 $\lambda$ 下的元组 $G_\lambda = (L, K_\lambda, \mu_\lambda, C_\lambda, U_\lambda, D_\lambda)$。

• $K_\lambda$：代表潜在任务或假设的一阶结构类。
• $\mu_\lambda$：定义事件上的概率测度（语义置信度）。
• $U_\lambda$：上下文更新规则（偏好性或后验限制）。
• $D_\lambda$：将结构映射到输出的解码核。

分析分为两条并行路径：

1. 逻辑/模型论路径：利用紧致性、Stone 空间和 Keisler 测度，将语义置信度定义为定义事件上的有限可加概率。
2. 代数/组合路径：通过分析有限域线性任务族，推导出确定性和证书复杂性的精确准则。

核心贡献

1. 有限确定性与识别曲线

对于有限域线性任务族，本文确立了查询何时被上下文强制执行的精确条件：

• 行空间准则：当且仅当查询 $q$ 位于示例设计矩阵 $A_n$ 的行空间内时，该查询被视为被强制执行。
• 剩余假设计数：剩余潜在参数的数量为 $|F|^{d - \text{rank}(A_n)}$。
• 识别曲线：在 $n$ 个随机示例后实现完全语义识别的概率由 $Id(n) = \prod_{i=0}^{d-1} (1 - Q^{i-n})$ 给出。
• 复杂度：证明提取最小强制子上下文是 NP-完全 的，即使对于二元输出，该问题也可归约为一对分隔器命中问题（pair-separator hitting problem）。

2. 涌现的阈值理论

本文将“涌现”（基准得分的跳跃）与“语义不连续性”区分开来：

• 反幻觉定理（Anti-Mirage Theorem）：阈值度量（如精确匹配）的跳跃并不意味着底层语义置信度的不连续。这可能纯粹是由评分函数的非连续性引起的。
• 跨规模界限：对于具有收敛速率 $1 - s_\lambda \le a\lambda^{-\alpha}$ 的潜在承诺，属性在阈值 $\tau$ 之上变得可见的规模 $\lambda_\tau$ 受限于 $\lambda_\tau = (a/(1-\tau))^{1/\alpha}$。
• 合取效应（Conjunction Effect）：对于多字段精确匹配度量（要求 $k$ 个字段全部正确），表观跳跃会变得更加剧烈，且跨越规模会因因子 $k^{1/\alpha}$ 而膨胀。

3. 作为 Keisler 测度的语义置信度

作者将语义置信度 $s_{\lambda,c}(\phi)$ 正式化为类型空间上的 Keisler 测度：

• 测度为一的公式构成一个性质良好的滤子（若状态是决定性的，则为超滤子）。
• 该表示在定义扩张下具有不变性，确保语义承诺不依赖于符号选择。
• 提示词扩展被建模为偏好更新，这解释了非单调性：添加提示词可以改变被偏好的模型集合，从而删除先前持有的推论。

4. 验证与证伪协议

本文提出了一个使用**可靠的、无先验知识检查器（oracle-free checkers）**的闭环验证系统：

• 检查器通过验证证书（如行空间组合、跨规模计算）进行工作，而不参考标准答案。
• “厌恶性细化进度表”（aversive refinement schedule）允许生成器通过对检查器的方向性反馈进行操作来改进自身，从而在消除度量伪影阈值的同时，保留真实的算术间隙。

结果

理论结果

• 紧致性：任何由无限上下文流蕴含的属性都具有有限证书（定理 4.7, 7.1）。
• 精确线性识别：在有限域中，确定性严格受矩阵秩控制。本文提供了完全识别概率和局部查询确定性的闭式表达式。
• 涌现即伪影：理论界限证明，“涌现”式的基准跳跃完全可以用平滑的置信度收敛与不连续的评分函数之间的相互作用来解释（定理 6.8, 命题 6.10）。

经验验证（已训练模型）

作者在包含九个当代语言模型（能力从弱到中等不等）的面板上，针对三个家族进行了确定性证书发射基准测试：

1. DET（行空间确定性）：模型必须识别查询是否被强制执行并提供见证（witness）。
2. THR（阈值跨越）：模型必须计算平滑函数跨越阈值的精确规模。
3. PRS（提示词保持）：模型必须判断新的提示词是否保留了先前的推论。

发现：

• 分级 vs 精确：分级置信度（正确字段的比例）在模型面板中平滑上升。精确得分（所有字段均正确）在单个强模型（Qwen3 14B）跨越阈值之前一直接近于零，随后发生跳跃式成功。
• 反幻觉确认：这种行为完美符合命题 6.10 的理论预测：THR 能力的“涌现”是由于合取（$k=2$）导致的度量伪影，而非能力的实质性不连续。
• 证书生成：最强的模型成功生成了所需的有限见证（例如，行空间组合、包含性检查），证明了这些理论证书对于已训练系统而言是可达的。

意义与主张

本文声称提供了一种用于 LLM 行为的模型论语言，该语言有别于机械电路分析或纯粹的统计缩放定律。其意义在于：

1. 解耦语义与度量：它证明了基准跳跃不一定是新语义能力的证据；它们可能是观测映射的伪影。
2. 定义证书：它超越了“准确率”，定义了上下文如何强制产生答案，并提供了精确的组合与代数准则。
3. 可证伪性：它提供了具体的、可检查的协议（例如，预测 1：行空间确定性；预测 2：连续代理函数的平滑性）来测试模型的行为是否符合所提出的语义表示。

作者明确指出，其构建是条件性且外部的：它并不声称 Transformer 内部字面上包含一阶模型，而是认为，如果行为是由测度模型类表示的，那么推导出的关于确定性、提示词稳定性及涌现的定理必须成立。如果与训练好的模型出现不匹配，则说明该表示被驳回，而非底层的逻辑或代数本身。