🔢 mathematics

Capability from Access Structure, Not Scale: Lower Bounds and Pre-Registered Tests for Hybrid Sequence Models

本文通过提出能力收敛假设（Capability Convergence Hypothesis）来挑战仅靠规模化即可保证能力收敛的观点，该假设认为真正的能力需要一种结合了压缩状态通道和逐字索引通道的特定混合架构，这一主张得到了理论下界和预注册实验结果的支持。

原作者： Wenhui Chen, Jianlin Chen, Ziyao Lin, Chi Man Vong

发布于 2026-07-17

📖 1 分钟阅读🧠 深度阅读

CC BY 4.0

原作者： Wenhui Chen, Jianlin Chen, Ziyao Lin, Chi Man Vong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

伟大的 AI 之战：为何越大并不一定越好

想象你正在建造一座图书馆，用来储存整个宇宙的历史。长期以来，科学家们一直认为，如果你只是不断扩大图书馆的规模并让管理员变得更聪明，他们最终会就每一本书应该放在哪里达成一致。这种被称为**“柏拉图表征假设”（Platonic Representation Hypothesis）**的想法认为，随着 AI 模型变得庞大，它们都会开始以相同的方式进行“思考”，从而收敛到一种完美的、共享的现实理解上。这就像无论人类使用何种语言，最终都会一致认为火是热的，水是湿的。

但问题在于：知道书在书架上的位置（表征）与实际能够跑向那个书架、抓起那本书，并在图书馆着火且你只有一把微弱手电筒的情况下读出其中特定句子的能力（能力），是两回事。在 AI 世界中，这个“手电筒”就是推理预算（Inference Budget）——即模型在回答每个问题时所能使用的内存和计算能力的严格限制。核心问题不仅是“模型能否理解世界？”，而是“它能否在信息海洋中真正‘找到’正确答案，而不耗尽内存？”这就是这篇论文试图解决的谜题：仅仅通过增大模型规模是否就能保证它解决更难的问题，还是说需要某种特定的架构技巧才能真正完成任务？

无限流中的苹果

这篇论文提出了一个名为**“能力收敛假设”（Capability Convergence Hypothesis, CCH）**的新规则。它认为，虽然 AI 模型在规模变大时可能会学会以同样的方式“观察”世界，但除非它们具备特定的两部分结构，否则它们并不一定会变得更擅长“做事”。

为了理解这一点，作者使用了一个名为**“牛顿流中的苹果”**的思想实验。想象一条永不停歇的河流，载着数百万张纸片在流动。在河流靠近起始处的地方，有人在其中一张纸上写下了“牛顿，苹果，1666”。随后，河流被数十亿张看起来和听起来非常相似的纸片淹没（例如“牛顿，引力，1666”或“苹果，派，1666”）。你的任务是等到河流的最末端，并精准地取出那张原始的“牛顿，苹果，1666”的纸片。

论文指出，目前大多数 AI 模型就像两种试图寻找这张纸的不同类型的游泳者：

压缩型游泳者（SSMs）： 这些模型就像是一个背着一个小而沉重的背包的游泳者。他们可以记住河流的大致方向（例如，“这是一个关于牛顿的故事”），但因为背包太小，他们必须丢弃细节以腾出空间容纳新的流水。当他们到达河流末端时，他们已经忘记了“苹果”和“1666”这些精确的词汇。他们撞上了作者所称的**“香农墙”（Shannon Wall）**：这是一个硬性极限，即你根本无法将所有必要的细节塞进如此小的记忆空间里。
逐字型游泳者（Transformers）： 这些模型就像是一个随身携带着巨大的、浮动的图书馆来存放所见过的每一张纸片的游泳者。他们可以完美地记住精确的词汇。然而，他们有一个**“视界墙”（Horizon Wall）：他们的视野只能向后看一小段距离。如果河流太长，那张“牛顿，苹果”的纸片就已经漂出了他们的视线。他们还会撞上“电路墙”（Circuit Wall）**：如果任务需要长链条的复杂逻辑（比如分步解决谜题），他们固定的脑容量就会卡住，无法将各个环节连接起来。

获胜策略：混合桥梁

该论文的主要发现是，要解决“牛顿的苹果”问题，你需要的不仅仅是一个更大的游泳者，而是一个混合体（Hybrid）。这是一个将两种类型的游泳者结合成一个团队的模型：

想法（状态通道/State Channel）： 其中一部分保留了一个高效的河流方向摘要（即“想法”）。它记得在哪里寻找，而不会被细节所困扰。
影子（索引通道/Index Channel）： 另一部分保留了一个庞大的、可搜索的单词列表（即“影子”）。它记得所有的精确细节。

作者称之为**“访问完备型混合模型”（Access-Complete Hybrid）**。他们的实验表明，当结合这两者时，模型可以解决那些纯粹的“压缩型”或纯粹的“逐字型”模型无论如何扩大规模都无法解决的问题。

实验结果显示了什么

研究人员并非凭空猜测；他们针对小规模模型进行了预注册测试（这意味着他们在看到结果之前就写好了规则），以验证这一理论是否成立。

剪刀差（The Scissors Gap）： 他们发现了一个显著的差异，称之为“剪刀差”。当他们测试一个纯“压缩型”模型处理包含 128 个隐藏事实的任务时，该模型几乎完全失败（错误率达 99.4%）。但当他们为同一个模型仅添加一层“逐字型”索引时，错误率降至接近于零（0.000%）。这证明了解决问题的能力不在于模型是否更“聪明”或更“大”，而在于是否拥有正确的访问结构。
训练可靠性： 他们还发现，虽然一个纯粹的模型在理论上可能通过极度幸运而在训练期间解决难题，但混合模型每次都能可靠地解决问题。这就像是一个靠猜题通过考试的学生与一个真正掌握了知识的学生之间的区别。
行业趋势： 论文还观察了 2023 年至 2026 年间发布的真实世界 AI 模型。他们发现，行业正在自然而然地向这种混合设计靠拢。大多数顶尖模型现在都在使用两种方法的结合：保持一个小的“状态”以保证效率，以及一个较大的“索引”以保证准确性。

这意味着什么（以及并不意味着什么）

论文对其主张非常谨慎。它并没有说混合模型是完美的，或者说它们可以解决所有问题。它明确反驳了“大即是好”的观点；如果缺乏正确的访问结构，一个纯粹的模型无论规模多大，仍然会撞墙。

它也承认，他们的“牛顿的苹果”测试是一个最坏情况下的场景。在现实生活中，自然语言可能不像他们模拟的无限河流那样混乱。然而，核心发现是稳健的：能力不是免费的。 你不能仅仅通过向单一类型的模型投入更多的计算资源，来直接“购买”更好的问题解决能力。相反，你必须通过构建一个既有压缩记忆用于把握方向、又有详细索引用于检索的系统，来“购买”解决复杂、长程问题的能力。

简而言之，论文表明，AI 的未来不仅仅在于让模型变得更大，而在于构建具有正确双通道架构的模型。“想法”让模型保持前进，而“影子”则确保它永远不会丢失成功所需的特定事实。

技术摘要：能力收敛假设 (Capability Convergence Hypothesis, CCH)

问题陈述
本文探讨了理解大语言模型缩放（scaling）的一个关键空白。虽然柏拉图表征假设 (Platonic Representation Hypothesis, PRH) 认为，异构模型在规模扩大时会向着现实的一个共享统计表征 ( $Z$ ) 收敛，但本文指出，表征的收敛并不自动意味着能力的收敛。具体而言，在固定的单 token 推理预算下，模型可能在内部表征上趋于一致，但在处理需要长程、逐字检索结合序列状态追踪的任务时，其能力却可能出现显著分化。作者指出，“在表征空间中‘知道’一个事实”与“在资源受限的情况下‘访问’该事实”是两回事。

研究方法
本文采用了一种结合形式理论、思想实验和受控实证测试的多层证据方法：

理论框架与思想实验：
- 牛顿苹果问题 (The Newton's-Apple Problem)： 一个思想实验，要求模型在经历了 $10^7$ 个具有语义重叠噪声的 token 后，必须检索出在流起始处植入的一个特定事实（例如：“牛顿，苹果，1666”）。
- 三道资源墙 (Three Resource Walls)： 作者定义了三个理论障碍，阻止纯架构在固定预算下解决此问题：
  - 香农墙 (Shannon Wall)（无条件）： 纯压缩模型（如 SSMs）具有 $O(1)$ 的状态容量。信息论（数据处理不等式）规定它们无法存储 $O(Nb)$ 比特的独立绑定信息，从而导致硬性的误差底线。
  - 视界墙 (Horizon Wall)（无条件）： 具有固定窗口的纯注意力模型会丢失窗口之外的 token，导致无法进行长流中的精确检索。
  - 电路墙 (Circuit Wall)（取决于 $TC_0 \neq NC_1$ ）： 固定深度的纯注意力堆栈无法执行复杂推理链所需的序列组合状态更新（例如 $S_5$ 群作用）。
- 访问完备混合体 (The Access-Complete Hybrid)： 提出的解决方案是一种同时持有压缩状态通道（用于 $O(1)$ 序列组合）和逐字索引通道（用于 $\Theta(L)$ 精确检索）的架构。
形式化证明：
- 本文建立了信息论下界，证明任何在查询时间状态为 $o(Nb)$ 的架构，在处理高熵独立绑定时都会失败精确检索。
- 定义了能力闭包 (Capability Closure, $C_\infty$ )，以形式化地证明混合架构的模型解题集合严格大于纯架构族的并集（即 $C_\infty(T \sqcup S) \supsetneq C_\infty(T) \cup C_\infty(S)$ ）。
实证证据：
- 普查分析 (Census Analysis)： 对 140 种发布的架构（2023–2026）进行了调查，显示它们正向着具有特定全局注意力份额 ( $\rho$ ) 在 $[1/12, 1/4]$ 范围内的“访问完备”设计收敛。
- 预注册小规模测试： 在受控协议下进行的 0.2M–1.1M 参数规模的实验，测试了特定的预测（P1–P3）。这些测试隔离了架构与规模及数据的影响。

核心贡献

能力收敛假设 (CCH)： 一个形式化的假设，指出在固定推理预算下，能力并非收敛于单一架构，而是收敛于访问完备类 (access-complete class)——即任何结合了压缩状态通道和可扩展逐字索引通道的组合。
“剪刀差差距” (The "Scissors Gap") 与信息底线： 本文首次提供了关于“剪刀差差距”的预注册测量：纯状态模型会触及由信息论极限决定的高误差底线，而带有相同状态量加一个索引的混合体则能实现近乎零误差。
表征与能力的正式分离： 作者证明了表征对齐（PRH）并不预示能力。在匹配规模的实验中，具有高表征对齐度（CKA）的模型，其检索能力仅取决于其访问结构。
超加性存在性证明： 本文证明了状态通道与索引通道的结合创造了严格大于其部分之和的能力，特别是在需要序列组合与精确检索并行的任务中。

结果

理论层面： 确立了三道墙（香农墙、视界墙、电路墙）作为纯架构族的无条件或有条件障碍。混合架构通过“支付”索引通道的代价而非规避界限，成功跨越了这些墙。
普查结果 (R1–R4)： 行业数据显示，混合架构呈现出一种趋势，其全局注意力份额 ( $\rho$ ) 聚集在 0.167（中位数）附近，表明存在向访问完备类收敛的经济与能力驱动。
实验结果 (P1–P3)：
- P1 (剪刀差差距)： 得到支持。纯 SSMs 触及信息底线（误差 $\approx 0.994$ ），而拥有相同状态量加一层全局注意力的混合体误差 $\approx 0.000$ 。
- P2 (分叉现象)： 部分得到支持。具有足够状态表达能力的混合体（例如 $\beta \in (0,2)$ ）解决了 $S_5$ 追踪问题，而表达能力较低的变体则失败了。然而，观察到在边界处的可靠训练具有种子依赖性。
- P3 (通道通约性)： 失败。 预测中关于“解决混合任务的模型会表现出比失败模型更高的跨通道对齐度”的结论被反转了；解决问题的混合体表现出更低的对齐度，这表明存在的是通道分化而非收敛。
- 合取见证 (Conjunction Witness)： 混合体在所有种子下都通过了复合任务（地址组合 + 检索），而其他任何纯架构均未达到标准。一个纯递归种子解决了该任务，这表明目前的差异在于训练可靠性而非当前规模下的存在性问题。

意义与主张

本文声称建立了一个理解模型缩放的新边界：能力是通过访问结构“购买”的，而非由规模免费赠予。

有限范围： 作者明确表示，他们并不声称发明了混合架构，也不声称证明了自然语料库满足必要的隔离假设。“见证者”是一个最坏情况的构建；其主张是访问结构可以是决定性的，而非在所有自然工作负载下都是决定性的。
可证伪性： 本文将 CCH 定位为一个可证伪的假设。其核心主张（访问完备原则）得到了下界证明和预注册实验的支持。关于“收敛”的论述被框架化为一个受经济动机驱动的猜想，由一致性（普查数据）而非直接演示来支持。
启示： 作者认为，未来的基准测试和模型设计必须将访问结构 (access structure) 视为一等变量。他们提出，业界正在向一种特定的设计模式（访问完备混合体）收敛，因为这是在固定推理预算下满足长程推理与逐字检索双重需求的唯一途径。

总之，本文认为，虽然表征向着共享的现实收敛（PRH），但能力正向着一个特定的架构吸引子收敛（CCH），该吸引子由同时持有压缩状态与逐字索引的能力所定义。这种收敛是由推理经济学和通过支付访问容量来满足信息论必要性的需求所驱动的。