技术摘要：从注意力到粘合：一种用于低复杂度语言模型的层（Sheaf）状态架构

1. 问题陈述

本文指出 Transformer 架构中的**稠密自注意力（dense self-attention）**是计算过度配置（overprovision）的来源。虽然每个 token 与其他所有 token 进行交互的能力提供了灵活性并避免了过早的结构性承诺，但它创建了一个“完整的关系基质（complete relational substrate）”，这在结构上是过剩的。

核心问题在于，稠密注意力将上下文视为一个完整的 token 集合，从而将不同的关系类型（语法、引用、指令相关性、话语连续性）坍缩为单一且无类型的兼容性系数。这导致了：

• 二次方关系复杂度（$O(n^2)$），相对于上下文长度而言。
• 高内存带宽占用。
• 关系浪费：模型为几乎所有的 token 对计算兼容性得分，即使有用的语言和推理关系是稀疏的、有类型的、层次化的且依赖于状态的。

论文认为，语言建模中的原始关系对象应当从一个完全图转变为一个学习到的稀疏的有类型上下文补丁（typed context patches）站点。

2. 方法论：层（Sheaf）状态语言模型

作者提出了一个被称为**层状态语言模型（Sheaf-State Language Model）**的形式化架构假设。该架构利用层论（sheaf theory）和范畴深度学习的概念，用学习到的上下文拓扑取代了完整的 token 站点。

2.1 核心概念

• 作为学习站点的上下文（Context as a Learned Site）： 上下文不再是一个平坦的 token 序列，而是被建模为一个站点 $(C, J)$，其对象是有类型的补丁（例如：局部、语法、句子、指令、主题、记忆、检索、工作空间、输出）。
• 层动力学（Sheaf Dynamics）： 模型在这些补丁之上维持局部截面（局部状态）。全局上下文通过兼容的局部状态进行“粘合（gluing）”条件来组装，而不是通过完整的图交互来重建意义。
• 量化态射（Quantized Morphisms）： 该架构在适用于低比特、稀疏或量化计算的向量类表示（$QuantVect$）范畴内运行，承认在每个阶段并不需要高精度的向量空间。

2.2 架构组件

模型定义为一个元组 $M = (C, J, F, \Phi, G, E, R)$：

1. 局部状态空间动力学 ($\Phi$)： 每个补丁维护一个由状态空间模型（SSM，类似于 Mamba）更新的局部状态，该模型根据输入 token 选择性地传播或遗忘信息。
2. 稀疏粘合态射 ($G$)： 信息仅在补丁之间学习到的兼容重叠处进行交换。这通过有类型的补丁连接取代了全局注意力机制。
3. 站点感知专家 ($E$)： 特化模块用于细化补丁状态，类似于稀疏专家模型，但其路由基于补丁类型而非仅仅是 token 的隐藏状态。
4. 读出 ($R$)： 最终的态射从输出补丁状态生成下一个 token 的分布。

2.3 训练目标

训练信号仍然是标准的下一 token 预测（$L(\theta) = -\sum \log p_\theta(x_{t+1} | x_{\le t})$）。新颖之处不在于损失函数，而在于进行语言建模的计算对象。

3. 主要贡献

论文明确指出，它并未引入新的组件，如神经语言模型、Transformer、层神经网络或状态空间模型本身。其贡献在于这些方向在特定架构论题下的综合（synthesis）：

• 形式化诊断： 对稠密注意力的范畴诊断，认为其为“完全站点预层动力学（complete-site presheaf dynamics）”，混淆了可用的关系与获授权的语义态射。
• 架构提案： 一个层状态语言模型的形式化定义，它将 SSM 动力学、稀疏专家和低比特态射组织在学习到的上下文站点之上。
• 复杂度命题： 一个理论证明，如果有效的上下文关系可以用有界度的学习拓扑来表示，则关系复杂度将从二次方扩展变为线性扩展（$O(n)$）。
• 模拟程序： 一个用于将完全注意力站点替换为学习到的上下文拓扑的框架，通过合成依赖模拟而非训练基础模型进行验证。

4. 结果

论文展示的是合成依赖模拟，而非自然语言语料库上的经验基准测试。其目的是测试关于依赖覆盖范围和关系浪费的结构假设。

• 设置： 生成具有已知稀疏有类型依赖图（$G^\star$）的合成序列，该图包含局部依赖、长程指令/主题锚点以及实体复现链接。
• 对比： 对比了三种架构：
  1. 稠密完全注意力 ($G_{dense}$)：全连接。
  2. 局部窗口注意力 ($G_{local}$)：固定窗口宽度。
  3. 层状态粘合 ($G_{sheaf}$)：带有稀疏覆盖的有类型补丁图。
• 指标：
  • 依赖覆盖度（Dependency Coverage）： 恢复出的真实依赖比例。
  • 关系浪费（Relational Waste）： 模型边中未被真实依赖图使用的比例。
• $n=32,768$ 时的发现：
  • 稠密注意力： 实现了 100% 的覆盖，但伴随 99.98% 的关系浪费（5.36 亿条边 vs. 6.7 万条真实边）。
  • 局部窗口： 实现了 96.5% 的覆盖，但丢失了长程依赖；浪费约为 75%。
  • 层状态粘合： 实现了设计的稀疏依赖的 100% 覆盖，且仅有 32.5% 的关系浪费（使用了 10 万条边）。
• 缩放： 模拟证实，稠密注意力在活跃关系边方面呈二次方缩放，而层状态粘合则近似线性缩放。

5. 意义与主张

作者对其论文的意义保持了适度的、形式化的立场：

• 无经验优越性主张： 论文明确指出，它并未声称训练出了在困惑度（perplexity）、指令遵循或推理能力上超越当前大语言模型（LLM）的基础模型。
• 假设类别： 其贡献是一个“形式化的低复杂度假设”。它提出，LLM 的上下文应当被表示为一个学习到的、由有类型补丁组成的稀疏站点，并通过循环局部状态加稀疏粘合来进行整合。
• 理论价值： 该工作提供了对当前 Transformer 过度完备性的“范畴诊断”，并提供了一条通过学习上下文拓扑本身来降低硬件成本的理论路径。
• 未来验证： 论文概述了一个验证协议，包括在小型语料库上进行训练、结构化依赖任务以及延迟测量，并指出目前的局限性包括缺乏已训练的模型，以及在没有全局注意力机制的情况下处理任意检索任务可能存在的困难。

总而言之，论文认为“完全注意力站点”在结构上是低效的，并提出了一种层状态（Sheaf-State）架构，通过学习一个用于上下文整合的有类型稀疏拓扑，实现了线性复杂度和降低的浪费，并得到了理论证明和合成模拟的支持。