Integrating Out, Twice:The Open-System Case That Neural-Network Ensemble Theory Is Missing

本文建立了一个将封闭系统神经网络集成与核反应理论中的开放系统类比进行比较的理论框架，并最终得出结论：由于缺乏连续谱和波动行为，后者独特的非厄米动力学在主流学习中结构性地缺失，从而将运行不确定性的真正来源定位在封闭系统的对应关系之中。

要点

核心思想：两种“忽略”的方式

想象你正在试图理解一个复杂的系统，比如一个拥挤的房间或一个神经网络（一种人工智能类型）。有时，你无法追踪每一个人或每一个数字。你必须决定去忽略系统的一部分，以便专注于你关心的部分。

在物理学和数学中，这种“忽略”或“积分掉”（integrating out）系统一部分的行为是一种标准做法。作者 Jin Lei 认为，这种做法有两种截然不同的方式：虽然 AI 研究者主要使用其中一种，但核物理学家已经精通了另一种。

1. “封闭式”方法（AI 所做的）

类比： 想象你正在给一群朋友拍照，但你决定把背景模糊处理。

• 发生了什么： 你失去了背景的细节，但你朋友的照片依然保持清晰且“完整”。模糊处理并没有偷走你朋友的光线或能量；它只是移除了背景数据。
• 在 AI 中： 当 AI 研究者对神经网络中的随机数字（参数）进行平均化处理时，他们得到的是一个“封闭”的结果。数学保持简单、真实且对称。这是一种无损的总结。没有任何东西“逃逸”。

2. “开放式”方法（核物理所做的）

类比： 想象你在一个门虚掩着的房间里。你正在尝试追踪房间内的空气压力。

• 发生了什么： 空气通过门缝漏了出去。如果你试图仅通过描述房间“内部”的空气来建模，你的描述必须考虑到空气正在流失的事实。数学会变得“有泄露性”且复杂。你必须建立一份严格的账本（收据），记录究竟有多少空气逃逸以及去了哪里。
• 在核物理中： 这被称为光学模型（Optical Model）。当原子核与粒子发生相互作用时，一些粒子会逃逸到“连续谱”（the continuum，即宇宙的其余部分）。描述原子核的数学变得是“非厄米（non-Hermitian）”的（这是一个高级说法，意指它是复杂且有泄露性的）。至关重要的是，数学中包含了一个通量账本（Flux Ledger）：一份关于离开系统的概率之精确统计。

论文的核心观点

作者说：“AI 只在做‘封闭版’。它缺失了‘开放版’。”

AI 研究者拥有一套优秀的词典，用于在他们的“封闭”数学与核物理之间进行翻译。例如：

• 神经切线核（Neural Tangent Kernel，AI 如何学习） 等同于 费舍尔敏感度核（Fisher Sensitivity Kernel，核模型对变化的敏感程度）。
• 无限宽度的 AI 等同于 高斯过程（Gaussian Process，一种标准的统计工具）。

然而，作者认为 AI 对“开放”的一面是盲目的。AI 将它丢弃的任何信息（比如忽略句子中的一个词或切断网络的一部分）都视为简单的错误或近似误差。它并没有将其视为需要被追踪和守恒的物理损失。

“通量账本”

在核物理中，当粒子逃逸时，理论并不仅仅说：“噢，我们丢了一些。”它会说：“我们向通道 A 损失了恰好 0.5 个单位的概率，向通道 B 损失了 0.2 个单位，这是证明这一点的数学依据。”

作者尝试为 AI 构建这样一个“通量账本”。他问道：如果我们把 AI “被忽略”的部分视为一扇漏风的门，我们能否追踪丢失的概率？

令人惊讶的结果（“负面”发现）

作者运行了测试，以观察这种“开放式”数学是否适用于真实的 AI 模型（例如大语言模型中的注意力机制，或选择使用哪些专家的路由机制）。

结果： 大多失败了。

• 原因： 对于“开放式”数学要奏效，你所忽略的部分需要像一片无限的海洋，波浪可以在其中永远传播（一个连续谱）。
• 问题所在： AI 模型通常是有限的且具有“耗散性（dissipative）”的（它们会趋于平缓和稳定）。它们并不具备那种“无限海洋”的特性。
• 后果： 当作者试图将“开放式”数学强加于 AI 时，这个“通量账本”要么不存在，或者所谓的“损失”仅仅是他切割数据时产生的伪影，而非真实的物理属性。

“幻觉”的转折

作者还研究了一个流行的想法：这种“泄露”数学能否检测出 AI 何时在产生“幻觉”（编造事实）？

答案是： 不能。

• 原因： 当 AI 自信地产生幻觉时，它实际上是非常“封闭”的。它强烈地致力于一个错误的答案。由于模型非常确定，所以“泄露”（不确定性）很低。
• 真正的确定性： 真正重要的不确定性（认识论不确定性——即模型是否知道答案）存在于数学的“封闭”部分（集成模型的方差），而不是“开放”部分。

总结

• 地图： 论文绘制了一张地图，展示了 AI 和核物理在“忽略”事物方面共享相同的代数逻辑。
• 差距： AI 只使用了“封闭”（无损）的版本。而核物理拥有一套完整发展的关于“开放”（有泄露）版本的理论，包括对流失部分的严格统计。
• 测试： 作者试图将“开放式”理论引入 AI。
• 结论： 效果不佳。真实的 AI 模型过于有限且具有“弛豫性（relaxational）”，无法支持核物理中所使用的那种复杂的、波动式的“开放式”数学。作者希望发现的那些“开放式”特征，要么不存在，要么只是数学上的伪影。

简而言之： 这篇论文是一个警示。它告诉我们，虽然我们可以借鉴核物理的一些数学工具，但他们用来追踪逃逸粒子的那些特定的“泄露式”工具，并不自然地适用于当前的 AI 架构。AI 中“有用”的不确定性仍然存在于“封闭”的统计侧，而非“开放”的动力学侧。

技术摘要

技术摘要：两次积分外：神经网络集成理论所缺失的开放系统案例

问题陈述
本文探讨了神经网络集成理论中的一个结构性空白。虽然对随机参数进行平均（高斯扇区的边缘化）在数学上等同于消除块后的舒尔补（Schur complement），但目前的集成理论仅实现了“封闭”情形。在这种封闭场景下，诱导出的有效对象是一个实对称、无损的精度矩阵（协方差逆矩阵）。本文指出，主流学习理论缺乏“开放”情形的理论形式：即一种允许概率流不可逆地逃逸的消除扇区形式，其结果是一个非厄米（non-Hermitian）有效生成元，并能对丢失的通量进行守恒与分类统计。这种开放系统结构在核反应理论（特别是光学模型和 Feshbach 投影）中已得到充分发展，但在机器学习领域却处于缺失状态。

方法论
作者采用了一个基于三种基本工具的统一代数框架：概率分布的矩、高斯代数以及分块矩阵求逆。本文避免使用场论机制（配分函数、费曼图），以确保每一个步骤对于熟悉标准线性代数和统计学的读者而言都是可验证的。

该方法论分为三个阶段进行：

1. 代数统一： 本文证明了对神经网络集成进行边缘化处理，与对散射问题进行投影（Feshbach 投影），本质上是同一种操作的两种实例：即消除耦合线性系统中的一个块。
2. “封闭”字典： 文中建立了神经网络的封闭情形统计特性与核物理之间的精确对应关系。这包括将神经切向核（NTK）映射为 Fisher 敏感度核，将无限宽度极限映射为高斯过程模拟器，并将非高斯性映射为模拟器失效。
3. “开放”导出与测试： 本文尝试将开放系统机制（非厄米有效哈密顿量、通量账本、动力学极化势）移植到机器学习中。作者提出了三种在神经网络集成中引入“开放性”的原生方式：
   • 在矩生成函数中引入复源（complex source）。
   • 通过次规范生存概率（例如拒绝分布外 token）对参数测度进行变形。
   • 对网络自由度应用舒尔补消除（保留块与消除块）。
4. 经验验证： 作者在三个特定的学习对象上进行了“廉价”数值测试，以观察它们是否自然地表现出开放系统特征：
   • 截断注意力图（Transformer 中）。
   • Token 级转移算子（受限字母表）。
   • 稀疏专家路由（混合专家模型）。

核心贡献

• “开放”与“封闭”的区别： 本文阐明，非厄米性不仅仅是复数的一个特征，它是一个被消除扇区（具有连续谱从而允许通量逃逸）所特有的签名。封闭消除（有限或耗散型）产生的是实对称的舒尔补。
• 通量账本（Flux Ledger）： 文中定义了“通量账本”为一个守恒且分类统计的账本，用于记录丢失给消除扇区的概率，该账本由广义光学定理导出。这使得吸收过程可以分解为直接项、破碎项和干涉项。
• 对应字典： 文中提供了一个完整的字典，将核反应概念翻译为学习理论：识别出神经切向核即为 Fisher 敏感度核，并将约简基底模拟器的有效边界识别为“懒惰（lazy）到特征（feature）”的过渡。
• 原生开放性构建： 本文展示了如何通过复源或次规范测度在学习理论内部原生构建一个开放集成，尽管作者指出，这需要非高斯性显现出算符层面的损失，否则无法实现。

结果
本文报告了一个基本为负面的结果，即关于将开放系统导出机制应用于当前主流学习架构的适用性：

• 截断注意力： 在截断上下文窗口中消除 token 是一个封闭过程。诱导出的修正项是实对称的；并未自然产生非厄米生成元。若要实现开放性，必须人工介入。
• Token 级转移算子： 虽然可以为受限字母表构建一个守恒的吸收账本，但其“中介项”（即通道耦合吸收的类比）是不稳定的，它随划分方式的变化而变化，看起来更像是划分产生的伪影，而非模型的鲁棒属性。
• 稀疏路由： 在混合专家模型中，“开放性”（被丢弃的专家）是由训练目标（负载均衡）驱动到一个高水平且无信息的底层的。由此产生的信号是结构性的（路由锐度），而非衡量丢失通量的有效度量。
• 认识论不确定性 vs 偶然不确定性： 本文发现，对于“操作上有用”的不确定性（区分幻觉与误差），其存在于对应关系的封闭端（集成方差/Fisher 信息），而非开放端。开放系统形式化目前无法捕捉标准模型中的认识论不确定性。
• 结构性障碍： 本文得出结论，开放情形需要一个具有连续谱和波动动力学的被消除扇区。主流学习对象要么是有限的（离散谱），要么是弛豫性的（谱位于负实轴），这导致评估点无法位于产生物理反厄米部分的连续统之内。

意义与主张
本文明确将其定位为“一篇笔记，而非一项研究成果”，其主要贡献在于提供了一张地图，而非一套新理论或成功的应用。

• 负面发现的价值： 主要发现是开放系统导出机制对于当前的学习对象失效了。本文认为这一负面结果是有价值的，因为它精确地定位了失效的原因：即现有模型缺乏连续谱和波动动力学。
• 类比的诚实性： 文中警告不要使用松散的类比（如“能量景观”），并坚持使用精确的代数恒等式。它澄清了虽然消除的代数性质是共享的，但被消除块的性质（封闭 vs 开放）决定了结果的物理属性。
• 未来方向： 本文建议，若要使开放系统机制对人工智能有用，则需要寻找或构建具有“波动性”而非“弛豫性”的架构，且其消除扇区必须足够宽广以承载一个连续统。在此之前，“开放情形”对于当前的神经网络而言仍是一个理论上的可能性，而非实用的工具。

综上所述，本文认为虽然神经网络集成理论已经掌握了参数的“封闭”积分，但仍缺乏类似于核物理中的“开放”积分机制。试图将此机制移植到当前 AI 模型中的尝试之所以失败，是因为这些模型并不具备支持光学模型中非厄米、通量守恒动力学所需的谱属性（连续谱）。