🤖 machine learning

Approximate Homomorphisms and Convergent Representations in Transducers

本文确立了受控随机过程中最小表示在扰动下的稳定性与收敛性的理论条件，证明了虽然标准转换器可能缺乏结构鲁棒性，但有限秩线性与预测转换器表现出的近似同态支持了神经网络潜在表示中结构收敛性的假设。

原作者： Santiago Cifuentes

发布于 2026-08-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Santiago Cifuentes

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代人工智能那广阔而嗡鸣着的景观中，出现了一种奇特的模式。当研究人员训练不同的神经网络——即旨在从数据中学习的复杂系统——来解决相似的问题时，他们经常发现这些机器的内部运作方式开始变得惊人地相似。即使这些网络具有不同的架构或是在略有不同的数据集上进行训练，它们存储部分计算结果的隐藏层似乎也会收敛到一种共享的结构。这一观察结果引出了一个大胆的想法：这些人工大脑不仅仅是在记忆答案，而且是在独立地发现关于世界运作方式的共同底层模型。为了理解这种收敛是一种基本的学习法则还是仅仅是一种巧合，科学家们需要一种衡量这些内部模型“形状”的方法。他们需要知道两台不同的机器究竟是在以相同的逻辑进行思考，还是仅仅通过完全不同且互不兼容的路径得到了相似的答案。

这个问题处于一项新研究的核心，该研究将这些内部模型视为被称为“转换器”（transducers）的数学机器。可以将转换器想象成一种设备，它接收一系列动作（例如一系列指令或观察），并产生一系列反应（例如一系列输出或预测）。这是一种将智能体（无论是机器人还是神经网络）与其环境进行交互的形式化表达方式。研究人员想要观察这些机器在因训练噪声或不同数据而产生轻微差异时，是否仍能共享一个核心的、极小化的结构。他们提出了这样一个问题：如果两个机器的行为几乎相同，我们能否在保持其逻辑的前提下，将一个映射到另一个之上，即便这种映射并不完美？

团队首先在这些机器中最通用的类型——他们称之为“标准转换器”——上测试了这个想法。他们希望发现任何行为相似的机器都可以简化为一个单一的、共享的蓝图。然而，他们的调查揭示了一个令人惊讶的局限性。他们证明了对于这些通用的机器，存在特定的行为模式，使得不存在这样的共享蓝图。即使两台机器的输出几乎完全相同，它们的内部结构也可能在根本上如此迥异，以至于无法在不破坏其运作逻辑的情况下将其中一个映射到另一个之上。这一发现排除了所有人工智能中的收敛结构都是简单或普遍的这种可能性；它表明，如果没有特定的约束，通往共享内部模型的路径可能会被阻断。

然而，当研究人员转向两种更具体的机器类型时，故事发生了变化：线性转换器和预测型转换器。线性转换器是指其内部状态以几何空间中的一个点来表示的机器，这种结构自然契合现代神经网络的运作方式，因为其参数本质上是向量空间中的数字。预测型转换器则是指其内部状态仅包含预测未来所必需的信息，并丢弃了任何冗余的历史信息。对于这两类特定的机器，研究人员发现了一种稳健的收敛性，但同时也带有重要的限制条件。对于线性转换器，他们证明这种收敛性特别适用于“有限秩”的接口；如果你有两个实现有限秩接口的同类极小化机器，并且它们的行为几乎相同，你总能找到一个单一的、极小化的机器作为它们的共同祖先。你可以将这些复杂且带有噪声的版本映射到这个简单、纯净的版本上，而映射引入的误差将保持在较小范围内，并与原始机器之间的差异成比例。类似地，对于预测型转换器，他们表明当机器根据特定的“残差度量”（residual metric）——即在考虑了所有可能的历史情况（无论该历史发生的概率如何）后进行比较——而表现接近时，收敛就会发生。

这一结果具有重要意义，因为它为神经网络经常发展出相似内部表示的观察结果提供了理论基础。它表明，虽然通用的、无结构的模型可能不会收敛，但现代AI倾向于使用的特定类型的结构——即那些依赖于具有有限秩接口的线性几何或在特定度量下进行高效预测的结构——确实有一种自然趋向，即稳定在一种共享的、极小化的形式中。研究证实，对于这些特定的架构，即“柏拉图表征假设”（Platonic Representation Hypothesis，即不同模型收敛于一个共享的统计现实的想法）在受到微小扰动和特定结构约束的条件下是成立的。研究人员证明了这种收敛并非脆弱的巧合，而是这些系统在既定条件下受数学规律支配的一种稳定的属性。

这项工作同时也阐明了这种稳定性何时会失效。研究人员指出，线性转换器的收敛性取决于接口是否为有限秩，而预测型转换器的收敛性则取决于机器在残差度量下是否接近。当这些条件满足时，系统是稳健的；当这些条件不满足时，内部结构可能会发生剧烈的漂移。这种区别有助于解释为什么某些模型可能拥有深层的结构相似性，而其他模型则不然。它表明，寻找AI共享表征的成功并非对每种架构都保证成立，而是那些遵循特定数学约束（特别是有限秩线性特征和特定度量下的预测效率）的架构所具备的特性。

最终，这项研究为理解人工智能的隐藏层提供了一张地图。它告诉我们，寻找不同AI模型之间共享的“思维语言”是一个有效的追求，但前提是我们必须观察正确的模型。这种收敛是真实的，但它并非普遍存在的；它是那些在特定数学边界内构建得既稳定又高效的系统的属性。通过证明这些特定类型的机器拥有一个独特的、极小化的核心，且所有相似的版本都可以简化为该核心，研究人员为为什么不同的AI系统往往以相同的方式进行思考提供了一个严密的解释。他们展示了机器行为的宇宙中存在着“稳定岛”，在这些岛屿上，不同的路径最终必然会导致同一个目的地，从而让我们得以窥见支配硅基智能涌现的数学法则。

技术摘要：变换器中的近似同态与收敛表示

问题陈述

本文研究了受控随机过程（具体为变换器/transducers）的极小表示在扰动下的理论稳定性。这一探究源于深度学习中的经验观察，即不同的神经网络架构在经过不同数据或目标训练后，往往表现出收敛的潜在结构。这种现象催生了“柏拉图表示假设”（Platonic Representation Hypothesis），该假设认为从相似分布中学习的智能体会收敛到一种共享的现实统计模型。

虽然之前的研究 [44] 已经确立了线性与预测性变换器的极小实现存在性（提供了一个唯一的“规范”表示），但这些结果是精确的。在实际场景中，模型从略有差异的数据集进行学习，并受到噪声的影响，这意味着它们实现的接口是近似相似而非完全一致的。核心问题在于：是否存在一个唯一的极小表示（以及由此产生的收敛结构）对于这些扰动具有鲁棒性？具体而言，如果两个变换器实现的接口在 $\epsilon$ 距离内，它们是否共享一个共同的结构表示（即一个近似同态），并将它们映射到规范形式时的误差随 $\epsilon$ 线性缩放？

研究方法

作者使用三类变换器对问题进行了形式化定义：

标准变换器 (Standard Transducers)： 具有隐藏状态的一般受控随机系统。
线性变换器 (Linear Transducers)： 状态嵌入在向量空间中，利用汉克尔矩阵 (Hankel matrices) 进行构建的系统。
预测性变换器 (Predictive Transducers)： 其内部状态不包含任何从可观测历史中无法获得的预测信息（等价于计算力学中的 $\epsilon$ -机器）。

研究方法分为三个阶段：

近似同态的定义： 作者定义了 $\epsilon$ -同构 ( $\epsilon$ -homomorphisms)，它放宽了标准同构的精确结构映射条件。对于标准变换器，这涉及限制源动力学与目标动力学之推前分布之间的全变差 (Total Variation, TV) 距离。对于线性变换器，这涉及限制映射后的动力学与目标动力学之间差异的范数。
接口的度量空间： 为了衡量变换器所实现的行为（接口）之间的相似性，作者定义了接口空间上的度量。他们利用了上确界度量 ( $d_\infty$ ) 和折扣度量 ( $d_\gamma$ )，后者对长时程差异的权重较低。对于预测性变换器，引入了一种“残差度量” ( $d_{res}$ )，用于比较所有可采历史的条件接口，而不考虑其概率。
稳定性分析： 作者分析了实现目标接口 $I$ 的 $\epsilon$ -邻域内的变换器集合。他们研究该集合是否拥有一个“ $\delta$ -极小值”——即一个变换器 $T_{min}$ ，使得集合中的所有其他变换器都能以误差 $\delta$ 近似归约为 $T_{min}$ ，其中 $\delta = O(\epsilon)$ 。

核心贡献与结果

1. 近似同构与可组合性

论文定义了适用于所有三种变换器类型的 $\epsilon$ -同构。一个关键的理论性质被证明是可组合性：如果 $T_1 \xrightarrow{\epsilon_1} T_2$ 且 $T_2 \xrightarrow{\epsilon_2} T_3$ ，则 $T_1 \xrightarrow{\epsilon_1 + \epsilon_2} T_3$ 。此外，作者证明了近似归约在折扣度量下保持诱导的接口动力学。具体而言，如果 $T_1$ 以误差 $\epsilon$ 归约为 $T_2$ ，则两者在折扣度量 $d_\gamma$ 下的接口距离被限制在 $O(\epsilon)$ 范围内。

2. 标准变换器的负面结果

对于标准变换器，作者证明了即使在近似条件下收敛也会失效。他们构造了一个特定的接口 $I$ ，使得对于任何 $\delta < 1$ ，实现 $I$ （或与其任意接近的接口）的变换器集合都不具备 $\delta$ -极小值。这表明，对于一般的随机系统，引入误差项也无法挽救唯一极小表示的缺失；结构迥异的实现方式即便在动力学上相似，也可能无法共享共同的近似结构。

3. 线性变换器的正面结果

对于线性变换器，论文证明了一个强稳定性结果。对于任何有限秩接口 $I$ ，存在一个接口邻域（在距离 $\epsilon$ 内），使得实现这些临近接口的所有极小线性变换器都能够近似归约为 $I$ 的规范极小实现。

机制： 该证明依赖于通过汉克尔矩阵构建极小线性变换器。接口的微小扰动会导致汉克尔矩阵的微小扰动。作者构造了一个线性映射（基于汉克尔矩阵的可逆子式），将扰动后的规范表示映射回原有的表示。
误差界限： 该归约的误差随扰动大小线性缩放 ( $\delta \approx \Gamma_I \epsilon$ )，其中 $\Gamma_I$ 是仅取决于接口 $I$ 的常数。

4. 预测性变换器的正面结果

对于预测性变换器，作者表明在特定度量下收敛成立。他们引入了残差度量 ( $d_{res}$ )，该度量通过比较所有历史的条件接口来进行比较。

条件： 如果两个接口 $I$ 和 $J$ 在 $d_{res}$ 下的距离足够小（具体而言，小于预测状态之间最小间隔 $\Delta_I$ 的一半），则 $J$ 的极小预测性变换器可以 $\epsilon$ -归约为 $I$ 的极小预测性变换器。
意义： 这一结果强调，虽然上确界度量由于存在罕见但独特的历史而无法保证预测性变换器的稳定性，但一个考虑了所有条件历史结构的度量可以恢复稳定性。

意义与主张

论文声称，在特定的结构约束下，为柏拉图表示假设提供了理论支持。

抽象的鲁棒性： 研究结果确定了规范变换器表示对扰动具有鲁棒性的条件。具体而言，如果 AI 架构中的世界模型可以被抽象为线性或预测性变换器，那么在相似数据分布上训练的模型应当表现出结构收敛（即它们的潜在表示可以被映射到一个带有误差界限的共同极小形式）。
通用性的局限性： 论文明确指出，这种收敛性在一般（标准）变换器中并不得到保证，这表明线性或预测性系统的特定代数或结构属性是使“收敛现象”出现的必要条件。
理论与经验： 作者将这些结果定位为理论证据。他们指出，虽然在神经网络中观察到了预测性结构（如 $\epsilon$ -机器）的存在 [46, 47]，但线性变换器的存在性是一个基于神经参数向量空间性质的假设。本文并不声称已在现有模型中实验验证了这些结构，而是提供了用于预期这些结构的数学框架。

总之，这项工作确立了“内部表示的收敛”是一个高度依赖于用于建模系统的数学抽象类别的属性。对于线性与预测性系统，这种特性是稳健的；但对于一般的随机系统，该特性则失效。这为为什么某些 AI 架构中会出现收敛结构而其他架构则不会，提供了一个细致的理论解释。