🧬 biology

Unambiguous Representations in Neural Networks: An Information-Theoretic Approach to Intentionality

本文利用信息论来证明神经网络可以编码其关系连接结构中可解码的、无歧义且本质的表示，从而为衡量如整合信息理论（IIT）和窄表征主义等意识理论所假设的低歧义状态提供了一种定量方法。

原作者： Francesco Lässig

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Francesco Lässig

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

核心理念：大脑是如何“知道”它所看到的？

想象你有一个数字文件盒。其中一个文件是一串数字：010101。

如果你使用 JPEG 解码器，这串数字就会变成一张猫的照片。
如果你使用 MP3 解码器，同样的这串数字就会变成一段狗叫的声音。

这串数字本身并不知道自己是什么。它是模棱两可的（ambiguous）。它的意义完全取决于你从外部选择应用哪种“解码器”。这就是计算机通常的工作方式。

意识则不同。
当你看到一个红色的正方形时，你的大脑不需要外部手册来告诉你：“好的，这个神经模式意味着‘红色正方形’”。看到红色的这种体验是由于大脑状态本身固有的。你不会不小心把同一个大脑状态解释为“看到一个绿色三角形”。

这篇论文提出了一个大问题：大脑状态是如何锁定其含义，从而使其无法被误解的？ 作者们称之为**“无歧义表示”（unambiguous representation）**。

实验： “乱序拼图”测试

为了测试这一点，研究人员训练了一些简单的计算机大脑（神经网络）来识别手写数字（例如数字 0–9）。然后他们做了一件棘手的事：他们打乱了神经元（scrambled the neurons）。

想象你有一个由 10 名工人（输出神经元）组成的团队，他们的任务是喊出他们看到的数字。

在正常设置下，工人 #1 总是喊“1”，工人 #2 总是喊“2”，依此类推。
在实验中，研究人员打乱了这些工人，使得工人 #1 现在可能是那个喊“7”的人，而工人 #5 可能是那个喊“2”的人。

挑战在于： 如果你只观察工人之间是如何交流的（他们的连接和关系），你能不能猜出每个工人实际上在喊哪个数字？

如果工人之间的关系只是随机噪声，你就无法猜测。但如果他们的关系形成了一个独特且僵化的结构，且该结构只适用于一种特定的排列方式，那么其意义就是“无歧义的”。

关键发现：“Dropout”魔法

研究人员尝试了两种不同的方式来训练这些计算机大脑：

标准训练（Standard Training）： 大脑进行常规学习。
Dropout 训练： 在学习过程中，大脑被迫“忘记”它的一部分（就像一个必须在闭着眼睛的情况下学习一半时间的学生）。这迫使大脑建立鲁棒的、分布式的连接。

结果：

标准训练： 当他们打乱神经元时，他们猜对正确数字的概率只有 38% 左右（这几乎比随机猜测好不了多少）。神经元之间的关系是模糊且有歧义的。
Dropout 训练： 当他们打乱神经元时，他们能 100% 地猜对正确的数字。

类比：
把标准训练的大脑想象成一群拉着绳子的人。如果你拉动一个人，整个群体都会移动，但形状是松散且摇晃的。你无法仅通过观察绳子的形状来准确判断谁是谁。

把 Dropout 训练的大脑想象成一颗晶体。原子（神经元）被锁定在一个非常特定、僵化的几何形状中。如果你打乱原子，晶体会破碎或看起来完全不对劲。但如果你观察连接的模式，它是如此独特，以至于你能瞬间辨认出：“啊，这个特定的原子一定是角上的部分，而那一个一定是中心部分。” 结构本身决定了意义。

关于“位置”的问题

研究人员还测试了大脑是否能仅通过观察连接来确定一个像素在屏幕上的位置。

他们发现，仅仅通过观察输入神经元之间的连接网络，就能以很高的准确度（高达 84% 的精度）解码出像素的位置。
这表明，视觉领域的“地图”是构建在连接的几何结构之中的，而不仅仅是活动之中。

这为什么重要？

这篇论文并不声称这些计算机大脑具有“意识”，也不建议我们利用此来治疗疾病。相反，它提供了一个定量工具。

歧义性是真实存在的： 你可以测量一个神经网络的内部语言有多“困惑”。
训练方式至关重要： 即使系统的表现（例如识别数字的能力）同样出色，训练方式也会改变系统呈现信息的方式是否清晰。
意识理论的测试： 一些关于意识的理论（如“狭义表征论”或“整合信息理论/IIT”）认为，一个系统要具有意识，其内部状态必须是无歧义的。这篇论文证明了神经网络可以通过特定的训练方法实现这种无歧义的状态。

一句话总结

论文表明，通过特定的训练方式（使用 Dropout），计算机大脑内部的神经元连接变得如此僵化且独特，以至于每个神经元的意义都由其在网络中的位置所锁定，从而使表示变得“无歧义”，就像我们的意识体验一样。

技术摘要：神经网络中的无歧义表示

问题陈述

传统的表示（例如位串、字母）本质上是具有歧义的；它们的含义完全取决于外部解码器或约定。同一个位串可以根据解码方案的不同，被编码为 JPEG 或 MP3。相比之下，意识体验被认为在本质上是不同的：对应于感知红色正方形的神经状态，不能同时编码对绿色三角形的感知。这种意识的内在性质表明，意识表示必须是无歧义的，即其内容仅由神经状态本身决定，而非由外部解释决定。

本文探讨了神经网络是否可以通过其内部的关系结构来无歧义地编码表示内容。具体而言，它研究了神经元的内容（例如它所代表的数字类别或它所编码的输入空间位置）是否可以仅通过其相对于其他神经元的连接模式来唯一确定，而无需了解训练过程或外部标签。

研究方法

理论框架

作者利用信息论将表示歧义形式化。歧义被定义为条件熵 $H(I|R)$ ，其中 $I$ 代表可能的解释， $R$ 是表示。

高歧义性： 解释分布呈均匀分布（关于内容的有效信息极少）。
低歧义性： 概率分布集中（对内容的置信度高）。
其假设是，网络内的关系结构（内部关系的网状结构）可以约束可能的解释，从而降低 $H(I|R)$ 。

实验设置

研究采用了两个主要实验，使用在 MNIST 数字分类任务（784-50-50-10 架构）上训练的全连接神经网络。研究对比了三种训练范式：

未训练： 随机初始化（对照组）。
标准反向传播： 标准训练。
Dropout 训练： 在隐藏层应用 20% Dropout 的反向传播。

实验 1：解码输出神经元的类别身份

任务： 仅基于连接性确定输出神经元代表哪个数字类别（0–9）。
程序： 对输出层神经元进行随机排列以消除位置信息。通过神经元权重向量之间的余弦相似度**格拉姆矩阵（Gram matrix）**提取关系结构。
解码方法：
1. 几何匹配： 将测试网络与参考格拉姆矩阵（从已知顺序的网络中平均获得）进行比较。选择使 Frobenius 距离最小化的排列。
2. 学习型解码器： 使用基于 Transformer 的解码器（不使用位置编码以确保排列不变性）从关系结构中预测类别身份。
消融实验： 测试局部邻域（目标神经元与所有其他神经元的相似性）是否足以实现解码，或者是否需要完整的全局几何结构。
缩放： 改变输出神经元的数量（2 到 10）以测试增加关系复杂度是否能降低歧义。
跨架构： 在不同的隐藏层架构（50-50, 25-25, 100）上测试可迁移性。

实验 2：解码输入神经元空间位置

任务： 解码输入神经元对应的像素距离图像中心的欧几里得距离。
程序： 与实验 1 类似，但应用于输入层权重（ $784 \times 50$ ）。由于排列组合数量巨大（ $784!$ ），仅使用了学习型解码器（回归任务）。
指标： 用于预测空间距离的 $R^2$ 分数。

量化歧义

作者计算了歧义减少分数（ARS），以量化相对于最大熵的条件熵减少量。

对于分类任务：通过 Fano 不等式从准确率推导得出。
对于回归任务：假设残差符合高斯分布，从 $R^2$ 推导得出。
ARS 为 1.0 表示完全消除歧义（ $H(I|R, C) = 0$ ）。

关键结果

1. 解码输出神经元类别身份

未训练网络： 解码准确率处于随机水平（10%），验证了随机权重不包含可恢复的结构。
标准反向传播： 使用学习型解码器达到 25% 的准确率，使用几何匹配达到 38%。虽然高于随机水平，但关系几何仍表现出显著的歧义性（多个排列产生的距离与参考值非常接近）。
Dropout 训练： 使用几何匹配达到了 100% 的准确率（零方差），使用学习型解码器达到了 75%。真实的排列在几何空间中清晰地与其他错误选项分离。
与性能的正交性： 尽管在这些训练范式之间存在如此巨大的表示歧义差异，但底层的 MNIST 分类准确率几乎是相同的。

2. 结构的必要性与复杂度

全局 vs. 局部： 移除全局几何上下文（仅提供局部相似性向量）会导致解码准确率大幅下降，这表明神经元的内容是由其在整个关系几何中的位置决定的，而不仅仅是其局部邻居。
关系复杂度： 准确率随用于计算关系结构的神经元数量单调递增。当使用 2 个神经元时，性能处于随机水平（50%）；当使用 10 个神经元时，性能达到了 100%。这表明更丰富的关系几何提供了更多的约束。

3. 不变性与泛化

架构不变性： 几何匹配在不同的隐藏层架构下均实现了强大的解码能力（例如，使用 50-50 的参考网络解码 25-25 网络），这表明内容的表示性在很大程度上是架构无关的。
数据集辨别力： 一个二分类器可以仅基于关系结构，以近乎完美的准确率（Dropout 训练为 99.8%）区分是在 MNIST 还是 Fashion-MNIST 上训练的网络。

4. 输入神经元空间位置

与输出层结果相反，标准反向传播比 Dropout 训练产生了更高的空间解码准确率（ $R^2 = 0.844$ vs $R^2 = 0.695$ ）。
然而，在这两种情况下，完整的关系结构都显著优于局部邻域信息。
输入位置的歧义减少分数（ARS）范围为 0.419 到 0.654，表明存在实质性的但并非完美的消除歧义。

意义与主张

本文声称提供了一种量化方法来衡量神经系统的表示歧义。其主要贡献如下：

使“无歧义性”具有操作性： 它证明了神经网络可以以一种相对于关系结构是无歧义的方式来编码信息。对于经过 Dropout 训练的网络，关系几何本身完整地指定了表示内容（类别身份），实现了 1.0 的 ARS。
歧义性与性能的正交性： 研究表明，表示歧义是神经表示的一个维度，它可以独立于行为任务性能而变化。一个网络可以完美执行任务，同时以歧义（标准反向传播）或无歧义（Dropout）的方式编码信息。
理论一致性： 结果支持了关于意识的理论解释（如狭义表示论和整合信息理论），这些理论认为意识状态必须是无歧义的。本文认为，如果意识超验于大脑状态，那么这些状态必须无歧义地决定其内容。实验发现，关系结构可以在没有外部解码的情况下固定内容，这与现象经验的“内在性”特征相一致。
结构决定性： 这项工作表明，内容不仅是被约定分配的，还可以由系统的内部关系来结构化地决定。实验中使用的解码器并不强加意义，而是发现了神经网络实例中固有的、一致的关系模式。

作者对其主张保持谨慎，明确指出他们并未断言 MNIST 网络具有意识。相反，他们提出该框架为现象经验提供了一个必要（尽管不是充分）的条件：即通过其内部结构无歧义地编码内容的神经基质的能力。