💻 computer science

Transformer Geometry Observatory TGO-I: Spectral Geometry Observatory

本文介绍了用于分析视觉 Transformer 谱几何的 Transformer 几何观测站（TGO）框架，特别是 TGO-I，并揭示了训练过程会逐步重新分配各表示维度上的方差，从而导致有效维度增加和各向异性降低，这与信息集中的直觉相悖。

原作者： Kaustubh Kapil, Kishor P. Upla

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Kaustubh Kapil, Kishor P. Upla

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一台巨大的、复杂的机器，叫做视觉 Transformer (ViT)。这台机器旨在观察图像并理解其中的内容。长期以来，科学家们一直痴迷于研究这台机器决定了什么（例如：“那是一只猫！”）或者它如何进行注意力分配（例如：“它在看耳朵”）。

但这篇文章 TGO-I 提出了一个不同的问题：“当机器学习时，它的内部‘大脑’究竟看起来是什么样的？”

不要把这台机器的大脑看作是一份事实清单，而要把它看作一个巨大的、多维的房间，信息就居住在其中。作者构建了一个特殊的“观测站”（一套工具），来观察随着机器训练的过程，这个房间的形状是如何变化的。

以下是他们发现的故事，用简单的语言进行了解释：

1. 设置：观察房间的演变

研究人员在一个包含 100 种图像类型的数据集（这是整个互联网的一个微缩版本）上训练了一个视觉 Transformer。他们不仅观察最终答案，还会在训练过程中的每一步（从第 1 天到第 100 天）窥探机器内部。

他们测量了数据的“几何结构”。想象一下，数据就像房间里的一团点云。

早期： 云团可能紧贴着一面墙被压得很扁（非常狭窄）。
后期： 它会保持扁平吗？它会扩散开吗？它会填满整个房间吗？

2. 大惊喜：“扩散”效应

常识可能会告诉我们，随着机器变得越来越聪明，它应该变得更加专注。你可能会认为：“它应该学习最重要的东西并忽略其余的部分，将所有的知识压缩进几个紧凑且强大的方向中。”

研究发现的情况恰恰相反。

机器的内部表示并没有压缩进一个狭小的角落，而是扩散开来，填满了整个房间。

类比： 想象一群人在一个黑暗的房间里。开始时，大家挤成一个紧密的圆圈，大声喊着同样的话。随着“训练”的进行，他们并没有挤得更紧。相反，他们慢慢地走开，向四周散开，填满整个房间，每个人都拿着一份独特的信息。
结果： “有效秩”（Effective Rank，一种表达“正在使用多少个不同方向”的高级说法）上升了。“各向异性”（Anisotropy，指形状有多么倾斜或扁平）下降了。

3. “CLS Token”：终极组织者

在这些机器中，有一个特殊的 token，叫做 CLS token。你可以把它看作是“班长”或“队长”，负责收集小组中其他成员的所有信息，从而做出最终决策。

论文发现，这个“队长”成为了这个房间中最有趣的部分。

训练结束时，CLS token 的内部空间是最分散的。
它的形状是最不扁平的（各向异性最低）。
它利用了最多的维度来存储信息。

这就像是团队队长不仅记住了几个关键事实，而且还组织了整个团队，使得每个成员的独特视角都能被保留并得到利用。

4. “对角线”模式

研究人员还观察了机器大脑的不同部分是如何相互交流（相关性）的。

早期： 这些部分非常纠缠在一起，彼此依赖（就像一团乱掉的耳机线）。
后期： “结”解开了。各个部分变得更加独立。
视觉效果： 如果你画出这些连接的地图，它最初看起来像是一个混乱的交叉网络，后来则变成了一条干净的对角线（即事物只与自身进行交流）。这意味着机器学会了保持其不同的特征是清晰且非冗余的。

5. 为什么会这样？（理论假设）

论文并没有给出确切的原因，但提出了三个猜测（假设）：

Token 多样化： 机器学会了让图像的每一部分（每个“token”）都变得独特且截然不同，因此它们都需要自己的空间。
语义扩张： 机器发现了越来越多的不同“含义”或特征，因此它需要更多的空间来存储所有这些内容。
减少冗余： 机器停止了自我重复。与其拥有三个表达相同意思的特征，它重新排列了它们，使得每个特征都表达了新的、有用的信息。

核心启示

TGO-I 的主要观点是，我们现在有了一种新的方式来“观察”AI 的学习。我们过去认为学习意味着变得更加专注和狭窄。而这篇论文表明，至少对于视觉 Transformer 而言，学习看起来更像是在广阔、平坦且高效的景观中扩展和分布信息。

作者称之为 Transformer 几何观测站 (Transformer Geometry Observatory)。他们才刚刚开始；这是第一个关注数据形状的“分集”（TGO-I）。他们计划在未来建造更多的观测站，来观察“团队队长”如何移动、“注意力”如何运作，以及机器如何优化其路径。

简而言之： 机器变得更聪明并不是通过缩小关注点，而是通过学会使用它的整个大脑，将知识均匀地扩散开来，从而不浪费任何信息。

技术摘要：TGO-I：谱几何观测站

问题陈述

尽管视觉 Transformer (ViT) 在计算机视觉领域得到了广泛应用，但与其应用层面的适配相比，对其表示几何（representational geometry）及其在训练过程中如何演化的基础理解仍处于探索不足的状态。现有文献通常将分析局限于特定层、孤立的训练阶段或单个可观测变量，这导致在理解 Transformer 架构中维度利用率如何变化、方差如何在表示方向上分布以及全局表示如何涌现方面，缺乏系统的实证研究。具体而言，关于维度利用率的变化、方差在表示方向上的分布以及全局表示在 Transformer 架构中如何涌现的问题，仍缺乏系统的实证调查。

方法论

为了填补这些空白，作者引入了 Transformer 几何观测站 (TGO)，这是一个旨在系统性地监测和分析 Transformer 表示内部几何结构的模块化框架。第一部分 TGO-I 专门侧重于谱几何 (Spectral Geometry)。

实验设置包含以下组件：

模型与数据集： 使用在 ImageNet-100 数据集上训练了 100 个 epoch 的 ViT-Small/16 模型。
观测协议： 通过前向钩子（forward hooks）从 Patch Embedding、Positional Embedding、所有 12 个 Transformer 块以及最终的 CLS token 表示中提取激活值。
数据一致性： 为确保观测的一致性，所有谱测量均在固定的 1,000 张验证图像分析子集上进行，而非动态训练小批量（mini-batches）。这产生了一个大小为 $197,000 \times 384$ 的聚合表示矩阵（其中 $B=1000$ 张图像， $T=197$ 个 token， $D=384$ 个维度）。
谱分析： 该框架为每个层计算特征协方差矩阵 ( $C_l$ $C_{l}$ ) 并进行特征分解。随后，它推导出一系列谱观测指标来表征几何结构：
- 有效秩 ( $r_{eff}$ ): 归一化特征值分布熵的指数。
- 稳定秩 ( $r_{stable}$ ): 总谱能量与主谱方向的比率。
- 参与率 (Participation Ratio, PR): 对贡献于谱分布的有效维度的估计。
- 谱熵 (Spectral Entropy): 量化特征值分布的均匀程度。
- 谱各向异性 (Spectral Anisotropy): 衡量主谱方向相对于总方差的支配程度。
- 可视化： 直接分析协方差矩阵、特征谱、奇异值谱和谱衰减曲线。

关键结果

研究揭示了随着训练的进行，网络内部呈现出一种一致的渐进式谱重分布 (progressive spectral redistribution) 模式：

维度利用率增加： 在几乎所有监测层中，有效秩、稳定秩和参与率均呈现一致的增长。这表明方差正被分布到更多的谱方向上，而非集中在少数几个方向。
各向异性降低： 谱各向异性显著降低，尤其是在较深层。这表明任何单一谱方向的支配地位都在减弱。
谱熵增加： 谱熵上升，表明特征值分布变得更加均匀，且随时间推移集中度降低。
协方差结构演化： 协方差矩阵变得越来越趋向于对角化。非对角线相关性减弱，最终的 CLS 表示表现出高度去相关的特征维度，其方差主要集中在对角线上。
层特定动态：
- Patch 和 Positional Embeddings： 在整个训练过程中，其秩和几何结构保持相对稳定。
- Transformer Blocks： 表现出有效维度逐渐增加和各向异性逐渐降低的趋势。
- CLS Token： 最终的 CLS 表示表现出最显著的效果，实现了网络中最高的有效维度、最高的谱熵和最低的各向异性。
谱平坦化： 特征谱和奇异值谱变得越来越平坦，领先特征值的支配地位相对于其余谱成分有所下降。

意义与主张

本文将 TGO-I 定位为一种观测性框架，而非解释这些几何变化为何发生的因果性研究，旨在建立可重复的 Transformer 学习动态测量标准。

实证贡献： 本工作提供了经验证据，反驳了常见的直觉——即认为训练会将信息集中在少数几个主导方向上。相反，ViT 的表示变得在谱上越来越不集中，且分布得更加广泛。
框架效用： TGO-I 建立了一个追踪几何演化的系统化流程，为未来的调查提供了基准。
假设生成： 虽然本文并未最终证明底层的机制，但观察到的数据为未来的研究提出了三个可能的假设：
1. Token 多样化： Token 变得越来越可区分，占据了更多的谱方向。
2. 语义扩张： 模型发现并编码了更多具有语义意义的特征方向。
3. 冗余减少： 训练将现有信息重新组织成更高效、低冗余的基底，从而降低了特征间的统计依赖性。

作者总结道，区分这些假设需要后续的观测站（TGO-II 至 TGO-V），以分析 token 动态、表示相似性、注意力几何以及优化景观。TGO-I 的核心价值在于其能够生成系统的、可重复的测量，从而识别出意料之外的现象并激发机械性的探究。