🤖 machine learning

Transformer Geometry Observatory TGO-II: Representational Similarity Observatory

本文介绍了 Transformer 几何观测站-II（TGO-II）框架，该框架揭示了视觉 Transformer 通过渐进式的流形扩张和更丰富的变换来发展表示复杂性和层特化，同时在整个训练过程中保持了强大的 Token 交互结构。

原作者： Kaustubh Kapil, Kishor P. Upla

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Kaustubh Kapil, Kishor P. Upla

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，视觉 Transformer（一种能够“看”图像的 AI）不仅仅是一个黑盒，而是一个巨大的、多层的工厂。这个工厂的每一层都代表了一个处理图像的“层”（layer）。

长期以来，科学家们知道这个工厂在训练过程中变得越来越擅长工作，但他们并不真正理解每一层楼的工人是如何随着时间的推移改变其思维方式的。他们大多只关注最终产品（它是否正确识别了猫？）或工人们使用的工具（注意力机制）。

这篇名为 TGO-II 的论文引入了一个新的“观测台”（一个高科技观景台），用来观察从训练第一天到最后一天，工人们的内部世界地图是如何演变的。

以下是他们发现的研究结果，通过简单的类比进行解释：

1. 工人们停止互相模仿（专业化/特化）

类比： 想象第一天的一群实习生。他们看着同一张照片，画出的草图几乎一模一样。他们的思维方式完全相同。
研究发现： 随着训练的进行，不同楼层的工人们不再做同样的事情。论文测量了各层之间“草图”（表示/representations）的相似度。他们发现，这种相似度随时间推移而下降。
这意味着： 工厂的各个楼层正在变得专业化。早期的楼层可能专注于边缘和形状，而后期的楼层则专注于像“毛发”或“车轮”这样复杂的概念。他们不再只是互相模仿，而是开辟出了自己独特的角色。

2. 工作空间变得更大、更复杂（流形扩张）

类比： 想象实习生们最初是在一张小小的平面纸上画画。起初，他们只能画简单的线条。但随着学习，他们意识到需要更多的空间。他们开始使用 3D 模型，然后是全息投影。他们工作的“房间”变得更大、更复杂了。
研究发现： 论文测量了“内在维度”（Intrinsic Dimensionality），这基本上是在计算 AI 用多少个不同的方向或“自由度”来描述一张图像。他们发现这个数字在训练期间迅速增加，然后趋于稳定。
这意味着： AI 不仅仅是在把旧有的招式练得更好，它实际上是在扩张其“精神工作空间”。它正在学习使用比初始状态更丰富、更复杂的维度来描述图像。

3. 工人们保持着联系（Token 耦合）

类比： 一个常见的猜想是，随着 AI 变得更聪明，图像的不同部分（比如“猫的耳朵”和“猫的尾巴”）会停止相互交流并变得独立，就像人群中的陌生人一样。
研究发现： 论文观察了图像的不同部分如何相互影响（Token 协方差）。他们发现，强有力的连接在整个训练过程中一直存在。“耳朵”和“尾巴”从未停止过互动；事实上，它们的互动模式变得更加有序和结构化了。
这意味着： AI 并不是通过孤立图像的各个部分来变得聪明的。它是通过学习如何以越来越复杂且协调的方式将图像的各个部分整合在一起。这个“团队”始终保持紧密联系，即使他们已经成为了专家。

巨大的惊喜： “过渡区”

研究人员注意到在工厂的第 4 层和第 5 层左右发生了一些奇特的事情。

第 1–4 层： 工人们正在发生剧烈变化，且“房间”正在扩张。
第 5–12 层： 工人们进入了一种新的节奏。楼层间的相似度下降了，但复杂度仍在增长。
假设： 论文指出这是一个“过渡区”。前几层处理的是原始的、基础的输入（如像素块），而在第 4 或第 5 层之后，AI 开始转向处理抽象的高层概念。这就像工厂从“流水线组装”工作转向了“创意设计”工作。

新理论总结

在这篇论文之前，人们可能会认为：“AI 通过将图像分解为独立的碎片并分别进行分析来变得聪明。”

TGO-II 则提出了相反的观点： AI 通过保持各个部分的紧密联系，同时让它们之间的交流方式变得更加复杂和专业化，从而变得聪明。这就像一支爵士乐队：乐手们并没有停止共同演奏（没有解耦）；相反，他们学会了更复杂的和声与即兴创作（流形扩张），同时每位乐手也找到了自己独特的独奏风格（专业化）。

下一步是什么？

作者承认，他们目前还不完全清楚这些复杂的模式在“语义”层面究竟意味着什么。他们计划构建“TGO-III”来检查这种复杂的几何结构是否真的有助于 AI 理解什么是“猫”或“汽车”，以及构建“TGO-IV”来观察图像的各个部分随时间移动和变化的过程。

简而言之： AI 的学习方式是通过扩张其精神地图、使各层专业化并保持内部各部分的紧密联系，而不是通过拆解事物。

技术摘要：TGO-II：表示相似性观测站

问题陈述
尽管视觉 Transformer（ViT）已取得了最先进的性能，但其内部表示在监督训练过程中的几何演化过程仍未得到充分理解。先前的研究（包括作者的前期工作 TGO-I）主要集中在注意力机制、前馈网络以及特征协方差的谱性质（特征值、有效秩）上。然而，仅凭谱相似性并不能证实各层是否执行了相似的计算，因为各层可以共享谱特性，却占据着截然不同的表示子空间。此外，现有的分析往往缺乏对表示相似性、流形复杂度和标记（token）交互结构如何在整个训练过程中协同演化的系统性调查。

方法论
作者引入了 TGO-II（Transformer 几何观测站-II），该框架旨在分析在 ImageNet-100 上训练 100 个 epoch 的 ViT-Small/16 模型的表示几何。研究利用一个固定的 1,000 张验证图像子集以确保观测的一致性。该方法采用了四种主要的分析工具：

表示相似性： 使用 中心化核对齐（CKA） 和 奇异向量典型相关分析（SVCCA） 来量化跨训练阶段层表示之间的几何对齐和相似性。
内在维度： 使用 双最近邻内在维度（TwoNN-ID） 指标进行估计，以评估所学习表示流形的复杂度和自由度。
标记交互结构： 通过 标记协方差矩阵 和 标记耦合比 进行分析。该方法通过检查标记对之间的关系，来确定它们在训练过程中是变得统计独立（解耦）还是保持耦合。
互补视角： 该框架将特征空间协方差（ $C_{feat} \propto A^T A$ ）和标记空间协方差（ $C_{token} \propto AA^T$ ）视为同一底层表示几何的互补视图，两者共享相同的非零奇异值。

关键结果
实验得出了关于 ViT 表示几何演化的三个主要观察结果：

渐进式专业化： CKA 和 SVCCA 分数在整个训练过程中呈现出渐进式下降。这表明随着训练的进行，Transformer 层变得越来越专业化，形成了独特的表示几何，而非保持冗余。在第 4 层和第 5 层之间发生了一个显著的转变，此时相似性下降并在深层趋于稳定。
流形扩张： 内在维度（TwoNN-ID）在训练初期持续增加，随后趋于稳定。这一趋势表明表示流形正在向更大的一组局部可及自由度进行渐进式扩张。维度在中间层（特别是第 8 层）达到峰值，并在最后的模块中下降，呈现出一种与深度相关的复杂性剖面。
持久的标记耦合： 与“复杂性的增加源于标记变得独立”的假设相反，标记协方差分析显示，强烈的交互结构在整个训练过程中持续存在。标记协方达并未收敛为对角矩阵，而是演变成了有组织的条纹状结构，尤其是在深层。这证明了在标记保持强耦合的同时，表示的复杂性仍在增长。

核心贡献

框架引入： 提出了 TGO-II 作为研究 Transformer 学习动力学的系统性观测站，通过表示几何来补充 TGO-I 对谱性质的关注。
协同演化的经验证据： 提供了证据，证明表示复杂性的增加（流形扩张）与层间相似性的降低（专业化）以及持久的标记耦合是并存的。
对标记解耦假设的反驳： 通过证明标记并未获得完全的统计独立性，挑战了“标记多样化”假设；相反，复杂性是通过耦合标记系统的复杂变换而涌现的。
识别转变区域： 强调了第 4-5 层左右的显著行为转变，暗示了从低级标记交互处理到抽象、上下文相关表示的过渡。

意义与主张
论文声称这些发现激发了一个新的工作假设：视觉 Transformer 通过对高度耦合的标记系统进行日益丰富的变换来增加表示复杂性，而不是通过渐进的标记独立性。

作者将 TGO-II 定位为超越谱分析的必要步骤，认为理解表示本身的几何结构对于完整理解 Transformer 学习至关重要。这项工作表明，观察到的谱扩张（在 TGO-I 中提到）很可能是由 流形扩张假设 驱动的，即底层表示流形向更高内在维度的扩张，从而在不需要标记解耦的情况下实现更丰富的特征关系。

论文在语义主张方面保持克制，指出虽然观察到了表示专业化，但 TGO-II 并没有直接测量语义内容或类别分离。因此，“语义扩张”假设在未来的工作中仍有待定论。作者将这些发现定位为未来观测站（TGO-III 至 TGO-VI）的基础，旨在将几何演化与语义结构、标记动力学、注意力机制和优化景观联系起来。