🤖 AI

Block-Recurrent Dynamics in Vision Transformers

本文提出了“块循环假设”（BRH），论证了视觉 Transformer 的深度结构可被重写为少量重复应用的块，并通过训练名为 Raptor 的循环代理模型，在仅用 2 个块的情况下复现了 DINOv2 96% 的准确率，从而揭示了 ViT 内部存在低复杂度的循环动力学机制。

原作者： Mozes Jacobs, Thomas Fel, Richard Hakim, Alessandra Brondetta, Demba Ba, T. Andy Keller

发布于 2026-03-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mozes Jacobs, Thomas Fel, Richard Hakim, Alessandra Brondetta, Demba Ba, T. Andy Keller

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给复杂的“视觉大模型”（ViT）做了一次**“极简主义”的解剖手术**。

想象一下，你面前有一个拥有 12 层（甚至更多）的超级工厂（这就是现在的视觉 Transformer 模型，比如 DINOv2）。这个工厂有 12 个不同的车间，每个车间都有一套独特的机器和工人，负责把原材料（图片）一步步加工成成品（识别出图片里的东西）。

通常我们认为，这 12 个车间必须各不相同，缺一不可。但这篇论文提出了一个惊人的发现：其实，这 12 个车间里，只有 2 到 3 种“核心机器”在反复使用！

以下是用通俗语言对这篇论文核心内容的解读：

1. 核心发现：工厂里的“重复劳动”

（Block-Recurrent Hypothesis，块循环假设）

原来的想法： 模型有 L 层，每一层都是独一无二的，像 12 个不同的工匠，每个人做不同的事。
论文的发现： 作者把每一层输出的结果拿出来对比，发现它们长得非常像。就像你走进工厂，发现第 1 层到第 4 层都在做“打磨”，第 5 层到第 8 层都在做“上色”，第 9 层到第 12 层都在做“包装”。
结论： 整个工厂其实只需要2 到 3 种核心机器，让它们循环工作（Recurrent）就能完成原本 12 层的工作。这就好比原本需要 12 个不同的厨师，现在发现只需要 2 个厨师，让他们轮流上台做 6 次菜，味道竟然一模一样。

2. 实验验证：造一个“克隆体” (Raptor)

为了证明这不是巧合，作者真的造了一个叫 Raptor 的新模型。

怎么做到的？ 他们把原本那个巨大的 12 层模型“压缩”了。他们只保留了 2 个（或 3 个）核心模块，然后让这 2 个模块像复读机一样，反复运行，模拟原本 12 层的每一步。
结果惊人：
- 用2 个循环模块，就能达到原模型 96% 的识别准确率。
- 用3 个循环模块，就能达到 98% 的准确率。
- 而且，这个新模型不仅最后的“答案”是对的，它中间每一步的“思考过程”（内部数据状态）也和原模型几乎一模一样。
比喻： 这就像你原本需要读一本 12 章的书才能理解故事，现在发现只要把其中 2 章反复读 6 遍，你不仅能猜出结局，连中间每一页的细微情绪都记得清清楚楚。

3. 为什么会出现这种情况？

作者还研究了为什么这些模型会“偷懒”（或者说是“进化”出这种高效模式）：

随机深度（Stochastic Depth）的功劳： 在训练时，如果随机让某些层“休息”（不工作），模型反而更容易学会这种“复用”模式。这就像在训练时，如果经常随机换人干活，大家就会被迫学会通用的技能，而不是只依赖特定的某个人。
不仅仅是压缩： 这不仅仅是为了省空间。作者发现，这种结构让模型变得更“聪明”、更稳定。

4. 动态视角：像水流一样的“思考过程”

作者把模型的深度（层数）看作是一个动态系统，就像观察水流在河道里的变化：

方向收敛： 随着层数加深，模型对图片的理解（数据的“方向”）会慢慢稳定下来，最终汇聚到几个特定的“终点”（比如识别出“猫”或“狗”）。
自我修正： 如果在这个过程中稍微干扰一下（比如给图片加点噪点），模型会自动把方向“拉回来”，就像水流遇到石头会绕开但最终还是流向大海。
Token 的分工：
- CLS Token（总指挥）： 它在最后时刻会突然“急转弯”，做出最终的判断。
- Patch Tokens（普通工人）： 它们像一群整齐划一的士兵，步调一致地慢慢向目标靠拢。

5. 这意味着什么？（对未来的影响）

更简单的理解： 以前我们觉得大模型是黑盒，复杂得无法解释。现在我们知道，它们内部其实遵循着简单的循环规律。这让我们更容易去“读懂”它们的大脑。
更高效的未来： 既然只需要 2-3 个模块就能干 12 个模块的活，未来的 AI 模型可能会设计得更小、更快、更省电，而不需要堆砌那么多参数。
安全与可控： 如果我们能理解这种“循环机制”，就能更好地检查模型是否安全，或者在模型出错时知道是哪一环出了问题。

总结

这篇论文告诉我们：那些看似深不可测、层层叠叠的视觉大模型，其实内部运行着一种“极简主义”的循环逻辑。 它们不是靠堆砌 100 个不同的零件来工作，而是靠几个核心零件的反复迭代来达成惊人的效果。

这就好比**“大道至简”**：最强大的智能，往往源于最简单、最重复的循环。

这篇论文提出了一种名为**块循环假设（Block-Recurrent Hypothesis, BRH）的新理论，旨在从机制层面解释视觉 Transformer（ViT）的计算现象。作者认为，训练后的 ViT 深度结构可以被视为由少数几个可重用的“块”循环应用组成的，而非 $L$ 个完全不同的层。基于此假设，作者开发了名为 Raptor（Recurrent Approximations to Phase-structured TransfORmers）的模型，并提出了动态可解释性（Dynamical Interpretability）**框架来深入分析 ViT 的内部动力学。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景：Vision Transformers (ViT) 已成为视觉任务的标准骨干网络（如 DINOv2, CLIP）。然而，对于其深层计算过程缺乏机制性的解释框架。
核心问题：
- 尽管残差连接暗示了动力学结构，但现有的框架未能将 Transformer 的深度解释为一种特征明确的“流（flow）”。
- 之前的观察发现层与层之间的表示相似性矩阵呈现块状对角结构（即相邻层相似度高），但这仅表明表示相似，并不等同于功能相似（即是否真的重用了相同的计算逻辑）。
- 缺乏一种机制来解释 ViT 如何在保持高性能的同时，其内部计算是否具有某种“简约性”或可压缩性。

2. 核心假设与方法论 (Methodology)

A. 块循环假设 (Block-Recurrent Hypothesis, BRH)

定义：训练后的 ViT 深度组织成几个连续的“阶段（phases）”。原本 $L$ 层的计算可以被重写为仅使用 $k \ll L$ 个不同的参数绑定块（parameter-tied blocks）循环应用。
形式化：对于任意层 $\ell$ ，存在 $k$ 个块 $B_1, ..., B_k$ 和重复次数 $n_j$ ，使得原始 ViT 的输出可以通过这些块的循环组合来近似，且误差在 $\epsilon$ 范围内。
关键约束：不仅要求最终输出匹配，还要求**中间层的表示轨迹（internal trajectory）**完全匹配，以排除简单的输入输出模仿。

B. 构建 Raptor 模型 (Constructive Verification)

为了验证 BRH，作者构建了 Raptor 模型，这是一种参数绑定的块循环代理模型。

阶段发现（Phase Discovery）：利用最大割（Max-Cut）算法分析层间表示相似性矩阵，自动将深度划分为连续的块（阶段）。
训练策略：
- 两阶段训练：
  1. 教师强制（Teacher Forcing）：每个块独立训练，使用真实 ViT 的中间层激活作为输入，预测下一层。这保证了训练的稳定性。
  2. 自回归（Autoregressive）：将所有块连接，使用模型自身的预测作为下一层的输入，进行端到端训练。这确保了模型在推理时的自洽性（closed-loop dynamics）。
- 损失函数：最小化所有中间层激活的 Frobenius 范数误差，而不仅仅是最终输出。

C. 动态可解释性框架 (Dynamical Interpretability)

利用 BRH 将 ViT 的深度视为离散时间动力系统的展开，分析其动力学特性：

方向收敛：分析 Token 在单位球面上的方向演化。
Token 特异性动力学：区分 CLS token、Register token 和 Patch token 的不同行为。
低秩集体运动：分析层间更新的秩（Rank）和相干性。

3. 主要贡献与实验结果 (Key Contributions & Results)

A. 块循环结构的实证证据

表示相似性：在多种 ViT 模型（DINOv2, SigLip 等）中，层间相似性矩阵均显示出明显的块状结构。
功能可重用性：
- Raptor 性能：在 CIFAR-100 上，仅用 2 个循环块就能达到与原始 ViT-B 相当的性能。
- 大规模验证：在 ImageNet-1k 上，使用 2 个循环块 的 Raptor 模型恢复了 DINOv2 ViT-B 96% 的线性探测准确率；使用 3 个块 则达到 98%。
- 消融实验：证明了块边界的重要性。如果在块内部交换层（Intra-block），性能保持；如果在块之间交换层（Inter-block），模型性能崩溃。这证明了块内的功能可互换性和块间的独特性。

B. 训练机制的影响

随机深度（Stochastic Depth）：实验表明，增加训练时的随机深度丢弃率（Dropout）会增强层间表示的相似性，并显著提高 Raptor 对 ViT 隐藏状态的还原能力（R² 提升）。这表明随机深度正则化促进了块循环结构的形成。
过拟合：当 ViT 开始过拟合时，Raptor 的还原能力下降，说明块循环结构是正则化 ViT 的一种涌现特性。

C. 动态可解释性发现

通过动力学分析，作者发现了三个关键现象：

方向收敛与角吸引子（Directional Convergence）：Token 的方向随着深度增加，收敛到类依赖的角吸引子（Angular Attractors）。在受到微小扰动时，轨迹具有**自纠正（self-correcting）**特性，表明系统具有局部稳定性。
Token 特异性动力学：
- CLS Token：在后期执行尖锐的重定向（sharp reorientations），负责全局信息整合。
- Patch Tokens：表现出强烈的后期相干性（coherence），类似于平均场效应，快速收敛到平均方向。
低秩更新（Low-Rank Collapse）：在深层，层间更新的秩（Rank）显著降低，收敛到低维子空间。动态模式分解（DMD）显示，深层动力学表现为弱收缩的角更新，且 CLS 模式具有最长的记忆（特征值最接近 +1）。

D. 算法复杂度意义

作者论证了 BRH 意味着 ViT 具有低 Levin 复杂度。虽然模型名义上有 $L$ 层，但其实际算法描述长度可以通过 $k$ 个循环块来压缩，且计算成本（Runtime）保持不变。这表明成功的 ViT 发现了一种“参数换迭代”的简约解。

4. 意义与结论 (Significance)

理论突破：首次为 ViT 的深度结构提供了基于动力系统的机制性解释，证明了“深度”在功能上等同于“时间/迭代”。
可解释性新范式：提出的“动态可解释性”框架为理解黑盒模型提供了新工具，将复杂的神经网络转化为可分析的动态系统（吸引子、稳定性、相干性）。
模型压缩与效率：证明了基础模型（Foundation Models）可以通过极少的循环块（如 2 个）来近似，这为未来的模型压缩、蒸馏和高效推理提供了理论依据。
设计启示：揭示了随机深度等正则化手段在促进模型内部结构简约性（块循环性）中的关键作用，为设计更高效的 Transformer 架构提供了指导。

总结：
这篇论文通过提出块循环假设并构建Raptor模型，有力地证明了训练后的 ViT 内部存在高度可重用的计算模式。这不仅解释了 ViT 为何有效（发现了简约的算法策略），还通过动力学分析揭示了其内部 Token 演化的物理机制（收敛、自纠正、低秩），为理解大型视觉模型打开了一扇新的窗口。