🤖 AI

Asynchronous Perception Machine For Efficient Test-Time-Training

本文介绍了异步感知机（Asynchronous Perception Machine, APM），这是一种用于测试时训练（test-time-training）的高效计算架构，它通过异步处理图像块来识别分布外数据，并在无需特定数据集预训练或代理任务的情况下，通过单次前向传播生成语义聚类。

原作者： Rajat Modi, Yogesh Singh Rawat

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Rajat Modi, Yogesh Singh Rawat

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正驾驶着一辆自动驾驶汽车行驶在一条熟悉的街道上。突然，你遇到了一片浓雾，厚得就像一幅画；或者路面上布满了涂鸦，看起来与汽车大脑曾经见过的训练照片完全不同。大多数计算机大脑会陷入恐慌。它们会因为从未见过这种特定的“怪异现象”而陷入停滞。

这就是 APM（异步感知机，Asynchronous Perception Machine）。不要把 APM 仅仅看作一个僵化的机器人大脑，而要把它想象成一个超级快速、充满好奇心的侦探，它仅凭一个线索就能破解谜团。

旧方法 vs. APM 方法

通常情况下，当计算机看到一张奇怪的新图像时，它会尝试在运行过程中进行“重新训练”。这就像是在开车的同时，试图通过阅读整本字典、再读完一整本语法书、最后还要跟导师练习来学习一门新语言。这既缓慢、昂贵，又需要大量的内存。而且这有点像一场赌博：计算机必须猜测该如何进行“练习”（是旋转图像？模糊处理？还是添加噪声？）。如果它猜错了，就会变得混乱。

APM 拒绝了这种“猜测并检查”的方法。 论文明确指出，你不需要去猜测破坏图像的最佳方式（数据增强），也不需要多次运行整个大脑。

相反，APM 的工作原理如下：

快照（The Snapshot）： 它捕捉一张怪异场景的照片。
魔力钥匙（The Magic Key）： 它向一个超级聪明的“老师”（一个预训练的巨型模型，如 CLIP）索要关于这张照片的一个极其精简的总结。你可以把这想象成获取了一张关于该图像的、完美的“身份证”。
单次教学（The One-Shot Lesson）： 然后，APM 尝试只记住这张“身份证”。它不需要反复查看图像，它只需要针对这一个摘要进行过拟合（overfit）。
结果： 突然间，网络“理解了”。它可以观察那条雾气缭绕或布满涂鸦的道路，并能说出：“啊，那是一个行人！”即便它从未见过雾或涂鸦。

它是如何工作的：“展开”技巧

这是最酷的部分，也是论文变得有些科幻色彩的地方。

想象一张折叠的小纸片（触发列，Trigger Column）。这张纸承载着整张图像的“灵魂”或身份。现在，想象这张纸神奇地自我展开，变成了一个由无数微小方块组成的网格，每个方块对应图像中的一个位置。

异步性（The Asynchronous Part）： 不同于其他一次性观察整张图像的计算机（类似于广角相机的闪光灯），APM 会逐个、按任意顺序观察这些方块。这就像读一本书时一次读一个字母，但你可以先读最后一页再读第一页，却依然能理解故事。
共享大脑（The Shared Brain）： 每一个方块都会向同一个微小的、共享的大脑（一个简单的 5 层 MLP）发送它的问题。因为图像的“灵魂”就在那张折叠的纸里，且位置已知，所以即使大脑只看到了一个微小的点，它也完全知道自己正在看什么。

论文指出，这是迈向证明 GLOM 理论的一步，该理论认为我们对世界的感知就像一个“场”（类似于磁场），而不是一系列独立的物体。APM 展示了你只需通过移动你的“钥匙”，就可以在图像之间进行插值（interpolation）。

数据表现：快速且精简

论文不仅讨论理论，还进行了测量。

速度： 在进行 20 轮“学习”测试时，旧方法（使用标准模型 CLIP ViT-B/16）使用了 462 GigaFlops（计算能力单位）；而 APM 仅使用了 241.7 GigaFlops。这几乎减少了 50% 的计算量。
内存： APM 在处理过程中的内存占用仅为 2.7 GB，这实际上比它使用的老师模型还要少（老师模型本身就需要 2.3 GB，考虑到 APM 还需要将老师模型保留在内存中，总效率依然很高）。
准确率： 在名为 ImageNet-R（包含艺术化、怪异版本图像的数据集）的测试中，APM 达到了 94.9% 的准确率，超越标准模型 2%。在 ImageNet-Sketch（黑白素描图）上，它达到了 77.1%，超越标准模型 4.3%。

APM 不做什么（以及为什么这很好）

论文非常明确地说明了 APM 不是什么：

它不是一个无需任何帮助就能发挥作用的魔杖。它仍然需要从一个在庞大数据集上训练过的老师那里获得那个“身份证”（蒸馏后的 token）。论文承认它目前仍依赖于这位“老师”。
它在添加额外噪声或“增强”（如旋转图像）时并不更优。事实上，作者发现添加数据增强反而损害了 APM 的性能，使其在测试集上的准确率从 98.6% 降至 76.7%。这证明了 APM 在专注于那个单一、纯净的摘要时效果最好。
它不是一个在所有场景下都已完全解决的问题。论文指出，它目前仍需要多次“测试时训练”（Test-Time Training, TTT）迭代（约 20 次）才能获得最佳结果，尽管他们怀疑随着研究的深入，这一步可以被简化。

“单样本”超能力

论文展示的最令人震撼的内容是，APM 可以仅通过一张图像进行学习。
在一场模拟实验中，他们向 APM 输入一张图片，并让它针对该图像的摘要进行 250 轮过拟合。起初，计算机什么也看不见。但随着它不断思考那个单一的摘要，图像开始分解成有意义的“岛屿”。计算机开始从这一个数据点中，同时看到“整体”与“局部”（例如，区分狗的耳朵与整只狗）。

作者认为，这验证了“感知是一个连续场”的观点。通过仅仅微调一个“钥匙”（触发列），APM 可以在图像之间进行插值，使一张猫的照片和一张狗的照片之间产生平滑的过渡，仿佛它们只是地图上的不同点。

总结

APM 是一种全新的、轻量级的、且出奇快速的方法，用于教计算机处理那些怪异、意料之外的图像。它拒绝了那种认为你需要通过成千上万种变化或旋转图像来学习的观念。相反，它表明，如果你给计算机一个高质量的场景总结，它就能靠自己，通过一个接一个微小的碎片，理清一切。

它还不是适用于所有未来场景的最终成品——论文承认它目前仍需要一位“老师”和多次训练步骤——但它是一个强有力的证明，证明我们可以构建出无需预先拥有海量案例库、就能实现“即时学习”的机器。

技术摘要：用于测试时训练的异步感知机 (Asynchronous Perception Machine)

1. 问题陈述

当前的神经网络在处理与训练数据分布显著不同的图像（即分布外或 OOD）时表现挣扎。虽然测试时训练 (Test-Time Training, TTT) 提供了一种解决方案，允许模型在测试样本上进行“即时”适应，但现有方法存在三个关键局限性：

信息瓶颈： 多次 TTT 迭代需要通过深层隐藏层进行重复的前向传播，导致高昂的计算成本。
对代理前置任务 (Surrogate Pre-text Tasks) 的依赖： 现有方法依赖于数据增强或前置任务（如旋转、掩码），而这些任务的最佳配置在在线设置中是预先未知的。
内存与并行性约束： 诸如 Transformer 之类的架构要求将所有输入补丁 (patches) 同时投影到共享表示空间中，这消耗了大量的内存。

此外，本文提出了机器感知中的一个哲学差距：当前的系统缺乏在保持语义意识的同时异步处理图像补丁的能力，这种能力在 GLOM (2019) 中被假设为一种将感知器视为“场 (field)”的能力。

2. 方法论：异步感知机 (APM)

作者提出了 异步感知机 (APM)，这是一种计算高效的架构，专为 TTT 设计，能够以任何顺序逐个处理图像补丁，同时保持语义意识。

核心架构

APM 通过两种新颖的机制运行：

全局列模块 ( $T$ )： 通过对输入图像 $I$ 应用二维卷积来生成一个“触发列 (trigger column)”，并将其结果展平为单个向量 $T$ （维度为 $1 \times 1 \times d$ ）。该列总结了图像的身份特征。
折叠-展开机制 (Folding-Unfolding Mechanism)：
- 展开 (Unfolding)： 触发列 $T$ 被展开以生成 $h \times w$ 个具有位置感知能力的列 ( $T_{ij}$ )。这是通过将 $T$ 与非参数化位置编码 ( $p_{ij}$ ) 进行拼接实现的，从而为每个空间位置创建唯一的查询： $T_{ij} = (T | p_{ij})$ 。
- 共享 MLP： 每个 $T_{ij}$ 依次通过一个共享的多层感知器 (MLP)，以产生特定位置的特征 ( $f_{ij}$ ) 和 RGB 值。
- 折叠 (Folding)： 处理完成后，各列重新塌缩回单个触发列 $T$ 。位置编码是确定性的，并在折叠过程中被“湮灭 (annihilated)”，这使得来自所有位置的梯度能够更新 $T$ 中的共享卷积滤波器。

测试时训练 (TTT) 协议

APM 在无需数据增强或前置任务的情况下执行 TTT：

蒸馏 ( $t=1$ )： 将测试图像传递给预训练的教师模型（例如 CLIP）以获得目标特征表示 ( $f_{cls}$ )。
过拟合 ( $t \ge 2$ )： APM 以随机权重进行初始化。它执行一次前向传播以蒸馏教师的表示。在随后的迭代中，网络仅针对这单个蒸馏后的表示 ( $f_{avg}$ ) 进行过拟合，最小化其输出与固定目标 $f_{cls}$ 之间的 L2 距离。
分类： 在经过一定数量的迭代（例如 20 次）后，将平均输出特征与对比空间中的文本类嵌入进行比较，以确定类别标签。

计算效率

APM 利用了列独立性 (column independence)，允许将平均特征 ( $f_{avg}$ ) 的计算作为运行统计平均值。这消除了同时在内存中存储所有 $h \times w$ 特征图的需求，与并行架构相比，显著降低了内存占用和 FLOPs。

3. 核心贡献

受 GLOM 启发的架构： APM 验证了“感知器是一个场”这一哲学见解，证明了网络可以从单个样本中学习，并在无需针对目标数据集进行显式预训练的情况下，实现图像元素的语义聚类。
计算效率： 通过仅蒸馏测试样本的表示一次并对其进行过拟合，而非每次迭代都重新运行完整的教师网络，APM 将计算成本降低了近 50%（减少了一半的 FLOPs），优于现有的 TTT 方法（如 TPT）。
简洁性与高性能： 该架构仅由一个卷积层和一个 5 层 MLP 组成。尽管如此，它在 16 个数据集上实现了具有竞争力的或优于最先进 (SOTA) TTT 方法的表现。
异步处理： APM 展示了在保持语义连贯性的同时异步处理补丁的能力，为机器感知提供了新的视角。

4. 实验结果

作者在涉及分布偏移的零样本 TTT 基准测试上评估了 APM：

自然分布偏移 (ImageNet 变体)： 使用 CLIP ViT-B/16 作为教师模型，APM 在 ImageNet 上达到了 62.6% 的平均准确率，在 OOD 平均值上达到了 61.2%，超过了 TPT (62.4% / 60.8%)。当使用更强的教师模型 (OpenCLIP ViT-H/14) 时，APM 达到了 84.9% 的平均准确率，比教师模型的零样本性能高出约 3%。
损坏图像 (ImageNet-C)： 在 ImageNet-C（强度为 5）上，APM 在 15 种噪声类型中的 11 种上取得了最高准确率，平均得分为 50.3%，在不需要针对特定数据集进行预训练的情况下，优于 TTT-MAE 及其他基准模型。
跨数据集泛化： APM 在 9 个细粒度分类数据集（如 Flower102, DTD）上实现了最高的平均准确率 (65.5%），超越了 CoOp, CoCoOp 和 TPT。
单样本学习： 实验表明，APM 可以通过 250 次 TTT 迭代，从单个蒸馏后的 token 中学习场景的语义元素聚类，有效地解决了重建场景特征的逆问题。
消融研究： 去除数据增强会降低性能（从 98.6% 降至 76.7%），证实了 APM 对单样本过拟合的依赖。添加 RGB 重建损失并模拟完整的特征网格进一步提高了准确率。

5. 意义与主张

论文声称，APM 代表了验证 GLOM 见解的一步，即输入感知是一个连续的场，而非离散的补丁集合。通过实现潜空间中图像之间的插值以及执行异步补丁处理，APM 弥合了连接主义硬件与感知场之间的差距。

作者强调，APM 为以下方向提供了路径：

持续学习： 模仿人类的持续学习，通过动态调整决策边界而不依赖人类反馈。
硬件效率： 在具有较低内存使用量和更高带宽效率的共享连接主义硬件上实现感知。
自给自足： 初步结果表明，APM 可以在没有教师的情况下进行 RGB 重建，暗示了未来自给自足的感知系统。

该研究范围适中，主要侧重于图像分类和 TTT，同时也承认虽然目前仍需要 TTT 迭代，但未来的研究可以探索通过预训练来降低这种开销。它并不声称解决了所有 OOD 问题，而是为现有的 TTT 范式提供了一个计算高效且架构简单的替代方案。