CanViT: Toward Active-Vision Foundation Models

这是一份关于论文 CanViT: Toward Active-Vision Foundation Models 的详细技术总结。

1. 研究背景与问题 (Problem)

核心痛点：
现有的计算机视觉模型主要分为两类：

1. 被动视觉模型 (Passive Vision)： 如 DINOv3、ViT 等基础模型。它们一次性处理整张图像，虽然通用性强、精度高，但计算成本高（尤其是高分辨率图像），且缺乏生物合理性（人类视觉是通过眼球运动主动扫描的）。
2. 主动视觉模型 (Active Vision)： 模拟人类通过“注视点”（Glimpses）序列来感知场景。虽然理论上更高效且符合生物机制，但现有的主动视觉模型存在严重缺陷：
   • 缺乏通用性： 大多针对特定任务（如分类）或特定策略设计，缺乏作为“基础模型”的通用能力。
   • 密集预测能力弱： 难以处理语义分割等需要全场景空间信息的密集预测任务。
   • 训练困难： 往往依赖复杂的强化学习 (RL) 来学习策略，导致训练不稳定且难以泛化。
   • 性能差距： 在 ADE20K 等基准测试中，主动视觉模型的表现远落后于被动模型。

目标：
构建一个任务无关 (Task-agnostic) 且 策略无关 (Policy-agnostic) 的主动视觉基础模型 (Active-Vision Foundation Model, AVFM)。该模型应能通过序列化的局部注视点，构建对场景的持久理解，并在无需微调的情况下，在密集预测（分割）和分类任务上达到甚至超越被动模型的性能，同时保持极高的计算效率。

2. 方法论 (Methodology)

作者提出了 CanViT (Canvas Vision Transformer)，这是首个任务和策略无关的主动视觉基础模型。其核心架构和训练策略如下：

2.1 核心架构：双流交互设计

CanViT 采用双流结构，解耦了“思考”（瞬时视觉处理）和“记忆”（场景理解）：

1. 骨干流 (Backbone Stream)：

   • 基于 ViT 架构，处理当前时刻的局部注视点（Glimpse）。
   • 输入包括：局部图像块、瞬时注册 Token (Registers)、循环 CLS Token 和视点编码 Token (VPE)。
   • 该流是瞬态的，不直接跨时间传递空间信息。

2. 画布流 (Canvas Stream)：

   • 一个全场景的潜在工作空间 (Latent Workspace)，作为场景的“认知地图”。
   • 由一个 $H \times W$ 的空间网格 Token 组成，覆盖整个场景坐标 $[-1, +1]^2$，无论当前视点如何，画布 Token 始终对应固定的场景区域。
   • 关键设计： 画布 Token 不包含自注意力 (Self-Attention) 和全连接层 (MLP)。它们仅通过与骨干流的交互来更新，极大地降低了计算量并保证了低延迟。

3. 画布注意力 (Canvas Attention)：

   • 一种非对称的交叉注意力机制，连接骨干流和画布流。
   • 读操作 (Read)： 骨干流查询画布，获取全局上下文。
   • 写操作 (Write)： 画布查询骨干流，将当前注视点的信息写入画布。
   • 非对称投影： 仅在骨干侧进行 Q/K/V 投影，画布侧仅做 LayerNorm 和残差连接。这消除了画布侧昂贵的投影计算，使得画布可以拥有极高的容量（高分辨率、大维度）。

4. 场景相对旋转位置编码 (Scene-Relative RoPE, SR-RoPE)：

   • 将视网膜拓扑（Retinotopic，骨干流）和空间拓扑（Spatiotopic，画布流）绑定在统一的场景坐标系中。
   • 利用注视点的中心坐标和缩放比例（Zoom level）动态计算位置编码，使模型能泛化到不同的视点和缩放级别。

2.2 训练策略：无标签的被动到主动密集潜在蒸馏

为了摆脱对强化学习 (RL) 的依赖，作者提出了一种策略无关的被动到主动密集潜在蒸馏 (Policy-agnostic Passive-to-Active Dense Latent Distillation) 方案：

• 教师模型 (Teacher)： 使用预训练好的被动视觉基础模型 DINOv3 (ViT-B)。它在高分辨率下拥有强大的场景理解能力。
• 学生目标： 训练 CanViT 仅通过一系列低分辨率、随机位置的局部注视点序列，重构出 DINOv3 生成的全场景密集特征图（DINOv3 的 Patch Embeddings）。
• 训练过程：
  • 无监督： 不需要场景分割或分类标签。
  • 策略随机化： 训练时混合使用随机注视点策略 (R-IID) 和全场景起始策略 (F-IID)，确保模型对任意注视策略都鲁棒。
  • 截断 BPTT： 使用截断的时间反向传播 (Truncated BPTT)，在短序列上优化，降低显存占用。

3. 关键贡献 (Key Contributions)

1. 首个主动视觉基础模型 (AVFM)： 提出了 CanViT，证明了主动视觉可以像被动视觉一样作为通用基础模型，具备任务迁移和策略泛化能力。
2. 高效的架构设计：
   • 通过解耦思考与记忆（骨干流 vs 画布流）和移除画布侧的 MLP/自注意力，实现了低延迟的序列推理。
   • 非对称画布注意力显著降低了计算成本，使得模型能处理高分辨率场景和大量 Token。
3. 创新的预训练范式：
   • 提出了无标签的被动到主动蒸馏，利用强大的被动教师模型教导主动学生如何“看”，避免了复杂的 RL 训练过程。
   • 在 1320 万张 ImageNet-21k 图像 和 10 亿次随机注视 上进行了预训练，规模远超以往主动视觉模型。
4. 性能突破：
   • 在 ADE20K 语义分割 任务上，仅凭单次低分辨率注视，冻结权重的 CanViT-B 即达到 38.5% mIoU，超越了之前最好的主动模型 (27.6%) 及其 FLOP 匹配的被动教师 (DINOv3)，且推理计算量 (FLOPs) 减少了 19.5 倍。
   • 随着注视次数增加（如 64 次），mIoU 提升至 45.9%。
   • 在 ImageNet-1k 分类 上，达到 81.2% 的 Top-1 准确率（冻结权重，零样本迁移）。
5. 强大的泛化能力： 模型能泛化到训练时未见过的策略（如从粗到细 C2F 策略）、更长的序列、更高分辨率的场景（1024x1024）以及更大的画布网格。

4. 实验结果 (Results)

• 效率与精度的新前沿： 在 ADE20K 上，CanViT 在计算效率（FLOPs）和精度之间取得了最佳平衡。相比前作 AME (SETR)，CanViT 在精度更高的同时，计算量降低了两个数量级。
• 零样本泛化：
  • 策略泛化： 训练时未见过“从粗到细 (C2F)"策略，但在测试时 C2F 策略表现优于训练时的随机策略。
  • 分辨率泛化： 在 512x512 训练，直接应用于 1024x1024 测试，性能反而提升（得益于画布的高分辨率扩展性）。
  • 任务泛化： 无需微调，直接通过线性探针 (Linear Probing) 在分割和分类任务上取得 SOTA 级别的主动视觉表现。
• 消融实验： 证明了画布侧非对称投影、频繁的双向交互（读/写）、密集监督信号以及 F-IID 起始策略对性能至关重要。

5. 意义与未来展望 (Significance & Future Work)

科学意义：

• 弥合差距： 成功缩小了被动视觉和主动视觉在语义分割等密集任务上的巨大性能差距，证明了主动视觉不需要牺牲精度来换取效率。
• 新研究范式： 确立了 AVFM 作为新的研究轴心，表明通过精心设计的架构和蒸馏信号，可以摆脱对强化学习的依赖，实现高效的主动感知。
• 生物合理性： 模拟了人类视觉的“注视 - 记忆 - 规划”机制，为构建类脑视觉系统提供了可行的技术路径。

应用前景：

• 实时视频处理： 由于 CanViT 具有恒定的内存占用和低延迟，非常适合实时视频流处理。
• 具身智能 (Embodied AI)： 为机器人视觉提供了高效的感知框架，使其能在资源受限的硬件上通过主动探索理解环境。
• 未来方向： 作者计划进一步研究端到端的策略学习（结合 RL）、基于置信度的早期停止机制，以及利用更大规模的模型和更丰富的预训练数据进一步提升性能。

总结：
CanViT 不仅是一个新的模型架构，更是一次范式转移。它证明了通过“画布”机制将局部感知与全局记忆解耦，并利用被动基础模型进行蒸馏，可以构建出既高效又强大的通用主动视觉系统，为未来计算机视觉的发展指明了新的方向。