🧬 biology

FOVI: A biologically-inspired foveated interface for deep vision models

本文介绍了 FOVI，一种受生物启发、基于中央凹视觉的界面，它将变分辨率的视网膜数据重新格式化为统一流形，以实现高效的 k-最近邻卷积，使深度视觉模型能够在显著降低计算成本和像素使用的同时，达到具有竞争力的性能。

原作者： Nicholas M. Blauch, George A. Alvarez, Talia Konkle

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Nicholas M. Blauch, George A. Alvarez, Talia Konkle

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下，你正站在一片美丽、高分辨率的森林中。如果你试图同时以同样的清晰度观察每一片叶子、每一根树枝和每一簇草叶，你的大脑会陷入过载。这就像试图同时阅读一整个图书馆的书籍一样。

相反，你的眼睛有一个聪明的技巧：你的视野中心有一个“超清晰”的点（被称为中央凹陷/fovea），而远离这个中心的地方，一切都会变得模糊。你会快速移动眼睛，将森林的不同部分带入这个清晰点，同时让森林的其他部分保持在背景中。这节省了大脑大量的能量。

大多数计算机视觉系统（机器人和自动驾驶汽车的“大脑”）并不这样做。它们试图以同样的高清晰度同时观察整个图像。对于高分辨率图像来说，这极其昂贵且缓慢。

这篇论文介绍了一个名为 FOVI（注视视觉接口/Foveated Vision Interface）的新工具，它教会计算机像人类一样观察世界。

核心理念：“地图”类比

将标准的计算机图像想象成一个平坦的、矩形的像素网格，就像一个每个方格大小都相同的棋盘。

FOVI 改变了规则。它将那个平坦的网格拉伸成一个弯曲的、3D 的地图。

中心： 这个地图的中间被拉伸了，使得那里的“像素”变得巨大且精细（就像放大一样）。
边缘： 地图的边缘被挤压在一起，使得那里的“像素”变得微小且模糊（就像看地平线一样）。

这不仅仅是一个视觉上的技巧；它是一种模仿人类眼睛和大脑（特别是初级视觉皮层，或称 V1）组织方式的数学变换。

它是如何工作的：“邻居”技巧

计算机通常通过在一个网格上滑动一个小窗口（“卷积核/kernel”）来处理图像，观察其周围的邻居。但在这种新的弯曲地图上，邻居并不是排列成整齐的正方形。

作者发明了一种处理这种问题的新方法，称为 k-最近邻 (kNN) 卷积。

隐喻： 想象你是在这张弯曲地图上的导游。你不是在看周围完美正方形排列的 8 个人，而是看向物理位置离你最近的 8 个人，无论他们是如何站立的。
魔力： 论文展示了如何将一个标准的“规则手册”（在普通正方形网格上学习到的滤波器）进行转换，使其能够完美地运行在这样的弯曲、注视的地图上。这使得计算机可以像处理普通图像一样学习特征（如边缘或形状），但使用的计算数据点要少得多。

他们构建并测试了什么

团队利用这种新接口构建了两种类型的“眼睛”：

FOVI-CNNs： 一种适配了这种弯曲地图的传统深度学习网络。他们发现，如果将“模糊度”设置得恰到好处（既不过于锐利，也不过于模糊），即使观察的像素远少于以往，计算机识别物体的能力实际上比尝试以均匀清晰度观察整个图像时还要好。
FOVI-ViTs： 他们将一个大规模、最先进的 AI 模型（DINOv3）赋予了这双注视之眼。
- 结果： 这个新模型仅使用原模型 1/16 的像素和 1/3 的计算能力，就能识别图像，且仍能达到几乎相同的准确率。

为什么这很重要（根据论文观点）

论文指出，随着我们试图构建需要观察巨大、高分辨率世界的机器人和汽车，目前的“平等看待一切”的方法正在撞墙。这太昂贵，也太慢了。

FOVI 提供了一个解决方案：主动感知 (Active Sensing)。系统不再处理整个世界，而是将它的“超清晰”注意力集中在重要的事物（中心）上，并将其余部分保持在低分辨率状态。这模仿了人类的效率，允许计算机处理高分辨率任务，而无需超级计算机级别的资源。

简而言之，FOVI 教会了计算机不再试图做一个巨大的、模糊的照相机，而是开始成为一个聪明的、专注的观察者，就像我们一样。

技术摘要：FOVI —— 一种面向深度视觉模型的生物启发式中央凹视觉接口

1. 问题陈述

处理高分辨率原生视觉数据给深度学习模型带来了严峻的计算挑战。虽然标准的计算机视觉通常依赖于低分辨率输入（例如 224x224），但许多现实世界的应用——如类人机器人、自动驾驶和广泛的场景处理——需要对大视野（FOV）下的高分辨率具有敏感性。

对于利用自注意力机制的 Transformer 架构（ViTs），增加图像分辨率会带来双重二次方成本：

像素数量：像素数量随边长呈二次方增长。
注意力复杂度：自注意力机制随 patch（分块）数量呈二次方缩放（ $O(N^2)$ ），因为每个 patch 都要关注所有其他 patch。

现有的解决方案通常通过降采样来简化问题，但这会丢弃关键的高频细节。相反，先前的中央凹感知尝试（对数极坐标模型或变形笛卡尔方法）往往会导致局部各向异性采样，产生不符合生物学合理性的感受野形状和不理想的变形。目前缺乏一种通用的、具有生物学合理性的中央凹接口，能够被多种架构（CNN 和 ViTs）采用，同时保持高效的各向同性采样。

2. 方法论

作者提出了 FOVI（Foveated Vision Interface，中央凹视觉接口），这是一个受人类视网膜和初级视觉皮层（V1）启发的系统。其核心创新在于将一个可变分辨率的、类视网膜的传感器阵列重新格式化为一个均匀密度的、类 V1 的传感器流形。

2.1 传感器流形与采样

FOVI 利用了视网膜-皮层映射的数学模型（Rovamo & Virsu, 1984）。

皮层放大函数 (CMF)：采样密度由 $M(r) = \frac{1}{r+a}$ 决定，其中 $r$ 是离心率， $a$ 是控制中央凹强度的参数。当 $a \to \infty$ 时，采样变为均匀分布；较小的 $a$ 值表示更强的中央凹效应。
各向同性采样：系统通过积分 CMF 来推导出一个“皮层”维度。随后，它对该维度进行均匀采样，并计算相应的视网膜半径。角度采样通过强制执行局部各向同性（确保任何位置相邻角度之间的距离等于相邻半径之间的距离）来确定。
流形表示：生成的点构成了一个 3D 传感器流形。通过沿垂直经线切割该流形并将其展平，系统创建了一个镜像人类 V1 半球视网膜拓扑结构的 2D 表示。

2.2 kNN-卷积与核映射

为了在这一非均匀流形上执行标准的卷积操作，作者引入了 kNN-卷积：

感受野：定义为传感器流形上输出单元周围的 $k$ -最近邻（kNN）。
核映射：一种将学习到的参考核（在标准笛卡尔网格上训练）映射到每个 kNN 邻域的新技术。
- 步骤 1：定义相对于输出单元的极坐标邻域坐标。
- 步骤 2：将这些坐标转换为笛卡尔坐标，以对齐参考核的框架。
- 步骤 3：使用这些坐标对参考核进行空间采样。
分辨率：参考核的设置可以比邻域大小具有更高的分辨率（ $s = 2\sqrt{k}$ ），以更好地适应特有的空间位置，从而起到抗混叠机制的作用。

2.3 架构实现

论文展示了两种不同的实现方式：

FOVI-CNNs：一种层次化架构（类似 AlexNet），其中每一层的激活图都是一个传感器流形。通过最大池化进行降采样，并为下一层定义 kNN。
FOVI-ViTs：DINOv3 基础模型的中央凹适配版本。
- 分块化 (Patchification)：Patch 被定义为传感器阵列上的 kNN。
- 适配：使用 低秩适配 (LoRA) 对预训练的 DINOv3 模型进行适配，LoRA 应用于 patch 嵌入层和前一半 Transformer 层。这使得模型能够在保留预训练视觉特征并最小化过拟合的同时，集成新的传感器接口。

3. 核心贡献

FOVI 接口：一种新的中央凹视觉接口，根据视网膜-皮层映射模型对视觉空间进行采样，生成均匀密度的传感器流形。
kNN-卷积：一种具有核映射的新型卷积机制，能够在中央凹式的非欧几里得输入上实现标准的深度学习操作（权重共享、方向对齐）。
生物学合理性：该架构自然地产生了随离心率线性缩放的感受野（RF），匹配灵长类动物神经 RF 的空间特征（不同于产生各向异性 RF 的对数极坐标或变形笛卡尔方法）。
基础模型适配：成功展示了使用 LoRA 将大规模预训练 ViT（DINOv3）适配到中央凹输入的协议，在减少计算预算的情况下实现了高性能。

4. 结果

4.1 FOVI-CNN 性能

感受野特性：模型表现出 RF 大小随离心率线性增加的特性，符合人类 V1-V3 数据。这种依赖性在非中央凹变体中消失了。
分类准确率：在 ImageNet-1K 上，在受限的“像素预算”（从 256x256 图像中采样 64x64 像素）下，具有中度中央凹效应（ $a=0.5$ ）的模型优于强中央凹效应模型和非中央凹（均匀）对照组。
注视策略：性能随注视次数增加而显著提升，在大约 20 次注视时达到饱和。

4.2 FOVI-ViT 性能

效率与准确率：FOVI-ViT-H+ 变体（使用 64 个 patch，约为 224x224 均匀基准的 1/16 像素）在单次注视下实现了 84% 的 ImageNet-1K Top-1 准确率。这代表了全分辨率 ViT-H+ 基准 96% 以上的准确率，同时仅使用了约 1/3 的 GFLOPS。
基准对比：FOVI 模型显著优于：
- 均匀降采样至 64x64。
- “弱” FOVI（接近均匀采样）。
- 对数极坐标中央凹模型（由于预训练时的分布偏移而表现不佳）。
可扩展性：分析显示，虽然非注意力操作的缩放约为 $O(m^{1.76})$ ，但注意力操作的缩放为 $O(m^4)$ 。FOVI 通过减少高分辨率输入下的有效序列长度，有效地缓解了 $O(m^4)$ 的瓶颈。

5. 重要性与主张

论文声称 FOVI 为高分辨率视觉的计算瓶颈提供了一个通用的、具有生物学合理性的解决方案。

效率：它为高分辨率、自我中心视觉任务（如机器人、自动驾驶）中的高效主动感知开辟了路径，通过大幅减少像素数量和计算成本而不牺牲性能。
灵活性：不同于受限于特定架构或受各向异性伪影影响的以往方法，FOVI 可以集成到 CNN 和 Transformer（包括基础模型）中。
生物学保真度：它是第一个能够精确模拟人类视觉中央凹的局部各向同性和依赖离心率特性的方法，且该方法与端到端深度学习兼容。
未来潜力：作者认为 FOVI 在计算资源受限且需要高分辨率处理的场景中特别有价值，同时也适用于人类外周视觉现象（如拥挤效应、扫视引导）的计算建模。

作者保持了谦逊的态度，指出了局限性，例如 kNN 卷积相比标准 2D 卷积的计算开销，以及目前的评估主要局限于图像分类而非检测或分割。他们强调，主要贡献在于设计该接口及其集成机制。