Resumen Técnico: FOVI – Una Interfaz Foveada Biológicamente Inspirada para Modelos de Visión Profunda

1. Declaración del Problema

Procesar datos visuales a resoluciones altas nativas presenta desafíos computacionales severos para los modelos de aprendizaje profundo. Si bien la visión computacional estándar a menudo depende de entradas de baja resolución (por ejemplo, 224x224), muchas aplicaciones del mundo real —como la robótica humanoide, la conducción autónoma y el procesamiento de escenas amplias— requieren sensibilidad a campos de visión (FOV) extensos a altas resoluciones.

Para las arquitecturas basadas en transformers (ViTs) que utilizan autoatención, aumentar la resolución de la imagen impone costos doblemente cuadráticos:

1. Conteo de Píxeles: El número de píxeles aumenta cuadráticamente con la longitud del lado.
2. Complejidad de la Atención: El mecanismo de autoatención escala cuadráticamente con el número de parches ($O(N^2)$), ya que cada parche atiende a todos los demás.

Las soluciones existentes a menudo simplifican el problema mediante el submuestreo (downsampling), lo que descarta detalles críticos de alta frecuencia. Por el contrario, los intentos previos de detección foveada (modelos log-polares o enfoques cartesianos deformados) a menudo resultan en un muestreo anisotrópico local, produciendo formas de campo receptivo no biológicamente plausibles y deformaciones indeseables. Existe una falta de una interfaz foveada de propósito general y biológicamente plausible que pueda ser adoptada en diversas arquitecturas (CNNs y ViTs) manteniendo un muestreo isotrópico eficiente.

2. Metodología

Los autores proponen FOVI (Interfaz de Visión Foveada), un sistema inspirado en la retina humana y la corteza visual primaria (V1). La innovación central es el reformateo de un arreglo de sensores de resolución variable, similar al de la retina, en un manifold de sensores similar a V1, uniformemente denso.

2.1. El Manifold de Sensores y el Muestreo

FOVI utiliza el modelo matemático de mapeo retino-cortical (Rovamo & Virsu, 1984).

• Función de Magnificación Cortical (CMF): La densidad de muestreo está determinada por $M(r) = \frac{1}{r+a}$, donde $r$ es la excentricidad y $a$ es un parámetro que controla la fuerza de la foveación. A medida que $a \to \infty$, el muestreo se vuelve uniforme; valores más pequeños de $a$ indican una foveación más fuerte.
• Muestreo Isotrópico: El sistema integra la CMF para derivar una dimensión "cortical". Luego, muestrea esta dimensión de forma uniforme y calcula los radios retinales correspondientes. Los samples angulares se determinan para imponer isotropía local (asegurando que la distancia entre ángulos vecinos sea igual a la distancia entre radios vecinos en cualquier punto).
• Representación del Manifold: Los puntos resultantes forman un manifold de sensores 3D. Al cortar este manifold a lo largo del meridiano vertical y aplanarlo, el sistema crea una representación 2D que refleja la organización retinotópica de los hemisferios de la V1 humana.

2.2. Convolución kNN y Mapeo de Kernel

Para realizar operaciones convolucionales estándar en este manifold no uniforme, los autores introducen la convolución kNN:

• Campos Receptivos: Definidos como vecindarios de $k$-vecinos más cercanos (kNNs) alrededor de las unidades de salida en el manifold del sensor.
• Mapeo de Kernel: Una técnica novedosa que mapea un kernel de referencia aprendido (entrenado en una rejilla cartesiana estándar) en cada vecindario kNN.
  • Paso 1: Definir coordenadas de vecindario polar relativas a la unidad de salida.
  • Paso 2: Transformar estas a coordenadas cartesianas para alinear con el marco del kernel de referencia.
  • Paso 3: Muestrear espacialmente el kernel de referencia utilizando estas coordenadas.
• Resolución: El kernel de referencia puede establecerse a una resolución mayor ($s = 2\sqrt{k}$) que el tamaño del vecindario para acomodar mejor las posiciones espaciales idiosincrásicas, actuando como un mecanismo de anti-aliasing.

2.3. Implementaciones Arquitectónicas

El artículo demuestra dos implementaciones distintas:

1. FOVI-CNNs: Una arquitectura jerárquica (tipo AlexNet) donde el mapa de activación de cada capa es un manifold de sensores. El submuestreo se realiza mediante max-pooling, y los kNN se definen para la capa subsiguiente.
2. FOVI-ViTs: Una adaptación foveada del modelo fundacional DINOv3.
   • Parcheado (Patchification): Los parches se definen como kNNs sobre el arreglo del sensor.
   • Adaptación: El modelo DINOv3 pre-entrenado se adapta utilizando Adaptación de Bajo Rango (LoRA) aplicada a la capa de incrustación de parches (patch embedding) y a la primera mitad de las capas del transformer. Esto permite que el modelo integre la nueva interfaz de sensor mientras retiene las características visuales pre-entrenadas y minimiza el sobreajuste.

3. Contribuciones Clave

1. Interfaz FOVI: Una nueva interfaz de visión foveada que muestrea el espacio visual de acuerdo con un modelo de mapeo retino-cortical, produciendo un manifold de sensores uniformemente denso.
2. Convolución kNN: Un mecanismo de convolución novedoso con mapeo de kernel que permite operaciones de aprendizaje profundo estándar (compartición de pesos, alineación de orientación) en entradas foveadas y no euclidianas.
3. Plausibilidad Biológica: La arquitectura produce naturalmente campos receptivos (RFs) que escalan linealmente con la excentricidad, coincidiendo con las características espaciales de los RFs neuronales de primates (a diferencia de los métodos log-polares o cartesianos deformados que producen RFs anisotrópicos).
4. Adaptación de Modelos Fundacionales: Un protocolo exitoso para adaptar ViTs pre-entrenados a gran escala (DINOv3) a entradas foveadas usando LoRA, logrando un alto rendimiento con presupuestos computacionales reducidos.

4. Resultados

4.1. Rendimiento de FOVI-CNN

• Propiedades del Campo Receptivo: El modelo exhibe tamaños de RF que aumentan linealmente con la excentricidad, coincidiendo con los datos de V1-V3 humanos. Esta dependencia se anula en las variantes no foveadas.
• Precisión de Clasificación: En ImageNet-1K, los modelos con foveación intermedia ($a=0.5$) superaron tanto a los controles de foveación fuerte como a los no foveados (uniformes) cuando se limitaron a un "presupuesto de píxeles" (muestreando 64x64 píxeles de una imagen de 256x256).
• Estrategia de Fijación: El rendimiento mejora significamente con el número de fijaciones, saturando alrededor de las 20 fijaciones.

4.2. Rendimiento de FOVI-ViT

• Eficiencia vs. Precisión: La variante FOVI-ViT-H+ (usando 64 parches, ~1/16 de los píxeles de una línea base uniforme de 224x224) logró una precisión top-1 del 84% en ImageNet-1K con una sola fijación. Esto representa >96% de la precisión de la línea base ViT-H+ de resolución completa mientras utiliza aproximadamente 1/3 de los GFLOPS.
• Comparación con Baselines: Los modelos FOVI superaron significativamente a:
  • El submuestreo uniforme a 64x64.
  • El "FOVI débil" (muestreo casi uniforme).
  • Modelos foveados log-polares (que tuvieron dificultades debido a los cambios de distribución desde el pre-entrenamiento).
• Escalabilidad: El análisis muestra que mientras las operaciones de no-atención escalan aproximadamente de forma cuadrática ($O(m^{1.76})$), las operaciones de atención escalan como $O(m^4)$. FOVI mitiga eficazmente el cuello de botella de $O(m^4)$ al reducir la longitud de secuencia efectiva para entradas de alta resolución.

5. Significado y Reivindicaciones

El artículo afirma que FOVI proporciona una solución de propósito general y biológicamente plausible al cuello de botella computacional de la visión de alta resolución.

• Eficiencia: Abre vías para la detección activa eficiente en tareas de visión egocéntrica de alta resolución (por ejemplo, robótica, conducción autónoma) al reducir drásticamente el conteo de píxeles y el costo computacional sin sacrificar el rendimiento.
• Flexibilidad: A diferencia de los métodos anteriores restringidos a arquitecturas específicas o que sufren de artefactos anisotrópicos, FOVI puede integrarse tanto en CNNs como en Transformers (incluyendo modelos fundacionales).
• Fidelidad Biológica: Es el primer enfoque que modela con precisión la naturaleza localmente isotrópica y dependiente de la excentricidad de la foveación humana de una manera que es compatible con el aprendizaje profundo de extremo a extremo.
• Potencial Futuro: Los autores sugieren que FOVI es particularmente valioso para escenarios que requieren procesamiento de alta resolución donde las restricciones computacionales son críticas, así como para el modelado computacional de fenómenos de la visión periférica humana (por ejemplo, el efecto de amontonamiento o crowding, y la guía de sacadas).

Los autores mantienen la modestia, señalando limitaciones como la sobrecarga computacional de la convolución kNN en comparación con la convolución 2D estándar y que la evaluación actual se limita a la clasificación de imágenes y no a la detección o segmentación. Enfatizan que la contribución principal es el diseño de la interfaz y su mecanismo de integración.