CanViT: Toward Active-Vision Foundation Models

Resumen Técnico: CanViT - Hacia Modelos Fundacionales de Visión Activa

1. El Problema

La visión por computadora tradicional (pasiva) procesa imágenes completas de manera independiente, lo que es computacionalmente costoso y biológicamente implausible en comparación con la visión humana, que se basa en glimpses (miradas secuenciales y localizadas) para enfocar la atención en regiones de interés (ROI).

Aunque existen modelos de visión activa (ACV), estos han enfrentado limitaciones críticas:

• Falta de arquitecturas generales: La mayoría se limita a tareas simples (como reconocimiento de dígitos) o clasificación, sin capacidad para predicción densa (segmentación semántica).
• Ineficiencia y escalabilidad: Los modelos existentes a menudo requieren procesos de entrenamiento complejos basados en Aprendizaje por Refuerzo (RL) y no escalan bien a escenas grandes o de alta resolución.
• Brecha de rendimiento: Los modelos activos actuales tienen un rendimiento significativamente inferior a sus contrapartes pasivas (como DINOv3) en tareas densas como la segmentación en ADE20K.
• Ausencia de "Modelos Fundacionales": No existía un modelo de visión activa capaz de generalizar a través de diferentes tareas, políticas de exploración y resoluciones sin un ajuste fino específico.

2. Metodología: CanViT

Los autores proponen CanViT (Canvas Vision Transformer), el primer Modelo Fundacional de Visión Activa (AVFM) agnóstico a la tarea y a la política. Su arquitectura se basa en tres pilares principales:

A. Arquitectura Dual-Stream (Doble Flujo)
CanViT desacopla el "pensamiento" (procesamiento de la mirada) de la "memoria" (comprensión de la escena):

1. Backbone (ViT): Procesa las miradas locales de baja resolución (glimpses) extraídas en tiempo real. Es un flujo efímero y compacto.
2. Canvas (Lienzo): Un espacio de trabajo latente persistente que actúa como un mapa cognitivo de toda la escena. Es una cuadrícula espacial densa que mapea coordenadas de la escena $[-1, +1]^2$, independientemente de la vista actual.
   • Ventaja: Permite inferencia de baja latencia y escalabilidad, ya que el lienzo no utiliza auto-atención ni capas totalmente conectadas (MLPs), reduciendo drásticamente el costo computacional.

B. Canvas Attention (Atención del Lienzo)
Un mecanismo novedoso de atención cruzada asimétrica que permite la interacción eficiente entre el flujo de miradas (pocos tokens) y el lienzo (muchos tokens):

• Operaciones Read/Write: El backbone consulta el lienzo (Read) para obtener contexto y el lienzo actualiza sus estados basándose en el backbone (Write).
• Proyecciones Asimétricas: Para mantener la eficiencia, solo los tokens del backbone tienen proyecciones Q, K, V y O aprendidas. Los tokens del lienzo solo pasan por normalización y rotación de posición, evitando el costo cuadrático de la atención en el lienzo.
• SR-RoPE (Rotary Position Embeddings Relativos a la Escena): Utiliza coordenadas relativas a la escena para vincular el flujo retinotópico (backbone) con el flujo spatiotópico (lienzo), permitiendo generalización en diferentes escalas y zoom.

C. Entrenamiento: Destilación Latente Densa Pasiva a Activa
En lugar de usar RL, proponen un esquema de preentrenamiento libre de etiquetas:

• Objetivo: Reconstruir las incrustaciones latentes densas de un modelo pasivo experto (DINOv3) a partir de secuencias de miradas aleatorias.
• Proceso: El modelo intenta predecir la representación completa de la escena (el "mapa mental") basándose en una secuencia de recortes de baja resolución con posiciones, zooms y longitudes aleatorias.
• Políticas: Se utiliza una mezcla de políticas de muestreo (R-IID y F-IID) para asegurar robustez y convergencia rápida.

3. Contribuciones Clave

1. Primer AVFM General: CanViT es el primer modelo que demuestra la viabilidad de un modelo fundacional para visión activa, capaz de transferirse a múltiples tareas (segmentación, clasificación) sin ajuste fino.
2. Arquitectura Eficiente: La eliminación de la auto-atención y MLPs en el lienzo permite manejar escenas de alta resolución con una latencia de inferencia muy baja y un costo de FLOPs (operaciones de punto flotante) significativamente menor que los modelos pasivos o activos anteriores.
3. Nuevo Paradigma de Entrenamiento: La destilación densa pasiva a activa elimina la necesidad de RL complejo, utilizando el conocimiento visual de un modelo pasivo (DINOv3) para enseñar al modelo activo a "ver" desde secuencias parciales.
4. Generalización Robusta: El modelo generaliza a políticas de visión no vistas durante el entrenamiento, secuencias temporales más largas y resoluciones de escena mayores a las usadas en el preentrenamiento.

4. Resultados Experimentales

El modelo CanViT-B fue preentrenado en 13.2 millones de escenas de ImageNet-21k (1 mil millones de miradas) en solo 166 horas en una sola GPU H100.

• Segmentación Semántica (ADE20K):

  • Con una sola mirada de baja resolución, CanViT-B alcanza un 38.5% mIoU, superando al mejor modelo activo anterior (AME, 27.6%) y al propio maestro DINOv3 (33.2%) con 19.5 veces menos FLOPs de inferencia.
  • Con múltiples miradas (política C2F), alcanza un 45.9% mIoU, estableciendo un nuevo estado del arte en eficiencia y precisión.
  • Funciona sin ajuste fino (zero-shot) y supera a modelos que fueron inicializados con pesos específicos para segmentación.

• Clasificación (ImageNet-1k):

  • Alcanza un 81.2% de precisión top-1 con una política de exploración Coarse-to-Fine (C2F), superando a otros modelos activos como AdaGlimpse (77.5%) y acercándose a AdaptiveNN (82.2%), a pesar de no usar RL ni ajuste fino completo.

• Eficiencia y Latencia:

  • CanViT muestra una escalabilidad lineal con el número de miradas, mientras que los modelos activos anteriores (como AME) tienen un costo cuadrático.
  • En inferencia a alta resolución (1024x1024), CanViT es hasta 26.8 veces más rápido que DINOv3 en CPU y 5.3 veces más rápido en GPU, debido a que solo procesa una pequeña porción de la imagen en cada paso.

5. Significado e Impacto

Este trabajo cierra la brecha histórica entre la visión pasiva y la activa, demostrando que la percepción activa no necesita sacrificar la precisión ni la eficiencia.

• Nueva Línea de Investigación: Establece a los Modelos Fundacionales de Visión Activa (AVFMs) como un nuevo eje de investigación, validando que la arquitectura y el conocimiento visual (distilación) son más importantes que la política de búsqueda (RL) para el rendimiento.
• Aplicabilidad Real: La baja latencia y la capacidad de manejar escenas grandes lo convierten en un candidato ideal para sistemas embebidos, robótica y procesamiento de video en tiempo real, donde el consumo de energía y la capacidad de procesamiento son limitados.
• Escalabilidad: Demuestra que es posible entrenar modelos activos masivos con recursos computacionales moderados (una sola GPU H100), democratizando el acceso a la investigación en visión activa.

En resumen, CanViT no solo mejora el estado del arte en tareas específicas, sino que redefine cómo se construyen los modelos de visión para que sean más eficientes, biológicamente plausibles y generalizables.