💻 computer science

Self-supervised pretraining for an iterative image size agnostic vision transformer

Este trabajo presenta un nuevo marco de aprendizaje auto-supervisado basado en DINO que permite el preentrenamiento a gran escala de transformadores de visión iterativos e independientes del tamaño de imagen, logrando un rendimiento competitivo en ImageNet-1K con un coste computacional constante independientemente de la resolución.

Autores originales: Nedyalko Prisadnikov, Danda Pani Paudel, Yuqian Fu, Luc Van Gool

Publicado 2026-04-23

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Nedyalko Prisadnikov, Danda Pani Paudel, Yuqian Fu, Luc Van Gool

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que quieres enseñarle a un robot a reconocer un gato en una foto.

El problema de los modelos actuales:
Hoy en día, la mayoría de los "cerebros" de IA (llamados Vision Transformers) funcionan como una persona que intenta ver una foto gigante de un estadio mirándola todo el tiempo con los ojos muy abiertos, pero de una sola vez. Si la foto es pequeña (como un post-it), funciona bien. Pero si la foto es enorme (como un mural de 10 metros), el cerebro se abruma, se vuelve lento y, si intentas mirarlo de cerca, se confunde porque los detalles cambian de forma. Es como intentar leer un libro gigante con lentes que solo sirven para una página pequeña: si te acercas, las letras se deforman.

La solución de este papel: El "Ojo de Halcón" (Foveal Vision)
Los autores proponen un modelo nuevo inspirado en cómo vemos los humanos. Nosotros no miramos todo el mundo de golpe con la misma nitidez. Tenemos un punto central de visión muy nítido (la fóvea) y visión periférica borrosa.

Imagina que este nuevo modelo es un detective con una lupa mágica:

No mira la foto entera de una vez.
Decide dónde mirar primero (el "gaze" o mirada).
Mira un trozo pequeño con mucha lupa (detalle fino).
Luego mira un trozo más grande alrededor (contexto medio).
Luego mira un trozo enorme (el panorama general).
Recuerda todo lo que vio y decide: "¿Necesito mirar otro sitio o ya tengo la respuesta?".

¿Qué hace este paper tan especial?

Aquí están las tres grandes innovaciones explicadas con analogías:

1. El "Entrenamiento Sin Etiquetas" (Autoaprendizaje)

Anteriormente, este tipo de "detective" solo podía aprender si un humano le decía: "Mira aquí, es un gato" (aprendizaje supervisado). Era como tener un profesor que siempre te corrige.

La novedad: Los autores crearon un método para que el detective se enseñe solo. Usaron una técnica llamada "DINO" (como un maestro y un alumno). El "maestro" mira la foto entera y le dice al "alumno" (nuestro detective): "Oye, aunque solo hayas mirado un trozo, tu resumen mental debe coincidir con lo que yo veo en toda la foto".
Resultado: El detective aprende a armar el rompecabezas completo mirando solo trocitos, sin que nadie le diga qué es cada pieza.

2. La "Lupa Infinita" (Independencia del tamaño)

El problema de los modelos viejos es que si cambias el tamaño de la foto, sus "lentes" se rompen.

La analogía: Imagina que tienes una foto de un mapa. Si la haces gigante, los modelos viejos intentan contar los píxeles (los cuadraditos del mapa) y se vuelven locos.
La solución: Este modelo usa una "lupa basada en porcentajes". No importa si la foto es de un celular o de un edificio; el detective siempre mira el 10% del centro y el 90% de los alrededores.
El truco mágico (Integral Images): Para que esto sea rápido, usan una técnica matemática (imágenes integrales) que es como tener un resumen precalculado de todo el mapa. En lugar de contar cada ladrillo de la pared cada vez que miran, solo consultan un índice rápido. Esto hace que mirar una foto pequeña o una foto gigantesca le tome exactamente el mismo tiempo.

3. La "Memoria de Trabajo" (Pensar paso a paso)

El detective tiene una pequeña libreta (tokens de estado).

Mira un trozo -> Anota algo en la libreta.
Mira otro trozo -> Lee la libreta, añade nueva información y actualiza su idea.
Lo genial: No necesita reescribir toda la libreta desde el principio cada vez. Solo actualiza lo que necesita. Además, el modelo aprende a decidir dónde mirar a continuación (como un jugador de ajedrez que piensa: "Si muevo aquí, ¿qué debo mirar después?").

¿Por qué es importante?

Eficiencia: Puedes entrenar este modelo con fotos de alta resolución (como las de cámaras de seguridad o satélites) sin que la computadora explote de calor o se vuelva lenta.
Robustez: Si le enseñas con fotos pequeñas y luego le pones una foto gigante, no se confunde. Sigue funcionando igual de bien.
El futuro: Esto permite crear "modelos fundacionales" (cerebros base) que pueden entender cualquier imagen, sin importar su tamaño, de una manera mucho más parecida a cómo funciona la visión humana.

En resumen:
Este paper nos enseña a construir una IA que no es un "gigante estático" que intenta ver todo de golpe, sino un explorador ágil que salta de un detalle a otro, recuerda lo que ve, aprende por su cuenta y puede trabajar con fotos de cualquier tamaño sin perder velocidad. ¡Es como pasar de tener un ojo de buey a tener un halcón inteligente! 🦅🔍

Título: Preentrenamiento auto-supervisado para un transformador de visión iterativo agnóstico al tamaño de imagen

1. El Problema

Los Transformadores de Visión (ViT) dominan el aprendizaje auto-supervisado (SSL) y son la base de los modelos fundamentales modernos. Sin embargo, presentan dos limitaciones críticas:

Ineficiencia Computacional y Escalabilidad: La complejidad de los ViT estándar escala cuadráticamente con el número de parches. Esto restringe el preentrenamiento de modelos fundamentales (como DINO) a resoluciones bajas (típicamente 224x224), ya que procesar imágenes de alta resolución (decenas de megapíxeles) es computacionalmente prohibitivo.
Colapso de Rendimiento por Resolución: Los ViT extraen parches de tamaño fijo en píxeles (ej. 16x16). Si la resolución de entrada aumenta después del entrenamiento, el contenido semántico dentro de un parche cambia drásticamente (desplazamiento de distribución), lo que provoca un colapso en el rendimiento al evaluar en resoluciones ultra-altas.
Limitaciones de Arquitecturas Recientes: Un modelo previo inspirado en la fóvea [44] logró ser agnóstico al tamaño de imagen mediante un procesamiento iterativo de parches "multi-zoom", pero solo se validó con aprendizaje supervisado y su extracción de parches seguía siendo ineficiente (escala linealmente con la resolución).

2. Metodología

Los autores proponen un marco de preentrenamiento auto-supervisado de secuencial a global basado en la arquitectura de transformador dinámico de visión activa, adaptando el objetivo de auto-distilación de DINO.

Arquitectura Iterativa (Sin BPTT):
- El modelo procesa la imagen iterativamente en pasos discretos. En cada paso, un "política de mirada" (gaze policy) selecciona una ubicación y extrae un conjunto de parches "multi-zoom" (varios niveles de zoom centrados en el mismo punto) y una cuadrícula densa de parches.
- El estado latente se actualiza mediante tokens de estado ( $s_t$ ) que actúan como memoria interna.
- Crucial: No se utiliza retropropagación a través del tiempo (BPTT). Los gradientes se detienen entre pasos, manteniendo la eficiencia computacional.
Objetivo de Aprendizaje (Secuencial a Global):
- Se adapta DINO para entrenar un modelo que acumula comprensión de la escena paso a paso.
- Enseñante (Teacher): Procesa una vista global y una vista secuencial, generando objetivos estáticos solo en el paso final.
- Estudiante (Student): Procesa vistas locales y una vista secuencial iterativa. En cada paso $t$ , el estado actual del estudiante se proyecta para coincidir con los objetivos del enseñante.
- Esto fuerza al modelo a ensamblar una comprensión global a partir de "miradas" locales iterativas sin BPTT.
Extracción de Parches Eficiente (Agnóstica a la Resolución):
- Parches Top-Down: El tamaño de los parches se define como una proporción de las dimensiones de la imagen (no en píxeles fijos), eliminando el desplazamiento de distribución.
- Cuadrícula Fóvea Densa: Se introduce una cuadrícula densa de parches alrededor del centro de mirada para proporcionar contexto de alta resolución, complementando los parches multi-zoom periféricos.
- Imágenes Integrales (Integral Images): Para evitar que la extracción de parches sea costosa, se utiliza una representación de imagen integral (tabla de área acumulada). Esto permite extraer y redimensionar cualquier parche rectangular en tiempo constante O(1) por píxel objetivo, desacoplando el costo computacional del tamaño de la imagen original.
Optimización de la Política de Mirada:
- Se entrena una política de mirada activa utilizando GRPO (Group Relative Policy Optimization).
- La política predice una mezcla de Gaussianas (GMM) para las coordenadas de la siguiente mirada, basándose en los tokens de estado y recompensas derivadas de la confianza de clasificación en cada paso.

3. Contribuciones Clave

Marco de Preentrenamiento Auto-Supervisado: Primera demostración de que un transformador foveal dinámico puede preentrenarse con SSL (DINO) sin BPTT, utilizando un objetivo de distilación secuencial a global.
Mecanismo de Extracción O(1): Introducción de un método basado en imágenes integrales que permite la extracción de parches foveales con un costo computacional constante, independientemente de la resolución de la imagen de entrada.
Cuadrícula Fóvea Densa: Mejora del mecanismo de parches multi-zoom al añadir una cuadrícula densa de alta resolución alrededor del centro de atención, mejorando el contexto para el mecanismo de auto-atención.
Modelo Agnóstico al Tamaño: Un modelo que mantiene un presupuesto computacional fijo por paso y un rendimiento robusto incluso al evaluar en resoluciones extremadamente altas (>1024px) donde los ViT estándar fallan.

4. Resultados

Rendimiento en ImageNet-1K:
- En modo ViT estático (una sola vista global), el modelo alcanza un 76.1% de precisión Top-1, compitiendo con DINO estándar.
- En modo foveal dinámico (8 pasos iterativos) con una política de mirada aprendida, alcanza un 75.0%, superando significativamente a las miradas aleatorias (71.7%).
- El rendimiento mejora monótonamente con cada paso iterativo, demostrando una acumulación efectiva de comprensión de la escena.
Eficiencia y Escalabilidad:
- El modelo mantiene una latencia y un costo de FLOPs constantes (O(1)) a medida que aumenta la resolución de la imagen, a diferencia de los ViT estándar cuyo costo crece cuadráticamente.
- En evaluaciones de ultra-alta resolución (>1024px), el modelo propuesto mantiene su precisión, mientras que los ViT supervisados colapsan debido al desplazamiento de distribución.
Tareas de Clasificación Fina: El modelo también muestra buenos resultados en conjuntos de datos de clasificación fina (CUB-200-2011 y Oxford 102 Flowers), validando la riqueza de la representación aprendida.

5. Significado e Impacto

Este trabajo es fundamental para el desarrollo de modelos fundamentales de visión agnósticos al tamaño de imagen. Permite:

Preentrenamiento a Gran Escala: Facilita el entrenamiento de modelos fundamentales utilizando conjuntos de datos de alta resolución (como imágenes satelitales, médicas o robóticas) que antes eran inaccesibles debido a limitaciones de memoria y cómputo.
Eficiencia en Inferencia: Permite que los modelos se adapten dinámicamente a la complejidad de la escena, enfocando recursos computacionales solo en las regiones relevantes, similar a la visión humana.
Nueva Dirección en SSL: Establece un nuevo paradigma para combinar la eficiencia de la visión activa con la potencia del aprendizaje auto-supervisado, superando las limitaciones de las arquitecturas estáticas tradicionales.

En resumen, el artículo presenta una solución robusta para la ineficiencia de los ViT en altas resoluciones, logrando un equilibrio entre rendimiento de vanguardia y eficiencia computacional constante mediante una arquitectura iterativa inspirada en la biología y optimizada matemáticamente.