🤖 machine learning

Elastic Attention Cores for Scalable Vision Transformers

Este artículo presenta VECA (Atención Elástica Central Visual), una arquitectura de Transformador de Visión que logra complejidad computacional lineal y procesamiento escalable de alta resolución al reemplazar la autoatención todo-con-todo cuadrática por una estructura eficiente de núcleo-periferia en la que los tokens de parche se comunican exclusivamente a través de un pequeño conjunto aprendido de incrustaciones centrales.

Autores originales: Alan Z. Song, Yinjie Chen, Mu Nan, Rui Zhang, Jiahang Cao, Weijian Mai, Muquan Yu, Hossein Adeli, Deva Ramanan, Michael J. Tarr, Andrew F. Luo

Publicado 2026-05-13

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Alan Z. Song, Yinjie Chen, Mu Nan, Rui Zhang, Jiahang Cao, Weijian Mai, Muquan Yu, Hossein Adeli, Deva Ramanan, Michael J. Tarr, Andrew F. Luo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando organizar una fiesta masiva con miles de invitados (los píxeles en una imagen).

La Vieja Forma: La Fiesta de "Todos Hablan con Todos"

Los modelos de IA tradicionales, llamados Transformadores de Visión (ViTs), funcionan como una fiesta caótica donde cada invitado individual debe presentarse a todos los demás invitados para entender la sala.

El Problema: Si tienes 100 invitados, eso son 10,000 apretones de manos. Si tienes 1,000 invitados (una foto de alta resolución), eso son 1,000,000 de apretones de manos. El tiempo que toma organizar esto crece de forma explosiva (cuadráticamente). Es tan lento y costoso que estos modelos luchan con imágenes de alta definición.
La Suposición: Los modelos antiguos asumían que, para que la computadora "viera" un objeto, cada píxel necesitaba chatear directamente con cada otro píxel.

La Nueva Forma: VECA (La Fiesta del "Núcleo VIP")

Los autores de este artículo, Alan Song y colegas, dicen: "Espera un momento. ¿Realmente necesitamos que todos hablen con todos?". Proponen un nuevo sistema llamado VECA (Atención Elástica del Núcleo Visual).

Piensa en VECA como una fiesta con un Grupo Central VIP y una Lista General de Invitados.

Los Núcleos VIP: En lugar de que miles de invitados hablen entre sí, el modelo crea un grupo pequeño y fijo de "VIPs" (llamados Tokens Núcleo). Digamos que solo hay 64 VIPs.
La Regla de Comunicación:
- Los Invitados (parches de imagen) solo hablan con los VIPs. No hablan entre sí directamente.
- Los VIPs hablan con todos (todos los invitados y otros VIPs).
- El Resultado: La información fluye de Invitado → VIP → Invitado. Los invitados nunca necesitan estrecharse las manos entre sí.
La Ganancia de Eficiencia:
- En la vieja forma, duplicar el número de invitados cuadruplicaba el trabajo.
- En VECA, duplicar los invitados solo duplica el trabajo (crecimiento lineal). Es como tener un pequeño y eficiente equipo de gerentes (los VIPs) que maneja el caos, en lugar de obligar a cada empleado a gestionar a cada otro empleado.

El Superpoder "Elástico"

La parte más genial de VECA es que es elástico (estirable).

El Entrenamiento: Durante el entrenamiento, el modelo aprende a clasificar a sus VIPs. Algunos VIPs son "Super VIPs" que conocen lo más importante (como "hay un perro aquí"), mientras que otros son "VIPs Junior" que conocen detalles más finos (como "el perro tiene una oreja caída").
La Inferencia (La Fiesta en Acción):
- ¿Necesitas velocidad? Puedes decirle al modelo: "Usa solo los 8 VIPs principales". El modelo se ejecuta instantáneamente más rápido porque ignora al personal junior. Podría ser ligeramente menos detallado, pero es muy rápido.
- ¿Necesitas alta calidad? Puedes decir: "Usa todos los 64 VIPs". El modelo se ralentiza un poco pero te da una respuesta súper detallada y de alta precisión.
- Sin Reentrenamiento: No necesitas construir un modelo nuevo para velocidad o calidad. Solo estiras o encoges el número de VIPs sobre la marcha.

¿Qué Descubrieron?

Los autores probaron esto en una variedad de tareas, como reconocer qué hay en una foto (clasificación) y dibujar contornos alrededor de objetos (segmentación).

Rendimiento: Incluso con el "atajo" de no permitir que los píxeles hablen directamente, VECA funcionó casi tan bien como los mejores y más costosos modelos disponibles actualmente (como DINOv3).
El Descubrimiento "Mágico": Notaron que los VIPs (Tokens Núcleo) aprendieron naturalmente a actuar como detectores de objetos. Sin que se les dijera explícitamente que lo hicieran, los VIPs comenzaron a agruparse para representar cosas específicas, como "huevos en un tazón" o "una rueda de coche". Evolucionaron de ser manchas vagas de información a grupos semánticos específicos.
Resolución: El modelo funciona genial en imágenes pequeñas y escala hasta imágenes enormes de alta resolución sin colapsar ni volverse demasiado lento, a diferencia de los modelos antiguos.

La Conclusión

El artículo afirma que no necesitamos el método costoso y cuadrático de "todos hablan con todos" para construir IA de visión inteligente. Al usar un pequeño y astuto equipo de tokens "Núcleo" para mediar la comunicación, podemos construir modelos que son:

Más rápidos y baratos (especialmente para imágenes de alta resolución).
Flexibles (puedes intercambiar velocidad por precisión sobre la marcha).
Igualmente inteligentes que los gigantes actuales del estado del arte.

Es un nuevo bloque de construcción para el futuro de la visión por computadora que hace que la IA de alta resolución sea práctica y eficiente.

Resumen Técnico: Núcleos de Atención Elástica para Vision Transformers Escalables

Declaración del Problema

Los Vision Transformers (ViT) han logrado una escalabilidad impulsada por datos sólida al aprovechar la autoatención de todos a todos, lo que permite campos receptivos globales y un aprendizaje flexible de representaciones. Sin embargo, esta flexibilidad conlleva un costo computacional que escala cuadráticamente ( $O(N^2)$ ) con la resolución de la imagen, donde $N$ es el número de parches de imagen. Esta escalación cuadrática se vuelve prohibitiva en dominios de alta resolución, limitando la aplicabilidad de los ViT estándar.

La suposición predominante en el diseño de ViT es que las interacciones densas y por pares entre tokens son necesarias para aprender representaciones visuales-semánticas ricas. Este trabajo desafía esa suposición, postulando que se pueden aprender representaciones visuales efectivas sin interacciones directas entre parches.

Metodología: VECA (Atención Elástica de Núcleo Visual)

Los autores proponen VECA, una arquitectura de transformer visual que reemplaza la autoatención densa estándar con un mecanismo de atención núcleo-periferia disperso por bloques.

Arquitectura Central

Estructura Núcleo-Periferia: La arquitectura introduce un pequeño conjunto aprendido de $C$ tokens "núcleo" que actúan como interfaz de comunicación. Los parches de imagen forman la "periferia".
Mecanismo de Interacción:
- Tokens Núcleo: Forman un clíque totalmente conectado, atendiendo a todos los demás tokens núcleo y a todos los tokens de parche.
- Tokens de Parche: Atienden solo a los tokens núcleo activos. No atienden directamente a otros tokens de parche.
- Flujo de Información: Todo el intercambio de información entre parches se enruta exclusivamente a través de los tokens núcleo.
Complejidad: El costo de atención se reduce de $O(N^2)$ a $O(2NC + C^2)$ . Para un conteo de núcleos predeterminado $C$ (donde $C \ll N$ ), la complejidad escala linealmente ( $O(N)$ ) con la resolución de la imagen.
Dinámica Espacial: Los tokens núcleo se inicializan con coordenadas 2D aprendibles y se actualizan a través de las capas mediante una cabeza de coordenadas ligera. Utilizan Codificación Posicional Rotacional Axial 2D (RoPE), lo que les permite mantener tanto representaciones semánticas como posiciones espaciales en evolución.

Entrenamiento e Inferencia Elásticos

Dropout Anidado: Durante el entrenamiento, el modelo emplea dropout anidado en el banco ordenado de tokens núcleo. El modelo se entrena con un presupuesto variable de núcleos activos ( $C$ ), muestreado de una distribución.
Clasificación Implícita: Este procedimiento clasifica implícitamente los tokens núcleo por importancia. Los núcleos tempranos están activos en todos los presupuestos y aprenden a codificar la información visual más esencial y ampliamente útil. Los núcleos posteriores se especializan en detalles espaciales más finos o conceptos semánticos específicos.
Flexibilidad de Inferencia: En el momento de la prueba, el número de núcleos activos puede ajustarse sin reentrenar. Esto permite un intercambio elástico entre el costo computacional (velocidad) y la precisión. Reducir $C$ produce mapas de atención más gruesos pero con FLOPs significativamente menores.

Objetivo de Entrenamiento

El modelo se entrena utilizando destilación de características desde un profesor DINOv3 congelado. La función de pérdida alinea tanto las representaciones globales de la imagen (desde el primer token núcleo) como las representaciones densas de parches con los objetivos del profesor, utilizando imágenes no etiquetadas de Objects365.

Contribuciones Clave

Arquitectura VECA: Una columna vertebral visual que reemplaza la autoatención cuadrática con atención núcleo-periferia de tiempo lineal en cada capa, forzando las interacciones de tokens a través de un cuello de botella invariante a la resolución.
Rendimiento vs. Costo: La evaluación en tareas de clasificación y espaciales densas demuestra que VECA logra un rendimiento competitivo con los modelos fundacionales más avanzados (específicamente DINOv3) mientras reduce significativamente el costo computacional.
- Clasificación: En tamaño ViT-Base, VECA alcanza un 81.93% de precisión Top-1 en ImageNet-1k, dentro de ~1.6% de DINOv3 (83.56%), a pesar de utilizar solo una fracción de las interacciones de atención.
- Predicción Densa: En la prueba de segmentación PASCAL Context, VECA alcanza 57.46 mIoU en comparación con los 57.74 mIoU de DINOv3, a pesar de tener un 87.1% menos de interacciones de atención por capa.
Comportamientos Emergentes: Los autores identifican que los tokens núcleo desarrollan representaciones centradas en objetos y evolucionan desde distribuciones isotrópicas (esféricas) en las capas tempranas hasta estructuras agrupadas semánticamente en capas más profundas, a pesar de no haber supervisión explícita para tal comportamiento.

Resultados

Escalabilidad: VECA mantiene un rendimiento estable a través de resoluciones de entrada variables (de 256px a 1024px), mientras que los ViT estándar sufren un crecimiento cuadrático de FLOP. VECA muestra una escalación lineal en FLOPs y latencia a medida que aumenta la resolución.
Elasticidad: El modelo puede intercambiar elástica y dinámicamente la precisión por velocidad. Por ejemplo, reducir el presupuesto de núcleos de $C=64$ a $C=8$ mantiene un rendimiento significativo (por ejemplo, >96% del rendimiento del modelo completo en clasificación) mientras reduce drásticamente la computación.
Características Densas: Las visualizaciones (UMAP) confirman que VECA produce características densas estables y de alta calidad que permanecen robustas a resoluciones más altas, comparables a DINOv3.

Significado y Afirmaciones

El trabajo afirma que la autoatención directa de parche a parche no es estrictamente necesaria para aprender representaciones visuales densas de alta calidad. Al enrutar la información a través de un conjunto compacto de tokens núcleo aprendidos, VECA establece la atención elástica núcleo-periferia como un bloque de construcción escalable alternativo para los Vision Transformers.

El trabajo sugiere que la flexibilidad de la atención de todos a todos puede ser reemplazada por una interfaz estructurada de tiempo lineal que preserva la alineación espacial y la calidad de las características densas. Esto ofrece un camino prometedor para desplegar Vision Transformers en dominios de alta resolución donde la eficiencia computacional es crítica, permitiendo que los modelos adapten dinámicamente su costo de inferencia según los recursos disponibles o los requisitos de la tarea.