🤖 AI

SEMA: a Scalable and Efficient Mamba like Attention via Token Localization and Averaging

Este artículo presenta SEMA, un mecanismo de atención escalable y eficiente que combina la localización de tokens para prevenir la dispersión de pesos con el promedio aritmético para capturar el contexto global, superando así a los modelos existentes de atención lineal y Mamba de visión en tareas de clasificación de imágenes.

Autores originales: Nhat Thanh Tran, Fanghui Xue, Shuai Zhang, Jiancheng Lyu, Yunling Zheng, Yingyong Qi, Jack Xin

Publicado 2026-07-17

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nhat Thanh Tran, Fanghui Xue, Shuai Zhang, Jiancheng Lyu, Yunling Zheng, Yingyong Qi, Jack Xin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a reconocer un gato en una foto. Para hacer esto, el robot utiliza una herramienta especial llamada "atención", que actúa como un reflector. Este reflector escanea toda la imagen, decidiendo qué píxeles son importantes (como las orejas del gato) y cuáles son solo ruido de fondo (como un árbol borroso). El problema es que, a medida que la foto se hace más grande, el reflector tiene que revisar cada píxel contra cada otro píxel. Si la foto es pequeña, esto es rápido. Pero si la foto es enorme, el robot se siente abrumado, pasando tanto tiempo revisando conexiones que se queda sin batería antes de poder siquiera decir "gato".

Los científicos han intentado solucionar esto haciendo que el reflector sea "lineal", lo que significa que revisa los píxeles en una línea más simple y rápida. Pero hay un inconveniente: estos reflectores rápidos suelen perder su enfoque. A medida que la imagen se agranda, empiezan a tratar cada píxel como si fuera igual de importante, como una linterna que se ha bajado tanto su intensidad que simplemente brilla de manera uniforme por toda la habitación. El robot deja de ver al gato y empieza a ver una mancha gris. Este artículo, escrito por investigadores de la Universidad de California, Irvine, y Qualcomm AI Research, aborda exactamente este problema. Quieren construir un reflector que sea lo suficientemente rápido para manejar imágenes gigantes y lo suficientemente nítido como para seguir viendo los detalles.

Los investigadores, liderados por Nhat Thanh Tran y sus colegas, descubrieron una verdad matemática que explica por qué estos reflectores rápidos fallan: a medida que el número de píxeles (o "tokens") tiende al infinito, el mecanismo de atención se dispersa naturalmente y se vuelve inútil. Llaman a esto el fenómeno de la "dispersión". Es como intentar escuchar un susurro en un estadio; si intentas escuchar a todo el mundo a la vez, terminas escuchando nada más que ruido. El artículo demuestra que, sin importar cómo ajustes las matemáticas de estas herramientas de atención rápida, eventualmente perderán su enfoque si la imagen se vuelve demasiado grande.

Para resolver esto, el equipo inventó un nuevo método llamado SEMA (Atención tipo Mamba escalable y eficiente). En lugar de luchar contra las matemáticas, decidieron trabajar con ellas. Se dieron cuenta de que, si bien el reflector debería enfocarse en detalles específicos, también necesita una forma de entender el "panorama general" sin perderse. Por ello, diseñaron un sistema de dos partes. Primero, utilizan la Localización de Tokens (Token Localization), que es como darle al reflector una pequeña ventana para mirar a través. Solo se enfoca en un pequeño vecindario de píxeles a la vez, asegurando que nunca se sienta abrumado o distraído. Esto mantiene el enfoque nítido.

Pero mirar a través de una ventana pequeña tiene un inconveniente: el robot podría perderse al gato completo si solo está mirando una pata. Para solucionar esto, SEMA añade un segundo paso: el Promedio (Averaging). Esto es como tomar una instantánea rápida y borrosa de toda la habitación y añadirla a la vista detallada. Los investigadores demostraron matemáticamente que, cuando la imagen es enorme, la mejor manera de capturar la sensación "global" de la imagen es simplemente promediar todo. Al combinar la vista nítida de la ventana local con este promedio global simple, SEMA obtiene lo mejor de ambos mundos.

El artículo muestra que este enfoque funciona increíblemente bien. Cuando probaron SEMA en conjuntos de datos de imágenes estándar como ImageNet-1K, superó a otros modelos populares, incluidos los modelos recientes "Mamba", especialmente cuando las imágenes eran muy grandes. Por ejemplo, cuando el tamaño de la imagen se aumentó a 1024x1024 píxeles, otros modelos tuvieron dificultades significativas, cayendo en precisión, mientras que SEMA se mantuvo fuerte e incluso mejoró. Los investigadores también descubrieron que SEMA era más rápido que sus competidores, tomando menos tiempo para procesar imágenes grandes.

Una de las partes más interesantes del artículo es cómo manejaron el problema de la "dispersión". En lugar de intentar forzar la atención para que se mantuviera nítida de una manera que rompiera las matemáticas, aceptaron que, para imágenes enormes, la atención debería dispersarse. Utilizaron esta naturaleza de dispersión a su favor usando un promedio simple para representar la información global. Es un poco como darse cuenta de que, si tienes un millón de amigos, no puedes recordar cada detalle de cada uno, pero puedes recordar la vibra general del grupo. SEMA recuerda los detalles del vecindario inmediato y la vibra general del grupo, permitiéndole reconocer al gato perfectamente, sin importar cuán grande sea la foto.

Los autores probaron su idea en diversas tareas, desde el reconocimiento de objetos hasta la localización de partes específicas de una imagen (segmentación). En cada caso, SEMA demostró que podía escalar a imágenes más grandes sin perder la cabeza. Incluso mostraron que, a medida que las imágenes se hacían más grandes, la parte del "promedio" de su sistema se volvía más importante, demostrando su teoría de que este paso simple es crucial para manejar cantidades masivas de datos. Aunque el artículo se centra en la visión por computadora, el equipo sugiere que esta idea podría ayudar con otros problemas que involucran secuencias largas de datos, como el análisis de enormes escaneos médicos.

En resumen, SEMA es un truco inteligente que admite cuándo un reflector se vuelve demasiado ancho para ser útil y cambia a una estrategia diferente: mirar de cerca los detalles cercanos y tomar un promedio rápido y simple del resto. Es una forma escalable, eficiente y matemáticamente sólida de ayudar a las computadoras a ver el mundo con claridad, incluso cuando el mundo se vuelve muy grande.

Resumen Técnico: SEMA – Una atención tipo Mamba escalable y eficiente mediante localización de tokens y promediado

1. Planteamiento del problema

El artículo aborda dos desafíos primordiales al aplicar mecanismos de atención a tareas de visión por computadora:

Complejidad computacional: La atención completa tradicional (basada en softmax) exhibe una complejidad computacional cuadrática ( $O(n^2)$ ) relativa al tamaño de la entrada, lo cual es prohibitivo para imágenes de alta resolución.
El fenómeno de la dispersión: Las variantes de atención lineal, diseñadas para lograr una complejidad lineal, a menudo sufren de una incapacidad para enfocarse en la información relevante. A medida que el número de tokens ( $n$ ) aumenta, estos mecanismos tienden a "dispersarse", asignando pesos casi iguales a todas las claves, perdiendo así el poder discriminativo inherente a la atención softmax.

Aunque trabajos recientes como Mamba (modelos de espacio de estados) y MILA (atención lineal inspirada en Mamba) han intentado resolver estos problemas, los autores observan que los mecanismos de atención lineal aún carecen de un poder de enfoque expresivo, y las soluciones existentes para la dispersión (por ejemplo, temperatura adaptativa o atención diferencial) son a menudo heurísticas o siguen siendo teóricamente propensas a la dispersión en el límite.

2. Metodología

2.1 Fundamento teórico: Atención generalizada y dispersión

Los autores establecen primero un marco de Atención Generalizada que abarca tanto la atención softmax tradicional como la atención lineal. Definen un mecanismo de atención $\Phi$ -normalizado donde los coeficientes de atención están determinados por una función de normalización continua $\phi$ .

Resultado teórico clave (Teorema de la dispersión):
El artículo demuestra que para cualquier función de normalización continua $\phi$ , a medida que el número de tokens $n$ tiende al infinito, los coeficientes de atención inevitablemente se dispersan. Es decir, el peso de atención asignado a cualquier clave específica tiende a cero ( $\Theta(1/n)$ ), asignando efectivamente un peso igual a todos los tokens.

Esto se aplica tanto para la softmax vanilla ( $\phi(x) = \exp(x)$ ) como para la atención lineal ( $\phi(x) = x$ ).
La prueba se basa en la compacidad del espacio de características de entrada y la continuidad de las funciones involucradas.
Los autores señalan que, aunque la atención diferencial intenta mitigar el ruido, teóricamente sigue sujeta a la dispersión ( $\Theta(1/n)$ ).

2.2 Solución propuesta: SEMA

Motivados por la propiedad de dispersión demostrada, los autores diseñan SEMA (Scalable and Efficient Mamba-like Attention). La filosofía central es abrazar el comportamiento asintótico de la atención global (dispersión) mientras se preservan las capacidades de enfoque local.

SEMA combina dos componentes:

Localización de tokens (Atención de ventana): Para mantener la propiedad de "enfoque" de la atención vanilla en características de alta frecuencia, SEMA emplea un mecanismo de atención de ventana localizada. Este restringe cada consulta (query) para que interactúe solo con un número fijo de claves dentro de una ventana predefinida, evitando la dispersión dentro de ese contexto local.
Promedio teórico (Aproximación global): Para capturar el aspecto global de la atención sin incurrir en una complejidad cuadrática o sufrir la dispersión de la atención lineal completa, SEMA incorpora un término de promedio aritmético.
- Basándose en el análisis asintótico, los autores argumentan que, en el límite de un $n$ grande, el componente global de la atención completa puede aproximarse mediante un promedio simple de todos los vectores de valor ( $\frac{1}{n}\sum v_j$ ).
- Esto actúa como una "mezcla homogénea" o filtro de paso bajo, agregando información global de manera eficiente.

Formulación:
La atención SEMA para una consulta $q$ , claves $K$ y valores $V$ con un tamaño de ventana $w$ se define como:
$\text{SEMA}(Q, K, V) = A_{\Phi}(Q, K, V, w) + \frac{1}{n} \sum_{j=1}^{n} v_j$
Donde $A_{\Phi}$ es la atención de ventana (usando variantes softmax o lineales) y el segundo término es el promedio global transmitido (broadcasted).

2.3 Arquitectura

SEMA se integra en una macroarquitectura tipo Mamba (similar a MILA). Los autores reemplazan los bloques de atención lineal de MILA con bloques SEMA. A diferencia de MILA, SEMA incluye una proyección lineal para los valores $V$ , lo cual los autores consideraron necesario para el rendimiento, aumentando ligeramente el recuento de parámetros pero manteniendo la eficiencia.

3. Contribuciones clave

Prueba teórica de la dispersión: El artículo proporciona una prueba matemática rigurosa de que la atención generalizada (incluyendo las variantes softmax y lineales) se dispersa a medida que el recuento de tokens se acerca al infinito, independientemente de la función de normalización continua específica utilizada.
Diseño de SEMA: Un mecanismo de atención novedoso que utiliza la localización de tokens para evitar la dispersión local y el promedio aritmético para aproximar teóricamente el aspecto global de la atención, ofreciendo una alternativa escalable a la atención lineal.
Validación empírica: Demostrar que SEMA supera a los modelos de visión Mamba recientes (ej. VMamba) y a las líneas base de atención lineal (MILA) en los benchmarks estándar, particularmente a medida que aumentan las resoluciones de imagen.

4. Resultados experimentales

4.1 Clasificación ImageNet-1K

Resolución estándar (224²): SEMA-T logra un 83.7% de precisión Top-1, superando a MILA-T (83.3%) y DefMamba (83.5%) con recuentos de parámetros similares (~26M).
Escalabilidad (Resoluciones mayores): Las ganancias más significativas aparecen en resoluciones más altas.
- En 1024², VMamba-T cae significativamente (74.7% sin ajuste fino, 83.4% con ajuste fino), mientras que SEMA-T mantiene la robustez (75.4% sin ajuste, 84.2% con ajuste fino).
- La brecha entre SEMA y VMamba se amplía a 7.3% en 1024² sin ajuste fino, indicando la resistencia superior de SEMA al aumento del recuento de tokens.

4.2 Tareas de seguimiento (Downstream Tasks)

COCO (Segmentación de instancias): Utilizando Mask R-CNN, SEMA-T logra un rendimiento de estado del arte o de los dos mejores resultados en todas las métricas (AP, AP50, AP75) tanto para esquemas de entrenamiento de 1x como de 3x, superando a MILA-T y VMamba-T.
ADE20K (Segmentación semántica): SEMA-T alcanza 48.2 mIOU (escala única), superando a VMamba-T (47.9) y manteniéndose competitivo en configuraciones multiescala.

4.3 Eficiencia

Tiempo de inferencia: SEMA demuestra una escalabilidad superior en el tiempo de ejecución. A una resolución de 1024², SEMA es aproximadamente un 33% más rápido que MILA. A 2048², la aceleración es aún más pronunciada, confirmando la ventaja de la complejidad lineal del componente de promedio.

4.4 Estudios de ablación

Proyección de valor: Eliminar la capa de proyección de valor reduce la precisión en aproximadamente un 0.8%, resaltando su importancia.
Componente de promedio: En 224², el término de promedio contribuye mínimamente (~0.2%). Sin embargo, a medida que la resolución aumenta a 672², su contribución crece significativamente (+2.2% sin ajuste fino), validando la afirmación teórica de que el promedio se vuelve crucial a medida que aumentan los recuentos de tokens y se intensifican los efectos de dispersión.

5. Significado y afirmaciones

El artículo afirma que SEMA ofrece una solución teóricamente fundamentada al problema de la dispersión en la atención lineal. Al probar que la dispersión es una propiedad inherente de la atención global en el límite, los autores justifican el uso del promedio aritmético como una aproximación global válida.

El significado de SEMA radica en su capacidad para:

Escalar efectivamente: Mantiene el rendimiento y la eficiencia a medida que aumentan las resoluciones de imagen (y los recuentos de tokens), una debilidad conocida de los modelos de visión Mamba actuales.
Equilibrar lo local y lo global: Combina con éxito el poder de enfoque de la atención de ventana con el contexto global del promedio, evitando el costo cuadrático de la atención completa y el enfoque "borroso" de la atención lineal pura.
Proveer una alternativa robusta: Sirve como una alternativa escalable y eficiente para tareas de visión por computadora, particularmente en escenarios que involucran entradas grandes o secuencias largas (ej. imágenes médicas), donde los recuentos de tokens pueden alcanzar órdenes de magnitud superiores a la clasificación de imágenes estándar.

Los autores concluyen que, si bien el componente de promedio es marginal en resoluciones estándar, proporciona una "red de seguridad" crítica y un impulso de rendimiento en el régimen de grandes recuentos de tokens, convirtiendo a SEMA en una opción robusta para arquitecturas de visión escalables.