🤖 AI

Norm or Direction? Decoding Vision Mambas for High-Resolution Vision

Este artículo revela que mientras MambaOut codifica la información discriminativa de clase principalmente en la magnitud de los tokens del primer plano, VMamba distribuye de manera única la evidencia semántica a través de las direcciones de los tokens y las regiones del fondo, una estrategia de codificación distinta que le otorga una estabilidad y un rendimiento superiores en tareas de predicción densa de alta resolución.

Autores originales: Jin Yu, Juyoun Park

Publicado 2026-07-22

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jin Yu, Juyoun Park

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a reconocer un gato en una foto. Durante mucho tiempo, la mejor manera de hacer esto era que el robot mirara cada uno de los píxeles y los comparara con todos los demás píxeles, como un detective revisando cada pista contra todas las demás. Esto es poderoso pero lento, especialmente para fotos enormes de alta definición. Recientemente, los científicos inventaron una forma nueva y más rápida llamada "Vision Mamba". Piensa en esto como un robot que lee una imagen como si fuera un libro, escaneándola línea por línea para entender la historia sin sentirse abrumado. Pero luego, otro equipo construyó un robot que ni siquiera lee el libro; en su lugar, utiliza un tipo diferente de filtro de "puerta" (gated) para detectar al gato. Sorprendentemente, este nuevo robot es igual de bueno encontrando gatos en fotos de tamaño estándar. Esto deja a los científicos ante un gran misterio: Si ambos robots hacen el trabajo, ¿están viendo el mundo de la misma manera? ¿O uno de ellos está usando un superpoder secreto que al otro le falta? Esta pregunta es importante porque, a medida que avanzamos de fotos pequeñas a imágenes masivas y detalladas (como mapas satelitales o escaneos médicos), la forma en que estos robots "ven" podría determinar si pueden manejar el trabajo o si empiezan a confundirse.

Este artículo, titulado "Norm or Direction? Decoding Vision Mambas for High-Resolution Vision", se sumerge en ese misterio para ver cómo dos cerebros robóticos específicos —VMamba y MambaOut— procesan realmente la información. Los investigadores descubrieron que, aunque ambos modelos son excelentes para detectar objetos, almacenan las "pistas" de lo que ven de maneras completamente diferentes.

Piensa en un token (una pequeña pieza de la imagen que el robot analiza) como un pequeño mensajero que lleva una nota. Cada mensajero tiene dos cosas: qué tan fuerte grita (su "magnitud" o fuerza) y hacia qué dirección apunta (su "dirección"). El estudio encontró que MambaOut es como un equipo de gritones. Concentra toda su información importante en unos pocos mensajeros muy fuertes y de alta energía que se encuentran justo encima del objeto (el gato). Si silencias a los mensajeros silenciosos en el fondo, MambaOut sigue estando bien porque los gritones están haciendo todo el trabajo.

VMamba, por otro lado, es más como un coro. No depende de unos pocos gritones, sino que distribuye la información importante por toda la habitación, incluyendo el fondo. Los mensajeros ruidosos en el equipo de VMamba a menudo terminan parados en el fondo (como el cielo o la hierba), no sobre el gato mismo. Si solo te fijas en quién grita más fuerte, podrías pensar que VMamba está confundido. Pero aquí está el giro: la dirección hacia la que apuntan los mensajeros contiene el secreto. Incluso si bajas el volumen de todos los mensajeros para que todos estén susurrando, VMamba aún puede decirte que es un gato porque la dirección de sus susurros está perfectamente alineada. MambaOut, sin embargo, se desmorona si bajas el volumen; necesita los gritos para funcionar.

Los investigadores probaron esto haciendo que los robots miraran imágenes mucho más grandes y de mayor resolución. Cuando la imagen se vuelve enorme, hay miles de mensajeros más que gestionar. MambaOut, que depende de unos pocos gritones, empieza a tropezar porque es difícil elegir a los pocos elegidos entre una multitud de miles. VMamba, con su coro de susurros direccionales, maneja mucho mejor la multitud. Distribuye la evidencia, lo que lo hace más estable y confiable a medida que la imagen se agranda.

Esta diferencia se vuelve aún más clara cuando se les pide a los robots una tarea más difícil: no solo decir "hay un gato", sino señalar exactamente dónde está el gato en la imagen (una tarea llamada segmentación). Cuando los investigadores dejaron que los robots aprendieran desde cero en estas tareas detalladas, VMamba tomó la delantera. Resultó que la capacidad de VMamba para reorganizar sus pistas "direccionales" hizo que fuera mucho más fácil enseñar cómo señalar partes específicas de una imagen. MambaOut, que depende de la intensidad de puntos específicos, fue más difícil de enseñar para este trabajo detallado.

El artículo sugiere que el secreto para construir mejores robots para tareas de alta resolución no es solo el mecanismo de escaneo (la parte "Mamba"), sino cómo organizan su información. Parece que, para trabajos grandes y detallados, confiar en la "dirección" de los datos es más poderoso que confiar en la "intensidad" (magnitud). Los autores proponen que los cerebros de los robots del futuro deberían diseñarse para prestar más atención a estas pistas direccionales, quizás entrenándolos para ser mejores en la organización de la información a través de toda la imagen en lugar de solo enfocarse en los puntos más ruidosos. Aunque el artículo no afirma haber resuelto todo (admiten que no están 100% seguros de qué parte específica del cerebro del robot causa este ruido de fondo), la evidencia sugiere fuertemente que cambiar el enfoque de "qué tan fuerte" a "hacia qué dirección" es la clave para desbloquear una mejor visión para imágenes de alta resolución.

Resumen Técnico: ¿Norma o Dirección? Decodificando los Vision Mambas para Alta Resolución

Planteamiento del Problema

Los modelos Vision Mamba, como VMamba, han surgido como backbones visuales eficientes al reemplazar la autoatención cuadrática con Modelos de Espacio de Estados (SSM) selectivos de complejidad lineal. Sin embargo, trabajos recientes (MambaOut) demuestran que los bloques Gated CNN pueden igualar o superar el rendimiento de VMamba en la clasificación de imágenes estándar, desafiando la necesidad de los SSM para tareas de visión. Esto crea una ambigüedad fundamental: ¿codifican VMamba y MambaOut la información visual de manera diferente a nivel de representación y, de ser así, cómo impactan estas diferencias en el rendimiento en tareas de alta resolución y predicción densa (p. ej., segmentación semántica)? Mientras que MambaOut argumenta que los SSM son innecesarios para la clasificación (una tarea no autorregresiva de secuencias cortas), VMamba retiene ventajas en benchmarks de predicción densa donde las secuencias espaciales son más largas. El problema central es decodificar las estrategias de representación interna de estos modelos para comprender la fuente de la ventaja de VMamba en entornos de alta resolución.

Metodología

Los autores llevan a cabo un análisis comparativo entre VMamba-T y MambaOut-T (variantes Tiny) utilizando un enfoque multifacético:

Análisis CKA Intra-modelo y Entre Modelos: Los autores aplican el Alineamiento de Kernel Centrado (CKA) para medir la similitud entre representaciones a través de diferentes etapas, entre los dos modelos y entre las versiones preentrenadas para clasificación y ajustadas para segmentación.
Descomposición de Tokens (Magnitud vs. Dirección): Los tokens espaciales se descomponen en norma $\ell_2$ (magnitud) y vectores unitarios (dirección). El estudio investiga dónde ocurren las altas activaciones y si la información discriminativa de clase se codifica en la magnitud o en la dirección.
Atribución y Localización:
- Grad-CAM: Utilizado para comparar mapas de activación de tokens con mapas de calor de atribución de clase.
- Atribución por Reemplazo de Tokens: Un método basado en perturbaciones donde cada token individual se reemplaza con la media de la imagen para medir su contribución al logit de la clase objetivo.
- Evaluación de Vectores Unitarios: Los clasificadores se prueban en tokens normalizados (de norma unitaria) para aislar la información contenida puramente en las direcciones de los tokens.
- Prueba de Tokens de Alta Norma: Los clasificadores son entrenados o evaluados utilizando únicamente los top-k tokens de mayor norma para probar si la magnitud por sí sola porta información de clase.
Evaluación Específica de Tarea: Los modelos se evalúan en:
- Clasificación de Alta Resolución: Ajuste fino en ImageNet-1k a una resolución de 768×768.
- Segmentación Semántica: Entrenamiento en ADE20K y Pascal VOC 2012 bajo dos regímenes: backbone congelado y ajuste fino completo.
- Ablación: Eliminación del módulo SS2D para probar su contribución específica al fenómeno observado.

Hallazgos Clave

1. Estrategias de Representación Divergentes

Divergencia CKA: Los bloques de la etapa final de VMamba forman representaciones que son cualitativamente distintas tanto de MambaOut como de sus propios bloques precedentes. En contraste, MambaOut mantiene representaciones consistentes a través de las capas. VMamba también muestra una mayor sensibilidad a los cambios de supervisión (clasificación vs. segmentación) en la etapa final.
Magnitud vs. Dirección:
- MambaOut: Concentra la información discriminativa de clase en un pequeño conjunto de tokens de primer plano (foreground) de alta norma. Estos tokens se alinean espacialmente con las atribuciones de Grad-CAM. Eliminar la magnitud (normalizar los tokens) causa una caída drástica en el rendimiento (la precisión de un solo token cae a ~31.5%).
- VMamba: Produce tokens de alta norma predominantemente en regiones de fondo (background), los cuales están desalineados con el enfoque de primer plano de Grad-CAM. Sin embargo, las señales discriminativas se preservan principalmente en las direcciones de los tokens. Normalizar los tokens resulta en una caída de rendimiento mucho menor (la precisión de un solo token se mantiene en ~52.5%, significativamente más alta que MambaOut).

2. Agregación de Evidencia y Resolución

Reemplazo de Tokens: VMamba distribuye el soporte de los logits ampliamente a través de las regiones de los objetos, mientras que MambaOut depende de tokens dispersos y dominantes.
Impacto de la Alta Resolución: A resolución estándar (224×224), MambaOut supera ligeramente a VMamba. Sin embargo, a alta resolución (768×768), VMamba sobrepasa a MambaOut. Los autores atribuyen esto a la estabilidad de la agregación de evidencia amplia de VMamba, la cual es menos sensible a las variaciones de muestreo espacial a medida que aumenta el número de tokens, en comparación con la dependencia de MambaOut de picos dispersos.

3. Predicción Densa y Ajuste Fino

Backbone Congelado: MambaOut se desempeña ligeramente mejor en segmentación con un backbone congelado, probablemente porque sus pistas de magnitud alineadas con el primer plano son inmediatamente explotables por un nuevo cabezal (head).
Ajuste Fino Completo: VMamba supera significativamente a MambaOut cuando el backbone es ajustado completamente.
Robustez Direccional: En una prueba de "decodificador de tokens unitarios" (donde se elimina la magnitud), el rendimiento de segmentación de VMamba permanece prácticamente intacto (47.9 $\to$ 47.5 mIoU), mientras que el de MambaOut se degrada bruscamente (47.1 $\to$ 41.5 mIoU).
Reorganización Espacial: Bajo supervisión densa, la codificación basada en la dirección de VMamba se reorganiza en una selectividad espacial más clara, mientras que la codificación concentrada en la magnitud de MambaOut muestra pocos cambios.

Principales Contribuciones

Decodificación de Estrategias de Codificación: El artículo identifica que VMamba y MambaOut dependen de estrategias de codificación fundamentalmente diferentes: MambaOut utiliza la concentración de magnitud alineada con el primer plano, mientras que VMamba utiliza la distribución basada en la dirección a través de los tokens espaciales.
Explicación de la Ventaja en Alta Resolución: Los autores demuestran que la ventaja de VMamba en tareas de predicción densa y alta resolución no proviene simplemente del mecanismo SSM o de la longitud de la secuencia, sino de cómo se organiza la evidencia semántica a través de la magnitud y la dirección de los tokens.
Rol de la Dirección del Token: El estudio establece que la dirección del token sirve como un eje crítico, a menudo ignorado, para la representación visual, particularmente para tareas de supervisión densa donde la información debe agregarse de manera estable a través de muchos tokens.

Significado y Afirmaciones

El artículo concluye que el éxito de los modelos Vision Mamba en entornos de alta resolución y predicción densa radica en su estrategia de codificación direccional. Esta estrategia permite:

Agregación Estable: Agregación de evidencia más robusta a medida que aumenta el número de tokens (alta resolución).
Adaptabilidad: Mayor capacidad para reorganizar la selectividad espacial bajo supervisión densa (segmentación).

Los autores sugieren que los futuros diseños de backbones visuales deberían considerar la magnitud del token y la estructura direccional como ejes críticos. Específicamente, proponen que la regularización de la magnitud alineada con el primer plano podría mejorar la clasificación estándar, mientras que la regularización angular o los objetivos contrastivos por token podrían potenciar el rendimiento en entornos densos y de alta resolución.

El artículo mantiene la modestia respecto a los componentes arquitectónicos específicos responsables, señalando que aunque el módulo SS2D es un candidato, el fenómeno persiste incluso cuando el SS2D se elimina, lo que sugiere que el efecto surge de la estructura general del bloque más que del mecanismo de escaneo selectivo por sí solo.