💻 computer science

Vision Non-Causal Trapezoidal Mamba: Eliminating Directional Scanning in Vision SSMs with Second-Order Dynamics

El artículo presenta Vision Non-Causal Trapezoidal Mamba (VNCT), un Modelo de Espacio de Estados no causal de segundo orden que elimina el escaneo de tokens direccional para lograr representaciones robustas a la orientación y un rendimiento superior en diversas tareas de visión, manteniendo al mismo tiempo una baja latencia de inferencia.

Autores originales: Anvitha Ramachandran, Dhruv Parikh, Haoyang Fan, Rajgopal Kannan, Viktor Prasanna

Publicado 2026-07-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Anvitha Ramachandran, Dhruv Parikh, Haoyang Fan, Rajgopal Kannan, Viktor Prasanna

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de entender un rompecabezas gigante y complejo hecho de miles de diminutas piezas de imagen (tokens). Durante mucho tiempo, los modelos de visión por computadora actuaron como una calle de un solo sentido muy estricta. Tenían que mirar las piezas en un orden específico: de izquierda a derecha, de arriba a abajo, o en algún otro camino fijo. Esto se llama escaneo direccional. Es como leer un libro donde no puedes mirar hacia adelante ni volver atrás; tienes que leer cada palabra de una línea antes de pasar a la siguiente.

El artículo presenta un nuevo modelo llamado Vision Non-Causal Trapezoidal Mamba (VNCT). Su principal hallazgo es que esta regla de la "calle de un solo sentido" es en realidad innecesaria para ver bien. De hecho, eliminarla hace que el modelo sea más rápido e inteligente.

La vieja forma vs. La nueva forma

Piensa en los modelos antiguos (como muchos Vision Transformers o modelos "Mamba" anteriores) como un equipo de detectives que tienen que caminar a través de una sala de un museo en una fila india. Solo pueden mirar la pintura que tienen enfrente, luego la siguiente, y así sucesivamente. Si pasan por alto un detalle a la izquierda porque estaban concentrados en la derecha, podrían no captarlo hasta que den la vuelta, lo que toma tiempo extra. Esto crea un sesgo; el modelo se "acostumbra" a mirar en una dirección específica.

VNCT tira por la ventana el libro de reglas. En lugar de caminar en una fila, permite que cada pieza de la imagen hable con todas las demás piezas todas a la vez en una sola pasada. Es como encender un gigantesco e instantáneo reflector que ilumina toda la sala del museo simultáneamente. Cada detective puede ver cada pintura al instante, sin tener que esperar su turno. El artículo muestra que este enfoque de "todo a la vez" elimina los sesgos extraños causados por caminar en una línea.

El ingrediente secreto: Dinámica de segundo orden

Pero, ¿cómo habla con todos tan rápido sin confundirse? Los autores utilizan un truco matemático ingenioso llamado dinámica de segundo orden (específicamente, dinámica "trapezoidal").

Imagina que estás tratando de adivinar la temperatura de una habitación.

Primer orden (la vieja forma): Revisas el termómetro una vez y adivinas basándote en esa única lectura.
Segundo orden (la forma de VNCT): Revisas el termómetro, pero también observas qué tan rápido estaba cambiando la temperatura justo un instante antes. Tomas un promedio del "ahora" y del "justo antes".

Este método "trapezoidal" (promediar los puntos inicial y final de un paso) le da al modelo una comprensión más rica y detallada de la imagen. El artículo sugiere que esta capa adicional de detalle ayuda al modelo a entender formas y bordes mucho mejor que los métodos de paso simple utilizados por modelos anteriores.

Lo que el artículo descarta

El artículo argumenta explícitamente en contra de la idea de que los modelos de visión necesitan el escaneo direccional para funcionar bien. Muchos modelos anteriores intentaron solucionar el problema de la "calle de un solo sentido" añadiendo caminos más complejos (como caminar en zigzag o en espiral), pero los autores demuestran que no necesitas arreglar el camino en absoluto, sino que simplemente necesitas eliminar el camino por completo. Ellos descartan la necesidad del escaneo secuencial para una visión de alto rendimiento.

Los resultados: Más rápidos, más fuertes y más robustos

Los autores midieron su modelo en varios desafíos importantes, y los resultados fueron bastante claros:

Velocidad: Debido a que no tiene que esperar a que se forme una fila, VNCT es más rápido. En una sola imagen, a la versión "Micro" le tomó 5.25 milisegundos y a la versión "Tiny" 7.31 milisegundos realizar una predicción. Esto es más rápido que el modelo no causal anterior (VSSD), que tomó 5.80 ms y 8.01 ms respectivamente.
Precisión: Obtuvo mejores puntuaciones en pruebas estándar. En la prueba ImageNet-1K, la versión "Tiny" alcanzó un 84.2% de precisión, superando al mejor modelo no causal anterior (VSSD-Tiny) que obtuvo un 83.7%.
Rotación y volteo: Uno de los hallazgos más geniales es sobre la "robustez de orientación". Si volteas una imagen boca abajo o la rotas, los modelos antiguos se confunden un poco y su precisión cae. VNCT es mucho más relajado al respecto. Cuando la imagen fue rotada o volteada, la caída promedio de precisión fue de solo 0.3%, comparado con el 0.9% para VSSD y el 1.6% para el modelo de escaneo direccional. Esto sugiere que el modelo ve el objeto como un todo, no solo como una secuencia de píxeles.
Bordes: Al dibujar los contornos de los objetos (como separar un coche de la carretera), VNCT fue más nítido. Mejoró el "Boundary IoU" (una puntuación de qué tan bien coinciden los bordes) hasta en 3.7 puntos en el conjunto de datos Cityscapes en comparación con VSSD.

La conclusión fundamental

El artículo no solo sugiere que esto podría funcionar; lo midió a través de tareas de clasificación, detección de objetos y segmentación. Los autores concluyen que la "calle de un solo sentido" del escaneo direccional es un artefacto de intentar forzar modelos de secuencia en imágenes, y que un enfoque no causal de segundo orden es una forma más simple, eficiente y robusta de construir IA de visión. No solo ajustaron el sistema antiguo; reemplazaron las reglas de tráfico por completo, y los autos se mueven más rápido y conducen de forma más recta.

Resumen Técnico: Vision Non-Causal Trapezoidal Mamba (VNCT)

1. Planteamiento del Problema

Los Modelos de Espacio de Estados (SSMs) han surgido como alternativas eficientes a los Vision Transformers (ViTs) para modelar dependencias de largo alcance con complejidad de tiempo lineal. Sin embargo, la mayoría de los SSMs de visión existentes (por ejemplo, ViM, VMamba) heredan el escaneo de tokens direccional del modelado de secuencias causales. Para aplicar los SSMs 1D a imágenes 2D, los tokens deben ser serializados a lo largo de trayectorias predefinidas (horizontales, verticales o multidireccionales).

Los autores identifican tres limitaciones críticas de este enfoque:

Sesgo Espacial: El escaneo direccional impone un orden de recorrido artificial que no es intrínseco a los datos visuales, creando interacciones de características sensibles a la orientación.
Ineficiencia: La agregación de contexto bidireccional a menudo requiere múltiples pasadas de escaneo, lo que aumenta la latencia de inferencia.
Desalineación: Las escenas visuales son no causales; las relaciones espaciales existen independientemente del orden de los tokens.

Si bien trabajos recientes como Vision State Space Duality (VSSD) introdujeron la agregación no causal, siguen limitados a la dinámica de primer orden. El artículo cuestiona si el escaneo direccional es necesario para los SSMs de visión de alto rendimiento o si es simplemente un artefacto de la adaptación de modelos de secuencias a las imágenes.

2. Metodología: Vision Non-Causal Trapezoidal Mamba (VNCT)

Los autores proponen VNCT, un backbone de visión jerárquico construido sobre una formulación de espacio de estados no causal de segundo orden. La innovación central es la capa NC-M3 (Non-Causal Mamba-3).

2.1. Mecanismo Central: NC-M3

La capa NC-M3 reformula la dinámica trapezoidal exponencial de Mamba-3 en un operador de agregación global y no causal.

Dinámica de Segundo Orden: A diferencia de los SSMs estándar que utilizan una actualización de un solo paso, Mamba-3 utiliza una regla de cuadratura trapezoidal, promediando sobre ambos extremos de integración (izquierdo y derecho). Esto se expresa como:
$h_t = \alpha_t h_{t-1} + \beta_t x_{t-1} + \gamma_t x_t$
donde $\beta$ y $\gamma$ ponderan las observaciones de los extremos izquierdo y derecho.
Elevación No Causal (Non-Causal Lift): Los autores transforman esta recurrencia causal en un operador invariante a la permutación. En lugar de la propagación de estado secuencial, reemplazan la matriz de transición causal triangular inferior por un kernel de interacción totalmente denso y normalizado.
Agregación Global: La interacción se calcula mediante estadísticas suficientes globales. Para un token de salida $i$ $i$ , el estado se deriva de una suma global de todos los tokens de entrada $j$ $j$ , ponderada por parámetros dependientes de los datos ( $\alpha, \beta, \gamma$ $α, β, γ$ ) proyectados en un espacio de interacción.
- La regla de agregación se factoriza para evitar la construcción de una matriz de interacción $L \times L$ , manteniendo la complejidad de tiempo lineal ( $O(L)$ ).
- Esto permite que todos los tokens de la imagen interactúen en una sola pasada sin escaneo direccional.

2.2. Componentes Arquitectónicos

Parametrización MIMO de Bajo Rango: VNCT incorpora un mecanismo Multi-Input Multi-Output (MIMO) de bajo rango para modelar conjuntamente las interacciones espaciales y de canal de manera eficiente.
Codificación Posicional Rotatoria 2D (2D RoPE): Dado que la agregación es independiente del orden, la información espacial se inyecta mediante 2D RoPE aplicado a las proyecciones de origen y consulta (source y query), codificando el desplazamiento espacial relativo.
Backbone Jerárquico: El modelo sigue una arquitectura de cuatro etapas (similar a Swin o ConvNeXt) con submuestreo progresivo. Las etapas 1–3 utilizan bloques NC-M3, mientras que la Etapa 4 emplea Multi-Head Self-Attention (MHSA) en el mapa de características de menor resolución para manejar el contexto global donde el costo cuadrático es insignificante.
Percepción Local: Una Unidad de Percepción Local (LPU) que utiliza convoluciones de profundidad (depth-wise) inyecta el sesgo inductivo espacial local antes de la agregación global.

3. Contribuciones Clave

Capa NC-M3: Una capa de espacio de estados no causal de segundo orden que elimina el escaneo direccional, permitiendo interacciones de una sola pasada entre todos los tokens de la imagen.
Backbone VNCT: Un backbone de visión jerárquico que combina la dinámica de espacio de estados no causal de segundo orden con la parametrización MIMO de bajo rango.
Validación Empírica: Demostración de que la eliminación del escaneo direccional mejora la latencia de inferencia, la robustez a la orientación y la preservación de bordes, superando consistentemente tanto a los SSMs de escaneo direccional como a los SSMs no causales de primer orden.

4. Resultados Experimentales

Los autores evaluaron VNCT en ImageNet-1K (clasificación), COCO (detección de objetos y segmentación de instancias) y ADE20K (segmentación semántica).

Clasificación (ImageNet-1K): VNCT logra la precisión Top-1 de vanguardia (SOTA) en las escalas Micro, Tiny, Small y Base.
- Ejemplo: VNCT-Tiny alcanza un 84.2% de precisión Top-1, superando a VSSD-T (83.7%) y VMamba-T (82.5%).
- Eficiencia: VNCT demuestra una latencia de inferencia por imagen única menor que VSSD en las escalas Micro, Tiny y Small.
Predicción Densa (COCO y ADE20K):
- Detección/Segmentación: VNCT-T supera a todos los baselines en Box AP y Mask AP en COCO, con ganancias significativas en AP75 (lo que indica una mejor precisión de localización).
- Segmentación Semántica: VNCT alcanza el mIoU más alto en ADE20K en todas las escalas del modelo (por ejemplo, VNCT-S alcanza 50.1% mIoU frente al 49.2% de VSSD-S).
Preservación de Bordes: VNCT mejora significativamente el Boundary IoU (BIoU).
- En ADE20K, VNCT-T mejora el BIoU en +2.3 puntos sobre VSSD-T.
- En Cityscapes, la mejora es de +3.7 puntos.
- El análisis cualitativo muestra que VNCT produce contornos más completos y geométricamente precisos.
Robustez de Orientación: VNCT exhibe una robustez superior a las transformaciones geométricas (giros y rotaciones) sin reentrenamiento.
- En ImageNet-1K, VNCT-T muestra una caída de precisión promedio de solo 0.3% a través de cuatro transformaciones, comparado con el 0.9% de VSSD-T y el 1.6% de VMamba-T.
Análisis del Campo Receptivo: La visualización del Campo Receptivo Efectivo (ERF) revela que VNCT produce un campo receptivo suave, simétrico y globalmente uniforme, a diferencia de los artefactos direccionales de VMamba o la cobertura irregular de VSSD.

5. Significado y Reivindicaciones

El artículo argumenta que el escaneo direccional es innecesario para los SSMs de visión de alto rendimiento. Los autores afirman que las limitaciones de los SSMs de visión previos derivan del escaneo direccional causal y no del modelado de espacio de estados en sí mismo.

Al reemplazar el escaneo direccional con el modelado de espacio de estados no causal de segundo orden, VNCT ofrece una alternativa simple, eficiente y robusta para el reconocimiento visual. Los resultados sugieren que:

La agregación global no causal combinada con la dinámica de segundo orden produce representaciones espaciales más fuertes para tareas de predicción densa.
Eliminar el sesgo direccional conduce a características más robustas a la orientación y una mejor preservación de bordes.
Se pueden lograr backbones de visión de alto rendimiento sin la sobrecarga computacional de múltiples pasadas de escaneo o la complejidad cuadrática de los mecanismos de atención completa (excepto en la etapa final).

Los autores concluyen que este enfoque motiva a los operadores de espacio de estados no causales y de orden superior como una dirección prometedora para futuros backbones de visión.