Resumen Técnico: Marco de Reducción con Conciencia Espacial (STORM)

1. Planteamiento del Problema

Si bien los Modelos de Espacio de Estados (SSM, por sus siglas en inglés) como Mamba han demostrado una eficiencia superior en el modelado de dependencias de largo alcance para tareas de visión al reducir la complejidad computacional de cuadrática a lineal, enfrentan un cuello de botella crítico cuando se integran con técnicas de reducción de tokens. Los métodos de reducción de tokens actuales (por ejemplo, poda y fusión), que son altamente efectivos en los Vision Transformers (ViT), causan un colapso severo del rendimiento cuando se aplican a variantes de Mamba estructuralmente mejoradas como VMamba.

Los autores atribuyen esta degradación a la naturaleza espacialmente agnóstica de las estrategias de reducción actuales. A diferencia de los ViT, que dependen de la autoatención global, las arquitecturas Mamba (específicamente aquellas que utilizan el mecanismo de Escaneo Selectivo 2D, o SS2D) dependen de un escaneo secuencial estricto con dependencias de estado recursivas. Los métodos de reducción estándar aplanan la cuadrícula de tokens 2D en una secuencia 1D, realizan la reducción y vuelven a mapear los tokens. Este proceso interrumpe las relaciones espacciales originales y la topología de la cuadrícula, violando las premisas estructurales requeridas para que el mecanismo SS2D funcione correctamente. En consecuencia, la propagación del estado causal se rompe, lo que conduce a una pérdida de información en cascada y caídas catastróficas de precisión (por ejemplo, una caída de ~83% a ~31% en VMamba-B al usar ToMe).

2. Metodología: STORM

Para abordar esto, los autores proponen STORM (Reducción de Tokens con Conciencia Espacial), un marco de trabajo plug-and-play diseñado para mantener la integridad estructural durante la compresión sin requerir entrenamiento adicional. STORM replantea la reducción de tokens como una operación estructurada sobre primitivas espaciales en lugar de una operación global sobre una secuencia aplanada.

Componentes Principales

1. Reducción Espacial Estructurada (Flujo de Trabajo de Descomposición Dimensional):
   En lugar de procesar una secuencia globalmente aplanada, STORM descompone el proceso de reducción en dos etapas desacopladas alineadas con la cuadrícula 2D:

   • Reducción por Filas: El mapa de características se procesa fila por fila. Se aplica un operador de reducción base (por ejemplo, poda o fusión) de forma independiente a cada fila.
   • Reducción por Columnas: El resultado intermedio se procesa luego columna por columna, aplicando el operador de reducción de forma independiente a cada columna.
     Esto asegura que la salida siga siendo una sub-cuadrícula regular, preservando las relaciones topológicas requeridas por las rutas de escaneo SS2D.

2. Mecanismo de Ventana Localizada:
   Para evitar la interferencia de largo alcance que podría interrumpir la coherencia semántica local, STORM introduce una restricción de ventana localizada.

   • Dentro de cada fila o columna, la secuencia se particiona en ventanas no superpuestas.
   • Las decisiones de reducción se confinan estrictamente dentro de estos vecindarios locales.
   • Este mecanismo suprime la interferencia entre regiones, asegurando que los tokens semánticamente no relacionados no se fusionen, preservando así la semántica fina esencial para una evolución estable del estado.

Base Teórica

Los autores proporcionan un análisis teórico que muestra que los métodos de reducción global causan un desplazamiento espacial ilimitado entre tokens consecutivos en la secuencia de escaneo, lo que conduce a la divergencia del error. En contraste, la descomposición dimensional y las restricciones de ventana de STORM limitan estrictamente el desplazamiento espacial de los tokens. Al limitar el desplazamiento máximo de mapeo al tamaño de la ventana, el marco garantiza un límite superior estricto en los errores de propagación de estado, asegurando un rendimiento estable incluso bajo una compresión agresiva.

3. Contribuciones Clave

• Identificación de la Integridad Estructural como Crítica: El artículo identifica que el fallo de la reducción de tokens en la visión Mamba no se debe simplemente a los criterios de selección de tokens, sino que surge de la interrupción de la estructura espacial 2D.
• Paradigma de Reducción Estructurada: Los autores proponen un nuevo paradigma que opera sobre primitivas espaciales (filas y columnas) en lugar de tokens aplanados globalmente, mitigando eficazmente el colapso del rendimiento.
• Marco Generalizable: STORM está diseñado como un módulo genérico y libre de entrenamiento (training-free) que puede integrarse con pipelines de reducción existentes (como EViT y ToMe) para dotarlos de una conciencia espacial explícita.
• Rendimiento de Vanguardia: El marco establece nuevos puntos de referencia de rendimiento para la reducción de visión Mamba, entregando una precisión y un rendimiento (throughput) superiores a través de diversos backbones.

4. Resultados Experimentales

Los experimentos se realizaron en ImageNet-1K (clasificación) y COCO 2017 (detección de objetos y segmentación de instancias) utilizando una configuración libre de entrenamiento.

• Clasificación ImageNet-1K:

  • STORM recupera significativamente la precisión en VMamba. Para VMamba-B, aplicar ToMe solo reduce la precisión a 35.7%, mientras que STORM (ToMe logra un 82.6% (solo una caída del 1.3% respecto al baseline).
  • En VMamba-S, STORM (ToMe) alcanza un 80.9% de precisión comparado con el 32.9% de ToMe estándar, lo que representa una mejora relativa del 61.2% en la recuperación de la precisión.
  • STORM supera a otros métodos de reducción específicos de Mamba (por ejemplo, HSA, MTR, QuarterMap) por un margen amplio, donde HSA cae al 46.2% en VMamba-S mientras que STORM alcanza el 82.0%.

• Detección de Objetos (COCO):

  • STORM permite una recuperación dramática en tareas de detección. Para VMamba-S, el APb base es 48.7. El ToMe estándar colapsa a 2.8, mientras que STORM (ToMe) lo recupera a 44.2.
  • Se observan mejoras similares en los backbones PlainMamba y LocalMamba.

• Eficiencia y Robustez:

  • Rendimiento (Throughput): STORM logra un mayor rendimiento que ToMe en todas las proporciones de reducción debido a sus operaciones paralelas de filas/columnas, las cuales evitan los cuellos de botella de escalabilidad de los cálculos de similitud global.
  • Robustez: Incluso utilizando una estrategia de selección de tokens aleatoria (sin puntuaciones de importancia aprendidas), STORM mantiene un rendimiento robusto (69.1% de precisión con un 36% de reducción), mientras que ToMe cae al 11.7%. Esto destaca que la preservación estructural del marco es el principal motor del éxito, no solo el criterio de selección.
  • Ajuste Fino (Fine-tuning): Incluso con ajuste fino, STORM supera consistentemente a los baselines, recuperando un 78.4% de precisión en VMamba-T con una relación de reducción de 0.32, comparado con el 32.7% de ToMe.

5. Significado y Reivindicaciones

El artículo afirma que STORM representa un cambio fundamental en la forma en que se aborda la reducción de tokens para arquitecturas espacialmente sensibles. Al imponer una regularidad de diseño global y una fidelidad contextual local, STORM resuelve la incompatibilidad entre la reducción de tokens y la propagación de estado tipo cadena de Mamba.

Los autores enfatizan que STORM es una solución plug-and-play que no requiere reentrenamiento del modelo base. Su importancia radica en permitir el despliegue práctico de los modelos de visión Mamba al permitir una compresión agresiva (hasta un 40% de reducción) sin el severo colapso de rendimiento observado anteriormente. El trabajo sugiere que mantener la consistencia espacial es más crítico que simplemente retener los tokens salientes para la eficacia de los modelos basados en SS2D.