Resumen Técnico: GraphScan para Modelos de Espacio de Estados Visuales

1. Enunciado del Problema

Los Modelos de Espacio de Estados Visuales (SSM), particularmente aquellos basados en la arquitectura Mamba, ofrecen un modelado de largo alcance eficiente con complejidad lineal. Sin embargo, su rendimiento depende críticamente de cómo se serializan los mapas de características visuales bidimensionales en secuencias de tokens unidimensionales para su procesamiento.

Los operadores de escaneo existentes en los SSM visuales generalmente se dividen en dos categorías:

1. Recorridos Geométricos Fijos: Trayectorias predefinidas (por ejemplo, raster, bidireccional, fractal) que serializan la red 2D en una secuencia 1D. Estos exponen al modelo a ordenamientos fijos que pueden no alinearse con el contenido semántico.
2. Escaneos Dinámicos Basados en Coordenadas: Métodos que predicen desplazamientos o ubicaciones de muestreo y reencaminan los tokens mediante interpolación (por ejemplo, interpolación bilineal). Aunque son adaptativos, estos ajustan principalmente dónde muestrear basándose en la geometría en lugar de modelar explícitamente qué parches locales deben intercambiar información basándose en la relevancia semántica antes de la mezcla global.

Los autores identifican una brecha: los mecanismos actuales adaptan las trayectorias o las coordenadas de muestreo, pero no modelan explícitamente vecindarios semánticos locales para precondicionar los tokens antes de que ingresen al mezclador selectivo de espacio de estados. La pregunta central planteada es si el enrutamiento basado en grafos puede ayudar a los SSM visuales a "ver mejor" estableciendo conexiones semánticas antes de la propagación global.

2. Metodología: GraphScan

El artículo introduce GraphScan, un operador de escaneo dinámico inducido por grafos diseñado para preceder al SSM selectivo. A diferencia de los métodos que reemplazan el SSM con una Red Neuronal de Grafos (GNN), GraphScan actúa como un precondicionador ligero y adaptativo a la entrada que enriquece los tokens con contexto semántico local.

Mecanismo Central

Para cada token $x_i$ en el mapa de características:

1. Construcción de Grafo Local: Se define un conjunto de candidatos local acotado espacialmente $S_r(i)$ alrededor de la coordenada de la red del token, con un radio fijo $r$.
2. Afinidades Condicionadas por Características: En lugar de interpolación geométrica, GraphScan calcula afinidades similares a la atención entre el token de consulta y sus vecinos basándose en la similitud de características y un sesgo posicional relativo.
   • Se calculan proyecciones de Consulta, Clave y Valor: $q_i, k_j, v_j$.
   • Se calculan puntuaciones de afinidad $s_{ij}$ utilizando productos punto y un sesgo posicional relativo aprendible $b_{rel}(g_j - g_i)$.
   • La normalización Softmax produce los pesos $\alpha_{ij}$.
3. Paso de Mensaje de Un Solo Paso: El token de salida $x'_i$ se genera agregando características de valor del vecindario semántico y añadiendo una conexión residual:
   $$x'_i = x_i + \left( \sum_{j \in S_r(i)} \alpha_{ij} v_j \right) W_o$$
   Esto reemplaza la representación de parche aislada con una mezcla semántica de evidencia visual cercana.

Integración en la Arquitectura Base

GraphScan se integra en una arquitectura base jerárquica Vision Mamba (GraphScan-Mamba) como una capa de enrutamiento pre-SSM.

• Arquitectura: La arquitectura base sigue un diseño estándar de cuatro etapas con troncos convolucionales superpuestos y submuestreo por etapas.
• Ubicación: Dentro de cada bloque, el flujo es: Convolución Profunda (Local Fija) $\to$ GraphScan (Local Aprendido) $\to$ SSM Selectivo (Global).
• Adaptabilidad: El radio del grafo $r$ aumenta con la profundidad de la etapa (por ejemplo, $r=1$ en etapas tempranas, $r=3$ en etapas posteriores), permitiendo que el campo receptivo crezca de local a efectivamente global mientras se mantiene una escalabilidad lineal.

Implicaciones Teóricas

Los autores analizan GraphScan como un precondicionador disperso y adaptativo a la entrada. Al modificar la secuencia de tokens $X$ a $X'$ antes del SSM, GraphScan influye en el SSM de dos maneras:

1. Inyección de Valores: Cambia los valores escritos en el estado recurrente.
2. Modulación de Parámetros: Dado que los SSM al estilo Mamba generan parámetros de recurrencia ($\Delta, B, C$) a partir del token actual, cambiar el token también cambia los parámetros selectivos que gobiernan la propagación y lectura del estado.
   Esto crea un "núcleo local-global" donde un parche fuente influye en la salida a través de una afinidad semántica local $\alpha_{ij}$ y un factor de propagación selectiva global $K'_{t,i}$.

3. Contribuciones Clave

1. Operador GraphScan: Un mecanismo de escaneo novedoso que trata el escaneo como "enrutamiento semántico local aprendido" en lugar de serialización geométrica o selección de coordenadas. Preserva la cantidad de tokens y la escalabilidad lineal mientras introduce conciencia semántica.
2. Arquitectura Base GraphScan-Mamba: Una implementación jerárquica de GraphScan que logra un rendimiento de última generación (SOTA) entre los SSM visuales en múltiples tareas sin alterar la lógica central de recurrencia del SSM.
3. Ortogonalidad: Se demuestra que el método es ortogonal a las mejoras del lado de la recurrencia (por ejemplo, SSD, formulaciones no causales), ofreciendo una palanca de diseño complementaria para los SSM visuales.
4. Interpretabilidad: El método induce campos de desplazamiento interpretables sobre la red de tokens, visualizando cómo el modelo enruta la información basándose en el contenido semántico en lugar de la geometría fija.

4. Resultados Experimentales

Los autores evalúan GraphScan-Mamba en tres benchmarks estándar, comparándolo con ConvNets, Transformers y SSM visuales existentes (por ejemplo, VMamba, DAMamba, Spatial-Mamba) con presupuestos comparables de parámetros y FLOP.

• Clasificación ImageNet-1K:
  • GraphScan-Mamba-B alcanza una precisión top-1 del 86.5%, superando a la línea base SSM visual más fuerte (Spatial-Mamba-B con 85.3%) en +1.2% y a VMamba-B en +2.6%.
  • También supera a arquitecturas base ConvNet y Transformer fuertes (por ejemplo, ConvNeXt-B, Swin-B) en escalas similares.
• Detección de Objetos y Segmentación de Instancias en COCO (Mask R-CNN):
  • Bajo el programa 1x, GraphScan-Mamba-B alcanza 51.9 box mAP y 46.0 mask mAP, liderando todas las líneas base SSM visuales.
  • Las ganancias se transfieren efectivamente a tareas de predicción densa, lo que indica que los tokens aprendidos son robustos ante estructuras espaciales a escala de detección.
• Segmentación Semántica en ADE20K (UperNet):
  • GraphScan-Mamba-B alcanza un 53.2% mIoU (escala única), superando a la mejor línea base SSM visual (DAMamba-B con 51.9%) en +1.3%.
  • Los resultados multiescala muestran mejoras consistentes (53.6% frente a 52.3%).

Estudios de Ablación:

• Ubicación: La ubicación pre-SSM es crítica; mover GraphScan post-SSM resulta en una caída del 0.7% en la precisión.
• Programa de Radio: Un programa de radio creciente $(1, 1, 2, 3)$ ofrece la mejor frontera de Pareto entre cómputo y precisión.
• Sesgo Posicional Relativo: Incluir un sesgo posicional relativo aprendible proporciona una ganancia consistente, aunque pequeña.

5. Significado y Afirmaciones

El artículo concluye que los grafos sí ayudan a los SSM visuales a ver mejor. La importancia de este trabajo radica en cambiar el paradigma de diseño para los SSM visuales:

• De la Geometría a la Semántica: El escaneo no debe tratarse meramente como serialización geométrica (elegir una trayectoria o coordenada) sino como enrutamiento semántico local aprendido antes del modelado global de espacio de estados.
• Complemento del Lado de Entrada: GraphScan proporciona una solución del lado de la entrada que complementa los avances del lado de la recurrencia. Asegura que los tokens que ingresan al mezclador selectivo ya estén localmente fundamentados y sean conscientes semánticamente, mejorando el acondicionamiento de la secuencia global sin cambiar la dinámica interna del SSM.
• Generalizabilidad: El enfoque es ortogonal al núcleo específico del SSM (por ejemplo, Mamba-1/S6), lo que sugiere que puede aplicarse a futuras variantes de SSM.

Los autores afirmodestamente que, aunque GraphScan mejora el rendimiento y la interpretabilidad, no garantiza la generalización en un sentido formal de teoría de control sin suposiciones adicionales, pero proporciona un mecanismo estructural para entradas semánticas locales más ricas.