Resumen Técnico: Reroute, No Eliminar

1. Planteamiento del Problema

Los Modelos de Visión-Lenguaje (VLMs) proyectan imágenes en cientos o miles de tokens visuales, lo que provoca que los costes de inferencia del decodificador escalen de forma cuadrática con la atención y linealmente con la memoria del KV-cache. Para mitigar esto, los métodos actuales de reducción de tokens visuales (por ejemplo, FastV, PDrop, Nüwa) se adhieren mayoritariamente a un paradigma de "clasificar y eliminar" (rank-and-remove). En este enfoque, los tokens visuales se puntúan (típicamente mediante la atención texto-visión), se retiene un subconjunto compacto y el resto se descarta permanentemente de la secuencia.

Los autores identifican un fallo crítico en este paradigma: la importancia del token no es estable a través de la profundidad del decodificador.

• Importancia Dinámica: Las capas superficiales del decodificador suelen atender de forma difusa, mientras que las regiones relevantes para el objetivo pueden emerger solo en capas medias o profundas.
• Irreversibilidad: Un token clasificado con una puntuación baja en una etapa de poda temprana (por ejemplo, Capa 3) podría ser esencial para una consulta específica en una capa más profunda (por ejemplo, Capa 25). Una vez eliminado, no puede contribuir a cálculos posteriores.
• Consecuencia: Bajo una reducción agresiva de tokens (por ejemplo, una reducción del 88.9%), esta irreversibilidad conduce a un colapso en el rendimiento de localización (grounding) (por ejemplo, una caída del IoU por debajo de 0.4), incluso cuando el rendimiento general de VQA se mantiene parcialmente.

2. Metodología: Reroute

El artículo propone Reroute, un complemento (plug-in) libre de entrenamiento que reemplaza la eliminación irreversible por un enrutamiento recuperable (recoverable routing).

Mecanismo Central

Reroute redefine la reducción de tokens visuales en el lado del decodificador como una secuencia de decisiones de enrutamiento por etapas en lugar de un único evento de poda.

1. Selección por Etapas: El decodificador se particiona en $S$ etapas. En cada capa de enrutamiento $\ell_i$, un evaluador (que reutiliza las puntuaciones de atención existentes de texto-a-visión) clasifica el conjunto de candidatos actual de tokens visuales.
2. Enrutamiento vs. Aplazamiento:
   • Tokens Seleccionados ($V_{sel}$): Una fracción de top-$r_i$ de los tokens se enruta a través del bloque completo del decodificador (Atención + FFN) para la etapa actual.
   • Tokens Aplazados ($V_{def}$): Los tokens restantes evitan (bypass) el cómputo de Attn+FFN de la etapa actual mediante una ruta residual. Crucialmente, no son eliminados.
3. Reentrada: En la siguiente capa de enrutamiento, el conjunto de candidatos se restaura para incluir todos los tokens aplazados ($C_{i+1} = V$). Los tokens aplazados son reevaluados frente al conjunto visual completo. Si su puntuación de atención mejora en capas más profundas, pueden ser reseleccionados y enrutados a través de bloques subsecuentes.

Eficiencia Teórica

• Presupuesto Igualado: Reroute preserva el presupuesto teórico de FLOPs y de KV-cache del método de poda que aumenta. Solo los tokens seleccionados ($V_{sel}$) consumen el cómputo pesado (Attn+FFN) en cada etapa.
• Sin Entrenamiento: El método reutiliza las puntuaciones de atención ya computadas por el decodificador para los métodos de poda originales. No se entrenan nuevos parámetros de enrutador.
• Relación con MoD: Se enmarca como una instanciación libre de entrenamiento de Mixture-of-Depth (MoD) para los tokens visuales de los VLMs, donde el "enrutador" es el mecanismo de atención preexistente.

3. Contribuciones Clave

1. Formulación de Enrutamiento Recuperable: Los autores reformulan la poda de tokens visuales como un enrutamiento por etapas con bypass de tokens aplazados. Esto convierte la poda convencional irreversible en un caso degenerado donde la reentrada está prohibida.
2. Mecanismo Plug-in: Reroute es un aumento de tipo "drop-in" que no requiere reentrenamiento, reutiliza las reglas de puntuación y los cronogramas existentes, y mantiene la clase de eficiencia teórica (TFLOPs y KV-cache) del método de poda subyacente.
3. Validación Empírica: El método se valida a través de tres backbones (LLaVA-1.5-7B, Qwen2.5-VL-7B, Qwen3.5-9B-Hybrid) y tres baselines de poda (FastV, PDrop, Nüwa).

4. Resultados Experimentales

El artículo evalúa Reroute en localización visual (serie RefCOCO) y en benchmarks generales de VQA.

• Localización Visual (RefCOCO):

  • Reducción Agresiva: Bajo una reducción de tokens del 88.9% (576 $\to$ 64 tokens), la poda estándar (por ejemplo, FastV) causa que la precisión de localización colapse (por ejemplo, IoU < 0.4). Reroute recupera significativamente este rendimiento.
  • Ganancias Cuantitativas: En LLaVA-1.5 (formato HuggingFace), PDrop+Reroute mejora el ratio de localización promedio del 22.2% al 34.0% con 64 tokens. En Qwen3.5-9B-Hybrid, PDrop+Reroute mejora el ratio del 19.3% al 37.4% con una reducción del 88.9%.
  • Transversalidad de Backbone: Las mejoras se transfieren efectivamente a los modelos de la familia Qwen, incluyendo arquitecturas híbridas (Mamba-Transformer).

• VQA General:

  • Reroute mantiene o mejora ligeramente el rendimiento de VQA general (GQA, MME, TextVQA) en comparación con los baselines de poda, lo que indica que el enrutamiento recuperable no sacrifica la capacidad multimodal general.

• Eficiencia:

  • Reroute logra reducciones de TFLOPs y KV-cache comparables a las de los baselines de poda (por ejemplo, ~80% de reducción en TFLOPs y ~86% en KV-cache con 64 tokens).
  • Existe un ligero overhead de TFLOPs debido al overhead de las etapas de enrutamiento adicionales en comparación con la poda de un solo paso, pero la clase teórica permanece igualada.

• Estudios de Ablación:

  • Frecuencia: Aumentar el número de etapas de reroute generalmente mejora el rendimiento hasta cierto punto, lo que sugiere que la reevaluación repetida es beneficiosa.
  • Ubicación: La colocación de las capas de enrutamiento importa; las capas del decodificador de temprano a medio son óptimas para las decisiones de reentrada.

5. Significado y Reivindicaciones

El artículo argumenta que la reducción de tokens visuales no debe verse únicamente como una poda irreversible, sino también como un enrutamiento recuperable.

• Cambio de Paradigma: La limitación de los métodos existentes no reside en el mecanismo de puntuación, sino en la acción de "eliminar". Al reemplazar la eliminación con el aplazamiento, el modelo puede adaptarse al cambio de importancia de los tokens visuales a través de la profundidad del decodificador.
• Sensibilidad de Localización: Los beneficios son más pronunciados en tareas de localización intensiva y bajo reducciones agresivas de tokens, donde el riesgo de descartar evidencia visual esencial es mayor.
• Alcance Modesto: Los autores reconocen que Reroute hereda las limitaciones de los enrutadores basados en puntuación de atención (una mala clasificación aún puede llevar a tokens inactivos) y que la latencia práctica depende de kernels de gather/scatter optimizados. También señalan que en arquitecturas híbridas (como Qwen3.5), el enrutamiento se aplica actualmente solo a los bloques de softmax-attention, dejando las interacciones con la dinámica de estado de la atención lineal para trabajos futuros.

En conclusión, Reroute demuestra que preservar la opción de recuperar la evidencia aplazada permite a los VLMs mantener una alta precisión de localización incluso cuando los presupuestos computacionales están severamente restringidos, sin requerir entrenamiento adicional ni aumentar sus costes teóricos de cómputo.