Resumen Técnico: Nüwa: Reparando la Integridad Espacial Desgarrada por la Poda de Tokens en VLM

1. Planteamiento del Problema

Los Modelos de Lenguaje-Visión (VLM) generan una cantidad sustancial de tokens visuales durante la inferencia, lo que conlleva una alta carga computacional y una reducción del rendimiento (throughput). Aunque la poda de tokens (token pruning) ha surgido como una técnica de aceleración efectiva, los métodos existentes exhiben una limitación crítica: funcionan bien en tareas de Pregunta-Respuesta Visual (VQA), pero sufren una degradación significativa de rendimiento en tareas de Localización Visual (Visual Grounding - VG).

Los autores identifican que las estrategias de poda actuales, que dependen de la similitud semántica global o de las puntuaciones de atención, rompen el marco de referencia espacial global. Este marco de referencia, derivado de la información posicional de los tokens, es esencial para el razonamiento espacial y la localización de objetos. Cuando los métodos de poda comprimen o descartan tokens sin preservar esta topología espacial, el modelo pierde la capacidad de localizar objetos con precisión dentro de una imagen, incluso si retiene la capacidad de responder preguntas generales sobre el contenido de la misma.

2. Metodología: El Marco de Trabajo Nüwa

Para abordar la pérdida de integridad espacial, los autores proponen Nüwa, un marco de poda de dos etapas que es consciente del espacio (spatial-aware). El enfoque está diseñado para retener anclajes espaciales globales mientras se agrega la información redundante, seguido de un refinamiento guiado por texto.

Etapa 1: Poda de Cohesión Espacial (Codificador de Visión)

Operando inmediatamente después del codificador de visión, esta etapa reduce la secuencia inicial de $N^2$ tokens visuales en una secuencia densa y preservadora del espacio mediante tres operaciones inspiradas en la inteligencia de enjambre (específicamente en los algoritmos Boids):

1. Separación: La cuadrícula de tokens de entrada se particiona en regiones locales no superpuestas ($M \times M$). Esto asegura que la selección y agregación posteriores ocurran a nivel regional, manteniendo un sistema de coordenadas globales completo.
2. Alineación (Identificación de Saliencia): Dentro de cada región, se seleccionan tokens "de referencia" (benchmark) representativos como centros de agregación. Los criterios de selección combinan:
   • Atención Global: Puntuaciones del token [CLS].
   • Capacidad de Información: La norma L2 del vector de clave del token ($\|k_i\|^2$).
   • Razón: Los tokens con norma alta suelen actuar como "registros" (anclajes agnósticos a la tarea) en los Vision Transformers. El método identifica los tokens con las puntuaciones de saliencia más altas para formar el conjunto de Tokens de Referencia ($T_B$).
3. Agregación (Proximidad Espacial): Las características de los tokens vecinos se fusionan en el conjunto de referencia.
   • Asignación de Rol: Los tokens en $T_B$ se clasifican como Tokens Pilares (alta norma L2, cuartil superior) o Tokens Colectores. Los tokens pilares retienen sus características originales para evitar el desplazamiento de las distribuciones de características, mientras que los tokens colectores agregan características de sus vecinos.
   • Agregación Ponderada: Se construye una matriz de pesos utilizando tanto la Similitud Semántica (solo correlación positiva) como la Proximidad Espacial (distancia euclidiana dentro de un umbral). Esto asegura que la agregación ocurra localmente, preservando las representaciones centradas en objetos y evitando la fusión de tokens espacialmente distantes.

Etapa 2: Poda Modulada por Texto (LLM)

Tras la alineación de características multimodales, los tokens visuales agregados se introducen en el Modelo de Lenguaje Grande (LLM). En las capas intermedias del LLM, ocurre una segunda etapa de poda:

• Se deriva un vector de consulta textual holístico promediando las incrustaciones (embeddings) de los tokens de texto.
• Los tokens visuales se puntúan basándose en su similitud de coseno con este vector de consulta en el espacio de incrustación compartido.
• Solo se retienen los $K$ tokens visuales más relevantes para el razonamiento posterior y la generación de la respuesta. Esto asegura que el conjunto final de tokens sea tanto espacialmente coherente (de la Etapa 1) como relevante para la tarea (de la Etapa 2).

3. Contribuciones Clave

El artículo realiza tres contribuciones principales:

1. Análisis de Tareas Específicas de los Pipelines de VLM: Los autores analizan sistemáticamente los procesos de procesamiento de los VLM, revelando que estos operan a través de un pipeline de múltiples etapas que progresa desde la integración semántica global hacia un enfoque centrado en objetos finos. Demuestran que las tareas de localización dependen fuertmente de la preservación del Marco de Referencia Espacial Global durante las etapas medias del procesamiento, un requisito que suele pasarse por alto por los métodos de poda existentes.
2. El Marco de Trabajo Nüwa: Introducen un marco de poda de dos etapas que:
   • Preserva la topología espacial mediante la separación por regiones y la agregación adaptativa.
   • Mantiene anclajes espaciales globales distinguiendo entre tokens "Pilares" y "Colectores".
   • Aprovecha la semántica textual en el LLM para una poda de grano fino orientada a la tarea.
3. Validación de Rendimiento: Experimentos extensos en 13 conjuntos de datos y múltiples VLM (LLaVA-1.5, LLaVA-NeXT, Qwen2.5-VL) demuestran que Nüwa establece nuevos resultados de Estado del Arte (SOTA). Logra una retención del 95% del rendimiento en benchmarks de VQA y una retención del 47.2% en benchmarks de Localización Visual (bajo una reducción de tokens del 88.9%), superando significativamente a los métodos previos que a menudo caen a porcentajes de un solo dígito en tareas de VG.

4. Resultados Experimentales

• Rendimiento de VQA: Nüwa alcanza el rendimiento SOTA en 10 benchmarks de VQA (ej. GQA, MMB, MME), reteniendo entre el 94% y el 95% del rendimiento del modelo original con una reducción de tokens de hasta el 88.9%.
• Rendimiento de Localización Visual (Grounding): En los benchmarks de la serie RefCOCO, Nüwa ofrece mejoras sustanciales respecto a los métodos existentes. Por ejemplo, bajo una configuración que retiene solo 64 tokens (reducción del 88.9%), Nüwa logra el 47.2% del rendimiento original, mientras que métodos como VisionZip y SparseVLM caen al 7.28% y 1.88% respectivamente.
• Eficiencia: El método reduce los TFLOPs en un 89% y el tiempo de prellenado (prefill) en un 62%. La sobrecarga computacional introducida por las métricas de poda es insignificante (solo un aumento de ~1ms en el tiempo de prellenado comparado con las líneas base SOTA).
• Estudios de Ablación: Los experimentos confirman que la partición por regiones es crítica para las tareas de localización (permitiendo una estrategia de Extensión de Mapeo de Posición Relativa), mientras que el criterio de norma L2 mejora la selección de tokens en todas las tareas.

5. Significado y Reivindicaciones

El artículo sostiene que la degradación de los VLM en las tareas de localización es impulsada principalmente por la pérdida del Marco de Referencia Espacial Global durante la poda de tokens. Al reconstruir esta integridad espacial mediante un proceso de dos etapas que combina la agregación espacial inspirada en enjambres con el refinamiento guiado por texto, Nüwa efectivamente "repara" la integridad espacial desgarrada.

Los autores enfatizan que su enfoque no requiere reentrenamiento (no requiere entrenamiento) y es compatible con las arquitecturas de VLM existentes y las optimizaciones de hardware (ej. FlashAttention). El trabajo destaca que la inferencia eficiente de los VLM debe tener en cuenta los requisitos específicos de la tarea, particularmente la necesidad de coherencia espacial en las tareas de localización, en lugar de depender únicamente de la reducción de la redundancia semántica.