Resumen Técnico: Escuchar hace que la Visión sea Clara para los VLMs

Declaración del Problema

Los Modelos de Lenguaje y Visión (VLMs) requieren un alineamiento semántico fiable entre el texto y la visión para asegurar que las predicciones estén fundamentadas en las regiones visuales correctas en lugar de en sesgos lingüísticos (language priors). Los enfoques existentes suelen evaluar este alineamiento analizando las distribuciones de atención de los tokens del lado de la respuesta (tokens generados durante el proceso de decodificación).

Sin embargo, los autores observen que depender de los tokens del lado de la respuesta a menudo conduce al desalineamiento. Específicamente:

1. Deriva de Decodificación (Decoding Drift): A medida que el modelo genera respuestas de forma autorregresiva, los sesgos lingüísticos de los tokens previamente generados se acumulan en el contexto. Esto causa que el mecanismo de atención derive, donde las regiones de mayor atención ya no corresponden al token semántico pretendido (por ejemplo, atender al ala de un pato en lugar de su cuello cuando se consulta por "cuello de pato").
2. Sesgo Estructural: Los tokens estructurales, como los marcadores de frontera de modalidad (por ejemplo, <vision start>, <vision end>), suelen abarcar todo el contexto y generan una alta atención hacia áreas no relacionadas con el segmento semántico objetivo, introduciendo ruido sistemático.

Estos problemas resultan en mapas de atención que no logran reflejar con precisión la verdadera evidencia visual que sustenta un token específico, socavando la fiabilidad de la interpretabilidad y las evaluaciones de fundamentación (grounding).

Metodología: PV-TAM

Para abordar estas distorsiones, los autores proponen el Mapa de Activación de Token de Prompt-Visión (PV-TAM), un marco que desplaza la perspectiva desde la generación dinámica del lado de la respuesta hacia la semántica fija del lado del prompt.

Componentes Principales

1. Extracción del Lado del Prompt:
   En lugar de analizar los tokens de la respuesta generada, PV-TAM extrae los mapas de activación de token-a-visión directamente de los tokens del prompt (la consulta de entrada). Dado que los tokens del prompt son entradas fijas y no sufren la acumulación del contexto autorregresivo, proporcionan una base más estable para la fundamentación de token-a-visión.

2. Eliminación de Ruido de Tokens Estructurales:
   El marco identifica que los tokens estructurales especiales (delimitadores) introducen un sesgo espacial. Para mitigarlo, PV-TAM emplea un Filtro de Eliminación de Ruido (Denoising Filter):

   • Extrae los mapas de activación del token objetivo ($A^t$) y de sus dos tokens estructurales adyacentes ($A^{s_1}, A^{s_2}$).
   • Estima el sesgo estructural como la media de los mapas de los tokens estructurales adyacentes.
   • Resta este sesgo del mapa objetivo: $D_t = A^t - \frac{1}{2}(A^{s_1} + A^{s_2})$.
   • Se aplica una truncación ReLU para retener solo la evidencia positiva.
   • Justificación Teórica: Bajo los supuestos de descomposición aditiva y desviaciones de frontera no sesgadas, este proceso produce un mapa imparcial que representa la señal semántica del objetivo más un ruido residual de media cero.

3. Refinamiento Guiado por el Primer Plano (Opcional):
   Para reducir aún más la interferencia de regiones de fondo prominentes pero irrelevantes, el método aplica opcionalmente una máscara de probabilidad de primer plano (generada por un modelo de eliminación de fondo comercial como rembg) mediante multiplicación elemento a elemento.

Métricas de Evaluación

A diferencia de las métricas tradicionales de tipo IoU que dependen únicamente del solapamiento de máscaras binarizadas, PV-MTA introduce métricas que aprovechan la distribución de los picos de atención y la intensidad de la activación:

• Ratio Objetivo-Global (TGR): Mide la proporción de la energía de activación total que cae dentro de la región objetivo.
• Ratio Objetivo-Dominante (TDR): Mide la proporción de la energía de activación en la región objetivo en relación con la región de primer plano dominante (aislando el enfoque del objetivo del ruido de fondo).
• Distancia Mínima (Min-Dist): Calcula la distancia geométrica entre los picos de atención salientes y el centro de la región objetivo de la verdad de campo (ground-truth).

Contribuciones Clave

1. Mapa de Activación de Token de Prompt-Visión (PV-TAM): Un nuevo marco que utiliza tokens del lado del prompt para extraer mapas de activación, evitando eficazmente la deriva de decodificación y el entrelazamiento contextual inherentes a la generación del lado de la respuesta.
2. Eliminación de Ruido de Tokens Estructurales: Un método para identificar y restar el sesgo espacial sistemático introducido por los marcadores de frontera de modalidad, resultando en un mapa de activación "limpio" que refleja mejor la alineación semántica pura.
3. Evaluación Orientada al Alineamiento: El diseño de las métricas TGR y TDR, que cuantifican la precisión de la localización analizando la distribución e intensidad de la atención en lugar de solo el solapamiento binario de la máscara, proporcionando una medida más sensible de los modos de fallo de alineamiento.

Resultados Experimentales

Los autores evaluaron PV-TAM en PartImageNet (segmentación de partes finas) y RefCOCO (comprensión de expresiones de referencia) utilizando múltiples backbones de VLM, incluyendo Qwen2-VL, Qwen2.5-VL e InternVL.

• Rendimiento: PV-TAM superó consistentemente a las líneas base del estado del arte (incluyendo TAM, Grad-CAM, CP-LRP y Attention Rollout) en las métricas TGR, TDR y Min-Dist.
• Prompt vs. Respuesta: En estudios controlados donde se probó el mismo modelo con extracción tanto del lado del prompt como del lado de la respuesta, el enfoque del lado del prompt produjo consistentemente un alineamiento superior, confirmando que los tokens del lado de la respuesta son propensos a la deriva.
• Generalización: El método demostró un rendimiento robusto a través de diferentes escalas de modelos (desde 1B hasta 7B parámetros) y arquitecturas.
• Ablación: Eliminar ya sea la estrategia del lado del prompt o el filtro de eliminación de ruido resultó en caídas significativas de rendimiento, validando la necesidad de ambos componentes.

Significado y Reivindicaciones

El artículo afirma que escuchar al prompt (analizar los tokens de entrada fijos) hace que la visión sea más clara para los VLMs al evitar el ruido introducido durante la generación autorregresiva.

• Utilidad Diagnóstica: PV-TAM sirve como una herramienta diagnóstica práctica para analizar el alineamiento semántico en los VLMs sin depender de los resultados generados.
• Alineamiento Emergente: Los resultados sugieren que el alineamiento palabra-región de grano fino puede emerger naturalmente como un subproducto del proceso de generación de seguimiento de prompts, incluso sin pérdidas de alineamiento explícitas a nivel de token durante el entrenamiento.
• Aplicaciones Futuras: Los autores proponen que estas explicaciones del lado del prompt podrían servir como señales de fundamentación ligeras para la destilación de conocimiento (proporcionando máscaras pseudo-suaves para modelos más pequeños) y como base para una regularización consciente del alineamiento durante el entrenamiento para mejorar las capacidades de lenguaje y visión.

El trabajo enfatiza que, si bien el alineamiento de la atención no garantiza una explicación causal, ofrece una perspectiva más estable y precisa para evaluar y mejorar las capacidades de fundamentación de los grandes VLMs.