Logit Lens Supervision for Patch-Level Explanations in Vision-Language Models

Resumen Técnico: Supervisión de Logit Lens para Explicaciones a Nivel de Parche en Modelos de Visión-Lenguaje

Planteamiento del Problema
Los modelos modernos de Visión-Lenguaje (VLM) autorregresivos, como LLaVA y Qwen-VL, combinan codificadores visuales con Grandes Modelos de Lenguaje (LLM) para generar texto fluido. Sin embargo, a medida que los tokens visuales se propagan a través de las capas de atención del LLM, experimentan una transformación y mezcla significativa con los tokens de lenguaje. Los autores argumentan que esta "mezcla de modalidades no controlada" provoca que las incrustaciones (embeddings) visuales pierdan su correspondencia directa con las regiones de la imagen (parches) específicas de las que se originaron. En consecuencia, la conexión entre un token visual y el contenido semántico de su parche de origen se diluye. Esto conduce a dos problemas principales:

1. Explicabilidad Débil a Nivel de Parche: Las visualizaciones estándar de Logit Lens (que proyectan las incrustaciones al vocabulario de probabilidades) a menudo no producen mapas de confianza nítidos y localizados, particularmente en los VLM más nuevos como Qwen2.5-VL.
2. Alucinación y Degradación del Anclaje (Grounding): Los tokens visuales pueden ser efectivamente ignorados o su información puede transferirse por completo a los tokens de lenguaje, permitiendo que los modelos alucinen descripciones de objetos incluso cuando la evidencia visual correspondiente ha sido removida o está ausente.

Metodología: Pérdida de Logit Lens (LLL)
Para abordar el desacoplamiento de los tokens visuales de sus regiones de imagen de origen, los autores proponen la Pérdida de Logit Lens (LLL), un objetivo auxiliar ligero aplicado durante el ajuste fino (fine-tuning).

• Concepto Central: El método aprovecha la técnica de Logit Lens, que proyecta las incrustaciones de las capas intermedias ($h_l$) a través de la matriz de desembebida (unembedding matrix, $U_\theta$) del LLM para generar una distribución de probabilidad sobre el vocabulario.
• Mecanismo: A diferencia de la pérdida estándar de Predicción del Siguiente Token (NTP), que solo supervisa la generación de tokens de texto, LLL supervisa directamente los tokens visuales.
  • Para los tokens visuales ($s$) que corresponden a parches de imagen dentro de un cuadro delimitador (bounding box) de un objeto objetivo (conjunto $\mathcal{P}'$), la pérdida maximiza la probabilidad del token de vocabulario que describe ese objeto (por ejemplo, <cat>).
  • Para los tokens visuales fuera de la región del objeto (conjunto $\mathcal{P} \setminus \mathcal{P}'$), la pérdida minimiza la probabilidad de ese token de vocabulario específico.
• Formulación: La pérdida total se define como $L_{total} = L_{NTP} + \lambda L_{LLL}$, donde $\lambda$ se establece empíricamente en 0.5. El término LLL es una pérdida de entropía cruzada aplicada a la distribución del vocabulario derivada de las incrustaciones de los tokens visuales en la capa final del LLM.
• Distinción Clave: El enfoque requiere ninguna modificación arquitectónica (sin decodificadores de máscara, cabezales de localización o módulos de predicción de cuadros delimitadores). Se basa únicamente en las incrustaciones existentes de los tokens visuales y el cabezal de proyección del vocabulario. La señal de supervisión se deriva directamente de las anotaciones de cuadros delimitadores para identificar qué parches corresponden al concepto objetivo, pero el modelo no se entrena para emitir coordenadas; más bien, se entrena para alinear la representación interna del parche con el concepto semántico.

Contribuciones Clave

1. Nueva Pérdida de Anclaje Visual: Introducción de LLL, que restringe explícitamente las incrustaciones de los tokens visuales para que permanezcan semánticamente alineadas con los conceptos lingüísticos que describen sus regiones de imagen a medida que pasan por las capas del LLM.
2. Localización Intrínseca: A diferencia de trabajos previos que predicen cuadros delimitadores o máscaras como salidas externas, LLL incorpora la conciencia de localización directamente en las incrustaciones profundas de los tokens visuales. Esto crea un vínculo intrínseco entre los parches visuales y los conceptos textuales sin modificar la arquitectura del modelo.
3. Mejora de la Explicabilidad: El método mejora significamente la calidad de los mapas de confianza de objetos de Logit Lens. Los modelos ajustados con LLL producen mapas más nítidos y localizados que reflejan con precisión qué parches de la imagen asocia el modelo con conceptos textuales específicos.
4. Señal de Gradiente Directa: Los autores demuestran que LLL proporciona una señal de gradiente directa a los tokens visuales, mientras que la señal de la NTP estándar debe propagarse a través de las capas de atención, lo que a menudo resulta en una señal débil para los tokens visuales.

Resultados Experimentales
Los autores evaluaron LLL en LLaVA-v1.5-7B y Qwen2.5-VL-7B a través de varias métricas:

• Segmentación de Expresión Referencial (RES): Utilizando mapas de Logit Lens para generar máscaras de segmentación (mediante umbralización o mediante el uso de un SAM congelado), los modelos ajustados con LLL mostraron mejoras significativas en las puntuaciones cIoU sobre los modelos base y los que solo usaban NTP. Con el post-procesamiento de SAM, Qwen2.5-VL+LLL alcanzó un rendimiento comparable a los modelos especializados en grounding de última generación (SOTA).
• Alucinación de Objetos (POPE): En el benchmark POPE, LLL redujo las alucinaciones de objetos, aumentando la precisión de "Sí/No". Notablemente, los modelos ajustados únicamente en RefCOCO (datos de localización) y evaluados en POPE mostraron una mejora en la precisión con LLL, mientras que el ajuste fino solo con NTP degradó el rendimiento en comparación con el modelo base.
• Apuntamiento Zero-Shot: Los modelos ajustados con LLL en RefCOCO demostraron una fuerte transferencia al conjunto de datos PixMo-Points (categorías de objetos no vistos), logrando errores de localización medianos más bajos que varios baselines propietarios y modelos específicos de la tarea entrenados con supervisión de coordenadas explícita.
• Preguntas y Respuestas Visuales (VQA): LLL preservó o mejoró ligeramente el rendimiento en los benchmarks VQAv2 y GQA, indicando que mejorar el anclaje visual no compromete las capacidades de generación de lenguaje del modelo.
• Visualización: Los resultados cualitativos (Fig. 2) mostraron cómo LLL transforma señales de Logit Lens dispersas y confusas en mapas de confianza nítidos y alineados con los objetos.

Significado y Reivindicaciones
El artículo afirma que LLL ofrece un mecanismo simple y efectivo para preservar la "localidad" de la información visual dentro de los VLM autorregresivos sin la complejidad de añadir nuevos componentes arquitectónicos. Al anclar las incrustaciones visuales directamente en el espacio del vocabulario, el método hace que los modelos fundacionales sean más interpretables (a través de mapas de Logit Lens fieles) y más robustos contra las alucinaciones. Los autores enfatizan que LLL no pretende enseñar nuevos conceptos, sino evitar la degradación de la comprensión localizada existente de la imagen durante el proceso de modelado de lenguaje. Los resultados sugieren que un mejor anclaje interno es alcanzable mediante la supervisión auxiliar que alinea los tokens visuales con sus descripciones semánticas, lo que conduce a modelos que son tanto más efectivos como más explicables.