Extraction and Analysis of Multimodal Concepts in Vision Language Models through Sparse Autoencoders

Resumen Técnico: Extracción y Análisis de Conceptos Multimodales en VLMs mediante Autoencoders Dispersos

Planteamiento del Problema
Los Modelos de Lenguaje-Visión (VLMs) han logrado un rendimiento significativo en tareas conjuntas de imagen-texto como la Respuesta de Preguntas Visuales (VQA) y el subtitulado de imágenes. Sin embargo, comprender sus mecanismos computacionales internos sigue siendo un desafío crítico. Aunque los Autoencoders Dispersos (SAEs) han surgido como una herramienta prometedora para la Interpretabilidad Mecanística (MI) para extraer conceptos comprensibles para los humanos de las activaciones del modelo, los enfoques existentes sufren dos limitaciones primarias cuando se aplican a los VLMs:

1. Aislamiento de Modalidad: La mayoría de los trabajos basados en SAE se centran exclusivamente en conceptos textuales o visuales de forma aislada, ignorando los conceptos multimodales (conceptos integrados en la base tanto de la imagen como del texto). Esto conduce a una posible clasificación errónea de las neuronas que codifican información integrada.
2. Descripciones Visuales de Baja Calidad: Los métodos previos de extracción de conceptos visuales a menudo producen descripciones vagas o incompletas. Además, las técnicas que dependen del enmascaramiento de parches de imagen para aislar las activaciones de las neuronas eliminan demasiada información contextual, degradando la precisión de los conceptos extraídos.

Metodología
Los autores proponen un marco unificado basado en SAEs para extraer y analizar conceptos visuales, textuales y multimodales. La metodología procede de la siguiente manera:

1. Integración de SAE y Registro de Activación:

   • Un SAE preentrenado se integra en un VLM (específicamente LLaVA-NeXT-8B).
   • El SAE proyecta las incrustaciones (embeddings) de alta dimensión en un espacio latente disperso ($\omega$) utilizando una función de activación Top-K para imponer dispersión y fomentar neuronas monosemánticas.
   • Para cada muestra de VQA (imagen + par pregunta-respuesta), el sistema registra tensores de activación separados para los parches visuales ($V$) y los tokens textuales ($T$).

2. Extracción de Hipótesis de Conceptos Multimodales:

   • Para una neurona SAE objetivo, el sistema selecciona las 5 muestras superiores que maximizan la activación promedio para esa neurona tanto en las modalidades visual como textual.
   • Extracción Visual: Un VLM externo (LLaVA-72B) actúa como "explicador". Recibe los parches de imagen con mayor activación (con los parches no activantes difuminados, en lugar de enmascarados con negro, para preservar el contexto) junto con la pregunta y respuesta de VQA correspondiente. Esta entrada visual aumentada con texto mejora la comprensión del explicador.
   • Extracción Textual: El explicador recibe los tokens textuales específicos que activaron la neurona (resaltados entre corchetes) junto con la imagen original sin modificar. Esto refleja el proceso visual, proporcionando una base multimodal para el texto.
   • El explicador genera una hipótesis de concepto candidata interpretable por humanos para cada modalidad.

3. Evaluación y Clasificación:

   • Alineación Hipótesis-Datos: Para validar las hipótesis, el marco utiliza modelos CLIP (ViT-B/32) y ALIGN para calcular la similitud de coseno entre las descripciones de conceptos generadas y los datos que las activaron. Una hipótesis se considera validada si clasifica altamente (top-$n$) frente a sus datos generadores.
   • Asignación de Neuronas Multimodales: Para las neuronas con tanto una hipótesis visual ($h_{vis}$) como una textual ($h_{text}$), el marco calcula la similitud semántica entre las dos hipótesis utilizando codificadores de texto. Si la similitud supera un umbral $\tau$ (establecido en 0.8), la neurona se clasifica como multimodal. De lo contrario, se asigna a la modalidad con la puntuación de alineación hipótesis-datos más alta.
   • Evaluación Basada en Categorías: Las hipótesis visuales también se mapean a categorías visuales específicas (por ejemplo, escena, objeto, parte) para compararlas con las líneas de base.

Contribuciones Clave
El artículo presenta dos contribuciones primarias:

1. Extracción Integrada de Conceptos Multimodales: El marco extiende el análisis de SAE a un entorno unificado, extrayendo y distinguiendo con éxito conceptos visuales, textuales y multimodales. Aborda la brecha en los estudios sistemáticos de conceptos multimodales en los VLMs.
2. Mejora de la Calidad del Concepto Visual: Al introducir una nueva técnica de extracción que incluye texto complementario (pares Q&A) durante la generación de la hipótesis visual y reemplazar el enmascaramiento negro por el difuminado, el método produce conceptos visuales más precisos y semánticamente fundamentados.

Resultos Experimentales
Los experimentos se realizaron en el conjunto de datos LLaVA-NeXT (utilizando las primeras 5,000 neuronas del SAE) y se compararon contra un método de línea de base (Zhang et al. [21]).

• Calidad del Concepto Visual: El marco propuesto superó significativamente a la línea de base. Logró una mejora promedio del 41% en las puntuaciones CLIP y del 45% en las puntuaciones ALIGN para la alineación de conceptos visuales a través de varios umbrales.
• Identificación Multimodal: El marco identificó con éxito 132 conceptos multimodales de 249 neuronas analizadas (en $\tau=0.8$), mientras que la línea de base no identificó sistemáticamente conceptos multimodales.
• Calidad Textual: La calidad de los conceptos textuales se mantuvo alta, con puntuaciones de interpretabilidad (detección y difuminado/fuzzing) comparables con otros trabajos de análisis de SAE únicamente textuales (por ejemplo, usando Llama-3.1-8b).
• Intervención Cualitativa: Los experimentos de intervención demostraron que forzar activaciones de neuronas específicas (visuales, textuales o multimodales) influyó en la generación de texto. Notablemente, los conceptos multimodales parecieron tener un impacto más pronunciado en la producción de la salida que los conceptos unimodales, especialmente cuando hay una imagen presente en el prompt.

Significado y Reivindicaciones
Los autores afirman que este trabajo proporciona nuevas perspectivas sobre el espacio conceptual de los VLMs al demostrar que los SAE codifican conceptos textuales y visuales condensados en un espacio latente compartido. El marco ofrece un enfoque estructurado para distinguir entre conceptos unimodales y multimodales, lo cual es esencial para entender cómo los VLMs alinean y procesan entradas a través de las modalidades.

El artículo concluye que su enfoque permite una comprensión más completa del razonamiento de los VLMs al mejorar la calidad de los conceptos visuales extraídos e identificar sistemáticamente las neuronas multimodales. Los autores señalan que, si bien sus hallazgos revelan una correlación entre la alteración del concepto y la salida de texto, no establecen una relación causal. Posicionan este trabajo como un paso hacia la integración escalable de SAE y el control guiado por conceptos en sistemas de razonamiento multimodal, sin pretender un despliegue inmediato en sistemas de producción o aplicaciones más amplias más allá del alcance de la investigación de interpretabilidad.