Resumen Técnico: Transferencia de Interpretabilidad de Lenguaje a Visión mediante Autoencoders Escasos

1. Declaración del Problema

La interpretabilidad de los Modelos Multimodales Grandes (LMM) sigue siendo un desafío significativo. Si bien los Autoencoders Escasos (SAE) han descompuesto con éxito características lingüísticas polisémicas en conceptos monosémicos e interpretables dentro de los Modelos de Lenguaje Grandes (LLM), aplicar este éxito al dominio visual se ve obstaculizado por dos limitaciones principales:

1. Ambigüedad en el Etiquetado: Entrenar SAE específicos del dominio en codificadores visuales produce características visuales monosémicas, pero etiquetar estas características es difícil. Distinguir si una característica representa un objeto específico, una raza o una acción es ambiguo. Además, los SAE solo visuales no revelan cómo se interpretan las características visuales una vez que entran en el flujo residual del LLM.
2. Costo Computacional: Ajustar finamente los SAE existentes basados en LLM para incorporar información visual es prohibitivamente costoso. Por ejemplo, adaptar un modelo como Gemma Scope requiere recursos computacionales masivos y esfuerzos extensos de reetiquetado (por ejemplo, cientos de miles de solicitudes al LLM) para dar cuenta de los espacios latentes desplazados.

La pregunta central abordada es: ¿Se pueden reutilizar los autoencoders escasos de lenguaje para interpretar conceptos visuales sin entrenar nuevos SAE específicos de visión?

2. Metodología: Marco VISTA

Los autores proponen VISTA (Interpretabilidad Visual mediante Alineación de Transferencia de SAE), un marco diseñado para transferir la interpretabilidad del lenguaje a la visión dentro de un modelo de lenguaje-visual estilo LLaVA. La innovación central consiste en restringir el proyector visual para que mapee los tokens visuales directamente al espacio de SAE textual preexistente y etiquetado del LLM.

Arquitectura y Objetivo de Entrenamiento

• Configuración: El marco utiliza un codificador visual congelado (por ejemplo, DINOv2, CLIP) y un LLM congelado. Un proyector lineal entrenable ($P_\theta$) mapea los tokens visuales ($v$) al espacio de incrustaciones del LLM ($e_v$).
• Función de Pérdida: A diferencia del entrenamiento estándar que minimiza solo la Entropía Cruzada ($L_{CE}$) en el texto objetivo, VISTA introduce una Pérdida de Reconstrucción de SAE ($L_{SAE}$) auxiliar.
  • Se utiliza un SAE preentrenado, entrenado en el flujo residual del LLM usando solo datos de texto, como restricción.
  • La pérdida minimiza el Error Cuadrático Medio entre los tokens visuales proyectados y su reconstrucción por el SAE de texto: $L_{SAE} = \frac{1}{|M|} \sum_{l \in M} ||SAE_l(e^l_v) - e^l_v||^2_2$.
  • El objetivo total es $L_{total} = L_{CE} + L_{SAE}$.
• Mecanismo: Esto obliga a que los tokens visuales se sitúen en la variedad definida por los SAE de texto. En consecuencia, las entradas visuales pueden interpretarse mediante conceptos lingüísticos de SAE preetiquetados con un costo computacional adicional insignificante, evitando la necesidad de entrenar SAE específicos de visión.

Dirección de Alta Frecuencia

Una vez alineados, la manipulación visual se convierte en una operación aritmética dentro de la variedad lingüística. El marco permite una dirección localizada añadiendo o restando direcciones de decodificador (conceptos) del SAE de texto a posiciones específicas de tokens visuales ($v_{source}$):

• Eliminación: $v_{steered} = v_{source} - \beta \cdot v_{remove}$
• Reemplazo: $v_{steered} = v_{source} + \alpha \cdot v_{add}$
  Esto permite la eliminación o el reemplazo de objetos específicos en la percepción del modelo mientras se preserva el contexto de la escena circundante.

3. Contribuciones Clave

1. Transferencia de Interpretabilidad: La introducción de un objetivo de entrenamiento que alinea los tokens visuales con las características de los SAE de LLM, facilitando la transferencia de interpretabilidad entre modalidades sin la carga computacional de entrenar o etiquetar SAE específicos de visión.
2. Análisis de Codificadores: Una comparación rigurosa de codificadores visuales habilitada por VISTA, revelando que DINOv2 logra una localización espacial superior y estable arquitectónicamente. A diferencia de los modelos contrastivos como CLIP, que priorizan resúmenes globales y sufren de confusión espacial, el objetivo auto-supervisado de local a global de DINOv2 preserva la información local de alta frecuencia requerida para la precisión a nivel de parche.
3. Validación Causal: Demostración de que las intervenciones aritméticas en tokens visuales utilizando direcciones de SAE de texto producen cambios coherentes y localizados en la salida del modelo. Esto proporciona evidencia causal de que los tokens visuales habitan la variedad del SAE de texto.

4. Resultados y Hallazgos

Alineación y Tasa de Coincidencia

• Tasa de Coincidencia: Las restricciones de VISTA conducen a un aumento de tres veces en la tasa de coincidencia (la precisión con la que los conceptos textuales activados corresponden a elementos semánticos en la imagen) en comparación con las líneas base sin restricciones.
• Alineación Retrasada: El artículo desafía la noción de "alineación retrasada" (donde los tokens visuales se alinean naturalmente con características de texto solo en capas más profundas). Si bien este fenómeno se observó en modelos Gemma sin restricciones, no ocurre universalmente (por ejemplo, en LLaMA-3.1-8B). Las restricciones de VISTA fuerzan una alineación inmediata en todas las arquitecturas y capas.
• Reconstrucción y Escasez: Con restricciones de SAE, los tokens visuales logran una convergencia inmediata en el error de reconstrucción y la escasez, coincidiendo con la distribución de los tokens de texto desde la primera capa, mientras que los tokens sin restricciones a menudo permanecen densos y de alto error a lo largo de la red.

Localización Espacial

• DINOv2 vs. CLIP: DINOv2 demuestra una Precisión de Localización Espacial (SLA) de 0.927 (con Gemma-2-2B), superando significativamente a CLIP (0.201) e I-JEPA (0.702).
• Limitaciones de CLIP: Las activaciones de CLIP exhiben confusión espacial, a menudo activando conceptos lejos del objeto relevante, lo que hace que la dirección de alta frecuencia sea inestable.
• Robustez: DINOv2 mantiene una alta precisión de localización en diferentes núcleos de LLM (Gemma-2-2B, Gemma-2-9B, LLaMA-3.1-8B), mientras que el rendimiento de CLIP varía significativamente y permanece más bajo.

Rendimiento de Dirección

• Ganancias Cuantitativas: Aprovechando la precisión de DINOv2, VISTA logra una mejora del 35% en tareas de eliminación de objetos y una mejora del 47% en tareas de reemplazo de objetos sobre las mejores líneas base solo visuales (VisionSAE y PatchSAE).
• Resultados Cualitativos: La dirección con DINOv2 permite modificaciones precisas (por ejemplo, cambiar un "perro corriendo" por un "gato corriendo" o eliminar un gato de un sofá) mientras se preserva el contexto global de la escena. En contraste, la dirección basada en CLIP a menudo resulta en alucinaciones o alteraciones del contexto global.
• Evidencia Causal: Las comparaciones controladas confirman que VISTA modifica la percepción del modelo de parches visuales específicos en lugar de secuestrar la vía de generación de lenguaje. La dirección solo de texto o la dirección de indicaciones falla en preservar la coherencia de la escena.

Impacto en el Rendimiento

• Modelos Pequeños: En modelos más pequeños (por ejemplo, Gemma-2-2B), las restricciones de SAE inducen una regresión marginal en la precisión en algunos puntos de referencia, probablemente debido a una capacidad representacional limitada.
• Modelos Grandes: En arquitecturas más grandes (por ejemplo, LLaMA-3.1-8B), las restricciones de SAE actúan como un regularizador beneficioso, mejorando el rendimiento en la mayoría de los puntos de referencia.
• Robustez OOD: La alineación de VISTA se generaliza a datos fuera de distribución (OOD) (DomainNet), manteniendo tasas consistentes de reconstrucción, escasez y coincidencia, lo que indica que la alineación es una propiedad estructural y no un artefacto del conjunto de entrenamiento.

5. Significado y Reclamaciones

El artículo afirma que la interpretabilidad es una propiedad transferible entre modalidades. Al imponer restricciones de SAE durante la alineación de codificadores de visión con LLM, VISTA mapea los tokens visuales en un espacio de características lingüísticas preexistente y etiquetado. Esto elimina la necesidad de los costos computacionales y de etiquetado asociados con el entrenamiento de SAE específicos de visión.

Los autores enfatizan que el éxito de la interpretabilidad localizada y la dirección está intrínsecamente ligado a la fidelidad espacial del núcleo de visión. Demuestran que el objetivo local de DINOv2 proporciona la precisión necesaria para esta transferencia, superando significativamente a modelos contrastivos como CLIP. Este paradigma de "transferencia de interpretabilidad" ofrece un camino escalable para comprender y controlar sistemas multimodales complejos, permitiendo intervenciones causales de alta frecuencia y análisis de circuitos de características sin los costos prohibitivos de reentrenar modelos fundamentales.

El trabajo se valida en múltiples arquitecturas de LLM (Gemma, LLaMA) y codificadores visuales (CLIP, DINOv2, I-JEPA), con código disponible para apoyar investigaciones adicionales sobre interpretabilidad mecánica en sistemas multimodales.