LatentLens: Revealing Highly Interpretable Visual Tokens in LLMs

Este trabajo presenta LatentLens, un método novedoso que demuestra que la mayoría de los tokens visuales en los Modelos de Lenguaje y Visión (VLM) son altamente interpretables en todas sus capas, superando significativamente a técnicas anteriores como LogitLens al revelar representaciones semánticas detalladas mediante la comparación con un corpus textual contextualizado.

Lo esencial

¡Claro que sí! Imagina que tienes un genio de la lámpara (un modelo de lenguaje o LLM) que ha pasado toda su vida leyendo libros, escribiendo poemas y conversando con humanos. Este genio es increíblemente inteligente con las palabras, pero nunca ha visto una foto, un paisaje o un gato.

Ahora, queremos enseñarle a ver. Para hacerlo, le ponemos unas "gafas" especiales (un encoder de visión) que convierten las imágenes en una serie de números (tokens visuales) y se los pasa al genio para que los entienda.

El gran misterio de la ciencia era: ¿Qué le están diciendo esos números al genio? ¿Le están hablando en un idioma que él entiende o es solo ruido?

Aquí es donde entra LATENTLENS, la nueva herramienta de este paper. Vamos a explicarlo con una analogía sencilla:

1. El Problema: El "Diccionario" Roto

Antes de LATENTLENS, los científicos intentaban descifrar lo que veía el genio usando dos métodos tradicionales:

• El Método del Diccionario (EmbeddingLens): Miraban el número de la imagen y buscaban en el diccionario del genio la palabra que más se le parecía.
• El Método de la Adivinanza (LogitLens): Le preguntaban al genio: "¿Qué palabra crees que viene después de este número?".

El resultado: Estos métodos fallaban estrepitosamente. Era como si le mostraras al genio una foto de una torre de relojes y él, al consultar su diccionario, te respondiera con palabras como "punto", "coma" o "sopa". Los científicos pensaban: "Bueno, el genio no entiende las imágenes, solo ve ruido".

2. La Solución: LATENTLENS (La Lente Mágica)

Los autores de este paper se dieron cuenta de que estaban buscando en el lugar equivocado.

Imagina que el genio tiene una memoria gigante llena de millones de oraciones completas que ha leído (un corpus de texto).

• La idea brillante de LATENTLENS: En lugar de buscar una sola palabra en el diccionario, toman el número de la imagen y lo comparan con frases completas que el genio ha procesado antes.
• La analogía: Es como si le mostraras al genio una foto de una torre y le dijeras: "Oye, ¿te suena esto a alguna frase que hayas leído?".
  • El genio mira su memoria y dice: *"¡Sí! Esto se parece mucho a la frase: 'Una torre de piedra con relojes dorados'"*.

¡Y funciona! LATENTLENS descubre que el genio sí entiende las imágenes, pero no como palabras sueltas, sino como conceptos completos y contextuales.

3. Los Descubrimientos Sorprendentes

Con esta nueva lente, encontraron cosas que nadie se esperaba:

• Todo el mundo entiende: Antes pensaban que solo las capas finales del genio entendían las imágenes. ¡Falso! Con LATENTLENS, descubrieron que desde el primer momento (incluso cuando la imagen acaba de entrar), el genio ya tiene una idea clara de lo que ve. Es como si el genio tuviera una intuición visual inmediata.
• El "Salto al Medio" (Mid-Layer Leap): Este es el hallazgo más curioso. Descubrieron que cuando el genio ve una imagen al principio, su "mente" no se parece a las palabras simples que usa al principio de una conversación. En cambio, se parece a las frases complejas que usa a la mitad de su pensamiento.
  • Analogía: Es como si, al ver una foto de un perro, el genio no pensara en la palabra "perro", sino que su cerebro saltara directamente a la idea de "un perro corriendo feliz en el parque". La imagen ya llega "pre-digerida" y semánticamente rica.
• No es magia, es alineación: Esto sugiere que el cerebro humano (y el de la IA) tiene una estructura profunda donde lo visual y lo lingüístico son casi lo mismo. No necesitamos "traducir" la imagen palabra por palabra; la imagen y la palabra ya viven en el mismo "universo" de significado.

4. ¿Por qué es importante?

Imagina que el genio es un detective.

• Con los métodos viejos, el detective veía la escena del crimen y decía: "No entiendo nada, solo veo manchas".
• Con LATENTLENS, el detective mira la misma escena y dice: "¡Ah! Esto es un reloj de torre con manecillas rotas".

Esto cambia todo lo que pensábamos sobre cómo funcionan las Inteligencias Artificiales multimodales. Nos dice que:

1. Las imágenes sí son interpretables para estos modelos.
2. No necesitamos modelos más complejos para entenderlas; solo necesitamos la lente correcta para leer lo que ya están pensando.
3. La visión y el lenguaje están mucho más conectados de lo que imaginábamos.

En resumen: LATENTLENS es como ponerle unas gafas de realidad aumentada a los científicos para que puedan leer los pensamientos visuales de la IA. Y lo que descubrieron es que la IA no está "alucinando" o "viendo ruido"; está pensando en imágenes con una claridad y un sentido que antes no sabíamos cómo escuchar.

Resumen técnico

Resumen Técnico: LATENTLENS

1. El Problema

La transformación de Modelos de Lenguaje Grandes (LLMs) en Modelos de Lenguaje-Visión (VLMs) suele lograrse mediante una proyección simple (como una MLP superficial) que mapea los tokens visuales de un codificador de visión al espacio de incrustaciones (embedding) del LLM. A pesar del éxito empírico de esta adaptación, existe una brecha fundamental en la comprensión de cómo los LLMs procesan estas representaciones visuales.

La pregunta central es: ¿Son interpretables los tokens visuales dentro de las capas internas de un LLM? Es decir, ¿sus representaciones latentes corresponden a conceptos semánticos significativos en lenguaje natural?

• Limitaciones de métodos anteriores: Métodos existentes como LogitLens (que proyecta la representación latente a través de la matriz de desencriptado/unembedding) y EmbeddingLens (que compara con la matriz de incrustación de entrada) han arrojado resultados inconclusos o muy bajos en cuanto a interpretabilidad. Estos métodos suelen fallar porque limitan las descripciones a subpalabras o tokens individuales del vocabulario y comparan representaciones de capas intermedias con espacios de entrada/salida estáticos, lo cual no refleja la naturaleza contextualizada de las representaciones internas del modelo.

2. Metodología: LATENTLENS

Los autores proponen LATENTLENS, un método nuevo y sin entrenamiento (training-free) para mapear representaciones latentes a descripciones en lenguaje natural.

• Insight Principal: La comparación más natural para una representación de token visual no es con el vocabulario estático del modelo, sino con representaciones de texto contextualizadas (tokens dentro de oraciones completas) que han pasado por las mismas capas del LLM.
• Proceso de Funcionamiento:
  1. Precomputación: Se toma un corpus grande de descripciones textuales (en este caso, 2.99 millones de frases de Visual Genome). Se codifican con el LLM objetivo y se almacenan las representaciones de tokens contextualizados para cada capa del modelo.
  2. Extracción: Se extraen las representaciones latentes de los tokens visuales en todas las capas del VLM.
  3. Búsqueda de Vecinos (Nearest Neighbors): Para cada token visual en una capa específica, se calcula la similitud (coseno) con todas las representaciones de tokens contextualizados del corpus.
  4. Generación de Descripción: Los top-k vecinos más cercanos (que pueden provenir de diferentes capas del modelo que la del token visual) se utilizan para reconstruir la frase o contexto original, proporcionando una descripción semántica rica.
• Evaluación: Se utiliza un juez basado en LLM (GPT-5) para determinar si las frases recuperadas son interpretables (concretas, abstractas o globales) en relación con la región de la imagen correspondiente.

3. Contribuciones Clave

1. Nuevo Paradigma de Interpretación: Introduce LATENTLENS, demostrando que el uso de incrustaciones contextuales (frases completas) en lugar de matrices de vocabulario estático revela una interpretabilidad mucho mayor.
2. Hallazgo de la "Salto de Capa Media" (Mid-Layer Leap): Descubren que los tokens visuales en las capas iniciales (incluso en la entrada) se alinean más fuertemente con representaciones textuales de capas medias (ej. capas 8-16) del LLM, en lugar de las capas de entrada o salida. Esto sugiere que la proyección aprendida apunta a representaciones semánticas ya procesadas, no a representaciones léxicas crudas.
3. Evaluación Sistemática: Analizan 10 configuraciones de VLMs diferentes (combinando 3 LLMs: OLMo, LLaMA3, Qwen2; y 3 codificadores de visión: CLIP, DINOv2, SigLIP), demostrando que la interpretabilidad es consistente a través de todas las capas y modelos.
4. Refutación de Supuestos Previos: Demuestran que métodos anteriores (LogitLens, EmbeddingLens) subestiman drásticamente la interpretabilidad de los tokens visuales.

4. Resultados Principales

• Interpretabilidad Superior:
  • LATENTLENS: Logra que el 72% de los tokens visuales sean interpretables en promedio a través de todos los modelos y capas.
  • EmbeddingLens: Solo el 30% de los tokens son interpretables.
  • LogitLens: Solo el 23% de los tokens son interpretables.
• Robustez: La alta interpretabilidad se mantiene incluso con conectores lineales simples y en modelos entrenados con descripciones cortas, lo que indica que la alineación es una propiedad intrínseca de la arquitectura y no solo un artefacto de entrenamiento complejo.
• Comportamiento de Tokens Visuales:
  • Los tokens visuales muestran una mínima deriva (drift) a través de las capas del LLM en comparación con los tokens de texto, manteniendo una alta similitud con su representación de entrada.
  • Los tokens visuales tienen normas L2 (magnitud) significativamente mayores que los tokens de texto, pero esta magnitud es uniforme en todas las dimensiones, no causada por valores atípicos dispersos.
• Generalización: El método funciona igual de bien en modelos "off-the-shelf" (como Qwen2-VL-7B-Instruct) que han sido ajustados finamente, no solo en configuraciones controladas.

5. Significado e Impacto

• Alineación Visión-Lenguaje: El trabajo proporciona nueva evidencia de que los espacios de representación de visión y lenguaje están altamente alineados estructuralmente, apoyando la "Hipótesis de la Representación Platónica" (que sugiere que diferentes modalidades convergen en una estructura compartida).
• Explicación de la Adaptación Fácil: Ofrece una explicación de por qué es tan fácil adaptar LLMs congelados a entradas visuales: los tokens visuales ya llegan al LLM en un estado semántico alineado con las representaciones contextuales de las capas medias del modelo, requiriendo poca adaptación.
• Herramienta para Análisis: LATENTLENS abre nuevas direcciones para analizar representaciones latentes no solo en VLMs, sino también en prompts suaves (soft prompts), tokens de pensamiento latente y señales de voz.
• Aplicaciones Prácticas: Una mejor interpretación de los tokens visuales puede ayudar a mitigar alucinaciones en modelos multimodales y mejorar la depuración de circuitos de atención en VLMs.

En conclusión, LATENTLENS demuestra que los tokens visuales en los LLMs son mucho más interpretables y semánticamente ricos de lo que se creía, siempre que se utilice el "lente" correcto (representaciones contextuales) para observarlos.