🤖 machine learning

Transcoders Trace Visual Grounding and Hallucinations in Vision-Language Models

Este artículo presenta un marco centrado en funciones que utiliza Transcoders para interpretar Modelos Visuales-Lingüísticos, demostrando que este enfoque produce una anclaje visual más estable que los Autoencoders Dispersos y permite la predicción de alucinaciones mediante análisis de grafos mecanicista.

Autores originales: Dimitrios Damianos, Leon Voukoutis, Georgios Skyrianos, Vassilis Katsouros, Georgios Paraskevopoulos

Publicado 2026-05-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Dimitrios Damianos, Leon Voukoutis, Georgios Skyrianos, Vassilis Katsouros, Georgios Paraskevopoulos

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un Modelo Visión-Lenguaje (VLM) como un traductor altamente talentoso pero algo misterioso. Observa una imagen y escribe una historia sobre ella. Sabemos que funciona bien, pero no sabemos realmente cómo decide qué palabras escribir basándose en qué partes de la imagen. Es como ver a un mago sacar un conejo de un sombrero; vemos el resultado, pero el truco dentro del sombrero es una caja negra.

Este artículo intenta abrir ese sombrero y explicar el truco. Aquí está el desglose de lo que hicieron, utilizando analogías simples.

1. El Problema: La "Fotografía Estática" vs. La "Película"

Los métodos anteriores para comprender estos modelos eran como tomar una fotografía estática del cerebro del traductor en un solo momento. Utilizaban herramientas llamadas "Autoencoders Dispersos" (SAE) para observar lo que el modelo estaba "pensando" en una capa específica.

Los autores argumentan que esto es defectuoso porque el traductor no está simplemente sentado quieto; está constantemente trabajando. Está tomando una entrada visual y transformándola activamente en texto. Una fotografía estática pasa por alto la acción.

La Solución: Utilizaron una nueva herramienta llamada Transcodificador.

La Analogía: Si un SAE es una fotografía de un coche aparcado en un garaje, un Transcodificador es un vídeo del motor funcionando. No solo mira las partes del coche; observa cómo el motor cambia el combustible en movimiento. Se centra en la función (el trabajo que se realiza) en lugar de solo en el estado (cómo se ven los datos).

2. El Experimento: Encontrar la "Anclaje Visual"

Los investigadores querían ver si esta nueva herramienta de "vídeo del motor" podía explicar mejor cómo el modelo conecta una imagen con una palabra específica.

La Prueba: Pidieron al modelo que describiera una imagen. Luego, utilizaron sus herramientas para adivinar qué parte de la imagen era más importante para una palabra específica (por ejemplo, la palabra "perro").
La "Ablación" (La Prueba del Borrador): Para verificar si su suposición era correcta, tomaron un borrador digital y eliminaron (ablacionaron) la parte específica de la imagen que pensaban que era importante.
- El Resultado: Cuando borraron las partes identificadas por el Transcodificador, el modelo se confundió mucho y dejó de escribir la palabra "perro" correctamente. Cuando borraron las partes identificadas por el antiguo método SAE, el modelo apenas lo notó.
- La Metáfora: Es como intentar adivinar qué ingrediente hace que un pastel sepa a chocolate. Si eliminas el ingrediente que identificó el Transcodificador, el pastel deja de saber a chocolate. Si eliminas el ingrediente que identificó el método antiguo, el pastel sigue sabiendo bien. El Transcodificador encontró el verdadero chocolate.

3. La Prueba de "Anclaje Falso"

Para asegurarse de que el Transcodificador no estaba simplemente adivinando al azar o confundido, realizaron una prueba trampa llamada "Anclaje Visual Falso".

La Configuración: Le plantearon al modelo preguntas matemáticas (como "¿Cuánto es 20 + 30?") o preguntas de conocimiento general ("¿Cuál es la capital de Francia?"), pero le mostraron una imagen aleatoria de un gato. La respuesta no tiene nada que ver con el gato.
El Resultado: El Transcodificador ignoró correctamente la imagen del gato. No intentó vincular el gato con la respuesta. Los métodos antiguos a veces intentaban forzar una conexión donde no existía ninguna.
La Conclusión: El Transcodificador es lo suficientemente inteligente como para saber cuándo una imagen es solo una distracción y no es relevante para la respuesta.

4. El Detective de "Alucinaciones"

Finalmente, los investigadores examinaron cuándo el modelo "alucina": cuando inventa hechos con confianza que no están en la imagen.

La Investigación: Trataron el proceso de pensamiento interno del modelo como un mapa de carreteras o un circuito impreso. Rastrearon el camino que tomó la información desde la imagen hasta la palabra final.
El Descubrimiento: Descubrieron que cuando el modelo dice la verdad, el "mapa de carreteras" tiene un aspecto. Cuando miente (alucina), el mapa de carreteras tiene un aspecto diferente.
- La Diferencia: Las alucinaciones parecían viajar por caminos más cortos, más concurridos y más concentrados. Es como si la verdad tomara una ruta larga y escénica revisando muchos hitos, mientras que la mentira toma un atajo a través de un túnel, ignorando los alrededores.
La Predicción: Construyeron un simple "detector de mentiras" (un clasificador logístico) que solo observaba la forma de estos mapas de carreteras. Sin leer el texto ni ver la imagen, este detector podía adivinar si el modelo estaba alucinando con una precisión de aproximadamente 68% (lo cual es significativamente mejor que adivinar al azar).

Resumen

En resumen, este artículo dice:

Deja de mirar instantáneas; mira la película. Utilizar "Transcodificadores" para observar cómo el modelo procesa la información es mejor que simplemente mirar lo que guarda en su memoria.
Encuentra las conexiones correctas. Este método identifica correctamente qué partes de una imagen realmente importan para las palabras que se están escribiendo.
Las mentiras tienen una forma diferente. Incluso sin leer la salida, podemos decir si un modelo está mintiendo solo mirando el "cableado" interno de cómo calculó la respuesta.

Los autores concluyen que este enfoque "centrado en la función" nos ofrece un mapa más claro y fiable de cómo funcionan realmente estos modelos de IA.

Resumen Técnico: Los Transcodificadores Rastrean la Aterrizaje Visual y las Alucinaciones en Modelos Visuales-Lingüísticos

Declaración del Problema

Los Modelos Visuales-Lingüísticos (VLM) generativos, como Gemma 3 y LLaVA, han logrado un rendimiento de vanguardia en el razonamiento multimodal. Sin embargo, los mecanismos internos que transforman las entradas visuales en texto permanecen poco comprendidos. La investigación existente en interpretabilidad depende principalmente de Autoencoders Dispersos (SAE) para descomponer representaciones residuales estáticas. Aunque los SAE han proporcionado información sobre las operaciones de los Modelos de Lenguaje Grande (LLM), fundamentalmente tratan al modelo como una secuencia de estados independientes. En consecuencia, no logran aislar las actualizaciones funcionales específicas que impulsan la interacción transmodal entre la información visual y lingüística. El trabajo actual de interpretabilidad en VLM se limita en gran medida a codificadores contrastivos o al análisis de estados estáticos, careciendo de una explicación causal de cómo se implementa el aterrizaje visual durante la inferencia en esqueletos generativos.

Metodología

Los autores proponen un marco centrado en la función basado en Transcodificadores para abordar estas limitaciones. A diferencia de los SAE, que reconstruyen estados ocultos estáticos ( $y=x$ ), los Transcodificadores actúan como aproximaciones dispersas de las subcapas MLP, reconstruyendo la transformación computacional en sí misma ( $y = \text{MLP}(x)$ ). Este cambio de una descomposición basada en estados a una basada en funciones permite que los Transcodificadores sirvan como un proxy causal para el cálculo por capas.

Configuración Experimental:

Modelo: El marco se aplica a Gemma 3-4B-IT.
Arquitectura: Los Transcodificadores y los SAE se integran con una expansión de 16× (40.960 características) en cada capa.
Entrenamiento: Un currículo de dos etapas que suma 500 millones de tokens: una fase de calentamiento solo de texto de 200 millones de tokens seguida de una fase multimodal de 300 millones de tokens utilizando COCO, VQAv2 y CLEVR.
Dispersión: Se adopta una configuración de dispersión top-64, ya que produce un rendimiento de reconstrucción superior (medido por la Fracción de Varianza No Explicada, FVU) en comparación con la regularización L1 y otras variantes top-k.

Protocolos de Evaluación:

Aterrizaje Visual (Ablación): Se generan mapas de atribución para identificar parches de imagen relevantes para los tokens objetivo. Los autores ablan estos parches para medir los cambios en la probabilidad del token ( $\Delta p$ ) y la entropía ( $\Delta H$ ).
Análisis Contrafactual (Aterrizaje Visual Falso): Se emparejan tareas aritméticas y simbólicas con imágenes para probar si los métodos de atribución asignan relevancia visual espuria cuando la respuesta es independiente de la imagen.
Detección de Alucinaciones: Se extraen propiedades estructurales de los grafos computacionales (derivados de trazas de circuitos) para distinguir entre salidas correctas y alucinadas. Se entrena un clasificador de regresión logística sobre estas características estructurales.

Contribuciones Clave

1. Descomposición Funcional Multimodal

El estudio demuestra que los Transcodificadores producen atribuciones más estables y semánticamente fieles para los tokens con aterrizaje visual en comparación con los SAE.

Evidencia: En estudios de ablación, la eliminación de parches identificados por Transcodificadores resultó en una disminución significativamente mayor en la probabilidad del token y un aumento mayor en la entropía que la eliminación de parches identificados por SAE.
Especificidad: Un análisis contrafactual de "Aterrizaje Visual Falso" confirmó que las atribuciones de los Transcodificadores son específicas a las interacciones visuales-lingüísticas. En tareas resolubles sin entrada visual, los Transcodificadores asignaron importancia insignificante a los parches de imagen, mientras que los SAE mostraron un comportamiento menos discriminativo.

2. Rastreo Mecanístico Transmodal

Los autores utilizan el rastreo de circuitos para identificar vías computacionales que vinculan las incrustaciones visuales con los tokens de texto dentro del esqueleto del LLM.

Hallazgos: Los tokens con aterrizaje visual (sustantivos, adjetivos) dependen de un subconjunto pequeño y localizado de regiones de la imagen. Estas vías forman cadenas computacionales estructuradas, revelando cómo la información se propaga desde entradas visuales específicas para influir en la generación de tokens. Esto proporciona una visión mecanicista de la implementación del aterrizaje visual.

3. Análisis Estructural de Alucinaciones

El artículo introduce un método para analizar alucinaciones a través de la lente de la estructura del grafo computacional.

Métricas: Se extrajeron cinco descriptores estructurales: Profundidad Media del Camino, Rango de Capa, Distancia de Token, Entropía de Contribución y Fracción de la Característica Top-1.
Observaciones: Las salidas alucinadas exhibieron diferencias sutiles pero estadísticamente significativas en comparación con las salidas correctas, mostrando específicamente una menor distancia de token, menor entropía de contribución y una mayor Fracción de la Característica Top-1. Esto sugiere que las alucinaciones involucran interacciones de tokens más localizadas y un uso concentrado de características.
Predicción: Un clasificador logístico entrenado con estas cinco características estructurales logró un AUC de 0.68 en la distinción de alucinaciones frente a generaciones correctas, superando tanto al azar como a las líneas base de clase mayoritaria.

Resultados y Significancia

El artículo afirma que el cambio de una descomposición basada en estados a una basada en funciones produce una explicación mecanicista más útil de los VLM generativos. La principal significancia radica en demostrar que la descomposición de circuitos centrada en la función puede:

Aislar Mecanismos Causales: Rastrear exitosamente cómo las entradas visuales impulsan tokens de texto específicos, ofreciendo una imagen más clara de la interacción transmodal que el análisis de estados estáticos.
Detectar Modos de Fallo: Proporcionar una señal predictiva para alucinaciones multimodales basándose únicamente en la estructura interna del grafo de computación, sin acceso al texto generado ni a referencias externas.

Los autores enfatizan que, aunque el rendimiento predictivo para la detección de alucinaciones (AUC 0.68) es modesto y preliminar, establece una prueba de concepto de que las estructuras internas de circuitos portan información relevante para la fiabilidad del modelo. Posicionan este trabajo como una base para futuras herramientas de interpretabilidad y posibles intervenciones mecanicistas, como la dirección basada en aterrizaje visual o la mitigación de alucinaciones, aunque declaran explícitamente que no se afirma un rendimiento competitivo frente a detectores a nivel de salida.

El estudio concluye que los Transcodificadores ofrecen un conjunto de herramientas robusto para analizar los "circuitos modulares" de los VLM, cerrando la brecha entre la atribución de características y el análisis de grafos de computación vinculados a través de las capas de la red.