Resumen Técnico: Circuitos de Doble Vía de la Alucinación de Objetos en Modelos Visuales-Lingüísticos

Enunciado del Problema

Los Modelos Visuales-Lingüísticos (VLM) han logrado un rendimiento notable al conectar la percepción visual y la comprensión del lenguaje natural. Sin embargo, sufren frecuentemente de alucinaciones de objetos, donde los modelos describen entidades, atributos o relaciones ausentes en la imagen de entrada. Este comportamiento refleja una dependencia excesiva en priores centrados en el texto en lugar de en la evidencia visual, lo que limita la fiabilidad y la interpretabilidad del modelo.

Las estrategias existentes de mitigación (por ejemplo, alineación durante el entrenamiento, restricciones de decodificación, correcciones post-hoc) tratan en gran medida a los VLM como cajas negras, modificando las entradas o los procedimientos de decodificación sin investigar los cálculos internos que impulsan las alucinaciones. En consecuencia, estos métodos suelen ser específicos del modelo y no logran generalizarse entre arquitecturas. Además, aunque la interpretabilidad mecánica se ha aplicado a los modelos de lenguaje para identificar circuitos de comportamientos como el recuerdo factual, su aplicación a los VLM es desafiante debido a la integración de representaciones visuales y componentes lingüísticos, y a la diversidad arquitectónica de los VLM modernos.

Metodología

Los autores proponen el Análisis de Circuitos de Doble Vía, un marco diseñado para identificar y caracterizar circuitos relacionados con la alucinación en VLMs arquitectónicamente diversos. El estudio emplea una estrategia de análisis de tres etapas en cinco VLMs (Qwen3-VL, LLaVA, Llama-3.2-Vision, InternVL3-8B e InternVL3-14B) utilizando el benchmark adversarial POPE.

1. Parcheo de Activación para el Descubrimiento de Circuitos

Los autores extienden el parcheo de activación a los VLMs corrompiendo las incrustaciones de los tokens visuales con ruido gaussiano (3σ) en la capa de entrada, reduciendo la precisión a niveles aleatorios. Luego, restauran componentes específicos (subcapas de atención o subcapas MLP) de una ejecución "limpia" en la ejecución "corrupta".

• Efecto Indirecto (EI): Calculado como la diferencia en las diferencias de logits entre la ejecución parcheada y la ejecución corrupta.
• Extracción del Circuito: Los componentes se clasifican en dos vías basándose en el signo del tamaño del efecto de Cohen d al comparar muestras correctas frente a muestras alucinantes:
  • Vía de Anclaje Visual ($d > 0$): Componentes con mayores efectos indirectos en muestras correctas.
  • Vía de Alucinación ($d < 0$): Componentes con mayores efectos indirectos durante la alucinación.

2. Análisis Condicional de Vías (CPA)

Para ir más allá del análisis de componentes individuales, los autores introducen el CPA para caracterizar las interacciones a nivel de vía.

• Redundancia vs. Sinergia: Al comparar el efecto conjunto de restaurar todos los componentes de la vía simultáneamente frente a la suma de los efectos individuales, determinan si los componentes portan información superpuesta (redundancia) o fragmentos complementarios (sinergia).
• Detección de Inversión de Polaridad: El CPA investiga específicamente si la contribución causal de los componentes cambia de signo entre muestras correctas y alucinantes, una firma invisible para el análisis estándar a nivel de componente.

3. Validación Causal y Transferencia

• Supresión Dirigida: Los autores realizan intervenciones causales escalando las salidas de los componentes de la vía de alucinación ($s \in \{0.0, 0.25, 0.5, 0.75\}$) durante la inferencia sin reentrenamiento.
• Líneas Base: Comparan el escalado por componente frente a intervenciones de dirección estática (Proyección de Diferencia de Medias e Intervención en Tiempo de Inferencia [ITI]) y controles de componentes aleatorios.
• Generalización: Los circuitos identificados se prueban en diferentes divisiones de POPE y en el benchmark AMBER (que cubre alucinaciones de existencia, atributo y relación) para evaluar la transferibilidad.

Resultados Clave

1. Descubrimiento de una Organización Compartida de Doble Vía

En los cinco VLMs diversos, el análisis revela una estructura de doble vía consistente:

• Vía de Anclaje Visual: Concentrada en capas medias a tardías.
• Vía de Alucinación: Concentrada en capas tempranas y en los límites de la red.
  Esta organización persiste entre diferentes familias de backbones, estrategias de integración visual (por ejemplo, atención cruzada vs. proyector) y escalas de modelo, lo que sugiere que la estructura surge durante el entrenamiento en lugar de heredarse de arquitecturas específicas.

2. Inversión de Polaridad y Redundancia

El CPA revela dos hallazgos críticos:

• Inversión de Polaridad de la Vía de Anclaje: En muestras correctas, los componentes de anclaje apoyan la verdad fundamental ($d > 0$). En muestras alucinantes, estos mismos componentes invierten su polaridad ($d < 0$), apoyando activamente la respuesta alucinada. Esto indica que las representaciones de "anclaje" no están ausentes, sino que han sido arrastradas a los priores de salida no visual del modelo.
• Redundancia Consistente: Ambas vías exhiben una fuerte redundancia dentro del subconjunto (la magnitud del efecto conjunto es significativamente menor que la suma de los efectos individuales) tanto en muestras correctas como alucinantes. La redundancia no se disuelve durante la alucinación; más bien, las copias redundantes son redirigidas.

3. Eficacia de la Intervención Causal

• Éxito de la Supresión: La supresión dirigida de los componentes de la vía de alucinación reduce la alucinación de objetos entre un 40% y un 76% (reducción relativa) con un costo mínimo de precisión ($\le 2$ puntos porcentuales).
• Superioridad sobre Direcciones Estáticas: El escalado por componente supera a las líneas base de dirección estática (ITI y Proyección de Diferencia de Medias). Los autores atribuyen esto a que la señal de alucinación es multidireccional; la dirección singular principal captura solo entre el 45% y el 69% de la varianza, limitando la eficacia de las intervenciones de dirección única.
• Especificidad: La supresión de la vía de anclaje colapsa la precisión a niveles aleatorios, confirmando una doble disociación: la supresión de la vía de alucinación reduce errores sin destruir el rendimiento de la tarea, mientras que la ablación de la vía de anclaje destruye la tarea.

4. Transferencia Selectiva

Los circuitos identificados se transfieren selectivamente entre tipos de alucinación:

• Alucinación Relacional: La intervención se transfiere bien a las alucinaciones relacionales (reducción del 36–47%), lo que sugiere mecanismos compartidos con las alucinaciones de existencia de objetos.
• Alucinación de Atributo: La intervención falla en gran medida en reducir las alucinaciones de atributos, lo que implica que los errores de atributo involucran circuitos distintos (por ejemplo, extracción imprecisa de características visuales) no capturados por la vía de existencia de objetos.

Significado y Afirmaciones

El artículo afirma proporcionar la primera caracterización mecánica de la alucinación de objetos en diversas arquitecturas de VLM. Sus contribuciones principales son:

1. Perspectiva Mecanística: Identifica que la alucinación de objetos está impulsada por una estructura compartida de doble vía donde los componentes de anclaje experimentan una inversión de polaridad, redirigiendo la evidencia visual hacia priores lingüísticos durante los errores.
2. Avance Metodológico: Demuestra que el análisis a nivel de vía (CPA) revela firmas críticas (inversiones de polaridad) que el parcheo de componentes individuales pasa por alto.
3. Validación Causal: Establece que la supresión dirigida de componentes específicos puede reducir causalmente las alucinaciones, validando la hipótesis del circuito.
4. Limitaciones y Alcance: Los autores notan modestamente que, aunque su extracción de circuitos y supresión validan el mecanismo, el método de escalado propuesto es una sonda causal en lugar de una estrategia de mitigación desplegable. Subrayan que la transferencia selectiva a alucinaciones relacionales pero no a alucinaciones de atributo indica que los diferentes tipos de alucinación pueden requerir extracciones de circuitos distintas.

El trabajo concluye que la alucinación de objetos en los VLM no es un artefacto arquitectónico, sino una estructura mecánica aprendida, y que una intervención efectiva requiere abordar la naturaleza multidireccional de la señal de alucinación en lugar de depender de direcciones lineales estáticas.