Resumen Técnico: Dirección de Pesos del Producto Espectral Query-Key para la Mitigación de Alucinaciones en VLMs sin Entrenamiento

Declaración del Problema

Los Modelos de Lenguaje-Visión (VLMs) sufren frecuentemente de alucinación de objetos, donde los modelos generan descripciones fluidas que contienen objetos que no están presentes en la imagen de entrada. Este problema surge de una competencia entre la evidencia visual y los fuertes sesgos (priors) de visión-lenguaje aprendidos durante el preentrenamiento (por ejemplo, patrones de coocurrencia de objetos). Cuando estos sesgos dominan, el modelo produce salidas plausibles pero visualmente no sustentadas. Las estrategias de mitigación existentes generalmente se dividen en dos categorías:

1. Métodos basados en entrenamiento: Requieren datos adicionales, supervisión y un cómputo significativo (por ejemplo, ajuste de instrucciones, optimización de preferencias).
2. Intervenciones en tiempo de inferencia: Modifican los procesos de decodificación (por ejemplo, decodificación contrastiva, ajuste de logits, reponderación de atención), introduciendo una sobrecarga computacional en cada paso de generación.

Existe la necesidad de una solución libre de datos, libre de entrenamiento y con costo de inferencia cero que mitigue la alucinación sin alterar la ruta de decodificación estándar ni requerir un ajuste fino (fine-tuning).

Metodología: Dirección del Producto QK (QK Product Steering)

Los autores proponen la Dirección del Producto QK, un método de edición de pesos de un solo paso (one-shot) que modifica directamente el mecanismo de atención interno del modelo para suprimir patrones que inducen la alucinación.

Mecanismo Central

El método se dirige al producto Query-Key (QK) ($M_h = W_{q,h}^\top W_{k,g}$), el operador bilineal responsable de generar los logits de atención pre-softmax. La hipótesis es que los modos singulares dominantes de este producto codifican "sesgos genéricos de visión-lenguaje" que sobrepasan la evidencia visual.

El proceso consta de tres pasos principales:

1. Análisis Espectral y Supresión:

   • Para las cabezas de atención de capas medias seleccionadas, se calcula la SVD (Descomposición en Valores Singulares) delgada del producto QK.
   • Se identifican los $k$ modos singulares dominantes (que representan direcciones de atención de alta energía).
   • Estos modos se suprimen (amortiguan) mediante un factor $\alpha$, reduciendo efectivamente la influencia de estas direcciones específicas impulsadas por el sesgo.
   • La edición se realiza sobre el componente simétrico ($S_h$) del producto QK, que captura patrones de similitud de contenido mutua, mientras que el componente antisimétrico ($\Omega_h$) se deja mayormente intacto o se encuentra como menos relevante para la alucinación.

2. Recuperación de Query Segura para GQA:

   • Los VLMs modernos suelen utilizar Atención de Consulta Agrupada (GQA), donde múltiples cabezas de consulta comparten una única cabeza de clave/valor. Editar directamente los pesos de la clave compartida es arriesgado, ya que afecta a múltiples cabezas.
   • Para preservar los pesos de la clave compartida ($W_k$), el método resuelve un problema de optimización restringida para encontrar la actualización mínima de los pesos de la consulta ($W_q$) que realice el producto QK editado ($M_h^\star$).
   • Esto se logra mediante una actualización de un solo paso, estabilizada por regularización de Ridge:
     $$\Delta W_{q,h} = (W_{k,g}W_{k,g}^\top + \lambda I)^{-1} W_{k,g} \Delta M_h^\top$$
   • Esto asegura que la edición sea compatible con las arquitecturas GQA y que el procedimiento de inferencia permanezca sin cambios.

3. Selección de Capas:

   • El método se dirige a las capas medias de la red. El análisis empírico muestra que las capas tempranas están demasiado concentradas en rango (editarlas colapsa la generación), mientras que las capas tardías tienen un impacto insuficiente en la alucinación. Las capas medias ofrecen un punto de intervención "quirúrgico" donde los modos dominantes constituyen una pequeña fracción de la energía total del operador.

Descomposición Simétrica vs. Antisimétrica

Los autores descomponen el producto QK en componentes simétricos ($S_h$) y antisimétricos ($\Omega_h$).

• Simétrico ($S_h$): Captura la similitud de contenido mutua (atención recíproca).
• Antisimétrico ($\Omega_h$): Captura patrones de atención direccional.
• Hallazgo: Las señales de alucinación se localizan principalmente en el canal simétrico. Amortiguar los modos simétricos reduce la alucinación, mientras que amortiguar los modos antisimétricos no reduce la alucinación y puede degradar las capacidades generales.

Principales Contribuciones

1. Dirección del Producto QK (QK Product Steering): Un novedoso método de edición de pesos, libre de datos y libre de entrenamiento, que mitiga la alucinación de objetos mediante una edición de un solo paso del producto query-key.
2. Proyección Compatible con GQA: Un mecanismo de actualización de solo consulta (query-only) de forma cerrada que realiza el producto QK editado manteniendo fijos los pesos de la clave compartida, lo que hace que el método sea aplicable a los VLMs modernos basados en GQA.
3. Interpretabilidad Mecanicista: A través de la descomposición simétrica/antisimétrica y estudios de ablación, el artículo demuestra que la alucinación es específica de los modos QK dominantes y es impulsada principalmente por el canal de atención mutua simétrica.

Resultados Experimentales

El método fue evaluado en tres VLMs basados en GQA: Qwen2.5-VL-7B, InternVL3-8B y Pixtral-12B.

• Reducción de la Alucinación: En los tres modelos, la Dirección del Producto QK logró una reducción promedio de CHAIRs del 4.0%.
  • En Qwen2.5-VL-7B, CHAIRs cayó de 31.44 (Baseline) a 28.56.
  • En InternVL3-8B, CHAIRs cayó de 33.81 a 33.23.
  • En Pixtral-12B, CHAIRs cayó de 34.14 a 33.81.
• Experimentos de Control:
  • Controles de Modos Aleatorios: Amortiguar modos singulares aleatorios (con rango equivalente) resultó en cambios insignificantes, confirmando que el efecto es específico de los modos dominantes, no de perturbaciones de bajo rango arbitrarias.
  • Simétrico vs. Antisimétrico: Editar solo el canal simétrico capturó la mayor parte de la reducción de la alucinación. Editar solo el canal antisimétrico no logró reducir la alucinación y a menudo degradó el rendimiento en otros benchmarks.
• Preservación de Capacidades: Las capacidades multimodales generales (medidas por MME y MMMU) se preservaron en gran medida dentro del margen de ruido de los controles aleatorios. El único costo sistemático de capacidad se observó en Pixtral-12B en configuraciones específicas, lo que sugiere un compromiso (trade-off) que puede gestionarse mediante el ajuste de hiperparámetros.
• Ablaciones:
  • Sensibilidad de Capa: Las ediciones en capas medias fueron la única configuración que redujo la alucinación sin colapsar la generación (capas tempranas) o fallar en impactar la alucinación (capas tardías).
  • Fuerza de Amortiguación: Una fuerza de amortiguación de $\alpha=1$ (eliminación total de los modos superiores) con $k=3$ modos proporcionó el mejor equilibrio entre la reducción de la alucinación y la preservación de la capacidad.

Significancia y Reivindicaciones

El artículo afirma que la Dirección del Producto QK ofrece una alternativa práctica a las intervenciones en el tiempo de decodificación. Su significancia radica en:

• Costo de Inferencia Cero: A diferencia de los métodos que alteran la decodificación (por ejemplo, la decodificación contrastiva), este método modifica los pesos del modelo una sola vez, dejando la ruta de decodificación voraz (greedy decoding) estándar completamente inalterada durante la inferencia.
• Sin Sobrecarga de Entrenamiento: No requiere datos adicionales, ajuste fino ni optimización de preferencias.
• Perspectiva Mecanicista: Proporciona una explicación mecanicista clara para la alucinación, identificándola como el resultado de modos de atención simétricos dominantes que codifican sesgos genéricos. Al amortiguar quirúrgicamente estos modos, el método debilita el comportamiento impulsado por el sesgo mientras preserva la computación general del modelo.
• Escalabilidad: El método es ligero y compatible con arquitectes de última generación y eficientes como GQA.

Los autores concluyen que, si bien el método no mejora la percepción subyacente del modelo ni añade nuevo conocimiento visual, mitiga eficazmente el modo de falla específico de la alucinación de objetos al dirigir el mecanismo de atención lejos de la dependencia excesiva de los sesgos aprendidos.