Mitigating Multimodal LLMs Hallucinations via Relevance Propagation at Inference Time

Resumen Técnico: Mitigación de Alucinaciones en Modelos de Lenguaje Grandes Multimodales mediante Propagación de Relevancia en el Momento de la Inferencia

Declaración del Problema
Los Modelos de Lenguaje Grandes Multimodales (MLLMs) han demostrado capacidades significativas en la integración del lenguaje con entradas perceptuales como imágenes y audio. Sin embargo, persiste una limitación crítica: estos modelos sufren frecuentemente de alucinaciones, generando salidas inconsistentes con o no respaldadas por la evidencia perceptual proporcionada. Los autores postulan que este fenómeno se origina en un desequilibrio inherente en la utilización de modalidades durante la inferencia. Específicamente, los tokens textuales tienden a dominar el proceso de generación, mientras que los tokens visuales o auditivos reciben una atención insuficiente. En consecuencia, los modelos a menudo dependen de fuertes priores lingüísticos textuales en lugar de evidencia perceptual fundamentada, lo que lleva a descripciones plausibles pero factualmente incorrectas de objetos o eventos inexistentes.

Metodología: Aprendizaje de Mejora de Modalidad en el Momento de la Inferencia (LIME)
Para abordar este desequilibrio sin modificar los parámetros subyacentes del modelo ni requerir datos de entrenamiento adicionales, los autores proponen LIME, un marco libre de entrenamiento que opera en el momento de la inferencia. El método se fundamenta en un análisis de interpretabilidad utilizando Propagación de Relevancia por Capas (LRP).

1. Análisis LRP: Los autores emplean LRP para descomponer las predicciones del modelo en contribuciones aditivas de los tokens de entrada individuales. Su análisis revela un sesgo sistemático donde los tokens textuales reciben puntuaciones de relevancia significativamente más altas que los tokens de modalidad, incluso en tareas que dependen críticamente de la entrada perceptual.
2. Optimización en el Momento de la Inferencia: LIME interviene directamente en las representaciones clave-valor (KV) del modelo durante el proceso de decodificación. En lugar de ajustar finamente los pesos, optimiza iterativamente actualizaciones aditivas ($\Delta K, \Delta V$) a los tensores de clave y valor en cada paso de decodificación.
3. Función Objetivo: La optimización busca desplazar la atención del modelo hacia los tokens de modalidad mientras preserva los priores lingüísticos originales del modelo. Esto se logra minimizando una función de pérdida compuesta:
   • Objetivo de Relevancia ($\mathcal{L}_{rel}$): Inspirado en la Estimación de Contraste de Ruido (NCE) y el aprendizaje contrastivo, este término trata los tokens de modalidad como evidencia positiva y los tokens textuales como alternativas competidoras. Maximiza la relevancia asignada a los tokens de modalidad en relación con la relevancia total de todos los tokens.
   • Regularizador de Divergencia KL ($\mathcal{L}_{KL}$): Este término restringe la distribución actualizada para que permanezca cerca de la distribución original del modelo, evitando que el modelo se desvíe demasiado de su comportamiento preentrenado y asegurando la estabilidad de la decodificación.
4. Ejecución: Las actualizaciones se calculan mediante optimización basada en gradientes (usando Adam) durante un pequeño número de pasos en cada paso de decodificación y se descartan posteriormente, asegurando que la intervención permanezca local y no se acumule con el tiempo.

Contribuciones Clave
El artículo describe tres contribuciones principales:

1. Análisis de Interpretabilidad: Un análisis basado en LRP que demuestra que las alucinaciones en los MLLMs están directamente asociadas con la subutilización de tokens específicos de modalidad durante la inferencia.
2. Marco LIME: Un marco novedoso, libre de entrenamiento y guiado por relevancia en el momento de la inferencia que mitiga las alucinaciones aumentando explícitamente la contribución de los tokens de modalidad en relación con las entradas textuales mediante ajustes en las representaciones KV.
3. Validación Empírica: Demostración de la efectividad y generalidad del método en múltiples modelos multimodales de última generación (incluyendo LLaVA, Qwen-VL, SALMONN y Qwen2-Audio) y en puntos de referencia tanto en dominios de visión como de audio.

Resultados
Los autores evaluaron LIME en varios puntos de referencia, reportando mejoras consistentes en la fundamentación y reducciones en las alucinaciones:

• Puntos de Referencia de Visión: En el punto de referencia POPE (MSCOCO y A-OKVQA), LIME logró la precisión promedio y las puntuaciones F1 más altas entre las líneas base libres de entrenamiento (por ejemplo, OPERA, VCD, ICD, MemVR, V-ITI), mostrando particularmente robustez en divisiones adversarias. En el punto de referencia CHAIR, LIME redujo consistentemente la tasa de menciones de objetos alucinados (puntuaciones CHAIRS y CHAIRI más bajas) mientras mantenía una recuperación competitiva.
• Puntos de Referencia de Audio: En Audio Hallucination QA y AIR-Bench, LIME mejoró la precisión y las puntuaciones F1 en los dominios de habla, sonido y música, superando la línea base de Decodificación Consciente del Audio (AAD).
• Análisis de Relevancia: El análisis cuantitativo confirmó que LIME aumenta la dependencia de la modalidad (la proporción de relevancia atribuida a tokens perceptuales) y mejora la fundamentación espacial/temporal (la concentración de relevancia en las regiones de objetos de la verdad fundamental). Las visualizaciones cualitativas muestran que los mapas de calor de relevancia se vuelven más localizados y semánticamente alineados con la evidencia de entrada bajo LIME.
• Sobrecarga Computacional: El método introduce latencia adicional (una ralentización aproximada de 9-10 veces) y una sobrecarga de memoria modesta debido a la optimización por paso, lo que lo hace adecuado para configuraciones fuera de línea o de alta precisión en lugar de aplicaciones de baja latencia en tiempo real.

Significado y Afirmaciones
El artículo afirma que controlar directamente la utilización de modalidades en el momento de la inferencia es una estrategia efectiva para mejorar la fiabilidad de los MLLMs. Al aprovechar las señales de LRP para reequilibrar la influencia de los tokens textuales y perceptuales, LIME ofrece una solución generalizable a las alucinaciones que no requiere el costo computacional de reentrenar o ajustar finamente. Los autores concluyen que las alucinaciones no son únicamente el resultado de datos de entrenamiento insuficientes, sino que también surgen de un razonamiento interno y una integración de información subóptimos durante la decodificación, lo cual puede corregirse mediante intervención en el momento de la inferencia. El método se presenta como un enfoque práctico para mejorar la fundamentación multimodal mientras se preserva la calidad generativa del modelo original.