Mitigating Multimodal LLMs Hallucinations via Relevance Propagation at Inference Time

Résumé technique : Atténuation des hallucinations des LLM multimodaux via la propagation de pertinence au moment de l'inférence

Énoncé du problème
Les grands modèles de langage multimodaux (MLLM) ont démontré des capacités significatives dans l'intégration du langage avec des entrées perceptuelles telles que les images et l'audio. Cependant, une limitation critique persiste : ces modèles souffrent fréquemment d'hallucinations, générant des sorties incohérentes avec ou non étayées par les preuves perceptuelles fournies. Les auteurs postulent que ce phénomène découle d'un déséquilibre inhérent dans l'utilisation des modalités lors de l'inférence. Plus précisément, les tokens textuels tendent à dominer le processus de génération, tandis que les tokens visuels ou auditifs reçoivent une attention insuffisante. Par conséquent, les modèles s'appuient souvent sur de fortes priors linguistiques textuelles plutôt que sur des preuves perceptuelles ancrées, conduisant à des descriptions plausibles mais factuellement incorrectes d'objets ou d'événements inexistants.

Méthodologie : Apprentissage de l'amélioration de la modalité au moment de l'inférence (LIME)
Pour remédier à ce déséquilibre sans modifier les paramètres du modèle sous-jacent ni nécessiter de données d'entraînement supplémentaires, les auteurs proposent LIME, un cadre sans entraînement opérant au moment de l'inférence. La méthode est fondée sur une analyse d'interprétabilité utilisant la Propagation de Pertinence par Couches (LRP).

1. Analyse LRP : Les auteurs emploient la LRP pour décomposer les prédictions du modèle en contributions additives de tokens d'entrée individuels. Leur analyse révèle un biais systématique où les tokens textuels se voient attribuer des scores de pertinence significativement plus élevés que les tokens de modalité, même dans des tâches dépendant de manière critique de l'entrée perceptuelle.
2. Optimisation au moment de l'inférence : LIME intervient directement dans les représentations clé-valeur (KV) du modèle durant le processus de décodage. Au lieu d'affiner les poids, il optimise itérativement des mises à jour additives ($\Delta K, \Delta V$) des tenseurs de clés et de valeurs à chaque étape de décodage.
3. Fonction objectif : L'optimisation vise à déplacer l'attention du modèle vers les tokens de modalité tout en préservant les priors linguistiques du modèle original. Cela est obtenu en minimisant une fonction de perte composite :
   • Objectif de pertinence ($\mathcal{L}_{rel}$) : Inspiré de l'estimation par contraste de bruit (NCE) et de l'apprentissage par contraste, ce terme traite les tokens de modalité comme des preuves positives et les tokens textuels comme des alternatives concurrentes. Il maximise la pertinence attribuée aux tokens de modalité par rapport à la pertinence totale de tous les tokens.
   • Régularisateur de divergence KL ($\mathcal{L}_{KL}$) : Ce terme contraint la distribution mise à jour à rester proche de la distribution du modèle original, empêchant le modèle de s'écarter trop de son comportement pré-entraîné et assurant la stabilité du décodage.
4. Exécution : Les mises à jour sont calculées via une optimisation basée sur le gradient (utilisant Adam) pour un petit nombre d'étapes à chaque étape de décodage et sont ensuite jetées, garantissant que l'intervention reste locale et ne s'accumule pas au fil du temps.

Contributions principales
L'article énonce trois contributions principales :

1. Analyse d'interprétabilité : Une analyse basée sur la LRP démontrant que les hallucinations dans les MLLM sont directement associées à la sous-utilisation des tokens spécifiques à la modalité durant l'inférence.
2. Cadre LIME : Un cadre novateur, sans entraînement et guidé par la pertinence au moment de l'inférence, qui atténue les hallucinations en augmentant explicitement la contribution des tokens de modalité par rapport aux entrées textuelles via des ajustements des représentations KV.
3. Validation empirique : Démonstration de l'efficacité et de la généralité de la méthode sur plusieurs modèles multimodaux de l'état de l'art (incluant LLaVA, Qwen-VL, SALMONN et Qwen2-Audio) et sur des benchmarks dans les domaines de la vision et de l'audio.

Résultats
Les auteurs ont évalué LIME sur plusieurs benchmarks, rapportant des améliorations constantes dans l'ancrage et des réductions des hallucinations :

• Benchmarks de vision : Sur le benchmark POPE (MSCOCO et A-OKVQA), LIME a obtenu les scores moyens d'exactitude et F1 les plus élevés parmi les bases de référence sans entraînement (par exemple, OPERA, VCD, ICD, MemVR, V-ITI), montrant particulièrement une robustesse sur les splits adverses. Sur le benchmark CHAIR, LIME a constamment réduit le taux de mentions d'objets hallucinés (scores CHAIRS et CHAIRI plus bas) tout en maintenant un rappel compétitif.
• Benchmarks audio : Sur Audio Hallucination QA et AIR-Bench, LIME a amélioré l'exactitude et les scores F1 dans les domaines de la parole, du son et de la musique, surpassant la base de référence de décodage conscient de l'audio (AAD).
• Analyse de pertinence : L'analyse quantitative a confirmé que LIME augmente la dépendance à la modalité (la proportion de pertinence attribuée aux tokens perceptuels) et améliore l'ancrage spatial/temporel (la concentration de la pertinence sur les régions d'objets de vérité terrain). Les visualisations qualitatives montrent que les cartes thermiques de pertinence deviennent plus localisées et sémantiquement alignées avec les preuves d'entrée sous LIME.
• Surcharge computationnelle : La méthode introduit une latence supplémentaire (ralentissement d'environ 9 à 10 fois) et une surcharge mémoire modeste due à l'optimisation par étape, la rendant adaptée aux contextes hors ligne ou à haute précision plutôt qu'aux applications en temps réel à faible latence.

Signification et revendications
L'article revendique que le contrôle direct de l'utilisation de la modalité au moment de l'inférence est une stratégie efficace pour améliorer la fiabilité des MLLM. En exploitant les signaux LRP pour rééquilibrer l'influence des tokens textuels et perceptuels, LIME offre une solution généralisable aux hallucinations qui ne nécessite pas le coût computationnel du réentraînement ou de l'affinage. Les auteurs concluent que les hallucinations ne résultent pas uniquement d'un manque de données d'entraînement, mais découlent également d'un raisonnement interne et d'une intégration d'informations sous-optimaux durant le décodage, qui peuvent être corrigés par une intervention au moment de l'inférence. La méthode est présentée comme une approche pratique pour améliorer l'ancrage multimodal tout en préservant la qualité générative du modèle original.