💬 NLP

PEA-DPO: Perception-Enhanced Alignment Direct Preference Optimization for MLLMs Alignment

Cet article introduit l'alignement par optimisation de préférence directe amélioré par la perception (PEA-DPO), un nouveau cadre qui traite l'insensibilité visuelle des grands modèles de langage multimodaux en exploitant explicitement les signaux de préférence visuelle, réduisant ainsi considérablement les hallucinations et améliorant l'alignement multimodal tout en préservant les capacités linguistiques.

Auteurs originaux : Jiawei Feng, Jiancan Wu, Xingyu Zhu, Junkang Wu, Xiang Wang, Xiangnan He

Publié 2026-08-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiawei Feng, Jiancan Wu, Xingyu Zhu, Junkang Wu, Xiang Wang, Xiangnan He

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde en évolution rapide de l'intelligence artificielle, une nouvelle génération de systèmes est apparue, capable de voir et de parler en même temps. Ces modèles de langage de grande taille multimodaux sont entraînés pour regarder une image et décrire ce qu'ils voient, ou pour répondre à des questions sur une photographie. Pour que ces machines soient véritablement utiles et sûres, elles doivent s'aligner sur les valeurs humaines, ce qui signifie que leurs réponses doivent être précises, utiles et fondées sur la réalité visuelle présentée. Un défi majeur dans l'enseignement de ces systèmes a été une tendance à l'hallucination, c'est-à-dire à décrire avec assurance des objets ou des actions qui ne sont tout simplement pas là. Pour corriger cela, les chercheurs se sont tournés vers une technique appelée optimisation de la préférence directe, une méthode qui enseigne au modèle en lui montrant des paires de réponses — une bonne et une mauvaise — et en lui demandant d'apprendre pourquoi la première est meilleure. Cette approche a fait des miracles pour les modèles uniquement textuels, mais lorsqu'elle est appliquée à des systèmes qui traitent également des images, un défaut caché a été découvert, empêchant ces derniers de réellement « voir » la différence entre une photo claire et une photo où les détails les plus importants ont été occultés.

Une équipe de chercheurs de l'Université de science et technologie de Chine et de l'Université nationale de Singapour a identifié cette faiblesse spécifique et a développé un nouveau cadre pour la guérir. Ils ont constaté que les méthodes d'entraînement standard traitent souvent l'image comme un simple arrière-plan, un décor statique pour la conversation, plutôt que comme la source primaire de vérité sur laquelle le modèle doit s'appuyer. À cause de cela, les modèles sont devenus visuellement insensibles. Dans leurs expériences, les chercheurs ont montré que ces modèles ne pouvaient pas faire la différence entre une image de personnes faisant un pique-nique et une image de personnes lisant, même lorsque les preuves visuelles de l'une avaient été complètement supprimées. Les modèles généraient des réponses presque identiques pour les deux, ne parvenant pas à remarquer que les indices visuels clés étaient absents. Ils avaient également du mal à distinguer des objets spécifiques au sein d'une seule image, comme confondre une brosse de toilettes avec un outil générique, car ils ne prêtaient pas assez attention aux indices visuels critiques qui définissaient l'objet.

Pour résoudre ce problème, les chercheurs ont créé une méthode qu'ils appellent l'Alignement Amélioré par la Perception (Perception-Enhanced Alignment). Au lieu de simplement apprendre au modèle à choisir la meilleure réponse textuelle, ils ont redessiné le processus d'entraînement pour forcer le modèle à prêter attention au contexte visuel lui-même. Ils ont commencé par prendre une image claire et en créer une série de versions altérées où des parties aléatoires étaient masquées. En utilisant un système visuel distinct et hautement sensible, ils ont identifié quelle version altérée avait perdu les informations les plus critiques, créant ainsi une image « rejetée » qui manquait des détails essentiels pour répondre correctement à une question. Ils ont ensuite associé cette image à information manquante avec l'image originale complète. Pendant l'entraînement, le modèle était confronté à la même question et à la même réponse textuelle, mais lui était présenté d'abord avec l'image complète, puis avec l'image incomplète. Le modèle apprenait qu'il devait fortement préférer la réponse lorsqu'il disposait de la preuve visuelle complète, et qu'il devait reconnaître la réponse comme moins fiable lorsque le contexte visuel clé était absent.

Cette double approche a appris au modèle deux choses à la fois. Premièrement, il a appris à distinguer une bonne réponse textuelle d'une mauvaise, comme auparavant. Deuxièmement, et plus important encore, il a appris à reconnaître quand les preuves visuelles étaient insuffisantes pour soutenir une affirmation. Les chercheurs ont testé cette nouvelle méthode sur deux tailles différentes de modèles image-texte, l'un de sept milliards de paramètres et l'autre de treize milliards. Les résultats ont été frappants. Sur les tests standards conçus pour mesurer la fréquence à laquelle ces modèles inventent des choses, la nouvelle méthode a réduit les hallucinations par des marges significatives. Pour le plus petit modèle, le taux de détails inventés a chuté de près d'un tiers sur un benchmark majeur, et de plus de quatre-vingt-dix pour cent sur un autre. Le modèle plus grand a montré des améliorations similaires, surpassant souvent même certains des systèmes commerciaux les plus avancés disponibles. Les modèles sont devenus bien meilleurs pour décrire exactement ce qui se trouve dans l'image, comme identifier correctement le titre d'un livre ou un outil spécifique, plutôt que de deviner en se basant sur des connaissances générales.

Les chercheurs ont également vérifié pour s'assurer que ce nouveau focus sur la précision visuelle ne rendait pas les modèles moins performants pour d'autres tâches. Ils ont constaté que les modèles conservaient leur capacité à suivre des instructions et à répondre à des questions générales, et que dans certains cas, leur performance sur ces tâches générales s'était même légèrement améliorée. Le seul compromis notable était que les modèles étaient devenus légèrement plus conservateurs ; ils étaient moins enclins à deviner lorsqu'ils n'étaient pas sûrs, ce qui signifiait qu'ils fournissaient parfois moins de détails au total, mais les détails qu'ils fournissaient étaient bien plus susceptibles d'être vrais. En enseignant explicitement au modèle à accorder autant de valeur à la preuve visuelle qu'au texte, les chercheurs ont démontré qu'il est possible de construire une intelligence artificielle qui ne se contente pas de regarder une image, mais qui la voit véritablement. Ce travail suggère que pour que les machines soient des partenaires fiables dans la compréhension du monde visuel, elles doivent être entraînées à ressentir le poids de l'information manquante, garantissant que leur confiance soit toujours en adéquation avec la clarté de ce qui se trouve réellement devant leurs yeux.

Résumé Technique : PEA-DPO

Énoncé du Problème

Bien que l'optimisation de préférence directe (DPO - Direct Preference Optimization) se soit avérée efficace pour l'alignement des modèles de langage (LLM) textuels sur les préférences humaines, son application directe aux modèles de langage de grande taille multimodaux (MLLM) révèle une limitation critique : l'insensibilité visuelle. Les auteurs identifient que le DPO multimodal standard traite souvent les images simplement comme des entrées de conditionnement statiques plutôt que comme des cibles actives de préférence. Par conséquent, les modèles ne parviennent pas à distinguer une image originale d'une image où le contexte visuel critique a été supprimé, conduisant à des réponses faiblement ancrées dans les preuves visuelles.

À travers une analyse représentationnelle et une décomposition théorique, les auteurs formalisent cet échec en deux manifestations distinctes :

Insensibilité Inter-Images (Across-Image Insensitivity) : Le modèle attribue des scores de préférence presque identiques à des réponses générées à partir d'images distinctes (par exemple, l'incapacité à différencier une image d'une activité de lecture en plein air d'un pique-nique), indiquant un manque de discrimination entre différents contextes visuels.
Insensibilité Intra-Image (Within-Image Insensitivity) : Le modèle ne parvient pas à distinguer les indices sémantiquement critiques des éléments non pertinents au sein d'une même image (par exemple, confondre une brosse de toilettes avec un outil générique), entraînant des hallucinations même lorsque la preuve visuelle correcte est présente.

Méthodologie : PEA-DPO

Pour remédier à ces limitations, les auteurs proposent le PEA-DPO (Perception-Enhanced Alignment DPO). Ce cadre déplace le paradigme d'optimisation du traitement des images comme un contexte statique vers une optimisation conjointe de la qualité de la réponse et des préférences du contexte visuel.

1. Construction de Données de Préférence Améliorées par la Perception

La méthode génère des paires de préférences visuelles de haute qualité en supprimant explicitement le contexte visuel critique :

Perturbation : En partant d'une image choisie ( $m_w$ ), le système applique des masques aléatoires pour générer un ensemble d'images perturbées candidates.
Sélection via CLIP : En utilisant les plongements (embeddings) de CLIP, le système calcule la similarité sémantique entre l'image originale et les images perturbées. L'image perturbée présentant le score de similarité le plus bas (indiquant la suppression du contexte visuel le plus critique) est sélectionnée comme image rejetée ( $m_l$ ).
Structure des données : Cela crée un triplet de préférence $(x, m_w, m_l, y_w)$ , où le modèle doit apprendre à préférer la réponse $y_w$ lorsqu'il est conditionné sur l'image complète $m_w$ par rapport à l'image à contexte réduit $m_l$ .

2. Objectif d'Optimisation Conjointe

Le PEA-DPO introduit une fonction de perte à double objectif qui optimise simultanément deux signaux complémentaires :

Optimisation de la Préférence de Qualité de Réponse (RPO - Response Quality Preference Optimization) : Le terme DPO multimodal standard où le modèle apprend à préférer une réponse de haute qualité ( $y_w$ ) à une réponse de moindre qualité ( $y_l$ ) étant donné la même image ( $m_w$ ).
Optimisation de la Préférence du Contexte Visuel (VPO - Visual Context Preference Optimization) : Un nouveau terme où le modèle apprend à préférer la réponse $y_w$ lorsqu'il est conditionné sur l'image complète ( $m_w$ ) plutôt que sur la même réponse conditionnée sur l'image à contexte réduit ( $m_l$ ).

L'objectif final combine ces termes :
$\mathcal{L}_{PEA-DPO} = \mathcal{L}_{RPO} + \alpha \cdot \mathcal{L}_{VPO}$

Pour réduire la charge de calcul et améliorer le contrôle, les auteurs affinent davantage cela en mPEA-DPO en :

Remplaçant les rapports de log-probabilité par des log-probabilités normalisées par la longueur (supprimant ainsi le besoin d'un modèle de référence).
Remplaçant la fonction sigmoïde par une fonction ReLU pour filtrer les points de données triviaux.
Introduisant des marges cibles ( $\gamma_r, \gamma_m$ ) pour imposer des séparations minimales entre les paires préférées et rejetées.

Analyse Théorique

L'article fournit une preuve théorique démontrant que le mPEA-DPO atténue directement les modes d'échec identifiés :

L'insensibilité inter-images correspond à une marge au niveau de l'image ( $G_m$ ) proche de zéro, représentant l'incapacité du modèle à distinguer $m_w$ de $m_l$ . Le terme $\mathcal{L}_{VPO}$ impose explicitement une marge positive ici.
L'insensibilité intra-image correspond à une marge au niveau de la réponse ( $G_r$ ) proche de zéro, représentant l'incapacité du modèle à distinguer $y_w$ de $y_l$ même avec un apport visuel correct. Le terme $\mathcal{L}_{RPO}$ impose cette marge.
Les auteurs prouvent que la combinaison linéaire de ces termes dans le mPEA-DPO élargit de manière prouvable ces deux marges, traitant ainsi les deux modes d'échec simultanément.

Résultats Expérimentaux

Les auteurs ont évalué le mPEA-DPO sur des modèles LLaVA-v1.5 (7B et 13 milliards de paramètres) à travers trois benchmarks d'hallucination : MMHal-Bench, Object HalBench et AMBER.

Réduction des Hallucinations : Le mPEA-DPO a considérablement réduit les taux d'hallucination. Pour le modèle 7B, il a réduit le taux d'hallucination de MMHal-Bench de 33 % par rapport au modèle de base. Sur Object HalBench, il a atteint des réductions de 92 % (niveau réponse) et 87 % (niveau objet) des taux d'hallucination.
Comparaison avec l'État de l'Art (SOTA) : La méthode a surpassé les bases existantes basées sur RLHF/RLAIF en open-source (ex: LLaVA-RLHF, mDPO, OPA-DPO, DAMA) sur la majorité des métriques d'hallucination. Bien que les modèles propriétaires comme GPT-4V et Gemini-2.5-Pro aient obtenu des scores globaux plus élevés sur MMHal-Bench et des scores CHAIR plus bas sur Object HalBench, le mPEA-DPO a démontré une performance supérieure dans la réduction des taux d'hallucination par rapport aux autres méthodes open-source. Notamment, sur le benchmark AMBER, le mPEA-DPO (7B) a atteint un taux d'hallucination de 10,3 et un score de cognition de 0,6, surpassant nettement GPT-4V, qui a enregistré un taux d'hallucination de 30,7 et un score de cognition de 2,6.
Études d'Ablation :
- Il a été constaté que les composantes RPO et VPO sont toutes deux individuellement efficaces, mais que leur combinaison produit la meilleure performance.
- La stratégie de "Perception-Enhanced" proposée pour construire les images rejetées (suppression du contexte clé via la sélection CLIP) a surpassé les autres stratégies comme le masquage de blocs aléatoires, la rotation, le recadrage ou l'obscurité totale.
- La performance a progressé positivement avec la taille des données d'entraînement, montrant une efficacité même avec de petits ensembles de données (2,8k instances).
Capacités Générales : Les évaluations sur des benchmarks généraux (MMStar, AI2D, LLaVA-Bench, MMMU) ont indiqué que le mPEA-DPO préserve ou améliore légèrement les capacités de suivi d'instructions et de raisonnement général du modèle, suggérant que la méthode ne dégrade pas les performances générales.

Signification et Revendications

L'article affirme que le PEA-DPO répond à une lacune fondamentale dans l'alignement multimodal actuel : la tendance des modèles à ignorer les preuves visuelles lors de l'optimisation des préférences textuelles. En modélisant explicitement l'insensibilité visuelle et en introduisant un cadre d'apprentissage de préférence double, les auteurs démontrent que :

L'insensibilité visuelle est un mode d'échec mesurable et corrigeable dans le DPO multimodal.
L'utilisation explicite de signaux de préférence visuelle (comparaison entre images complètes et à contexte réduit) est nécessaire pour ancrer les réponses des MLLM dans les preuves visuelles.
La méthode proposée atteint des performances de pointe parmi les méthodes open-source pour réduire les hallucinations tout en maintenant les capacités linguistiques générales du modèle de base, surpassant les autres bases de référence open-source et montrant une performance compétitive face aux modèles propriétaires sur des métriques d'hallucination spécifiques.

Les auteurs notent des limitations, notamment le coût computationnel supplémentaire pour générer des données améliorées par la perception et un léger compromis dans les métriques de couverture (suggérant une stratégie de génération plus conservatrice), mais concluent que le cadre offre une voie robuste vers des MLLM plus fiables et visuellement ancrés.