Résumé technique : ViPSy — Synthèse de préférences pilotée par la vision pour atténuer les hallucinations dans les VLM

Énoncé du problème

Les modèles de langage-vision (VLM) ont démontré des capacités significatives de compréhension visuelle mais restent sujets aux hallucinations, où les modèles génèrent un contenu incohérent avec l'image d'entrée, inventant souvent des objets inexistants. Ce problème découle d'un déséquilibre entre les modalités textuelles et visuelles, où de forts a priori linguistiques poussent les modèles à s'appuyer sur des statistiques textuelles plutôt que sur des preuves visuelles.

L'alignement par préférence (spécifiquement l'optimisation de préférence directe, ou DPO) est apparu comme une solution prometteuse pour améliorer la fidélité visuelle, mais son efficacité dépend fortement de la qualité des paires de préférences construites (réponses préférées vs non préférées). Les méthodes existantes de construction de ces paires souffrent de deux limitations principales :

1. Les méthodes basées sur l'intervention (ex: injection ou correction d'hallucinations) introduisent souvent des réponses qui s'écartent considérablement de la distribution naturelle de la politique du modèle, créant un décalage de distribution.
2. Les méthodes basées sur l'échantillonnage (ex: échantillonnage jugé par un modèle externe ou échantillonnage guidé par SFT) réduisent ce décalage de distribution mais sous-utilisent fréquemment l'information visuelle, s'appuyant plutôt sur des a priori linguistiques pour déterminer la préférence.

Méthodologie : ViPSy

Les auteurs proposent ViPSy (Vision-driven Preference Synthesis), un cadre à deux étapes conçu pour construire des données de préférence qui sont à la fois alignées sur la politique (proches de la distribution de réponse du modèle) et ancrées visuellement (reposant sur des preuves d'image).

Étape 1 : Synthèse sémantique par auto-légendage pour l'extraction de indices cohérents

Pour extraire des indices visuels fiables sans biais externe, ViPSy exploite les propres capacités du modèle de politique :

1. Auto-légendage (Self-Captioning) : Le modèle de politique ($\pi_\theta$) génère $N_c$ légendes pour une image source $m$ en utilisant un prompt de légende standard.
2. Synthèse sémantique : Ces légendes servent de prompts à un modèle de diffusion texte-vers-image (T2I) ($P_\psi$) pour synthétiser $N_c$ variantes d'images sémantiquement alignées ($m'_j$).
3. Extraction d'indices : Un modèle juge ($\pi_\phi$) compare chaque variante synthétique $m'_j$ avec l'image originale $m$ pour extraire des preuves par objet ($c_j$) qui sont cohérentes entre elles.
4. Agrégation : Le juge agrège ces indices par paires en un indice visuel ($c$) unique et cohérent. L'intuition est que les objets récurrents à travers diverses variations synthétiques dérivées de la même image source sont très susceptibles d'être ancrés dans l'image originale.

Étape 2 : Auto-distillation conditionnée par l'indice pour la synthèse de préférences

Une fois l'indice visuel $c$ établi, le cadre génère des paires de préférences :

1. Rollouts conditionnés par l'indice : Le modèle de politique échantillonne $N_s$ réponses candidates ($y^{(s)}$) conditionnées sur l'image originale $m$, le prompt $x$, et l'indice visuel extrait $c$. Cela garantit que les candidats restent proches de la distribution de la politique tout en étant explicitement guidés par l'évidence visuelle.
2. Sélection de préférence : Le modèle juge évalue l'ensemble des candidats $\{y^{(s)}\}$ par rapport à l'image originale $m$ pour sélectionner une réponse préférée ($y_w$) (la plus ancrée visuellement) et une réponse non préférée ($y_l$) (la moins ancrée).
3. Optimisation : Le jeu de données résultant $\mathcal{D}_{pref} = \{(x, m, y_w, y_l)\}$ est utilisé pour entraîner le modèle via l'Optimisation de Préférence Directe (DPO). Crucialement, les indices visuels et les images synthétiques ne sont utilisés que lors de la construction des données ; l'étape d'optimisation finale conditionne la politique uniquement sur la paire prompt-image originale, distillant ainsi la capacité d'ancrage visuel dans le modèle.

Contributions clés

1. Cadre ViPSy : Une nouvelle approche de synthèse de préférence pilotée par la vision qui construit des paires de préférences ancrées visuellement tout en maintenant l'alignement avec la distribution de réponse de la politique.
2. Stratégie en deux étapes :
   • Synthèse sémantique par auto-légendage : Utilise les propres légendes du modèle pour piloter la synthèse T2I, agrégeant les indices d'objets récurrents pour extraire des indices visuels cohérents, réduisant ainsi la dépendance aux a priori linguistiques.
   • Auto-distillation conditionnée par l'indice : Guide les propres rollouts de la politique avec ces indices pour générer des candidats qui varient en qualité d'ancrage visuel, permettant la sélection de paires de préférences de haute qualité.
3. Performance de pointe (State-of-the-Art) : Le cadre atteint de nouveaux résultats de pointe dans l'atténuation des hallucinations et améliore les capacités générales d'ancrage visuel.

Résultats expérimentaux

Les auteurs ont évalué ViPSy sur LLaVA-1.5 (7B et 13B) et divers autres modèles de politique (Qwen2.5-VL, InternVL3.5, etc.), en comparaison avec des méthodes de décodage, des approches de désapprentissage (unlearning) et d'autres bases d'alignement de préférence existantes.

• Atténuation des hallucinations :
  • Sur LLaVA-1.5-7B, ViPSy a réduit les taux d'hallucination sur AMBER de 35,7 % et sur Object HalBench de 24,5 % par rapport au précédent état de l'art (SENTINEL).
  • Sur LLaVA-1.5-13B, il a surpassé toutes les bases de référence sur tous les benchmarks d'hallucination, montrant des améliorations significatives par rapport aux meilleures méthodes précédentes.
• Ancrage visuel général :
  • Contrairement à certaines bases de référence qui dégradent les performances générales, ViPSy a amélioré les scores sur les benchmarks généraux nécessitant un ancrage visuel : MMStar (+6,0 %), MMVP (+31,3 %) et CV-Bench (+4,0 %) sur le modèle 7B.
• Amélioration de l'encodeur de vision :
  • Les évaluations de sondage linéaire (linear probing) et de segmentation sur ImageNet-1k, ImageNet-O et MS COCO ont montré des gains en précision et en rappel. Cela suggère que ViPSy améliore les représentations visuelles sous-jacentes, et pas seulement la génération au niveau de la réponse.
• Généralisation :
  • La méthode a démontré des améliorations constantes à travers divers modèles de politique (Qwen, InternVL, mPLUG-Owl, Kimi), indiquant qu'elle n'est pas spécifique à une seule architecture.
• Études d'ablation :
  • Les auto-rollouts se sont révélés supérieurs aux rollouts de VLM externes, confirmant l'importance de rester proche de la distribution de la politique.
  • La synthèse basée sur la diffusion a surpassé les simples transformations d'images (redimensionnement, recadrage) et les variations basées sur la vidéo, soulignant le besoin d'une diversité sémantique riche pour l'extraction d'indices.
  • La méthode est restée robuste à travers différents modèles de juge (Qwen3-VL, GPT-5 mini).

Signification et affirmations

L'article affirme que ViPSy résout le compromis fondamental dans la construction de préférences : équilibrer l'alignement de la politique avec l'ancrage visuel. En dérivant des indices visuels de l'intersection entre la compréhension sémantique propre à la politique et les variations d'images synthétiques, ViPSy évite le décalage de distribution des méthodes d'intervention et la négligence visuelle des méthodes d'échantillonnage standard.

Les auteurs affirment que leur approche non seulement établit un nouvel état de l'art dans la réduction des hallucinations, mais améliore également les capacités visuelles générales du modèle et la qualité des représentations de son encodeur de vision. Ils soulignent que le cadre distille efficacement l'ancrage visuel dans la politique sans nécessiter de modélisation de récompense complexe ou d'apprentissage par renforcement en ligne, ce qui en fait une solution pratique et efficace pour améliorer la fiabilité des VLM dans les applications réelles.