Résumé technique : Le raisonnement compte : atténuer les hallucinations dans les modèles de raisonnement multimodaux de grande taille via une optimisation des préférences conditionnée au raisonnement

Énoncé du problème

Les modèles de raisonnement multimodaux de grande taille (MLRMs) ont démontré de solides capacités sur des tâches complexes de vision et de langage en générant explicitement des étapes de raisonnement intermédiaires (Chain-of-Thought, ou CoT) avant de produire les réponses finales. Cependant, ces modèles restent sujets aux hallucinations, générant un contenu qui semble plausible mais qui est incohérent avec les entrées visuelles. Contrairement aux modèles de langage multimodaux de grande taille (MLLM) conventionnels, où les hallucinations surviennent généralement dans la sortie finale, les hallucinations des MLRMs peuvent apparaître au sein du CoT intermédiaire et se propager ensuite vers la réponse finale.

Les méthodes d'atténuation basées sur l'entraînement existantes, telles que l'optimisation directe des préférences (DPO), traitent généralement le CoT et la réponse finale comme une sortie monolithique. L'article observe que cette optimisation au niveau de la réponse se comporte de manière similaire à une optimisation basée uniquement sur la réponse, apprenant principalement des préférences au niveau de la réponse tout en laissant la supervision au niveau du CoT insuffisamment exploitée. Par conséquent, les hallucinations résiduelles dans la chaîne de raisonnement persistent souvent, dominant le taux d'erreur global de la réponse complète.

Méthodologie : RC-DPO

Pour remédier à l'insuffisance de la supervision à grain grossier, les auteurs proposent l'optimisation directe des préférences conditionnée au raisonnement (RC-DPO). Ce cadre modélise explicitement la relation entre les chaînes de raisonnement et les réponses finales en traitant le CoT comme une condition pour la génération de la réponse.

1. Objectif principal

Au lieu d'optimiser conjointement l'ensemble de la réponse $(c, a)$, la RC-DPO oppose la vraisemblance de générer la même réponse préférée ($a_w$) sous différentes conditions de CoT :

• Condition préférée ($c_w$) : Une chaîne de raisonnement ancrée visuellement et logiquement valide.
• Condition rejetée ($c_l$) : Une chaîne de raisonnement hallucinée ou corrompue.

La fonction objectif isole l'effet de la chaîne de raisonnement sur la génération de la réponse. Elle maximise la marge entre la probabilité conditionnelle de la réponse préférée étant donné un CoT de haute qualité par rapport à un CoT corrompu :
$$L_{RC} = -\log \sigma \left( \beta \left[ \log \frac{\pi_\theta(a_w|x, c_w)}{\pi_{ref}(a_w|x, c_w)} - \log \frac{\pi_\theta(a_w|x, c_l)}{\pi_{ref}(a_w|x, c_l)} \right] \right)$$
L'objectif final d'entraînement combine cette perte conditionnée au raisonnement avec la DPO standard au niveau de la réponse :
$$L = L_{DPO} + \lambda L_{RC}$$

2. Construction des données de préférence

La RC-DPO nécessite la construction de paires de préférence $(x, c_w, a_w, c_l, a_l)$ sans dépendre d'annotations de vérité terrain externes ou de modèles plus puissants. Les auteurs introduisent un pipeline utilisant les propres sorties du modèle :

• Construction d'échantillons positifs (MCTS) : Les auteurs emploient la recherche arborescente de Monte Carlo (MCTS) pour découvrir des trajectoires de raisonnement de haute qualité. En partant d'un modèle affiné par apprentissage supervisé (SFT), le MCTS développe des étapes de raisonnement candidates et utilise un vérificateur pour noter les trajectoires en fonction de la cohérence visuelle, de la validité logique et de l'exactitude de la réponse. La trajectoire obtenant le score le plus élevé est sélectionnée comme échantillon positif $(c_w, a_w)$.
• Construction d'échantillons négatifs (élagage guidé par l'attention) : Pour créer des échantillons négatifs difficiles, les auteurs emploient une stratégie d'élagage de tokens guidée par l'attention sur l'image. Ils calculent les scores d'attention de chaque token du CoT vers les tokens d'image. Les tokens présentant une pertinence visuelle élevée sont identifiés et élagués (supprimés) du CoT original. Cela perturbe l'ancrage visuel de la chaîne de raisonnement, créant un CoT corrompu ($c_l$) qui sert de condition négative pour la même réponse.

3. Pipeline d'entraînement

1. Alignement du format CoT : Une phase de préchauffage par SFT aligne le modèle sur un format de CoT structuré (raisonnement étape par étape suivi d'une réponse) pour faciliter les opérations de MCTS.
2. Génération de données : Le MCTS et l'élagage guidé par l'attention génèrent le jeu de données de préférence.
3. Optimisation : Le modèle est entraîné en utilisant l'objectif combiné $L_{DPO} + \lambda L_{RC}$.

Contributions clés

1. Analyse de la DPO existante : L'article révèle que la DPO standard au niveau de la réponse est biaisée vers l'optimisation au niveau de la réponse, laissant les hallucinations au niveau du CoT insuffisamment traitées.
2. Cadre RC-DPO : La proposition d'un cadre d'optimisation des préférences à grain fin qui aligne explicitement les chaînes de raisonnement en opposant la même réponse préférée sous différentes conditions de CoT.
3. Stratégie de génération de données : L'introduction d'un pipeline de génération de données de préférence autonome utilisant le MCTS pour l'échantillonnage positif et l'élagage de tokens guidé par l'attention pour la construction négative.
4. Validation empirique : Des expériences extensives sur quatre MLRMs et neuf benchmarks démontrant l'efficacité de l'approche.

Résultats expérimentaux

Les auteurs ont évalué la RC-DPO sur quatre MLRMs représentatifs : R1-Onevision-7B, MM-Eureka-7B, ThinkLite-VL-7B et OpenVLThinker-7B.

• Atténuation des hallucinations : Sur le Object HalBench, la RC-DPO a constamment obtenu les scores CHAIRS et CHAIRI les plus bas sur tous les modèles, surpassant significativement les bases de référence telles que VCD, SID, RLAIF-V et OPA-DPO. Par exemple, sur R1-Onevision, le score CHAIRS a été réduit de 36,7 (Vanilla) à 21,7 (RC-DPO).
• Existence d'objets : Sur le benchmark POPE, la RC-DPO a obtenu les meilleures précisions et scores F1 dans les configurations aléatoire, populaire et adversaire, indiquant une amélioration de la reconnaissance de l'existence des objets.
• Génération ouverte : Sur MMHal-Bench et les évaluations assistées par GPT-4, la RC-DPO a réduit les taux d'hallucination tout en maintenant ou en améliorant la qualité descriptive et la fluidité.
• Capacités générales : Les évaluations sur MME, MMBench, VMCBench et MMVP ont montré que la RC-DPO ne sacrifie pas la perception multimodale générale ni les capacités de raisonnement ; dans de nombreux cas, elle a amélioré les performances sur des tâches visuelles à grain fin (par exemple, la reconnaissance OCR et la reconnaissance de position).

Importance et affirmations

L'article affirme que l'alignement explicite des chaînes de raisonnement intermédiaires est crucial pour construire des MLRMs fidèles et fiables. En passant d'une optimisation au niveau de la réponse à grain grossier à une optimisation conditionnée au raisonnement à grain fin, la RC-DPO traite la cause racine de la propagation des hallucinations dans les modèles de raisonnement. Les auteurs soulignent que leur méthode atténue efficacement les hallucinations à la fois dans le CoT intermédiaire et dans la réponse finale, conduisant à un raisonnement multimodal plus fiable sans compromettre les capacités générales. Le travail met en évidence que traiter le CoT comme une condition pour la génération de la réponse fournit un signal d'entraînement direct pour apprendre des préférences de raisonnement favorables à la réponse.