Résumé Technique : CFPO : Optimisation de la Politique Contrefactuelle pour le Raisonnement Multimodal

1. Énoncé du Problème

Les grands modèles de langage-vision (LVLM) ont réalisé des progrès significatifs dans le raisonnement multimodal, pourtant les paradigmes d'apprentissage par renforcement (RL) prédominants (par exemple, PPO, GRPO) souffrent d'un désalignement fondamental. Ces méthodes optimisent principalement la justesse du résultat, récompensant les modèles uniquement sur la base de la réponse finale. D'un point de vue causal, cette approche axée sur le résultat ne parvient pas à imposer une cohérence causale intermodale pendant le processus de raisonnement. Par conséquent, les modèles sont sujets à un « apprentissage par raccourcis » (shortcut learning), menant à trois distributions pathologiques spécifiques de la saillance cross-modale :

1. Déficience de Saillance Cross-Modale : Le modèle ignore les preuves visuelles, s'appuyant plutôt sur les connaissances paramétriques (priors linguistiques) de l'architecture LLM pour « deviner » les réponses. Cela se manifeste par l'hallucination d'entités visuelles inexistantes pour forcer un enchaînement de raisonnement.
2. Désalignement de Saillance Cross-Modale : Le modèle prête attention à des indices visuels perceptuellement saillants mais sémantiquement non pertinents, ou échoue à aligner des concepts de haut niveau avec des pixels fins, établissant des liens causaux faux entre des caractéristiques floues et un texte halluciné.
3. Inertie de Saillance Cross-Modale : Le modèle prête correctement attention aux preuves visuelles mais les traite comme un ancrage immuable. Il ne parvient pas à mettre à jour son raisonnement en réponse à des instructions hypothétiques (par exemple, « et si... »), permettant aux faits visuels statiques de l'emporter sur l'intervention causale logique.

Les approches contrefactuelles existantes reposent souvent sur des interventions au moment de l'inférence (entraînant un double coût de calcul) ou sur un alignement piloté par les données nécessitant une supervision laborieuse. Il manque une solution robuste qui intègre la vérification causale directement dans la boucle d'optimisation sans modèle de récompense externe.

2. Méthodologie : Optimisation de la Politique Contrefactuelle (CFPO)

Les auteurs proposent la Counterfactual Policy Optimization (CFPO), un cadre qui impose la cohérence causale en intégrant un mécanisme d'Intervention Contrefactuelle Cross-Modale directement dans la boucle de mise à jour de la politique. CFPO est conçu pour être compatible avec les algorithmes de RL standards, spécifiquement démontré ici avec Group Relative Policy Optimization (GRPO) et Decoupled Clip and Dynamic Sampling Policy Optimization (DAPO).

Mécanisme Central

La méthode opère sur les couches de Multi-Head Attention du décodeur de langage du LVLM. Elle construit un Graphe Causal Contrefactuel où la sortie de l'Attention ($Z$) sert de médiateur causal entre l'entrée et la réponse générée.

1. Décomposition de la Matrice d'Attention :
   La matrice d'attention $A$ est décomposée en Régions de Haute Saillance ($A_{H-sal}$) et Régions de Basse Saillance ($A_{L-sal}$). Les régions de haute saillance sont identifiées statistiquement comme des valeurs aberrantes où les jetons de requête textuelle portent une attention significative aux jetons d'image (scores d'attention dépassant $\mu + 2\sigma$).

2. Construction du Chemin Contrefactuel :
   Un Chemin Contrefactuel est créé en intervenant sur les vecteurs de Valeur ($V$) correspondant aux Régions de Haute Saillance. Au lieu d'utiliser les caractéristiques visuelles originales, le modèle substitue ces valeurs par un prior non informatif (la moyenne de tous les jetons d'image dans la couche).

   • Chemin Factuel : $Z = A_{L-sal} \cdot V + A_{H-sal} \cdot V$ (Passage direct standard).
   • Chemin Contrefactuel : $Z_{cf} = A_{L-sal} \cdot V + A_{H-sal} \cdot \bar{V}$ (Où $\bar{V}$ est le prior moyen).

   Cette intervention supprime efficacement les indices visuels critiques, forçant le modèle à générer une réponse basée principalement sur les priors linguistiques et le contexte de faible saillance.

3. Objectif de Régularisation Contrefactuelle :
   Le cadre introduit un terme de Régularisation Contrefactuelle ($KL_{cf}$) dans l'objectif de RL. Ce terme mesure la divergence entre la politique factuelle $\pi_\theta(o|Z)$ et la politique contrefactuelle $\pi_{cf}(o|do(Z=Z_{cf}))$.

   • L'objectif maximise la Contribution Causale Effective, définie comme la différence de log-vraisemblance ($\Delta_{cf}$) entre les états factuels et contrefactuels.
   • Si la prédiction du modèle ne change pas lorsque les indices visuels sont supprimés (c'est-à-dire $\Delta_{cf} \approx 0$), cela implique que le modèle s'appuie sur les priors linguistiques. La régularisation pénalise ce comportement, obligeant le modèle à maximiser le gain d'information dérivé des preuves visuelles.

La fonction d'objectif totale intègre cette régularisation dans GRPO/DAPO :
$$J_{CFPO}(\theta) = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^{G} (\hat{J}_{clip} - \beta KL_{ref} + \gamma KL_{cf} - \eta Ent) \right]$$
où $\gamma$ contrôle la force de la régularisation contrefactuelle.

3. Contributions Clés

• Nouveau Cadre : Introduction de CFPO, le premier cadre qui impose la cohérence causale entre la perception visuelle et le raisonnement textuel via un mécanisme d'amélioration contrefactuelle cross-modale au sein de la boucle d'entraînement RL.
• Mécanisme d'Intervention Causale : Une méthode pour effectuer des tests de nécessité causale dynamiques en supprimant les régions visuelles de haute saillance au niveau de la sortie de l'attention, quantifiant la dépendance du modèle vis-à-vis des preuves visuelles par rapport aux priors linguistiques.
• Intégration avec le SOTA du RL : Intégration transparente avec GRPO et DAPO sans nécessiter de modèles de récompense externes, de supervision supplémentaire ou de surcharge lors de l'inférence.
• Traitement des Distributions Pathologiques : Cible et atténue explicitement la Déficience de Saillance, le Désalignement et l'Inertie, qui sont identifiés comme les causes profondes des hallucinations et des échecs d'ancrage dans les LVLM.

4. Résultats Expérimentaux

Des expériences approfondies ont été menées sur ViRL39K pour l'entraînement et évaluées à travers des benchmarks Centrés sur le Monde Réel (C-VQA-Real, MARS-Bench, POPE, TextVQA, MMMU-Pro(V)) et Centrés sur les Mathématiques (Geo3k, We-Math, MMk12, MathVerse, LogicVista).

• Gains de Performance : CFPO surpasse systématiquement les lignes de base de RL standard (GRPO/DAPO) et la méthode de perception avancée (PAPO).
  • vs. GRPO/DAPO : A obtenu des gains constants de 3,17 % à 6,25 % en précision globale.
  • vs. PAPO : A obtenu des gains constants de 1,32 % à 2,13 % par rapport aux bases de référence de perception.
• Améliorations Spécifiques : Des améliorations notables ont été observées dans les tâches exigeant une logique rigoureuse et une génération de Chaîne de Pensée (CoT) complexe, telles que le raisonnement mathématique et la résolution de problèmes géométriques.
• Stabilité et Efficacité : Les courbes d'apprentissage indiquent que CFPO atteint une convergence plus rapide et une meilleure efficacité d'échantillonnage par rapport aux bases de référence. La méthode démontre également une plus grande stabilité de raisonnement avec une variance plus faible à travers différents domaines.
• Analyse Qualitative : Les études de cas montrent que CFPO corrige avec succès les modes d'échec où les bases de référence ignoraient la géométrie visuelle (Déficience), échouaient à découpler la perception des instructions hypothétiques (Inertie) ou étaient détournées par des distracteurs saillants (Désalignement).

5. Signification et Revendications

L'article affirme que CFPO fournit une voie fondée sur des principes vers une intelligence multimodale causalement cohérente. En internalisant la vérification causale, la méthode dépasse l'apprentissage associatif pour vérifier explicitement la nécessité de l'information attendue.

Les auteurs soutiennent que CFPO améliore considérablement la fidélité du raisonnement, réduisant les hallucinations et renforçant la robustesse et l'interprétabilité des LVLM. Contra de méthodes antérieures qui alignent implicitement les modalités ou reposent sur un masquage d'entrée grossier, CFPO offre une garantie causale rigoureuse que le processus de raisonnement est ancré dans des preuves visuelles valides. L'approche démontre que l'imposition de la cohérence causale est critique pour surmonter l'« apprentissage par raccourcis » inhérent aux paradigmes actuels de RL axés sur le résultat pour les tâches multimodales.