Résumé technique : Optimisation des Préférences Améliorée par la Connaissance (KEPO) pour le Raisonnement Multimodal

1. Énoncé du problème

L'apprentissage par renforcement (RL) est devenu un paradigme principal pour induire des comportements de raisonnement explicites dans les grands modèles vision-langage multimodaux (VLM). Cependant, l'application du RL à des tâches intensives en raisonnement, en particulier dans des domaines à haut risque comme la santé, se heurte à deux modes d'échec fondamentaux :

1. Récompense sparse et attribution ambiguë du crédit : La plupart des méthodes existantes reposent sur des récompenses sparse au niveau de la trajectoire (par exemple, binaire correct/incorrect). Dans un raisonnement à contexte long, une seule erreur locale peut invalider une chaîne de pensée par ailleurs cohérente. Cette parcimonie conduit à une attribution ambiguë du crédit, où le modèle ne peut pas distinguer quelles étapes intermédiaires ont contribué au résultat final, entraînant des estimations de gradient à haute variance et une optimisation instable.
2. Effondrement de l'exploration (le « précipice d'apprentissage ») : Sous un RL standard on-policy, une exploration naïve échoue souvent à générer des trajectoires porteuses de récompense lorsque celles-ci sont rares ou binaires. Cela piège la politique dans un régime de « précipice d'apprentissage » où le modèle ne reçoit aucun signal informatif pour s'améliorer, en particulier dans des contextes multimodaux complexes où les erreurs peuvent provenir à la fois de la perception visuelle et de la génération de langage.

Des tentatives récentes pour atténuer les récompenses sparse en utilisant une distillation de connaissance on-policy (exploitant un modèle enseignant puissant pour une supervision dense au niveau des tokens) ont montré des promesses. Cependant, ces méthodes appliquent généralement la distillation uniformément sur toutes les trajectoires générées. Les auteurs soutiennent que cela est inadapté aux tâches de raisonnement : les trajectoires de faible qualité proviennent souvent d'erreurs logiques précoces ou d'hallucinations. La distillation de ces trajectoires défectueuses force l'élève à imiter la distribution de l'enseignant conditionnée à un contexte incorrect, injectant des gradients bruyants et désalignés qui entravent l'apprentissage.

2. Méthodologie : KEPO

Pour répondre à ces défis, les auteurs proposent l'Optimisation des Préférences Améliorée par la Connaissance (KEPO), un cadre unifié de post-entraînement intégrant deux composantes étroitement couplées : la Distillation On-Policy à Portes de Qualité et l'Exploration Améliorée par la Connaissance.

2.1 Distillation On-Policy à Portes de Qualité

KEPO modifie l'objectif RL standard en introduisant un terme de supervision dense par un enseignant, activé sélectivement en fonction de la qualité de la trajectoire.

• Mécanisme : Au lieu de distiller toutes les trajectoires générées par l'élève, la méthode applique un seuil basé sur la récompense ($\tau$). La perte de distillation n'est calculée que pour les trajectoires où la récompense $r_i \geq \tau$.
• Raison d'être : Cela garantit que la guidance dense de l'enseignant est alignée avec l'objectif d'apprentissage par renforcement. Cela empêche l'élève d'apprendre à partir de « contextes défectueux » où la chaîne de raisonnement s'est déjà effondrée.
• Fonction objectif : L'objectif KEPO ($J_{KEPO}$) combine :
  1. Un terme d'optimisation des préférences pondéré par l'avantage (poussant l'amélioration basée sur la qualité relative des trajectoires).
  2. Un terme de distillation à portes de qualité ($I_{r_i \geq \tau} D(\pi_T \parallel \pi_\theta)$) fournissant une supervision dense uniquement sur les trajectoires alignées avec la récompense.
  3. Un terme de régularisation KL pour contraindre les mises à jour de la politique.

2.2 Exploration Améliorée par la Connaissance via Échantillonnage par Rejet Sensible aux Indices

Pour répondre au « précipice d'apprentissage » où une exploration naïve échoue à trouver des trajectoires porteuses de récompense, KEPO introduit un mécanisme d'exploration adaptatif.

• Déclencheur : Pendant l'entraînement, si un déploiement on-policy standard de $G$ trajectoires ne produit aucune récompense (c'est-à-dire $\max r(y_i) = 0$), le mécanisme d'exploration est déclenché.
• Indices guidés par l'enseignant : Un modèle enseignant ($\pi_T$) génère un indice de raisonnement ($h$) conditionné à l'entrée ($x$) et à la réponse vraie ($y$). Note : La réponse vraie est utilisée uniquement comme information privilégiée lors de cette récupération d'échec en temps d'entraînement et n'est jamais utilisée lors de l'inférence.
• Échantillonnage sensible aux indices : Une politique auto-améliorée ($\pi_E$), partageant les paramètres de l'élève mais conditionnée à l'indice $h$ et à la réponse privilégiée, génère une trajectoire de proposition.
• Échantillonnage par rejet : La proposition n'est acceptée que si elle produit une récompense positive. Sinon, l'échantillonnage est répété jusqu'à un budget $B$.
• Injection : Les trajectoires sensibles aux indices acceptées sont injectées dans le tampon de déploiement et optimisées conjointement avec les trajectoires on-policy standard. Cela permet à la politique de sortir du précipice d'apprentissage sans dépendre d'une supervision statique hors ligne.

3. Contributions clés

L'article expose quatre contributions principales :

1. Cadre KEPO : Un cadre unifié de post-entraînement intégrant une supervision enseignante à portes de qualité avec une exploration adaptative pour améliorer le RL pour les VLM multimodaux.
2. Identification des modes d'échec : Les auteurs identifient et traitent deux modes d'échec spécifiques au RL orienté raisonnement : (a) le bruit contextuel causé par une distillation uniforme sur des trajectoires défectueuses, et (b) la stagnation de l'exploration sous des récompenses sparse. Ils démontrent que le filtrage sélectif et l'injection sensible aux indices sont essentiels pour résoudre ces problèmes.
3. Évaluation expérimentale : Le travail implémente des cadres récents de distillation on-policy (spécifiquement MM-GKD) dans le contexte vision-langage multimodal pour fournir une base principielle de comparaison entre les approches de post-entraînement basées sur la distillation et celles basées sur le RL.
4. Validation empirique : Des expériences extensives sur un benchmark de VQA médical à faible ressource et à source unique démontrent que KEPO produit un raisonnement robuste et une généralisation hors distribution (OOD) supérieure par rapport à des bases de référence solides.

4. Résultats expérimentaux

Les auteurs évaluent KEPO sur OmniMedVQA, un benchmark de VQA médical couvrant huit modalités d'imagerie.

• Configuration : Les modèles sont entraînés uniquement sur des données IRM (In-Domain) et testés sur l'IRM plus sept autres modalités (CT, Rayons X, Échographie, Dermoscopie, Fond d'œil, OCT, Microscopie) comme tests hors distribution (OOD). Cela isole les capacités de généralisation inter-modale.
• Bases de référence : Les comparaisons incluent des VLM à usage général (Qwen3-VL), des VLM spécifiques au domaine médical (HuatuoGPT), des méthodes standard de post-entraînement (SFT, GRPO, MM-DAPO) et des bases de référence de distillation on-policy multimodale (MM-GKD).
• Performance :
  • KEPO atteint la précision moyenne la plus élevée (80,25 %) et la précision moyenne OOD la plus élevée (78,00 %) parmi toutes les méthodes comparées.
  • Il surpasse significativement GRPO et les bases de référence de distillation on-policy uniforme, en particulier dans le contexte OOD.
  • Études d'ablation : La suppression du composant d'exploration (KEPO-KE) réduit la précision OOD, confirmant la valeur de l'exploration guidée. La suppression de la porte de qualité ($\tau=0$) dégrade également les performances par rapport à la version à portes ($\tau=1$), validant que la restriction de la distillation aux trajectoires de haute qualité empêche l'injection de gradients bruyants.
  • Dynamique d'entraînement : KEPO démontre une convergence plus rapide et une plus grande stabilité que GRPO, en particulier dans les premières étapes de l'entraînement où les récompenses sparse causent généralement une stagnation.

5. Signification et affirmations

L'article affirme que KEPO fournit un cadre principiel pour intégrer une guidance enseignante dense dans un post-entraînement basé sur le renforcement. Sa signification réside dans :

• Résolution du « précipice d'apprentissage » : En orientant activement l'exploration vers des trajectoires informatives lorsque l'échantillonnage naïf échoue, KEPO permet l'apprentissage dans des régimes où le RL standard stagnerait.
• Stabilisation du raisonnement : En filtrant les trajectoires de faible qualité pour la distillation, KEPO évite l'injection de gradients bruyants qui affectent généralement les tâches intensives en raisonnement, permettant l'émergence stable de comportements de chaîne de pensée cohérente.
• Généralisation : Le cadre permet aux modèles d'apprendre des motifs de raisonnement transférables qui se généralisent à travers les modalités, même lorsqu'ils sont entraînés sur une seule modalité source avec des données limitées.

Les auteurs positionnent KEPO non pas comme un remplacement du RL, mais comme un renforcement structuré qui exploite dynamiquement les modèles enseignants pour guider l'exploration et fournir une attribution dense du crédit spécifiquement lorsque les mécanismes on-policy standards échouent.