Résumé Technique : PTD-PO – Distillation de Tutorat Privilégié pour l'Optimisation de Politiques Multimodales

1. Énoncé du Problème

Les progrès récents des grands modèles de langage-vision (LVLM) ont amélioré les performances sur les tâches de raisonnement multimodal complexes. L'apprentissage par renforcement avec récompenses vérifiables (RLVR), en particulier l'optimisation de politique par groupe relatif (GRPO), est apparu comme un paradigme de post-entraînement prometteur pour susciter ces capacités en remplaçant l'annotation des préférences humaines par un feedback au niveau du résultat. Cependant, le RLVR fait face à deux limitations critiques dans les scénarios de raisonnement complexe :

1. Signaux de Récompense Épars : Les récompenses vérifiables sont généralement attribuées uniquement à la réponse finale. Lorsqu'un déroulement (rollout) échoue, le modèle ne reçoit aucune supervision au niveau du jeton (token) concernant les étapes intermédiaires de fondement visuel ou de raisonnement qui étaient incorrectes. Cela conduit à une exploration inefficace et à une difficulté d'attribution de crédit au sein de vastes espaces de raisonnement.
2. Limites de la Distillation Existante : Bien que la distillation de politique puisse fournir un guidage dense au niveau du jeton, les approches actuelles présentent des inconvénients significatifs :
   • Méthodes d'Enseignants Externes : Nécessitent une inférence en ligne à partir d'un modèle externe plus grand, ce qui entraîne une surcharge de calcul substantielle et des désaccords potentiels de vocabulaire.
   • Auto-distillation Révélatrice de la Réponse : Les méthodes qui conditionnent l'enseignant sur les réponses de vérité terrain ou sur des traces de solutions complètes induisent des comportements de génération de type "raccourci". Cela pousse le modèle à contourner le processus de raisonnement, entraînant des trajectoires trop déterministes, un durcissement des distributions de jetons, un effondrement accéléré de l'entropie et une réduction de l'exploration de chemins de raisonnement alternatifs.

Le défi central consiste à concevoir un mécanisme de supervision dense qui soit efficace en termes de calcul (évitant les enseignants externes) et non révélateur (préservant l'exploration) pour corriger les trajectoires de raisonnement défaillantes sans exposer la réponse finale.

2. Méthodologie : PTD-PO

Les auteurs proposent le PTD-PO (Privileged Tutoring Distillation Policy Optimization), un cadre qui intègre le RLVR avec un mécanisme d'auto-distillation utilisant des indices "privilégiés".

2.1 Concept Central

Le PTD-PO sépare l'information utilisée pour générer la supervision de l'information disponible pour la politique étudiante, en adhérant au paradigme de "l'apprentissage avec information privilégiée".

• Politique Étudiante : Opère sous le contexte original sans réponse (question uniquement), maintenant la nature exploratoire du RLVR.
• Modèle de Référence (Enseignant) : Un modèle de référence gelé conditionné par des indices privilégiés dérivés de la question et de la réponse de vérité terrain. Crucialement, les indices sont construits pour être non révélateurs ; ils guident la direction du raisonnement sans exposer la réponse finale ou les résultats numériques intermédiaires.

2.2 Construction Structurée des Indices Privilégiés

Pour chaque exemple d'entraînement, un modèle externe puissant génère des indices structurés à partir de la paire (question, réponse) hors ligne. Ces indices sont contraints par trois règles :

1. Cohérence : Doit s'aligner avec une direction de solution valide.
2. Zéro-Spoiler (Non-Révélation) : Ne doit pas contenir la réponse finale, les nombres intermédiaires exacts, ou les noms d'objets identifiant la réponse.
3. Filtrage : Doit explicitement filtrer les distracteurs visuels et les pièges de raisonnement courants.

Les indices résultants consistent en :

• Guidage Spatial : Mise en évidence des régions, objets, relations pertinentes, ou des distracteurs à ignorer.
• Guidage de Raisonnement Textuel : Fourniture de directions de raisonnement intermédiaires de haut niveau.

2.3 Distillation Routée vers l'Échec

Le PTD-PO n'applique pas la distillation de manière uniforme. Il route le signal de tutorat privilégié spécifiquement vers les trajectoires ayant échoué (où la récompense vérifiable est de 0).

• Si un groupe de réponses échantillonnées présente une précision empirique faible (inférieure à un seuil $\tau_{ptd}$), les réponses incorrectes sont sélectionnées pour la distillation.
• Le modèle enseignant, conditionné sur le contexte augmenté par l'indice ($x_h = [x; h]$), génère une distribution de jetons ($q^h$).
• Le modèle étudiant, conditionné sur le contexte original ($x$), génère une distribution de jetons ($p$).
• L'objectif est d'aligner $p$ avec $q^h$ uniquement aux positions de jetons des déroulements ayant échoué, enseignant ainsi efficacement à l'étudiant comment corriger son chemin de raisonnement sans voir la réponse.

2.4 JSD Top-K Asymétrique avec Compensation de Queue

L'alignement de distributions conditionnées par des contextes différents (avec indice vs sans indice) peut être instable. Pour remédier à cela et réduire les coûts de mémoire :

• Support Top-K : Au lieu de calculer la divergence de Jensen-Shannon (JSD) sur l'ensemble du vocabulaire, la méthode calcule la JSD sur l'union des jetons Top-K des distributions de l'enseignant et de l'étudiant ($K=100$).
• Compensation de Queue : La masse de probabilité en dehors du support Top-K est agrégée dans un "panier de queue" unique afin de préserver la masse de probabilité totale et d'éviter la perte d'information due à une troncature brutale.
• Objectif : Cela réduit la complexité mémoire de $O(BTV)$à$O(BTK)$ tout en stabilisant la distillation asymétrique.

L'objectif d'entraînement final combine la perte GRPO standard avec le régularisateur PTD :
$$\mathcal{L}_{PTD-PO} = -\mathcal{J}_{GRPO}(\theta) + \lambda_{PTD} \mathcal{L}_{PTD}$$

3. Contributions Clés

1. Tutorat Privilégié pour le RLVR : L'article identifie que les récompenses éparses et l'auto-distillation révélatrice de la solution limitent l'exploration dans le RLVR multimodal. Il introduit un cadre de tutorat privilégié sans réponse qui fournit un guidage dense sans exposer l'information de niveau réponse.
2. Cadre PTD-PO : Une nouvelle méthode de distillation qui route la supervision dense vers les trajectoires échouées en conditionnant un modèle de référence gelé sur des indices spatiaux et textuels, tout en maintenant la politique étudiante dans son contexte original sans réponse. Elle inclut un objectif JSD Top-K avec compensation de queue pour une distillation asymétrique stable et efficace en termes de mémoire.
3. Efficacité Empirique et Généralité : Les expériences démontrent que PTD-PO améliore systématiquement les LVLM (de 2B à 8B paramètres) sur divers benchmarks de raisonnement multimodal général et dépendant de la vision. Le module est montré comme étant compatible avec différents optimiseurs RLVR (ex: DAPO, GSPO).

4. Résultats Expérimentaux

Les auteurs ont évalué PTD-PO sur des LVLM allant de 2B à 8B paramètres en utilisant la suite de benchmarks PAPO, qui couvre le raisonnement mathématique, la géométrie, la logique et le questionnement visuel (VQA).

• Performance : PTD-PO a systématiquement surpassé le GRPO standard, l'Optimisation de Politique en Ligne (OPD) et d'autres bases d'auto-distillation (comme HDPO et PAPO) à travers toutes les échelles de modèles et catégories de raisonnement.
  • Pour le modèle 4B, PTD-PO a atteint un score moyen global de 71,23, contre 68,06 pour GRPO et 69,20 pour PAPO.
  • Pour le modèle 8B, PTD-PO a atteint 71,86, surpassant GRPO (68,78) et PAPO (69,05).
• Entropie et Exploration : Les analyses ont montré que PTD-PO maintient une entropie de politique plus élevée par rapport aux méthodes révélatrices de la réponse, atténuant l'effondrement de l'entropie et préservant la capacité du modèle à explorer des chemins de raisonnement alternatifs.
• Études d'Ablation :
  • Qualité des Indices : Supprimer la conception structurée des indices (ex: contraintes de fondement visuel) a considérablement réduit les gains de performance, confirmant que le guidage structuré et non-révélateur est essentiel.
  • Seuil d'Activation : Appliquer le PTD uniquement aux trajectoires échouées ($\tau_{ptd}=1.0$) a donné les meilleurs résultats. L'appliquer à toutes les trajectoires ou seulement aux groupes ayant gravement échoué était moins efficace.
  • Comparaison avec la Réponse de Vérité Terrain (GT) : Bien que le conditionnement sur la réponse GT (Ground Truth) produise un pass@n élevé, il induit des comportements de raccourci et réduit la récupération sur les cas difficiles. Les indices privilégiés offrent un meilleur équilibre entre guidage et exploration.

5. Signification et Revendications

L'article affirme que PTD-PO offre une solution robuste au problème de la "récompense éparse" dans le RLVR multimodal sans le coût de calcul des enseignants externes ou la dégradation comportementale de la distillation révélatrice de la réponse.

• Guidage Dense sans Raccourcis : En utilisant des indices privilégiés, la méthode fournit une supervision dense au niveau du jeton pour les déroulements échoués, corrigeant les étapes de raisonnement intermédiaires sans forcer le modèle à mémoriser ou à prendre un raccourci vers la réponse finale.
• Stabilité et Efficacité : Le JSD Top-K avec compensation de queue permet un entraînement stable sous des contextes divergents tout en réduisant considérablement la surcharge mémoire associée à la distillation au niveau du jeton.
• Générale Applicabilité : Le cadre est conçu comme un module auxiliaire compatible avec divers optimiseurs RLVR, suggérant qu'il peut être largement adopté pour améliorer les capacités de raisonnement des LVLM dans des tâches multimodales complexes et vérifiables.

Les auteurs concluent que l'auto-distillation par information privilégiée est une stratégie efficace pour compléter l'optimisation de la récompense vérifiable, permettant aux modèles d'apprendre des stratégies de raisonnement complexes tout en maintenant les bénéfices exploratoires du RLVR.