Résumé Technique : Optimisation de Politique Vectorielle (VPO)

Énoncé du Problème

Les paradigmes actuels de post-entraînement des grands modèles de langage (LLM), en particulier ceux utilisant l'apprentissage par renforcement (RL) avec l'optimisation de politique relative par groupes (GRPO), optimisent une récompense scalaire unique et pré-spécifiée. Bien que cette approche soit efficace pour converger vers une réponse à haute probabilité, elle conduit souvent à un « effondrement de mode », où la politique produit des distributions de réponse à faible entropie. Ce manque de diversité devient un goulot d'étranglement critique lorsque les LLMs sont déployés dans des procédures de recherche au moment du test (par exemple, l'échantillonnage par rejet, les algorithmes évolutionnaires comme AlphaEvolve, ou la sélection du meilleur parmi $k$).

Dans les systèmes augmentés par la recherche, la phase d'entraînement devrait idéalement fournir un pool riche de candidats diversifiés et compétents que l'algorithme de recherche peut exploiter. Cependant, l'entraînement RL scalaire standard effondre la distribution des candidats vers un seul compromis optimal, faisant que les échantillons supplémentaires deviennent quasi-identiques. Par conséquent, la procédure de recherche ne peut pas découvrir de solutions supérieures nécessitant des compromis différents entre objectifs concurrents (par exemple, la justesse du code par rapport à l'efficacité, ou différents chemins de raisonnement dans des questions multi-sauts).

Méthodologie : Optimisation de Politique Vectorielle (VPO)

Les auteurs proposent l'Optimisation de Politique Vectorielle (VPO), un algorithme de RL conçu pour entraîner explicitement des politiques à produire des ensembles diversifiés de solutions couvrant le front de Pareto des récompenses vectorielles. Le VPO repose sur le postulat que, dans de nombreuses tâches réalistes (génération de code, raisonnement multi-sauts, utilisation d'outils), les récompenses se décomposent naturellement en composantes vectorielles (par exemple, la justesse par cas de test, les notes par critère).

Le VPO se compose de deux composants principaux :

1. Chaînes de Réponses Multiples comme Exploration en Contexte :
   Au lieu de générer une seule réponse par prompt, le modèle est entraîné à émettre un ensemble de $m$ complétions candidates ($S = \{y_1, \dots, y_m\}$) au sein d'un seul déploiement autorégressif. Chaque candidat subséquent peut porter attention aux réponses précédemment générées dans le contexte, permettant au modèle de reconnaître explicitement quelles régions de l'espace des solutions sont couvertes et de diriger les nouveaux candidats vers des zones inexplorées. Cela transforme la diversité d'un sous-produit du bruit d'échantillonnage en un mécanisme explicite et contextuel.

2. Optimisation au Niveau de l'Ensemble par Scalarisation Stochastique :
   Pour inciter le modèle à produire des ensembles diversifiés plutôt qu'à s'effondrer vers un seul mode, le VPO remplace la récompense scalaire fixe par une distribution sur les pondérations de récompense.

   • Pour chaque déploiement, un vecteur de poids $w$ est échantillonné à partir d'une distribution de Dirichlet ($w \sim \text{Dir}(\alpha)$, où $\alpha=1$ implique une distribution uniforme sur le simplexe).
   • La récompense pour l'ensemble $S$ est calculée comme l'espérance de la récompense scalarisée maximale à travers les poids échantillonnés :
     $$R(S) = \mathbb{E}_{w \sim \text{Dir}(\alpha)} \left[ \max_{y \in S} w^\top r(x, y) \right]$$
   • Cet objectif récompense le modèle pour couvrir le front de Pareto : différents éléments dans l'ensemble $S$ sont incités à se spécialiser dans différents compromis des composantes de récompense.

Le VPO est implémenté comme un remplacement direct pour l'estimateur d'avantage GRPO. Il utilise le cadre GRPO mais calcule les avantages basés sur la récompense au niveau de l'ensemble dérivée des scalarisations stochastiques, partageant les mêmes $K$ vecteurs de poids à travers un groupe de $G$ déploiements pour assurer la comparabilité.

Contributions Clés

1. Recadrage du RL de Post-Entraînement : L'article soutient que dans les systèmes avec recherche au moment du test, le rôle de l'entraînement RL devrait passer de la convergence vers une seule meilleure réponse à la maximisation de la diversité d'un ensemble de solutions compétentes, laissant l'exploitation à la procédure de recherche.
2. Structure de Récompense Vectorielle : Il démontre que la nature vectorielle des récompenses dans les tâches pratiques fournit un mécanisme naturel pour la diversité. En entraînant le modèle à couvrir le front de Pareto de différents objectifs, la politique maintient une population d'alternatives qui sont optimales sous différentes pondérations.
3. Algorithme VPO : Les auteurs proposent le VPO, qui combine la génération de réponses multiples avec des scalarisations de récompense randomisées. Cela permet au modèle de générer des ensembles de candidats diversifiés au sein d'un seul déploiement, optimisant la couverture de l'espace des récompenses plutôt qu'un seul pic scalaire.

Résultats Expérimentaux

Les auteurs ont évalué le VPO sur quatre domaines diversifiés : Maze (navigation avec compromis d'objets), MuSiQue (QA multi-sauts), EUREQA (raisonnement en chaîne) et ToolRL (appel de fonctions). Ils ont comparé le VPO à plusieurs bases de référence, notamment le GRPO standard, le Multi-RLVR (réponses multiples avec récompense scalaire fixe), le GRPO à pondération aléatoire, et l'entraînement Max-at-$k$.

• Mise à l'échelle au Moment du Test : Sur tous les domaines, le VPO a constamment surpassé les bases de référence scalaires sur les métriques best@k. Alors que la performance du GRPO scalaire plafonnait rapidement lorsque $k$ augmentait (indiquant un effondrement des candidats), le VPO continuait de s'améliorer avec des échantillons supplémentaires, montrant un écart qui s'élargissait à mesure que le budget de recherche augmentait.
• Métriques de Diversité : Le VPO a maintenu une haute diversité dans l'espace des récompenses (mesurée par la distance L1 paire entre les vecteurs de récompense), tandis que des bases de référence comme le Multi-RLVR et le GRPO standard s'effondraient vers des vecteurs de récompense quasi-identiques tôt dans l'entraînement.
• Problèmes Difficiles et Recherche Évolutionnaire : Dans une étude de cas sur LiveCodeBench (un benchmark de programmation compétitive), un modèle entraîné avec VPO (Qwen2.5-Coder-7B) a nettement surpassé un modèle GRPO apparié en termes de calcul. Crucialement, lorsqu'intégré dans OpenEvolve (une boucle de recherche évolutionnaire), les modèles VPO ont résolu des problèmes que les modèles GRPO ne pouvaient résoudre à aucun budget de candidats, démontrant que le VPO débloque des solutions nécessitant des compromis complexes.
• Études d'Ablation :
  • La génération de réponses multiples seule (sans scalarisation stochastique) était insuffisante pour maintenir la diversité.
  • La scalarisation stochastique seule (sans chaînes de réponses multiples) n'a pas produit les mêmes gains.
  • Le GRPO conditionné par objectif (conditionnement sur des poids spécifiques) n'a pas réussi à égaler le VPO, suggérant que la génération d'un ensemble diversifié en contexte est plus efficace que le conditionnement explicite sur des poids au moment de l'inférence.
  • Les avantages du VPO étaient les plus prononcés lorsque les composantes de récompense étaient non colinéaires (c'est-à-dire lorsque de vrais compromis existaient). Dans les domaines avec des récompenses quasi colinéaires (par exemple, UltraFeedback), l'avantage du VPO s'est atténué, s'alignant avec le postulat théorique.

Importance et Revendications

L'article postule que, à mesure que la recherche au moment du test devient un composant standard des systèmes d'IA, l'optimisation pour la diversité doit devenir l'objectif par défaut de post-entraînement. Les auteurs affirment que le VPO fournit une manière principielle de séparer l'exploration (entraînement pour un pool diversifié) de l'exploitation (sélection au moment du test).

L'importance du VPO réside dans sa capacité à :

• Débloquer des Problèmes Plus Difficiles : En préservant des stratégies diversifiées qui peuvent apparaître localement sous-optimales sous une scalaire fixe mais contiennent des motifs de raisonnement partiels utiles pour la recherche, le VPO permet la découverte de solutions que les politiques entraînées de manière scalaire manquent entièrement.
• Mise à l'échelle avec le Calcul : L'écart de performance entre le VPO et les bases de référence scalaires s'élargit à mesure que le budget de recherche au moment du test augmente, rendant le VPO particulièrement précieux pour les scénarios d'inférence intensifs en calcul.
• Compatibilité Directe : Le VPO ne nécessite aucun changement d'architecture aux LLMs existants et fonctionne comme un simple remplacement de l'estimateur d'avantage dans les cadres RL standards comme le GRPO.

Les auteurs concluent que, bien que le VPO sacrifie les performances pass@1 (car il privilégie l'exploration par rapport à l'exploitation immédiate), c'est l'approche supérieure pour les régimes où la recherche au moment du test est disponible, transformant efficacement l'optimisation de politique en un problème de couverture du front de Pareto.