Résumé technique : Échapper au vérificateur : Apprendre à raisonner via des démonstrations

Problématique

L'entraînement des grands modèles de langage (LLM) pour le raisonnement repose largement sur l'apprentissage par renforcement avec récompenses vérifiables (RLVR), où les modèles sont optimisés par rapport à des vérificateurs de vérité terrain (par exemple, en mathématiques ou en programmation compétitive). Cependant, de nombreuses tâches de raisonnement à haut impact — telles que la rédaction analytique, la recherche ouverte ou l'analyse financière — manquent de tels vérificateurs en raison de critères ambigus ou de la grande variance des réponses acceptables. Bien que les démonstrations d'experts pour ces tâches soient abondantes, elles restent sous-utilisées pour l'entraînement axé sur le raisonnement. Le réglage fin supervisé (SFT) standard sur ces démonstrations échoue souvent à induire les comportements d'auto-correction et de recherche observés dans le RLVR, et des méthodes comme l'apprentissage par renforcement à partir de rétroactions humaines (RLHF) sont prohibitives en raison de la nécessité de collecter des données de préférence.

Méthodologie : RARO

Les auteurs proposent RARO (Relativistic Adversarial Reasoning Optimization), un cadre qui apprend de fortes capacités de raisonnement à partir des seules démonstrations d'experts, sans nécessiter de vérificateurs spécifiques à la tâche ni de préférences humaines. La méthode est fondée sur l'apprentissage par renforcement inverse (IRL), en formulant le problème comme un jeu adversarial entre une politique et un critique.

Composants fondamentaux

1. Configuration Adversariale :

   • Politique ($\pi_\theta$) : Génère des réponses (avec une chaîne de pensée ou Chain-of-Thought) conditionnées par une question.
   • Critique Relatif ($c_\phi$) : Un modèle qui prend une question et une paire de réponses (une experte, une issue de la politique) et prédit laquelle est la meilleure, ou déclare une égalité.
   • Objectif : La politique est récompensée pour tromper le critique (c'est-à-dire pour que sa réponse soit classée comme « experte »), tandis que le critique est récompensé pour identifier correctement la source (expert vs politique).

2. Critique Relatif et Option d'Égalité :

   • Contrairement à la classification binaire standard, le critique effectue une comparaison par paire. Cela évite le problème de « dégénérescence » où une politique optimale rend la tâche de classification impossible pour le critique (devinement aléatoire).
   • Crucialement, le critique est autorisé à déclarer une égalité. Cela fournit des signaux de récompense stables et non nuls même lorsque la politique approche de la qualité de l'expert, empêchant ainsi l'instabilité de l'entraînement.

3. Algorithme d'Entraînement :

   • Optimisation Conjointe : Les deux modèles, politique et critique, sont entraînés conjointement via l'optimisation de politique relative de groupe (GRPO).
   • Poids Partagés : Le même squelette de LLM est utilisé pour les deux rôles afin de réduire l'utilisation de la mémoire et de favoriser la généralisation.
   • Tampon de Rejeu (Replay Buffer) : Pour prévenir l'oubli catastrophique et l'effondrement de mode (où la politique cycle à travers un ensemble fixe de stratégies pour tromper le critique), le critique est entraîné sur un mélange de sorties actuelles et d'un tampon de rejeu comprenant des réponses passées d'experts et de la politique.
   • Techniques de Stabilisation : Les auteurs intègrent un filtrage de longueur excessive et suppriment la normalisation de l'avantage et de la longueur pour assurer un apprentissage robuste.

Contributions Clés

1. Nouvelle Perspective IRL : Le papier introduit une méthode rigoureuse pour entraîner des modèles de raisonnement en utilisant uniquement des données de démonstration, évitant ainsi le besoin de vérificateurs ou d'annotations de préférence.
2. Cadre Adversarial Relatif : Il propose une configuration adversariale spécifique avec un critique « relatif » et une option d'égalité, que les auteurs identifient comme critiques pour stabiliser la dynamique d'entraînement dans les domaines non vérifiables.
3. Validation Empirique : La méthode est validée à travers trois domaines distincts :
   • Countdown (Contrôlé) : Une tâche mathématique simplifiée où la vérification est facile.
   • DeepMath (Mathématiques Générales) : Un domaine de raisonnement complexe où la vérification est aussi difficile que la génération.
   • Écriture de Poésie (Non-vérifiable) : Une tâche créative ouverte sans vérité terrain objective.

Résultats Expérimentaux

Les auteurs évaluent RARO par rapport à des bases de référence solides (SFT, Rationalization, Iterative DPO, et RL-Logit) et, le cas échéant, à la borne supérieure du RLVR.

• Countdown (Modèle 1.5B) : RARO atteint une précision de 54,4 %, surpassant significativement la meilleure base de référence sans vérificateur (SFT à 40,7 %) de +13,7 %. Il égale presque les performances du RLVR (57,7 %).
• DeepMath (Modèle 7B) : RARO atteint une précision de 57,5 %, surpassant la meilleure base de référence sans vérificateur (RL-Logit à 49,3 %) de +8,2 %. La méthode présente des tendances de mise à l'échelle similaires au RLVR à mesure que la taille du modèle augmente.
• Écriture de Poésie (Modèle 7B) : Dans ce domaine non vérifiable, RARO atteint un taux de victoire de 25,0 % contre les poèmes experts, une amélioration massive par rapport à la meilleure base de référence (SFT à 5,9 %), représentant un gain de +19,1 %.
• Comportement de Mise à l'Échelle (Scaling) : RARO démontre une mise à l'échelle efficace tant avec les budgets de jetons de raisonnement (mise à l'échelle au moment du test) qu'avec la taille du modèle. Notamment, il apprend à effectuer une recherche explicite et une auto-correction (par exemple, le retour en arrière dans Countdown), des comportements absents des bases de référence SFT.

Signification et Revendications

Le papier affirme que RARO permet d'induire des performances de raisonnement fortes à partir des seules démonstrations d'experts, permettant un apprentissage de raisonnement robuste même lorsque les vérificateurs spécifiques à la tâche sont indisponibles. En formulant le problème via l'apprentissage par renforcement inverse et en utilisant une configuration adversariale relative, les auteurs démontent qu'il est possible d'entraîner des modèles de raisonnement sans les exigences coûteuses de collecte de données du RLHF ou les contraintes strictes du RLVR.

Les résultats suggèrent que RARO constitue une voie pratique pour développer des capacités de raisonnement dans des domaines réels (comme l'écriture créative et l'analyse complexe) où la vérification automatique est impossible, réduisant potentiellement la dépendance à la collecte coûteuse de préférences humaines tout en conservant les avantages de l'apprentissage par renforcement, tels que la mise à l'échelle au moment du test et l'auto-correction.