🤖 machine learning

Maximum Likelihood Reinforcement Learning

Cet article introduit le Maximum Likelihood Reinforcement Learning (MaxRL), un nouveau cadre qui comble l'écart entre l'apprentissage par renforcement à récompense attendue et le maximum de vraisemblance en proposant un objectif indexé sur le calcul qui domine au sens de Pareto les méthodes existantes et améliore considérablement l'efficacité de la mise à l'échelle au moment du test.

Auteurs originaux : Fahim Tajwar, Guanning Zeng, Yueer Zhou, Yuda Song, Daman Arora, Yiding Jiang, Jeff Schneider, Ruslan Salakhutdinov, Haiwen Feng, Andrea Zanette

Publié 2026-08-21

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fahim Tajwar, Guanning Zeng, Yueer Zhou, Yuda Song, Daman Arora, Yiding Jiang, Jeff Schneider, Ruslan Salakhutdinov, Haiwen Feng, Andrea Zanette

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de l'intelligence artificielle, il existe deux manières dominantes d'enseigner à un ordinateur comment réfléchir. La première est semblable à un enseignant strict qui fournit la bonne réponse pour chaque question, permettant à l'élève de comparer son travail à un corrigé et d'ajuster sa compréhension en conséquence. Cette méthode, connue sous le nom d'apprentissage supervisé, a propulsé les plus impressionnants systèmes de reconnaissance d'images et les outils linguistiques que nous utilisons aujourd'hui. La seconde approche ressemble davantage à un enfant qui apprend à marcher : il n'y a pas de corrigé, seulement l'environnement lui-même. L'apprenant fait un pas, tombe, réessaie, et finit par apprendre à garder l'équilibre en ressentant les conséquences de ses actions. C'est l'apprentissage par renforcement, une méthode conçue pour des situations où le chemin vers une solution n'est pas une ligne droite de données, mais une série de choix menant à un résultat final. Pendant des années, lorsque les systèmes d'IA étaient confrontés à des problèmes où le seul retour d'information était un simple « oui » ou « non » à la toute fin — comme résoudre un problème mathématique ou naviguer dans un labyrinthe — les chercheurs se sont appuyés sur cette seconde méthode. Ils traitaient le problème comme un jeu visant à maximiser les récompenses, supposant que si l'IA pouvait simplement obtenir suffisamment de signaux « oui », elle apprendrait à réussir.

Une nouvelle étude remet en question cette hypothèse de longue date, suggérant que la manière standard d'enseigner à ces systèmes est en réalité une approximation grossière d'un principe bien plus puissant, mais auparavant inaccessible. Les chercheurs, travaillant à travers plusieurs universités, ont découvert que lorsqu'un modèle d'IA génère une réponse correcte, il crée implicitement une probabilité de succès. Dans un monde parfait, la meilleure façon d'entraîner le modèle serait de maximiser directement cette probabilité, un concept connu sous le nom de maximum de vraisemblance. Cependant, parce que le processus de génération d'une réponse implique souvent des étapes imprévisibles qui ne peuvent pas être facilement mesurées par le calcul interne d'un ordinateur, les scientifiques ont été contraints d'utiliser l'approche de « jeu » de l'apprentissage par renforcement. Les nouveaux travaux prouvent que cette approche standard n'est qu'une estimation de premier ordre du véritable objectif. Elle manque les informations subtiles et critiques cachées dans les rares moments où le modèle lutte mais finit par réussir. En développant un nouveau cadre d'entraînement appelé Maximum Likelihood Reinforcement Learning, ou MaxRL, l'équipe a trouvé un moyen de combler ce fossé, permettant au système d'apprendre de ses succès avec une précision auparavant impossible.

Le cœur de la découverte réside dans la manière dont l'ordinateur évalue ses erreurs et ses victoires. Dans la méthode traditionnelle, chaque fois que le modèle produit une réponse correcte, il reçoit une récompense, et le système ajuste ses paramètres internes pour rendre ce résultat plus probable. Cependant, cette méthode traite une réponse correcte de la même manière, quelle que soit la difficulté du problème. Si le modèle résout un puzzle simple et un complexe avec la même facilité, le système traditionnel leur accorde un crédit égal. La nouvelle recherche montre que cela est inefficace. Le véritable objectif est de maximiser la vraisemblance d'être correct, ce qui exige mathématiquement que le système accorde beaucoup plus d'attention aux problèmes difficiles où le succès est rare. La méthode standard échoue à le faire car elle ne regarde que le taux de réussite moyen. Le nouveau cadre, MaxRL, change le calcul en examinant l'historique complet des tentatives. Il demande : « Si nous essayions ce problème de nombreuses fois, combien de fois aurions-nous raison ? » En analysant la fréquence du succès à travers de nombreuses tentatives, le système peut déduire la véritable difficulté du problème et ajuster son apprentissage en conséquence.

Pour tester cette idée, les chercheurs ont construit un système capable de simuler ce processus d'apprentissage plus sophistiqué. Ils ont créé une famille d'objectifs qui peuvent être réglés comme un cadran. À une extrémité du cadran, le système se comporte exactement comme les méthodes d'apprentissage par renforcement standard utilisées aujourd'hui. À l'autre extrémité, il se comporte comme l'entraîneur de maximum de vraisemblance idéal, qui est théoriquement parfait mais généralement impossible à exécuter. Au milieu, le cadran permet au système d'utiliser plus de puissance de calcul pour obtenir une approximation plus précise de cet idéal. L'équipe a constaté qu'en augmentant la puissance de calcul dédiée à la génération de multiples tentatives pour chaque problème, les performances du système s'amélioraient de manière spectaculaire. Ce n'était pas seulement que le système devenait plus stable ; la nature même de ce qu'il apprenait changeait. Il commençait à se concentrer intensément sur les problèmes difficiles que les anciennes méthodes ignoraient, menant à une compréhension beaucoup plus profonde de la tâche.

Les résultats de cette approche ont été frappants à travers une variété de tests. Dans un environnement contrôlé où les chercheurs pouvaient comparer directement la nouvelle méthode à l'idéal théorique, le nouveau système se rapprochait étroitement de la performance de l'entraîneur parfait à mesure qu'ils ajoutaient de la puissance de calcul. En revanche, les méthodes standard ont atteint un mur, ne progressant pas de manière significative même en étant dotées de quantités massives de données. Lorsque l'équipe est passée à des scénarios plus complexes et réels, comme la navigation dans des labyrinthes et la résolution de problèmes mathématiques, l'avantage est devenu encore plus clair. Sur des tâches impliquant le raisonnement mathématique, la nouvelle méthode a obtenu des gains de performance jusqu'à vingt fois plus efficaces que les méthodes de pointe actuelles. Cela signifie que pour atteindre le même niveau de compétence, le nouveau système nécessitait beaucoup moins de tentatives et moins de temps de calcul. Peut-être plus important encore, la nouvelle méthode n'a pas souffert du problème de « surapprentissage » (overfitting) qui frappe souvent ces systèmes, où un modèle apprend si bien à mémoriser les données d'entraînement qu'il échoue à généraliser à de nouveaux problèmes inédits. Alors que d'autres méthodes voyaient leur capacité à générer des solutions correctes et diverses se dégrader avec le temps, le nouveau cadre maintenait une variété saine de réponses correctes, suggérant qu'il apprenait véritablement la logique sous-jacente plutôt que de simplement mémoriser des motifs.

Les implications de ce travail s'étendent au-delà de la simple amélioration de l'intelligence des IA ; elles changent notre perception des limites de l'apprentissage automatique. Pendant longtemps, la difficulté de l'entraînement de ces systèmes sur des tâches de raisonnement complexes a été imputée aux algorithmes eux-mêmes ou au manque de données. Cette étude suggère que le goulot d'étranglement était en réalité la fonction d'objectif — l'objectif mathématique que le système tentait d'atteindre. En déplaçant l'objectif de la simple maximisation de la récompense moyenne vers la maximisation de la vraisemblance de la correction, les chercheurs ont débloqué un nouveau niveau d'efficacité. Le système ne se contente plus de deviner la bonne réponse ; il apprend à comprendre la probabilité de succès d'une manière qui reflète la façon dont les humains apprennent de victoires rares et durement acquises. Les chercheurs notent que cette approche fonctionne mieux lorsqu'il existe un moyen clair de vérifier si une réponse est correcte, comme en mathématiques ou en programmation, mais les principes pourraient potentiellement s'appliquer à d'autres domaines où le résultat est binaire. Alors que l'intelligence artificielle s'attaque à des problèmes de plus en plus complexes et abstraits, la capacité d'apprendre efficacement à partir de retours d'information épars sera cruciale. Ce nouveau cadre offre une voie de passage, montrant qu'en affinant la manière dont nous définissons le succès, nous pouvons enseigner aux machines non seulement à apprendre plus vite, mais aussi mieux.

Résumé Technique : Apprentissage par Renforcement par Maximum de Vraisemblance (MaxRL)

Énoncé du Problème

L'apprentissage par renforcement (RL) est le paradigme standard pour entraîner des modèles dans des contextes où la fonction objectif est non différentiable et ne peut être évaluée que par échantillonnage, comme les tâches avec des résultats binaires de succès ou d'échec (par exemple, la synthèse de programmes, le raisonnement mathématique, la navigation). Dans ces scénarios, le modèle induit une vraisemblance implicite de correction, $p_\theta(y^*(x) | x)$ , pour un intrant $x$ donné. Bien que le Maximum de Vraisemblance (ML) soit l'objectif principled pour optimiser ces probabilités dans des contextes différentiables, il est traditionnellement intraçable ici en raison du processus de génération stochastique non différentiable. Par conséquent, les praticiens ont recours au RL standard, qui optimise l'espérance de la récompense (le taux de réussite attendu, $E[p_\theta]$ ), plutôt que le logarithme de la vraisemblance ( $E[\log p_\theta]$ ).

Les auteurs observent que le RL standard et le ML induisent des comportements d'optimisation fondamentalement différents. Plus précisément, le gradient de l'objectif ML implique un repondérage par l'inverse de la probabilité ( $1/p_\theta$ ), ce qui met l'accent de manière significative sur les cas « difficiles » ayant de faibles probabilités de succès. En revanche, les gradients du RL standard ( $\nabla p_\theta$ ) traitent tous les intrants de manière linéaire, sous-pondérant souvent les cas difficiles. Ce décalage suggère que le RL n'est qu'une solution de contournement pour la non-différentiabilité plutôt qu'un objectif optimal pour les tâches basées sur la correction.

Méthodologie : Apprentissage par Renforcement par Maximum de Vraisemblance (MaxRL)

Le papier introduit le Maximum Likelihood Reinforcement Learning (MaxRL), un cadre qui comble l'écart entre le RL standard de l'espérance de récompense et le Maximum de Vraisemblance exact en exploitant l'augmentation du calcul d'échantillonnage.

Fondement Théorique

Les auteurs dérivent une expansion au niveau de la population de l'objectif de Maximum de Vraisemblance en utilisant une série de Maclaurin en termes d'événements d'échec. Pour un taux de réussite $p$ , le logarithme de la vraisemblance est :
$\log p = -\sum_{k=1}^{\infty} \frac{(1-p)^k}{k} = -\sum_{k=1}^{\infty} \frac{\text{fail@}k}{k}$
La dérivation de celle-ci produit le gradient ML comme un mélange harmonique infini de gradients pass@k :
$\nabla_\theta J_{ML} = \sum_{k=1}^{\infty} \frac{1}{k} \nabla_\theta \text{pass@}k$
Le RL standard correspond à l'approximation du premier ordre ( $k=1$ ), optimisant uniquement $\nabla_\theta \text{pass@}1$ . Le MaxRL propose de tronquer cette série à un ordre fini $T$ , créant une famille d'objectifs $J_{MaxRL}^{(T)}$ qui interpolent entre le RL ( $T=1$ ) et le ML exact ( $T \to \infty$ ).

Estimation du Gradient

Pour estimer ces objectifs tronqués sans échantillonnage adaptatif (ce qui est coûteux en calcul pour de faibles taux de réussite), les auteurs proposent un estimateur on-policy simple.

Échantillonnage : Pour un intrant donné, échantillonner $N$ trajectoires $z_1, \dots, z_N$ à partir de la politique $m_\theta$ .
Conditionnement de Succès : Identifier les trajectoires réussies où $f(z_i) = y^*(x)$ . Soit $K$ le nombre de succès.
Estimateur : L'estimateur de gradient fait la moyenne des fonctions de score ( $\nabla_\theta \log m_\theta(z_i|x)$ ) uniquement sur les trajectoires réussies, normalisée par $K$ :
$\hat{g}_N(x) = \frac{1}{K} \sum_{i=1}^N r_i S_i \quad (\text{si } K \ge 1)$
où $r_i$ est la récompense binaire et $S_i$ est le score.
Réduction de la Variance : Une variable de contrôle (le score moyen inconditionnel) est soustraite pour réduire la variance, résultant en l'estimateur final utilisé dans l'Algorithme 1.

Insight Clé : Le Théorème 2 établit que cet estimateur est un estimateur non biaisé pour l'objectif de ML tronqué d'ordre $T=N$ (ou $T=N-1$ avec la soustraction de la base). Crucialement, augmenter le nombre de rollouts $N$ ne réduit pas seulement la variance d'un objectif fixe ; cela augmente l'ordre d'approximation de l'objectif lui-même, rapprochant la cible d'optimisation de la véritable vraisemblance maximale.

Implémentation

MaxRL ne nécessite qu'une modification d'une seule ligne aux implémentations de RL on-policy standard (comme RLOO ou GRPO). Au lieu de normaliser l'avantage par le nombre total d'échantillons ou l'écart type, l'avantage est normalisé par la récompense moyenne (ou le nombre d'échantillons réussis), repondérant ainsi efficacement le signal de gradient pour correspondre à l'objectif ML.

Contributions Clés

Formalisation : Le papier formalise le RL basé sur la correction comme un problème de Maximum de Vraisemblance à génération latente, prouvant que le RL standard n'optimise que l'approximation de premier ordre de l'objectif ML.
Objectifs Indexés par le Calcul : Il introduit une famille d'objectifs qui interpolent entre l'espérance de récompense et le ML exact via une expansion de Maclaurin en événements pass@k, contrôlée par le budget de calcul d'échantillonnage.
Équivalence Estimateur-Objectif : Il fournit un estimateur on-policy simple et non biaisé où l'augmentation du nombre de rollouts $N$ améliore directement la fidélité de l'objectif de vraisemblance approximé, plutôt que de simplement réduire la variance.
Validation Empirique : Des expériences approfondies démontrent que MaxRL domine Pareto-optimalement les méthodes existantes (RLOO, GRPO) à travers diverses échelles et régimes de données.

Résultats Expérimentaux

Les auteurs évaluent MaxRL à travers quatre régimes distincts :

Environnement Différentiable Contrôlé (ImageNet) : Lorsque le ML exact (Cross-Entropy) est disponible, MaxRL converge vers celui-ci à mesure que le nombre de rollouts augmente. En revanche, le REINFORCE standard échoue à progresser à partir de faibles taux de réussite initiaux, même avec des budgets d'échantillonnage massifs.
Régime de Données Infinies (Navigation dans un Labyrinthe) : Dans un contexte riche en données avec 1 million de labyrinthes uniques, MaxRL passe à l'échelle de manière nettement plus efficace que GRPO et RLOO en termes de calcul. Alors que les autres méthodes plafonnent, MaxRL continue de s'améliorer, montrant un écart substantiel entre pass@1 et pass@k, indiquant une diversité retenue et un potentiel d'apprentissage.
Régime de Rareté de Données (GSM8K) : Sur un jeu de données fixe (GSM8K) entraîné sur de nombreux époques, MaxRL démontre une résistance supérieure au surapprentissage. Tandis que RLOO et GRPO souffrent d'une « dégradation du pass@k » (perte de diversité) et plafonnent tôt, MaxRL maintient une amélioration sur de nombreuses époques, atteignant une performance de pointe plus élevée tout en maintenant la diversité des sorties.
Raisonnement à Grande Échelle (Modèles Qwen3) : Entraînement de modèles de 1,7B et 4B de paramètres sur des tâches de raisonnement mathématique, MaxRL domine Pareto l'approche GRPO. Il atteint des scores pass@1 plus élevés tout en améliorant simultanément le pass@k (couverture). Notamment, MaxRL génère jusqu'à 20 fois plus d'efficacité de mise à l'échelle au temps de test par rapport à GRPO lorsqu'il utilise un vérificateur parfait, car il nécessite moins d'échantillons pour atteindre la même couverture.

Signification et Revendications

Le papier affirme que MaxRL offre une alternative principielle au RL standard pour les tâches à récompense binaire. Sa principale importance réside dans le recadrage des limites du RL des modèles de fondation, non pas comme une conséquence inhérente au processus d'optimisation ou d'échantillonnage, mais comme une conséquence du choix de l'objectif.

Dynamique d'Optimisation : MaxRL concentre les signaux d'apprentissage sur les prompts difficiles (faibles taux de réussite), contrairement à GRPO et RLOO qui peuvent pousser les distributions vers des extrêmes (0 ou 1).
Mise à l'Échelle : MaxRL passe mieux à l'échelle tant avec l'ajout de données que de calcul. Dans les contextes de rareté de données, il évite l'effondrement de la diversité souvent observé lors d'un entraînement RL prolongé.
Efficacité : En alignant l'objectif d'entraînement avec l'objectif au temps de test (maximiser la probabilité de trouver n'importe quelle solution correcte parmi $k$ échantillons), MaxRL améliore considérablement l'efficacité de l'inférence.

Les auteurs concluent que MaxRL est une direction prometteuse pour le passage à l'échelle du RL dans les domaines basés sur la correction, offrant une voie pour récupérer les bénéfices de l'entraînement par Maximum de Vraisemblance dans des contextes non différentiables grâce à l'augmentation du calcul d'échantillonnage.