AIRL-S: Unifying Reinforcement Learning and Search-Based Test-Time Scaling via Adversarial Inverse Reinforcement Learning
Cet article introduit AIRL-S, un cadre unifié qui combine l'Apprentissage par Renforcement Inverse Adversaire avec l'Optimisation de Politique Relative au Groupe pour inférer des récompenses denses, étape par étape, à partir de trajectoires de référence, éliminant ainsi le besoin de données de processus étiquetées tout en permettant une mise à l'échelle robuste et rentable lors du test qui atteint des performances de niveau GPT-4o sur les bancs d'essai de mathématiques, de sciences et de génération de code.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les grands modèles de langage sont les moteurs puissants qui propulsent de nombreux systèmes d'intelligence artificielle modernes, capables de générer du texte, de résoudre des problèmes et d'écrire du code. Depuis des années, les chercheurs tentent de rendre ces systèmes plus intelligents en leur apprenant à réfléchir aux problèmes étape par étape, une méthode connue sous le nom de « chaîne de pensée » (chain of thought). Cependant, enseigner à un modèle comment bien raisonner est difficile car l'ordinateur sait souvent seulement si la réponse finale est juste ou fausse, mais pas si les étapes menant à celle-ci étaient logiques. Pour remédier à cela, les scientifiques ont essayé deux approches principales. L'une consiste à entraîner le modèle avec des récompenses uniquement à la fin d'une tâche, ce qui peut être instable et inefficace. L'autre utilise un guide distinct pour vérifier chaque étape du processus de raisonnement, mais la création de ce guide nécessite généralement l'intervention d'experts humains coûteux pour étiqueter des milliers d'exemples, et le guide échoue souvent lorsque le modèle commence à penser de nouvelles manières.
Une équipe de chercheurs a introduit un nouveau système appelé AIRL-S qui unifie ces deux approches en une boucle unique d'auto-amélioration. Au lieu de s'appuyer sur des étiquettes humaines pour chaque étape, le système apprend à créer son propre guide interne en observant des exemples de raisonnement de haute qualité. Il utilise ensuite ce guide pour entraîner le modèle et pour l'aider à rechercher les meilleures réponses lors d'une utilisation en conditions réelles. Lors de tests sur huit benchmarks différents impliquant les mathématiques, les sciences et le codage, les chercheurs ont constaté que cette méthode a amélioré les performances du modèle de 9 % en moyenne par rapport à sa version initiale. Le système résultant est aussi performant que les modèles commerciaux les plus avancés disponibles, tels que GPT-4o, sans nécessiter la supervision humaine coûteuse requise par les méthodes précédentes.
L'innovation centrale réside dans la manière dont le système apprend à juger son propre travail. Traditionnellement, pour enseigner à un modèle à raisonner étape par étape, les chercheurs auraient besoin d'un « modèle de récompense de processus » (process reward model), un programme distinct entraîné sur des données où des humains ont marqué chaque étape comme correcte ou incorrecte. C'est une méthode lente et coûteuse. La nouvelle méthode contourne cela en utilisant une technique appelée apprentissage antagoniste (adversarial learning). Imaginez le système jouant à un jeu où une partie tente de générer des étapes de raisonnement, et une autre partie tente de distinguer ces étapes générées d'un ensemble d'exemples de référence de haute qualité. À travers cette compétition, le système apprend à reconnaître ce qu'est une bonne étape de raisonnement sans jamais être explicitement guidé par un humain. Ce guide appris, ou modèle de récompense, devient dense et détaillé, offrant un retour sur chaque étape du processus de raisonnement plutôt que sur le seul résultat final.
Une fois que le système a appris ce guide interne, il l'utilise de deux manières simultanées. Premièrement, il utilise le guide pour entraîner le modèle principal, l'encourageant à prendre de meilleures étapes durant la phase d'apprentissage. Deuxièmement, il conserve ce même guide pour agir comme un vérificateur lors de la phase de résolution de problèmes réelle. Lorsque le modèle est sollicité pour résoudre un problème difficile, il peut générer de nombreuses solutions possibles différentes. Le guide appris évalue alors chaque étape de ces solutions potentielles, aidant le système à sélectionner le chemin le plus logique. Cela crée un pipeline unifié où l'outil utilisé pour enseigner au modèle est le même outil utilisé pour l'aider à réfléchir lors d'un test. Les chercheurs ont démontré que ce guide est robuste ; il fonctionne efficacement même lorsqu'il est appliqué à différents modèles ou à différentes stratégies de recherche, ce qui suggère que la connaissance apprise est générale et transférable.
Les résultats de cette approche ont été mesurés à travers une large gamme de tâches exigeantes. Les chercheurs ont testé leur modèle sur huit benchmarks standards, incluant des compétitions mathématiques complexes, des questions de raisonnement scientifique et des défis de codage. Le modèle, qui était initialement un modèle de langage open-source standard, a amélioré sa précision moyenne de 9 % après avoir été entraîné avec cette nouvelle méthode. Dans des tâches mathématiques et scientifiques spécifiques, l'amélioration est encore plus élevée, atteignant 13 %. Comparé à d'autres modèles qui ont été entraînés avec des données étiquetées par des humains coûteuses ou d'autres techniques avancées d'apprentissage par renforcement, ce nouveau système est systématiquement plus performant. Il égale même les performances de GPT-4o, un modèle commercial de premier plan, malgré un nombre de paramètres nettement inférieur. Cela suggère que la qualité du processus de raisonnement, guidée par ce système de récompense auto-appris, est plus importante que le simple fait d'avoir un modèle plus grand.
Une conclusion clé de l'étude est la manière dont les deux types de signaux d'apprentissage fonctionnent ensemble. Le système combine le retour détaillé, étape par étape, de son guide auto-appris avec les récompenses de résultat final issues des méthodes traditionnelles. Les chercheurs ont constaté que s'appuyer sur un seul type de signal était moins efficace. Le guide étape par étape a aidé le modèle à explorer de meilleurs chemins de raisonnement, tandis que le signal de résultat final a permis au modèle de rester concentré sur l'obtention de la bonne réponse. Lorsqu'ils sont équilibrés correctement, ces deux signaux se renforcent mutuellement, menant à un entraînement plus stable et à de meilleurs résultats. De plus, le système a montré qu'il pouvait utiliser ce guide appris pour améliorer diverses méthodes de recherche, telles que celles qui tentent de générer de nombreuses solutions à la fois ou celles qui construisent un arbre de possibilités. Le guide s'est avéré particulièrement efficace dans des scénarios de recherche complexes où le modèle devait évaluer la valeur des étapes intermédiaires pour faire le meilleur choix.
Les implications de ce travail s'étendent au-delà de la simple obtention de scores élevés lors de tests. En supprimant la dépendance aux annotations humaines coûteuses pour le raisonnement étape par étape, cette méthode offre un moyen plus évolutif et plus rentable d'améliorer l'intelligence artificielle. Elle suggère que les modèles peuvent apprendre à être leurs propres professeurs, affinant leurs capacités de raisonnement en observant des exemples de haute qualité et en entrant en compétition contre eux-mêmes. Les chercheurs ont noté que leur approche est particulièrement adaptée aux tâches où la réponse finale peut être vérifiée automatiquement, comme les mathématiques et le codage. Bien que la méthode soit puissante, les auteurs reconnaissent qu'elle repose actuellement sur ces résultats vérifiables et qu'elle pourrait nécessiter des développements supplémentaires pour gérer des tâches ouvertes où il n'existe pas de réponse unique correcte. Néanmoins, la capacité d'unifier l'entraînement et la recherche au moment de l'inférence en un système unique et efficace marque une étape significative vers la création de modèles de langage plus fiables et de raisonneurs plus capables.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.