SRPO: Self-Reflective Policy Optimization for Long-Horizon Reasoning

Les modèles de langage étendu sont des outils puissants capables de résoudre des problèmes complexes, d'écrire du code et de naviguer dans des environnements numériques, mais ils peinent souvent lorsque une tâche nécessite une longue chaîne de raisonnement. Imaginez demander à un étudiant de résoudre un problème de mathématiques difficile ou de planifier un voyage de courses à plusieurs étapes. Si l'étudiant donne la réponse finale erronée, il reçoit un simple signal « incorrect ». Ce retour d'information lui indique que le résultat est mauvais, mais n'explique pas quelle étape spécifique de sa longue chaîne de pensée a causé l'erreur. Était-ce une erreur de calcul au milieu ? Une mauvaise hypothèse au début ? Sans savoir où la rupture s'est produite, le modèle ne peut pas facilement apprendre à faire mieux la prochaine fois. C'est ce qu'on appelle le problème de l'attribution de crédit, un obstacle majeur pour enseigner à l'intelligence artificielle comment gérer des tâches longues et complexes.

Les chercheurs ont tenté de résoudre ce problème en demandant aux modèles de réfléchir sur leurs propres erreurs, tout comme un humain qui révise un examen pour comprendre ce qui n'a pas fonctionné. Cependant, les tentatives précédentes d'utilisation de cette auto-réflexion pendant l'entraînement étaient souvent inefficaces ou instables. Elles amenaient parfois le modèle à se confondre avec ses propres pensées accumulées ou ne parvenaient pas à transformer le sentiment vague de « j'ai échoué » en une leçon concrète pour chaque mot qu'il générait. Une nouvelle approche appelée Optimisation de Politique Auto-Réflexive, ou SRPO (Self-Reflective Policy Optimization), offre une voie différente. Au lieu d'attendre une note finale, cette méthode enseigne au modèle à agir comme son propre professeur en analysant ses tentatives terminées, en identifiant exactement où il a dévié, et en utilisant cet aperçu pour guider sa tentative suivante.

Les chercheurs derrière la SRPO, dirigés par Jialong Liu et ses collègues, ont conçu un système où un modèle de langage apprend en examinant son propre travail. Le processus se déroule en deux phases distinctes. D'abord, le modèle tente une tâche, comme résoudre un problème mathématique ou naviguer dans un magasin virtuel. Une fois la tentative terminée, le modèle marque une pause pour réfléchir. Il examine toute la séquence de ses actions et le résultat final, puis écrit une note courte et concise résumant ce qui a mal tourné ou les décisions clés qui ont été prises correctement. Cette note, que les auteurs appellent une « patch de réflexion » (reflection patch), n'est pas un long essai mais un ensemble serré de conseils exploitables, généralement composé de seulement quelques points clés.

Dans la seconde phase, le modèle tente la même tâche, mais cette fois-ci en partant de la question originale plus la note de réflexion qu'il vient d'écrire. Cette nouvelle combinaison agit comme un guide, offrant efficacement au modèle une seconde chance avec le bénéfice du recul. Le modèle génère une nouvelle tentative de meilleure qualité basée sur ce contexte enrichi. Crucialement, les chercheurs n'utilisent pas cette seconde tentative, meilleure, comme réponse finale. À la place, ils l'utilisent comme un signal d'enseignement. Ils comparent les nouvelles pensées améliorées du modèle à ses pensées originales non guidées. En analysant la différence entre les deux, le système crée un flux dense de signaux d'apprentissage. Chaque mot de la tentative originale du modèle est évalué : si un mot s'aligne avec la sagesse de la réflexion, il est récompensé ; s'il s'en écarte, il est corrigé. Cela transforme une note unique de « correct » ou « incorrect » à la fin d'une tâche en des milliers de petites leçons spécifiques pour chaque mot écrit par le modèle.

Cette méthode s'est révélée remarquablement efficace. L'équipe a testé la SRPO sur une variété de tests de référence exigeants, incluant des compétitions de mathématiques avancées et des tâches d'agents complexes nécessitant de naviguer dans des environaux numériques. Sur un test de mathématiques difficile appelé AIME'24, un modèle utilisant la SRPO a obtenu un score moyen de 73,3 % (avec un écart type de ±1,4 sur cinq essais indépendants). Il s'agit d'une amélioration significative par rapport aux autres méthodes de pointe, et ce, en utilisant seulement 8 % des FLOPs d'entraînement habituellement requis pour des entraînements similaires. Le système a également excellé dans des tâches à long horizon, comme WebShop, où il a complété avec succès 64,7 % des missions de shopping, et ALFWorld, où il a résolu 76,8 % des tâches de simulation domestique. Ces résultats suggèrent qu'en intériorisant la capacité de réfléchir, le modèle a appris à corriger son propre chemin de raisonnement sans avoir besoin d'un enseignant externe plus grand pour le guider.

L'étude a également abordé une crainte courante dans la recherche en intelligence artificielle : que l'enseignement d'une nouvelle compétence à un modèle puisse provoquer l'oubli de ce qu'il savait déjà. Lorsque les chercheurs ont entraîné le modèle sur des tâches de codage après qu'il ait appris les mathématiques, la méthode SRPO a aidé le modèle à conserver 9% de ses capacités mathématiques originales. En revanche, d'autres méthodes ont vu des chutes de performance beaucoup plus importantes. Cela suggère que, parce que le modèle apprend de sa propre distribution de pensées plutôt qu'en imitant un expert externe, il maintient une compréhension plus stable de ses propres capacités.

Les chercheurs ont pris soin de vérifier que le succès provenait du contenu des réflexions, et non simplement du texte supplémentaire ajouté. Ils ont testé le système en lui fournissant des réflexions générées pour des problèmes complètement différents. Lorsque la réflexion ne correspondait pas à la tâche, la performance du modèle retombait au niveau de base, prouvant que les conseils spécifiques et pertinents étaient bien le moteur de l'amélioration. Ils ont également constaté que les réflexions devaient être concises ; des notes trop longues ou verbeuses nuisaient en réalité à la performance, probablement parce qu'elles introduisaient du bruit et de la confusion.

En fin de compte, la SRPO démontre qu'un modèle de langage peut devenir plus capable en apprenant à se critiquer et à se guider lui-même. En transformant des résultats finaux épars en un guidage dense, mot par mot, la méthode permet aux modèles d'apprendre des schémas de raisonnement complexes avec beaucoup moins d'exemples et moins de puissance de calcul que ce qui était auparavant jugé possible. Ce travail suggère un avenir où les systèmes d'intelligence artificielle peuvent améliorer continuellement leurs propres processus de raisonnement, devenant plus fiables et plus efficaces pour résoudre les problèmes longs et complexes qui définissent les défis du monde réel.