🤖 machine learning

LoongReflect: Boosting Long-Horizon Reflection in Search Agents via Global Perspective Distillation

LoongReflect est un cadre d'entraînement qui améliore le raisonnement à long horizon chez les agents de recherche en formulant la réflexion comme une politique de contrôle de la mémoire et en employant un mécanisme de distillation à double canal pour aligner les décisions réflexives locales avec les résultats globaux des tâches, surmontant ainsi les défis de la supervision éparse de l'apprentissage par renforcement basé sur les résultats.

Auteurs originaux : Zhixin Zhang, Xinke Jiang, Zhibang Yang, Weixuan Xu, Guohong Qiu, Xu Chu, Junfeng Zhao, Yasha Wang

Publié 2026-08-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhixin Zhang, Xinke Jiang, Zhibang Yang, Weixuan Xu, Guohong Qiu, Xu Chu, Junfeng Zhao, Yasha Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot très intelligent et très enthousiaste comment résoudre un mystère complexe à étapes multiples. Ce robot, propulsé par un grand modèle de langage (LLM), est comme un détective capable de lire des millions de livres, de poser des questions et d'assembler des indices. Mais voici le hic : lorsque le détective se retrouve bloqué ou suit une fausse piste, il ne s'en rend souvent pas compte avant d'avoir écrit tout un chapitre de non-sens. Dans le monde de l'intelligence artificielle, c'est ce qu'on appelle le « raisonnement à long horizon » (long-horizon reasoning). C'est la capacité de planifier un long voyage, et pas seulement de faire un seul pas.

Le gros problème, c'est d'apprendre au robot à dire : « Attends, je fais fausse route, revenons en arrière », ce qui est extrêmement difficile. Généralement, le robot ne reçoit une note qu'à la toute fin de l'histoire : « Vous avez résolu le mystère ! » ou « Vous avez échoué ». Si le robot a commis une erreur il y a trois heures, il n'a aucune idée que ce moment précis était le problème. C'est comme un élève qui reçoit une mauvaise note à un examen final et qui n'a aucune idée de quel devoir a causé ses difficultés. Ce document s'attaque précisément à cette frustration : comment apprendre à une IA à examiner son propre travail, à repérer les erreurs et à appuyer sur le bouton « annuler » avant de ruiner tout le projet.

Découvrez LoongReflect, un nouveau cadre d'entraînement conçu pour transformer les agents d'IA en détectives capables de s'auto-corriger. Les chercheurs de l'Université de Pékin ont réalisé que pour qu'une IA résolve des énigmes complexes, elle a besoin de plus que d'un simple bouton « réessayer » ; elle a besoin d'une manière structurée de faire une pause, de réfléchir et de réécrire sa propre histoire.

Considérez le processus de pensée de l'IA non pas comme une ligne droite, mais comme un arbre géant et réversible. À mesure que l'IA explore un problème, elle fait pousser des branches. La plupart du temps, elle descend une branche, recueillant des faits. Mais parfois, elle arrive dans une impasse ou trouve un indice qui ne correspond pas. Par le passé, l'IA aurait pu simplement continuer sa route, en traînant cet indice erroné avec elle jusqu'à ce que toute l'histoire s'effondre. LoongReflect donne à l'IA deux super-pouvoirs : (réfléchir) et (revenir en arrière).

L'action est comparable à un détective qui s'arrête pour consulter une carte. Il se demande : « Que sais-je avec certitude ? Qu'est-ce qui me manque ? Cette branche est-elle sûre ? » Il ne se contente pas de deviner ; il résume les preuves et identifie les risques. Si le détective réalise qu'il est sur la mauvaise voie, il utilise l'action . Il ne s'agit pas seulement d'effacer la dernière phrase ; c'est comme voyager dans le temps pour revenir au dernier point de contrôle sûr, couper la branche erronée et désordonnée, et garder un petit post-it disant : « Ne repasse pas par ce chemin ». L'IA repart alors de ce point sûr, armée d'une leçon apprise.

Mais comment enseigner cela à une IA ? Le document identifie un « dilemme du signal d'apprentissage » délicat. Si vous ne récompensez l'IA que lorsqu'elle trouve la réponse finale, elle reçoit très peu d'aide sur comment réfléchir. C'est comme essayer d'apprendre à conduire en ne recevant un coup de klaxon que lorsque l'on s'écrase. L'IA ne sait pas si c'est le virage, la vitesse ou la pluie qui a causé l'accident.

Pour corriger cela, les auteurs ont construit un système d'entraînement à deux canaux, qui est comme avoir deux entraîneurs travaillant ensemble :

L'Entraîneur Rapide (L'Enseignant) : Cet entraîneur est une version « privilégiée » de l'IA qui peut voir l'arbre entier des possibilités et le résultat final avant que l'étudiant ne fasse un mouvement. Il observe la branche locale de l'étudiant et dit : « Hé, tu ignores un indice crucial ici », ou « Tu devrais revenir en arrière maintenant ». Crucialement, cet entraîneur ne donne pas la réponse finale (pour éviter que l'étudiant ne contourne le processus de raisonnement) ; il donne seulement des indices sur comment réfléchir et quand faire demi-tour. Cela fournit à l'IA un feedback dense et immédiat sur ses capacités de réflexion.
L'Entraîneur Lent (Le Résultat) : Cet entraîneur attend la fin du voyage. Il regarde le résultat final et dit : « Beau travail, vous avez résolu l'énigme ! » ou « Vous avez échoué ». Il utilise ce score final pour s'assurer que les décisions locales de l'IA mènent réellement au succès dans le monde réel.

La magie opère lorsque ces deux entraîneurs se coordonnent. L'« Entraîneur Rapide » suggère une direction basée sur la logique locale, et l'« Entraîneur Lent » vérifie si cette direction mène réellement à une victoire. S'ils sont en désaccord, le système utilise une méthode astucieuse d'« anticipation » (look-ahead) pour ajuster la suggestion de l'Entraîneur Rapide afin qu'il ne détourne pas l'IA de sa route. C'est comme un GPS qui suggère un raccourci, mais un contrôleur aérien qui vérifie si ce raccourci vous amène réellement à destination plus rapidement.

Les résultats sont prometteurs. Les chercheurs ont testé LoongReflect sur des questions complexes à étapes multiples (comme trouver un fait spécifique caché à travers plusieurs documents) et sur des problèmes mathématiques. Ils ont constaté que les agents entraînés avec cette méthode surpassent systématiquement les autres agents d'IA de haut niveau. Par exemple, sur un modèle de 3 milliards de paramètres, le score moyen est passé d'environ 31 % à plus de 46 %, un bond significatif. Plus impressionnant encore, les compétences que l'IA a apprises sur ces tâches de lecture se sont transférées à des problèmes mathématiques qu'elle n'avait jamais vus auparavant, suggérant qu'elle a véritablement appris l'art de la réflexion, et non pas seulement comment mémoriser des réponses.

En résumé, LoongReflect suggère qu'en donnant aux agents d'IA une manière structurée de faire une pause, de diagnostiquer leurs propres erreurs et d'annuler proprement leurs fautes, nous pouvons les rendre bien meilleurs pour résoudre les problèmes complexes à long horizon qui les bloquent actuellement. Cela transforme l'IA d'un robot qui continue simplement de marcher en un détective qui sait quand s'arrêter, réfléchir et tenter un autre chemin.

Résumé Technique : LoongReflect

Problématique

Les agents basés sur les grands modèles de langage (LLM) s'appuient de plus en plus sur un raisonnement à long horizon pour résoudre des tâches complexes impliquant la planification, l'utilisation d'outils et la mémoire. Une capacité critique dans ces contextes est la réflexion : la capacité d'évaluer la progression d'une trajectoire, d'identifier les preuves manquantes ou les états intermédiaires peu fiables, et de décider s'il faut poursuivre, réviser ou abandonner une branche de raisonnement actuelle.

L'apprentissage d'une réflexion efficace est entravé par deux défis fondamentaux :

Le dilemme du signal d'apprentissage : La valeur d'une décision réflexive est médiée par de nombreuses actions ultérieures et n'est révélée qu'à travers le résultat final de la tâche. L'apprentissage par renforcement (RL) basé sur le résultat fournit une supervision éparse, différée et faiblement attribuable pour ces décisions intermédiaires. Inversement, l'attribution de récompenses intermédiaires explicites à la réflexion est sujette au « détournement de récompense » (reward hacking), encourageant une réflexion superficielle ou excessive sans améliorer le succès de la tâche.
L'écart de perspective local-global : La réflexion est effectuée dans le contexte de la branche de raisonnement actuelle (local), pourtant son utilité réelle dépend de la manière dont cette branche contribue à la trajectoire complète (global). Un réflecteur local ne peut pas observer directement si la poursuite, la révision ou l'abandon d'une branche améliorera finalement le résultat final.

Les approches existantes traitent soit la réflexion comme un jugement local, soit s'appuient sur des signaux de supervision mal alignés avec les résultats à long horizon, échouant ainsi à apprendre la réflexion comme un mécanisme de contrôle au niveau de la trajectoire.

Méthodologie : LoongReflect

LoongReflect est un cadre d'entraînement qui formule la réflexion comme une politique de contrôle de la mémoire explicite pour les agents à long horizon. Il répond aux défis susmentionnés grâce à une structure d'arbre de trajectoire réversible et un mécanisme d'optimisation à deux canaux.

1. Cadre de contrôle de la mémoire

L'agent opère sur un arbre de trajectoire réversible ( $T_t$ ) avec un chemin d'exécution actif ( $P_t$ ) et une mémoire de travail compressée ( $m_t$ ).

Actions explicites : L'agent choisit parmi des actions d'exécution (raisonnement, utilisation d'outils, réponse) et des actions de contrôle :
- <reflect> : Diagnostique l'état actif en résumant les faits vérifiés, en identifiant les preuves manquantes et en évaluant les risques spécifiques à la branche. Il produit une décision structurée : continuer (continue) ou revenir en arrière (backtrack).
- <backtrack> : Exécute la récupération lorsqu'une branche est jugée peu fiable. Il supprime le suffixe contaminé du contexte actif, restaure un préfixe validé et préserve une « leçon corrective » concise (par exemple, une hypothèse ou une contrainte falsifiée) pour les étapes futures.
Séparation des états : Les branches inactives sont exclues du contexte actif pour éviter la contamination de l'état, mais restent dans l'arbre pour le diagnostic d'erreurs et la supervision réflexive.

2. Optimisation à deux canaux

Pour résoudre le décalage local-global, LoongReflect emploie deux canaux d'apprentissage complémentaires coordonnés via une mise à jour de type look-ahead (anticipation) et extragradient.

Canal Rapide (Distillation Locale) :
- Objectif : Fournir une supervision dense et localement informée pour les décisions de réflexion.
- Mécanisme : Un Enseignant EMA privilégié (entraîné sur la même politique mais ayant accès à l'arbre de trajectoire global et au résultat terminal) génère des indices structurés masqués par la réponse. Ces indices diagnostiquent l'état (preuves vérifiées, risques, points de retour) sans révéler la réponse finale.
- Perte : L'étudiant apprend via un objectif de reverse-KL masqué, restreint aux jetons <reflect> et <backtrack>, alignant les décisions de contrôle locales sur le diagnostic globalement informé de l'enseignant.
Canal Lent (Optimisation Globale) :
- Objectif : Aligner les décisions de contrôle locales avec le succès final de la tâche.
- Mécanisme : Utilise l'Optimisation de Politique Relative de Groupe (GRPO) sur des trajectoires complètes. Il évalue si les décisions de réflexion et de retour en arrière ont conduit à un résultat terminal réussi.
- Perte : Optimise la politique basée sur les avantages relatifs au groupe dérivés des récompenses terminales, garantissant que le comportement réflexif distillé contribue au succès global de la tâche.
Coordination par anticipation (Look-Ahead) :
- Le canal rapide propose une direction de mise à jour ( $g_f$ ) basée sur la distillation locale. Le canal lent évalue cette direction par rapport aux résultats globaux pour dériver une direction de calibration ( $g_s$ ).
- Si $g_f$ et $g_s$ entrent en conflit (c'est-à-dire que les améliorations locales nuisent à la performance globale), la composante conflictuelle de $g_f$ est projetée vers l'extérieur. La mise à jour finale combine la direction rapide calibrée et la direction lente, garantissant que l'apprentissage local ne diverge pas des objectifs globaux.

Principales Contributions

Formulation de la réflexion comme contrôle de la mémoire : Le papier propose de modéliser la réflexion non pas comme un texte libre, mais comme des actions de contrôle explicites et structurées (<reflect>, <backtrack>) sur un arbre de trajectoire réversible, permettant une récupération systématique des erreurs.
Cadre d'apprentissage à deux canaux : Il introduit un nouveau paradigme d'entraînement combinant la distillation d'enseignant masquée par la réponse (pour une supervision locale dense et globalement informée) avec la GRPO basée sur le résultat (pour l'alignement au niveau de la trajectoire), coordonnées via un mécanisme d'anticipation pour prévenir les conflits de signaux.
Validation empirique : Le cadre démontre des améliorations constantes par rapport au RL basé uniquement sur le résultat et aux bases de données de l'auto-distillation sur plusieurs benchmarks.

Résultats Expérimentaux

Les expériences ont été menées sur les modèles Qwen2.5-3B et Qwen2.5-7B à travers sept benchmarks de génération augmentée par récupération (RAG) et des tâches de raisonnement mathématique.

Performance : LoongReflect a obtenu les scores F1 les plus élevés sur tous les benchmarks.
- Sur Qwen2.5-3B, il a atteint un F1 moyen de 46,15 %, surpassant la base la plus forte (AgenticRAG-R1) de 12,60 points.
- Sur Qwen2.5-7B, il a atteint 49,21 %, dépassant la base de 12,61 points.
Généralisation : Le modèle a montré des gains significatifs dans des contextes hors domaine (par exemple, Bamboogle, MuSiQue, Natural Questions), indiquant que la politique de réflexion apprise se généralise au-delà de la distribution d'entraînement plutôt que de simplement faire du surapprentissage sur les tâches du domaine.
Transfert au raisonnement mathématique : Appliqué à MATH et GSM8K (tâches sans récupération), LoongReflect améliore les performances par rapport à AgenticRAG-R1 et RLSD, suggérant que les comportements de diagnostic et de récupération appris bénéficient au raisonnement multi-étapes même sans recherche externe.
Études d'ablation :
- Supprimer <reflect> ou <backtrack> a provoqué des chutes de performance significatives (environ 13 à 15 points F1), confirmant la nécessité des mécanismes de diagnostic et de récupération.
- Supprimer soit le canal Rapide, soit le canal Lent, ou la coordination par anticipation, a entraîné une dégradation constante des performances, validant la nature complémentaire de la supervision locale dense et de l'alignement sur le résultat global.

Signification et Revendications

Le papier affirme que LoongReflect traite le décalage fondamental entre la nature locale des décisions de réflexion et la nature globale de leur utilité. En traitant la réflexion comme une politique de contrôle de la mémoire structurée et en utilisant un cadre d'optimisation à deux canaux, la méthode parvient à entraîner des agents capables de :

Diagnostiquer la contamination de l'état et les preuves manquantes localement.
Récupérer des erreurs en revenant en arrière vers des états validés.
Aligner ces décisions de contrôle locales avec le succès de la tâche à long horizon.

Les auteurs affirment que cette approche fournit une solution robuste pour l'entraînement d'agents à long horizon, allant au-delà du simple RL basé sur le résultat ou de la vérification locale pour un système capable de gestion d'état explicite et de correction d'erreurs. Les résultats suggèrent que la réflexion structurée, lorsqu'elle est correctement supervisée par une distillation globalement informée et un alignement sur le résultat, est une composante critique pour un comportement d'agent fiable dans des environnements complexes à plusieurs étapes.