🤖 AI

Critic-R: Improving Agentic Search using Instruction-tuned Retrievers with Natural Language Introspective Feedback

Le document propose Critic-R, un cadre qui améliore la recherche agentielle en introduisant un modèle critique pour fournir un retour d'information introspectif en langage naturel, permettant ainsi l'affinement itératif des requêtes et l'optimisation automatique du modèle de recherche sans nécessiter d'annotations de pertinence manuelles.

Auteurs originaux : Md Zarif Ul Alam, Alireza Salemi, Hamed Zamani

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Md Zarif Ul Alam, Alireza Salemi, Hamed Zamani

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre une énigme très complexe, comme trouver le nom de l'alma mater d'un réalisateur de cinéma. Vous avez un Détective brillant (l'agent de raisonnement IA) qui sait comment réfléchir, mais il ne peut pas voir le monde extérieur à son propre esprit. Pour résoudre l'énigme, il doit demander à un Bibliothécaire (le modèle de recherche) d'aller chercher des livres (des documents) dans une immense bibliothèque.

Dans l'ancienne façon de faire les choses, le Détective demandait au Bibliothécaire un livre, recevait ce qu'on lui donnait, et essayait immédiatement de résoudre l'énigme. Si le livre était le mauvais, le Détective continuait souvent quand même en devinant, ou restait bloqué. Le Bibliothécaire était traité comme une « boîte noire » — vous ne pouviez pas vraiment le réparer, vous deviez juste espérer qu'il réussisse.

Le document présente un nouveau système appelé Critic-R qui change cette dynamique en ajoutant un troisième personnage : Le Critique.

Les trois personnages

Le Détective (Le Raisonneur) : L'IA intelligente qui essaie de répondre à la question. Il pense : « Je dois d'abord trouver le réalisateur », et interroge le Bibliothécaire.
Le Bibliothécaire (Le Chercheur) : Le système qui fouille la bibliothèque et transmet les premiers livres trouvés.
Le Critique (Le nouvel ajout) : Un éditeur distinct et aux yeux aiguisés qui surveille tout le processus. Le Critique ne se contente pas de regarder les livres ; il regarde ce que le Détective dit à propos des livres.

Comment cela fonctionne : La stratégie en deux parties

Le document propose deux manières principales d'utiliser ce Critique pour rendre le système plus intelligent. Considérez-les comme « Réparer sur le moment » et « S'entraîner pour le futur ».

1. Critic-R-Zero : Le bouton « Recommencer » (Inférence)

Imaginez que le Détective demande au Bibliothécaire un livre sur « Christopher Nolan ». Le Bibliothécaire lui remet un livre sur l'intrigue du film, mais ce livre ne mentionne pas son école.

Sans le Critique : Le Détective pourrait être confus et donner une mauvaise réponse.
Avec Critic-R-Zero : Le Critique regarde les pensées internes du Détective (« J'ai besoin de la biographie du réalisateur, mais ce livre ne contient que l'intrigue ») et dit : « Stop ! Ce livre n'est pas utile. Essayons à nouveau. »

Le Critique réécrit alors la requête pour le Bibliothécaire, en la rendant plus spécifique : « Trouvez la biographie de Christopher Nolan, pas l'intrigue du film. » Le Bibliothécaire essaie à nouveau, trouve le bon livre, et le Détective peut enfin résoudre l'énigme.

Cela se produit instantanément pendant que l'IA travaille. C'est comme avoir un entraîneur debout à côté du joueur, criant : « Cette passe était mauvaise, essaie un autre angle ! » sans changer l'entraînement réel du joueur.

2. Critic-Embed : Le « Camp d'entraînement » (Affinage du chercheur)

La méthode du « Recommencer » est excellente, mais elle prend du temps et de la puissance de calcul supplémentaire à chaque fois que vous posez une question. Pour rendre le Bibliothécaire meilleur de façon permanente, les auteurs utilisent les sessions de « Recommencer » pour créer un Camp d'entraînement.

Chaque fois que le Critique dit : « Ce livre était mauvais, réessaie », le système enregistre ce moment.
Il enregistre le « mauvais livre » comme un Exemple Négatif (Ne choisissez pas celui-ci !).
Il enregistre le « bon livre » qui a finalement fonctionné comme un Exemple Positif (Choisissez celui-ci !).

Les auteurs prennent ensuite ces exemples enregistrés et enseignent au Bibliothécaire comment choisir les bons livres dès la première tentative, sans avoir besoin d'un humain pour noter chaque livre. Le Bibliothécaire apprend de ses propres erreurs et de ses succès, devenant un bien meilleur chercheur par lui-même.

Les résultats : Pourquoi c'est important

Les auteurs ont testé ce système sur des questions très difficiles qui nécessitent de relier des points entre de nombreux documents différents (comme « Qui a réalisé le film qui a remporté le prix pour l'acteur qui a joué dans cet autre film ? »).

Le Détective + Le Critique (Zero) : Même avec un Bibliothécaire standard et non entraîné, l'ajout de la boucle de « Recommencer » du Critique a rendu les réponses beaucoup plus précises. Cela a corrigé les erreurs sur le vif.
Le Bibliothécaire entraîné (Embed) : Le Bibliothécaire qui a été entraîné grâce aux retours du Critique est devenu si bon qu'il a surpassé d'autres systèmes avancés, même sans la boucle de « Recommencer ».
L'équipe complète (Critic-R) : Lorsqu'ils ont combiné le Bibliothécaire super-entraîné avec la boucle de « Recommencer » du Critique, ils ont obtenu les meilleurs résultats de tous. C'était comme avoir un bibliothécaire de classe mondiale qui possède toujours un filet de sécurité pour rattraper les erreurs restantes.

L'essentiel

Le document soutient que dans la recherche par IA, le Bibliothécaire (Chercheur) est souvent le maillon faible, et non le Détective (Raisonneur). En ajoutant un Critique qui vérifie le travail et fournit un retour, vous pouvez corriger les erreurs instantanément et entraîner le Bibliothécaire pour qu'il soit meilleur la prochaine fois.

Limitations importantes mentionnées :
Le document note que ce système repose sur le fait que le Détective est assez intelligent pour réaliser qu'il dispose de la mauvaise information. Si le Détective est trop simple ou confus, le Critique n'obtiendra pas de bons signaux pour fonctionner. De plus, les tests ont été effectués sur une bibliothèque statique (Wikipedia) ; les auteurs ne l'ont pas encore testé sur une recherche Internet chaotique et en temps réel.

Résumé Technique : Critic-R

Problématique

Les systèmes de recherche agentiques, qui entrelacent le raisonnement interne avec des actions de récupération itératives, sont devenus un standard pour résoudre des requêtes complexes à plusieurs étapes (multi-hop). Cependant, un goulot d'étranglement critique persiste : alors que les agents de raisonnement sont souvent optimisés via l'apprentissage par renforcement, les modèles de récupération sur lesquels ils s'appuient sont fréquemment traités comme des boîtes noires figées. Les approches existantes qui tentent d'optimiser conjointement les récupérateurs et les agents nécessitent souvent un co-entraînement intensif, des annotations de passages de référence (gold-standard), ou la capacité de réentraîner le modèle de raisonnement lui-même. Ces exigences limitent l'applicabilité dans le monde réel, particulièrement lorsque le modèle de raisonnement est fixe, que le récupérateur est fourni de l'extérieur, ou que des étiquettes de pertinence de haute qualité sont indisponibles. Les auteurs soutiennent qu'une récupération sous-optimale ne peut pas être pleinement compensée par la seule reformulation de requête, ce qui nécessite un cadre capable de fermer explicitement la boucle de rétroaction entre l'agent et le récupérateur sans dépendre de la supervision manuelle.

Méthodologie

Les auteurs proposent Critic-R, un cadre qui introduit un modèle critique dédié pour évaluer la trace de raisonnement introspectif de l'agent après que celui-ci a consommé les preuves récupérées. Le cadre fonctionne via deux mécanismes complémentaires :

1. Critic-R-Zero (Raffinement au moment de l'inférence)

Ce composant opère entièrement au moment de l'inférence sans nécessiter de mises à jour de gradient ou de réentraînement des modèles sous-jacents.

Mécanisme : Lorsqu'un agent effectue une recherche, les documents récupérés sont injectés de manière spéculative dans le raisonneur pour générer une trace de raisonnement introspectif. Un modèle critique distinct ( $M_C$ ) analyse cette trace pour déterminer si le contexte récupéré résout suffisamment le besoin d'information de l'agent.
Boucle de rétroaction : Si le critique juge l'évidence insuffisante (rétroaction négative), il exploite l'insatisfaction explicite de l'agent dans sa trace de raisonnement pour réécrire la requête de recherche et l'instruction de récupération. Cette requête raffinée déclenche une nouvelle tentative de récupération.
Terminaison : Cette boucle se répète jusqu'à un budget prédéfini ( $K$ ) ou jusqu'à ce que le critique confirme que l'évidence est satisfaisante. Les documents finaux sélectionnés sont alors intégrés à l'historique du raisonnement.
Collecte de données : Ce processus génère naturellement des documents « positifs » (ceux qui satisfont l'agent) et des documents « négatifs difficiles » (ceux rejetés lors des tentatives de raffinement infructueuses), qui sont collectés à des fins d'entraînement.

2. Critic-Embed (Affinage du récupérateur)

Pour amortir le coût computationnel du raffinement itératif et améliorer durablement la qualité de la récupération, les auteurs utilisent les trajectoires générées par Critic-R-Zero comme source de supervision automatique.

Signal d'entraînement : Les documents vérifiés comme utiles par le critique sont traités comme des exemples positifs ( $D^+$ ), tandis que les documents rejetés pendant le raffinement sont traités comme des négatifs intra-trajectoire difficiles ( $D^-$ ).
Apprentissage contrastif : Le récupérateur est affiné à l'aide d'un objectif InfoNCE avec ces paires contrastives automatiquement construites. Crucialement, ce processus ne nécessite aucune annotation de pertinence manuelle (passages de référence).
Contrainte : Pour garantir la qualité des étiquettes, seules les trajectoires où la prédiction finale est correcte selon la métrique de la tâche en aval sont conservées pour l'entraînement.

3. Système Unifié

Le système complet Critic-R combine les deux mécanismes : le récupérateur Critic-Embed fournit une récupération initiale de haute qualité et alignée sur le domaine, tandis que la boucle Critic-R-Zero sert de filet de sécurité au moment de l'inférence pour pallier les échecs dans les cas limites complexes.

Contributions Clés

Fermeture de la boucle de rétroaction : Le papier introduit un cadre qui ferme explicitement la boucle de rétroaction entre les agents de raisonnement et les récupérateurs tant lors de l'inférence que de l'entraînement, remettant en question l'hypothèse selon laquelle les agents de raisonnement peuvent compenser seuls les échecs de récupération.
Mise à l'échelle de l'inférence pour la récupération : Critic-R-Zero démontre qu'allouer des ressources de calcul supplémentaires au moment de l'inférence pour raffiner itérativement les requêtes et les instructions peut atténuer considérablement les échecs de récupération sans modifier l'agent de raisonnement ou le récupérateur.
Supervision automatique pour les récupérateurs : Critic-Embed présente une méthode novatrice pour affiner les récupérateurs denses en utilisant l'apprentissage contrastif intra-trajectoire dérivé des interactions agent-critique, éliminant ainsi le besoin d'annotations coûteuses de passages de référence.
Conception modulaire : Le cadre est conçu pour être orthogonal à l'objectif d'entraînement de l'agent de raisonnement, permettant son application à des agents (ex: Search-R1) et des récupérateurs arbitraires.

Résultats Expérimentaux

Le cadre a été évalué sur quatre benchmarks de QA multi-étapes exigeants : HotpotQA, 2WikiMultihopQA, MuSiQue, et Bamboogle.

Raffinement au moment de l'inférence (RQ1) : En utilisant un récupérateur figé, Critic-R-Zero améliore significativement la précision des réponses pour des agents de différentes échelles (de 3B à 14B). La méthode produit une amélioration relative globale de 12,4 % des scores Exact Match (EM) et F1. Les auteurs notent que l'augmentation de la taille du modèle critique (de 14B à 72B) ne garantit pas strictement de meilleures performances, un critique de 32B s'avérant souvent optimal pour les jeux de données les plus difficiles.
Affinage du récupérateur (RQ2) : Le récupérateur Critic-Embed, entraîné uniquement sur les trajectoires de Critic-R-Zero, surpasse à la fois les récupérateurs denses prêts à l'emploi (Stella-400M) et les récupérateurs co-entraînés de bout en bout avec des agents de recherche (Agentic-R). Il atteint une amélioration relative allant jusqu'à 7,5 % de la performance globale, démontrant que les trajectoires collectées contiennent des signaux de supervision transférables.
Système combiné (RQ3) : L'intégration du récupérateur entraîné Critic-Embed avec la boucle d'inférence Critic-R-Zero produit les résultats les plus solides, atteignant une amélioration relative globale de 10,9 %. Les auteurs observent que les deux composants sont complémentaires plutôt que redondants, traitant des segments différents des échecs de récupération.
Rôle du feedback introspectif (RQ4) : Une étude d'ablation supprimant le feedback introspectif de l'agent ( $T_{i+1}$ ) de l'entrée du critique entraîne une baisse significative de performance du récupérateur entraîné. Cela confirme que la trace de raisonnement interne de l'agent est une source primaire du signal de supervision, et non un simple apport marginal.

Signification et Revendications

Le papier affirme qu'un modèle explicite et une optimisation de la qualité de la récupération à partir de l'intérieur de la boucle agentique constituent une voie puissante vers une recherche agentique plus robuste. La signification de Critic-R réside dans sa capacité à :

Améliorer la qualité de la récupération et la précision des réponses en aval sans nécessiter d'annotations de pertinence manuelles.
Fonctionner efficacement dans des contextes où le modèle de raisonnement ne peut être réentraîné ou lorsque le récupérateur est un composant externe fixe.
Fournir une approche scalable et modulaire où le raffinement au moment de l'inférence et l'affinage hors ligne du récupérateur se renforcent mutuellement.

Les auteurs concluent que, bien que le cadre soit très prometteur, son succès repose sur la capacité de l'agent de raisonnement à fournir un feedback introspectif précis, et son efficacité dans des environnements hautement dynamiques (ex: recherche web en temps réel) reste à évaluer.