💬 NLP

When to Retrieve During Reasoning: Adaptive Retrieval for Large Reasoning Models

L'article présente ReaLM-Retrieve, un cadre qui optimise le moment de la récupération pour les modèles de raisonnement à grande échelle en détectant les lacunes de connaissances au niveau de chaque étape de raisonnement, ce qui améliore considérablement la précision des réponses et l'efficacité de la récupération tout en réduisant les appels de récupération inutiles par rapport aux approches standard et à intervalles fixes.

Auteurs originaux : Dongxin Guo, Jikun Wu, Siu Ming Yiu

Publié 2026-04-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dongxin Guo, Jikun Wu, Siu Ming Yiu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le Décalage de la « Visite à la Bibliothèque »

Imaginez que vous êtes un détective brillant (le Grand Modèle de Raisonnement) essayant de résoudre une énigme complexe. Vous avez un carnet où vous notez vos pensées étape par étape. Parfois, vous êtes bloqué parce que vous ignorez un fait précis, comme le nom d'un témoin ou la date d'un événement.

L'Ancienne Méthode (RAG Standard) :
Actuellement, la plupart des systèmes agissent comme un bibliothécaire qui vous remet une pile de livres avant même que vous ne commenciez à écrire dans votre carnet. Vous lisez les livres, puis vous essayez de résoudre toute l'énigme.

Le Défaut : Si vous êtes bloqué à mi-parcours de votre processus de réflexion de 20 pages parce que vous avez oublié un détail, vous ne pouvez pas revenir en arrière pour demander un nouveau livre. Vous êtes coincé avec les informations qui vous ont été données au départ, même si elles ne suffisaient pas pour les étapes ultérieures.

La Nouvelle Méthode (ReaLM-Retrieve) :
Ce document présente un système appelé ReaLM-Retrieve. Au lieu d'obtenir tous les livres d'un coup, le détective est autorisé à se rendre à la bibliothèque au milieu de la rédaction de ses notes, mais uniquement lorsqu'il en a véritablement besoin.

Comment Cela Fonctionne : Les Trois Outils Magiques

Les chercheurs ont conçu un système composé de trois parties principales pour rendre ce « voyage à la bibliothèque en plein milieu de la pensée » parfaitement efficace.

1. Le « Contrôle de Confiance » (Incertitude au Niveau de l'Étape)

Imaginez que le détective fait une pause après chaque paragraphe de son carnet. Il se demande : « Est-ce que je connais vraiment cela, ou est-ce que je devine simplement ? »

Les anciennes méthodes vérifiaient cela à chaque mot (trop fréquent) ou à chaque phrase (trop rigide).
ReaLM-Retrieve vérifie au niveau de l'étape logique. Il se demande : « Ai-je juste terminé une pensée complète ? Est-ce que je me sens incertain sur le prochain saut logique ? »
Si le détecte ressent un « manque de connaissances » (incertitude), le système le signale. C'est comme un voyant « Vérifier le moteur » qui ne s'allume que lorsque la voiture a réellement besoin d'essence, et non simplement parce que le moteur tourne.

2. Le « Gestionnaire Intelligent » (Politique d'Intervention Apprise)

Le simple fait que le détective se sente incertain ne signifie pas qu'il doit courir à la bibliothèque à chaque fois. Parfois, il réfléchit simplement en profondeur, sans manquer de faits.

Ce système agit comme un gestionnaire intelligent assis à côté du détective.
Le gestionnaire examine le « Contrôle de Confiance » et l'historique de l'affaire. Il décide : « D'accord, nous devons vraiment rechercher ce fait précis maintenant », ou « Non, continuez à réfléchir, vous trouverez la solution ».
Il aide également à rédiger la question parfaite pour le bibliothécaire (la requête de recherche) afin que le détective obtienne exactement la bonne page, et non tout un livre d'informations non pertinentes.

3. La « Livraison Rapide » (Intégration Efficace)

Se rendre à la bibliothèque prend du temps. Si le détective s'arrête 5 minutes à chaque fois qu'il a besoin d'un fait, tout le processus devient lent.

Les chercheurs ont construit un service de livraison haute vitesse.
Au lieu de remettre tout un livre au détective, ils ne lui donnent que le paragraphe exact dont il a besoin (en compressant l'information).
Ils utilisent également une astuce « spéculative » : Si le détective est susceptible d'avoir besoin d'un fait sur « Paris » ensuite, le système récupère cette information tandis que le détective écrit encore la phrase actuelle. S'il en a besoin, elle est déjà là instantanément.
Résultat : Le système est 3,2 fois plus rapide pour obtenir des informations que les anciennes méthodes.

Les Résultats : Plus Intelligent, Plus Rapide, Moins Cher

L'équipe a testé cela sur trois jeux de puzzles difficiles (MuSiQue, HotpotQA et 2WikiMultiHopQA) qui nécessitent de relier de nombreux points pour trouver une réponse.

Meilleures Réponses : Le système a trouvé la bonne réponse 10 % plus souvent que la méthode standard « obtenir tous les livres d'un coup ».
Moins de Déplacements : Il a effectué 47 % de déplacements en moins à la bibliothèque. Au lieu de vérifier la bibliothèque toutes les quelques phrases (comme l'ancienne méthode IRCoT), il n'y allait que lorsque cela était absolument nécessaire.
Le Point Idéal : Sur les puzzles les plus difficiles (nécessitant 4 étapes de logique), la nouvelle méthode était nettement supérieure. Elle a prouvé que moins de déplacements, bien timingés, à la bibliothèque sont meilleurs que des déplacements fréquents et aléatoires.

Un Exemple de la Vie Réelle Tiré du Document

Le document donne un exemple de question : « Qui a réalisé le film qui a remporté le meilleur film de l'année où le mur de Berlin est tombé ? »

La Pensée du Détective :
1. « Le mur de Berlin est tombé en 1989. » (Confiant, pas de voyage à la bibliothèque nécessaire).
2. « Le meilleur film de 1989 était Driving Miss Daisy. » (Confiant, pas de voyage).
3. « Qui l'a réalisé ? » (Ici, le détective ressent un manque. Le système dit : ALLEZ À LA BIBLIOTHÈQUE).
4. Le système récupère instantanément le nom du réalisateur.
5. Le détective termine la réponse.
L'Ancienne Méthode : Ait récupéré le nom du réalisateur dès le tout début, même si le détective n'en avait besoin qu'à l'étape 3, perdant du temps et potentiellement en embrouillant le détective avec trop d'informations trop tôt.

Résumé

ReaLM-Retrieve apprend aux modèles d'IA à s'arrêter et à demander de l'aide exactement au moment où ils sont bloqués, plutôt que de demander de l'aide avant de commencer ou de demander de l'aide trop souvent. C'est comme avoir un assistant intelligent qui sait exactement quand ouvrir l'encyclopédie, ce qui permet de gagner du temps et d'obtenir de meilleurs résultats.

1. Énoncé du problème

Le papier aborde un désalignement temporel fondamental entre les Grands Modèles de Raisonnement (LRM) comme DeepSeek-R1 et OpenAI o1, et les systèmes traditionnels de Génération Augmentée par Récupération (RAG).

Le Décalage : Le RAG standard suit un paradigme « récupérer puis générer », injectant le contexte avant le début du raisonnement. Cependant, les LRM génèrent des chaînes de pensée étendues (12 000–25 000 tokens) impliquant un raisonnement multi-étapes, une auto-vérification et des retours en arrière. Des lacunes de connaissance émergent souvent au milieu du raisonnement et ne peuvent être anticipées au stade de la requête.
Limites des méthodes itératives existantes : Les méthodes de récupération itératives actuelles (par exemple, IRCoT, FLARE) sont inadaptées aux LRM en raison de :
1. Inadéquation de Granularité : Elles déclenchent la récupération au niveau du token ou de la phrase, alors que les LRM opèrent au niveau de l'étape de raisonnement (unités logiques s'étendant sur plusieurs phrases).
2. Indisponibilité du Signal : Les méthodes reposant sur les probabilités de tokens (FLARE) ou les états d'attention internes (DRAGIN) échouent avec les modèles « uniquement complétion » (comme o1) qui n'exposent pas ces éléments internes.
3. Effondrement de l'Efficacité : La récupération à intervalles fixes (par exemple, après chaque phrase) est prohibitivement coûteuse pour les chaînes longues, ajoutant une latence et une surcharge de tokens significatives.

2. Méthodologie : ReaLM-Retrieve

Les auteurs proposent ReaLM-Retrieve, un cadre conscient du raisonnement qui intègre la récupération dynamiquement au cours de la chaîne d'inférence. Il se compose de trois composants principaux :

A. Segmentation des étapes de raisonnement

Au lieu d'une segmentation au niveau de la phrase, le système identifie les étapes de raisonnement logique.

Mécanisme : Un classificateur transformateur léger de 3 couches détecte les limites des étapes en fonction des marqueurs de discours (« donc », « cependant »), des connecteurs logiques, des changements de sujet (via la similarité des embeddings) et de la ponctuation.
Entraînement : Entraîné sur des traces annotées par l'homme issues de DeepSeek-R1, il atteint un F1 de 94,2 % pour l'identification des limites. Cela permet au système de traiter la chaîne de raisonnement comme une séquence d'unités logiques discrètes plutôt que comme un flux de tokens.

B. Détection d'incertitude au niveau de l'étape (RSUS)

Le système calcule un Score d'Incertitude d'Étape de Raisonnement (RSUS) pour déterminer si une étape nécessite des connaissances externes.

Score Composite : $RSUS(r_i) = \alpha \cdot U_{verb} + \beta \cdot U_{ent} + \gamma \cdot U_{cons}$ $R S U S (r_{i}) = α \cdot U_{v er b} + β \cdot U_{e n t} + γ \cdot U_{co n s}$
- $U_{verb}$ (Incertitude Verbalisée) : Le modèle est invité à évaluer sa confiance (0–100). Pour les modèles uniquement complétion, un proxy MLP appris estime cela en fonction des caractéristiques de surface et du nombre d'entités.
- $U_{ent}$ (Entropie des Entités) : Mesure l'ambiguïté ou la couverture sparse des entités nommées dans le corpus récupéré. Une entropie élevée indique que le modèle manque de connaissances sur des entités spécifiques.
- $U_{cons}$ (Cohérence) : Mesure l'accord entre plusieurs continuations échantillonnées de l'étape actuelle.
Efficacité : Ce calcul ajoute seulement ~8 % de surcharge, évitant le coût massif de l'entropie sémantique ou de l'échantillonnage de cohérence autonome.

C. Politique d'intervention apprise et intégration efficace

Politique ( $\pi$ ) : Un modèle de bandit contextuel décide si récupérer, quelle requête formuler et comment intégrer les preuves. Il est entraîné via REINFORCE pour maximiser la précision de la réponse tout en pénalisant le coût de récupération (latence et nombre d'appels).
Formulation de la requête : La politique génère des requêtes spécifiques ciblant le besoin d'information (par exemple, « Quelle est la relation de [entité] avec [concept] ? ») plutôt que de simplement répéter l'étape actuelle.
Optimisations d'efficacité :
- Compression Implicite : Ne conserve que les phrases des documents récupérés dépassant un seuil d'importance, réduisant l'expansion du contexte de 73 %.
- Mise en cache spéculative : Pré-récupère les documents pour les requêtes d'étapes suivantes probables en parallèle ; si l'hypothèse est correcte (taux de réussite de 37 %), la latence de récupération est éliminée.
- Préservation du KV-Cache : Pour les modèles à poids ouverts, préserve les états clés-valeur mis en cache pour les parties de contexte inchangées, réduisant le temps jusqu'au premier token de 2,1 fois.

3. Contributions clés

Granularité au niveau de l'étape : Déplace le déclencheur de récupération du niveau token/phrase vers le niveau d'étape de raisonnement, s'alignant sur la structure logique des LRM.
Incertitude compatible Boîte Noire : Introduit le RSUS, une méthode qui fonctionne sur les modèles uniquement complétion (comme o1) sans nécessiter l'accès aux probabilités de tokens ou aux états d'attention internes.
Intégration optimisée pour l'efficacité : Réduit la surcharge par récupération de 3,2 fois par rapport à une intégration naïve grâce à la mise en cache spéculative et à la compression de contexte, permettant un déploiement pratique.

4. Résultats expérimentaux

Évalué sur MuSiQue, HotpotQA et 2WikiMultiHopQA utilisant les modèles DeepSeek-R1 et QwQ.

Précision : ReaLM-Retrieve atteint une amélioration absolue moyenne de 10,1 % en F1 par rapport au RAG standard et 4,6 % par rapport à la méthode prioritaire la plus forte (ReARTeR).
- Sur MuSiQue (raisonnement à 2–4 sauts), il atteint 71,2 % F1 (contre 65,4 % pour IRCoT).
Efficacité :
- Moins d'appels : Réduit les appels de récupération de 47 % par rapport aux approches à intervalles fixes (1,8 appel contre 3,4 appels pour IRCoT sur MuSiQue).
- Latence : Atteint une latence de bout en bout 1,33 fois plus faible que IRCoT et 1,50 fois plus faible que l'entrelacement naïf.
- Coût : Réduit les coûts de tokens de sortie de 16 % grâce à des chaînes de raisonnement plus courtes (les preuves résolvent l'incertitude plus rapidement).
Qualité de récupération : Améliore le Recall@5 à 81,3 % (contre 72,6 % pour IRCoT), prouvant que le système récupère de meilleures preuves au bon moment.
Généralisation : La politique se généralise bien à différentes architectures de modèles (par exemple, QwQ) et se transfère entre les benchmarks (entraîné sur HotpotQA, testé sur MuSiQue) avec une baisse de performance minimale.

5. Signification

Changement de paradigme : Le papier démontre que « moins de récupérations, mieux calibrées dans le temps » surpassent la récupération fréquente à intervalles fixes. Cela établit une nouvelle frontière de Pareto pour le compromis précision-efficacité dans les tâches intensives en raisonnement.
Évolutivité : En opérant au niveau de l'étape de raisonnement et en supportant les modèles uniquement complétion, le cadre est applicable aux LLM propriétaires les plus performants (comme o1), qui sont actuellement inaccessibles à de nombreux efforts de recherche RAG.
Conception de système : Il fournit un modèle pour intégrer la récupération dans des tâches de raisonnement à long horizon, faisant passer le RAG d'une étape de pré-traitement statique à un partenaire de raisonnement dynamique et adaptatif.

En conclusion, ReaLM-Retrieve résout le décalage temporel critique dans l'intégration LRM-RAG, offrant une précision de pointe avec des coûts de calcul considérablement réduits.