🤖 AI

Speculate While You Reason: Teaching Agents to Predict Their Next Tool Call via Joint Agent-Speculator RL

Cet article introduit un cadre d'agent d'auto-spéculation qui unifie la résolution de tâches et la prédiction du prochain appel d'outil au sein d'un modèle unique, utilisant une méthode d'apprentissage par renforcement conjointe pour améliorer considérablement la précision de la spéculation et réduire la latence sans compromettre la performance des tâches.

Auteurs originaux : Jiabao Ji, Yujian Liu, Li An, Rohit Jain, Gungor Polatkan, Siyu Zhu, Shiyu Chang

Publié 2026-07-29

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jiabao Ji, Yujian Liu, Li An, Rohit Jain, Gungor Polatkan, Siyu Zhu, Shiyu Chang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective super intelligent essayant de résoudre un mystère. Vous possédez un esprit brillant capable de réfléchir à travers les indices, mais pour obtenir la réponse finale, vous devez poser quelques questions au monde extérieur — comme appeler un bibliothécaire pour vérifier un livre ou demander à un météorologue les prévisions. Le problème est que chaque fois que vous passez un coup de téléphone, vous devez raccrocher, attendre que la personne à l'autre bout décroche, écouter sa réponse, puis raccrocher à nouveau avant de pouvoir réfléchir à l'indice suivant. Pendant que vous attendez en ligne, votre cerveau brillant reste là, sans rien faire. Ce « temps d'attente » est un goulot d'étranglement majeur pour les agents IA, qui sont essentiellement des programmes informatiques agissant comme des détectives, utilisant des outils pour résoudre des problèmes complexes.

Pour corriger cela, les scientifiques ont tenté une astuce appelée « spéculation ». C'est comme avoir un adjoint qui devine ce que vous allez demander au bibliothécaire avant même que vous n'ayez fini votre phrase. Si l'adjoint devine juste, le bibliothécaire commence à lire le livre pendant que vous réfléchissez encore, de sorte que la réponse est prête dès que vous posez la question. Mais attention, le hic, c'est que l'adjoint est généralement une personne différente (un modèle d'IA plus petit et distinct) qui ne connaît pas aussi bien votre style de réflexion. Ils se trompent souvent, ou ils ont besoin de leur propre carnet de notes et de leur propre téléphone, ce qui prend de l'espace et de l'énergie supplémentaires. La grande question est la suivante : le détective peut-il apprendre à deviner son propre prochain mouvement parfaitement, sans avoir besoin d'un adjoint maladroit ?

Cet article présente une nouvelle méthode ingénieuse pour apprendre à l'IA à faire exactement cela. Les chercheurs ont découvert que la meilleure personne pour deviner ce qu'un agent fera ensuite, c'est l'agent lui-même. Au lieu d'embaucher un modèle de prédiction séparé, ils ont entraîné une seule IA à basculer entre deux modes : le « Mode Réflexion » (résoudre la tâche réelle) et le « Mode Prédiction » (prédire son propre prochain appel d'outil). Ils ont utilisé une méthode d'entraînement spéciale appelée « Joint Agent–Speculator RL » (Apprentissage par Renforcement Agent-Spéculateur Conjoint). Imaginez cela comme un jeu vidéo où le personnage s'entraîne à la fois à jouer le niveau et à prédire le prochain mouvement de l'ennemi en même temps. L'IA apprend de ses propres parties récentes pour devenir meilleure en prédiction, tout en veillant à ne pas oublier comment gagner réellement la partie.

Les résultats sont très prometteurs. Lorsqu'ils ont testé cet agent à « auto-prédiction » sur des tâches comme la recherche de réponses à des questions complexes ou la gestion de réservations aériennes, l'IA est devenue bien meilleure pour prédire son prochain mouvement. Pour un modèle spécifique de 4 milliards de paramètres appelé Qwen3-4B, la précision de la prédiction du prochain appel d'outil correct est passée de 44,1 % à 61,2 %. Pour une version légèrement plus récente, Qwen3.5-4B, elle est passée de 48,9 % à 66,3 %. Crucialement, alors que l'agent devenait meilleur pour prédire, il ne devenait pas moins efficace pour réellement résoudre les tâches ; son taux de réussite est resté stable ou s'est même légèrement amélioré.

L'article écarte également l'idée qu'un modèle d'IA plus petit et distinct soit le meilleur prédicteur. Ils ont testé des modèles plus petits en tant qu'« adjoints » et ont constaté qu'ils se trompaient souvent car ils ne correspondaient pas au style de l'agent principal. Ils ont également montré que l'utilisation d'un prédicteur séparé nécessite plus de mémoire informatique et prend plus de temps pour passer d'un modèle à l'autre, ce qui va à l'encontre de l'objectif d'économie de temps. En gardant le « penseur » et le « prédicteur » comme étant le même cerveau, le système économise de la mémoire et évite le décalage lié au changement d'ordinateur.

Cependant, les auteurs précisent avec prudence que cette méthode fonctionne mieux pour les outils en « lecture seule », comme la recherche d'informations ou la consultation de données. Si l'outil implique de modifier quelque chose dans le monde réel — comme passer une commande ou supprimer un fichier — se tromper dans la prédiction pourrait être dangereux. Dans ces cas, le système aurait besoin de contrôles de sécurité supplémentaires. Mais pour la grande majorité des tâches où une IA doit simplement rassembler des informations, cette astuce d'auto-prédiction suggère une façon plus rapide et plus efficace pour l'IA de fonctionner, en cachant le temps d'attente derrière le temps de réflexion.

Résumé technique : Spéculer pendant que vous raisonnez

Énoncé du problème

Les agents basés sur les grands modèles de langage (LLM) engendrent souvent une latence de temps réel substantielle lorsqu'ils attendent les résultats d'appels d'outils externes (ex. : recherche web, requêtes de base de données, appels d'API). Une stratégie d'atténuation prometteuse est la spéculation d'appel d'outil, où un système prédit et pré-exécute en parallèle le prochain appel d'outil de l'agent pendant sa phase de raisonnement. Si la prédiction correspond exactement à l'appel final de l'agent, le résultat pré-exécuté est réutilisé, masquant ainsi la latence.

Cependant, les méthodes de spéculation existantes souffrent d'un écart entre le spéculateur et l'agent. Les approches actuelles reposent sur :

Des modèles de brouillon externes : Des LLM plus petits qui approximent un assistant utilisant des outils de manière générique, mais qui ne parviennent pas à s'aligner sur le comportement spécifique de l'agent déployé.
Des traces mises en cache : Des journaux d'appels d'outils historiques qui peuvent correspondre à des requêtes utilisateur, des états de raisonnement ou des environnements différents ou obsolètes.

Ces méthodes introduisent une surcharge système (poids de modèles supplémentaires, caches KV distincts) et échouent souvent à prédire le prochain appel structuré spécifique que l'agent cible effectuera, limitant ainsi l'utilité de la spéculation.

Méthodologie

Le papier propose un Agent Auto-Spéculateur (Self-Speculating Agent), un modèle unique entraîné pour opérer dans deux modes distincts sans nécessiter de paramètres ou de caches KV séparés :

Mode Agent : Le modèle résout des tâches en entrelaçant raisonnement, appels d'outils, observations et réponses finales.
Mode Spéculateur : Étant donné une trajectoire intermédiaire et un « suffixe de spéculation » fixe, le modèle prédit directement le prochain appel d'outil structuré (nom de l'outil et arguments).

Apprentissage par renforcement (RL) conjoint Agent–Spéculateur

Pour entraîner un modèle de politique unique ( $\pi_\theta$ ) pour les deux objectifs sans dégrader la performance des tâches, les auteurs proposent un cadre de RL conjoint Agent–Spéculateur :

Génération de données on-policy : Les cibles de spéculation sont dérivées directement des propres déroulements (rollouts) de l'agent. Pour chaque tour d'appel d'outil $t$ dans une trajectoire échantillonnée, le préfixe $h_t$ est utilisé pour construire une entrée de spéculateur, et le véritable appel suivant de l'agent $a_t$ sert de cible de vérité terrain.
Formulation de la récompense :
- Récompense de l'Agent ( $R_{ag}$ ): Basée sur le succès final de la tâche (ex. : exactitude de la réponse).
- Récompense de Spéculation ( $R_{sp}$ ): Une récompense d'argument conditionnée par le nom. Elle nécessite une correspondance exacte du nom de l'outil ( $R_{name}$ ) et calcule un score F1 de jetons macro pour le dictionnaire d'arguments ( $R_{args}$ ). La récompense finale est le produit $R_{sp} = R_{name} \cdot R_{args}$ .
Optimisation alternée : L'entraînement alterne entre les mises à jour de l'agent et celles du spéculateur (ex. : un calendrier 4:8). Cela empêche les deux modes d'interférer avec les paysages d'optimisation de l'autre.
Techniques de stabilisation :
1. SFT Warmup : Une phase préliminaire de réglage fin supervisé (SFT) sur un mélange de trajectoires réussies et d'exemples de spéculation pour établir un comportement bien formé dans les deux modes.
2. Réinitialisation de l'optimiseur : L'état de l'optimiseur est réinitialisé chaque fois que le calendrier d'entraînement bascule entre les modes agent et spéculateur pour éviter le transfert de momentum d'un objectif à l'autre.
3. Pénalité pour répétition : La récompense de l'agent inclut une pénalité pour les appels d'outils répétés et sans signification afin d'éviter l'effondrement dans des boucles improductives.

Contributions clés

Identification de l'écart Spéculateur–Agent : Les auteurs démontrent que les modèles de brouillon plus petits et prêts à l'emploi échouent souvent à correspondre à la distribution du prochain appel de l'agent cible, tandis que l'agent lui-même est un prédicteur plus fort de son propre comportement.
Architecture d'Agent Auto-Spéculateur : Un design de modèle unifié qui bascule entre les modes de résolution de tâches et de prédiction du prochain appel, réutilisant pleinement le cache KV du préfixe et éliminant le besoin de modèles auxiliaires ou de caches de traces historiques.
RL conjoint Agent–Spéculateur : Une méthodologie d'entraînement qui dérive les cibles de spéculation à partir des propres déroulements de l'agent et alterne les mises à jour pour préserver la performance de résolution de tâches tout en améliorant la précision de la spéculation.

Résultats expérimentaux

La méthode a été évaluée sur des tâches de Agentic SearchQA (HotpotQA, MuSiQue, BrowseComp-Plus) et de Utilisation d'outils conversationnels ( $\tau$ -bench Airline et Retail) en utilisant des backbones Qwen3-4B et Qwen3.5-4B.

Performance de la spéculation : La méthode de RL conjointe a considérablement amélioré le score Hit@1 (correspondance exacte du nom de l'outil et des arguments).
- Qwen3-4B : Amélioration de 44.1 (baseline SFT) à 61.2.
- Qwen3.5-4B : Amélioration de 48.9 (baseline SFT) à 66.3.
- Ces résultats ont surpassé les spéculateurs externes (modèles plus petits de la même famille) et l'agent de base incité à spéculer ses propres appels.
Performance des tâches : Crucialement, les taux de réussite des tâches en aval sont restés stables ou ont légèrement augmenté (ex. : le succès de la tâche pour Qwen3-4B est passé de 26.6 à 27.7), confirmant que l'entraînement à double mode n'a pas dégradé les capacités primaires de résolution de tâches de l'agent.
Efficacité : L'auto-spéculation a réduit la surcharge de service en évitant la nécessité des poids d'un second modèle et d'un cache KV distinct, tout en maintenant la réutilisation du cache de préfixe.

Signification et affirmations

Le papier affirme que la spéculation d'appel d'outil peut être intégrée directement dans l'agent lui-même. En unifiant l'agent et le spéculateur au sein d'un seul modèle et en les entraînant conjointement via un RL on-policy, le système atteint une prédiction de l'appel suivant de haute précision sans la surcharge système ou les problèmes d'alignement associés aux modèles de brouillon externes.

Les auteurs positionnent ce travail comme une étape initiale vers l'utilisation spéculative d'outils, notant que la méthode est particulièrement adaptée aux outils en lecture seule (recherche, récupération, requêtes de base de données) où les pré-exécutions incorrectes peuvent être jetées en toute sécurité. Ils reconnaissent les limites concernant les outils qui mutent l'état externe (ex. : passer des commandes), ce qui nécessiterait des mesures de protection supplémentaires comme des modes de test à blanc (dry-run) ou des annulations de transaction, et notent que l'évaluation est actuellement limitée aux modèles d'échelle 4B et à des familles de tâches spécifiques.