💬 NLP

Not All Tokens Are Equal: Inflation-Aware Routing for Agentic LLM Systems

Ce document introduit InflationAgent, un nouveau cadre de routage qui traite l'écart d'« inflation de jetons » dans les systèmes d'agents LLM en prédisant les coûts au niveau du flux de travail via l'entropie de branchement de la chaîne de pensée (CoT Branching Entropy) et en optimisant la sélection de modèles grâce à un taux de change sémantique (Semantic Exchange Rate), atteignant ainsi une précision plus élevée avec moins de jetons que les méthodes existantes comme FrugalGPT.

Auteurs originaux : Heming Fu, Shan Lin, Qianqian Xie, Guojun Xiong

Publié 2026-08-17

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Heming Fu, Shan Lin, Qianqian Xie, Guojun Xiong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigez un service de livraison pour une flotte de robots. Certains robots sont minuscules, rapides et peu coûteux à faire fonctionner, mais ils s'embrouillent parfois et font tomber les colis. D'autres sont géants, super-intelligents et coûteux, mais ils ne font presque jamais d'erreur. Dans le monde de l'intelligence artificielle, ces robots sont des "Large Language Models" (LLM). Ils sont les cerveaux derrière les chatbots et les assistants de codage. Habituellement, quand nous posons une question, nous l'envoyons simplement à un seul robot et attendons une réponse. Mais dans le monde réel, les choses sont désordonnées. Si le petit robot se trompe, un système intelligent ne se contente pas d'abandonner ; il demande au robot d'essayer à nouveau. Il peut même demander au robot géant d'intervenir. C'est ce qu'on appelle un "système agentique" — une équipe d'agents d'IA travaillant ensemble pour résoudre un problème.

Le problème est que nous avons compté mal la façon de calculer le coût de ces livraisons. Nous avons payé pour le prix d'un seul trajet, oubliant que si le robot s'écrase et doit retourner à l'entrepôt pour réessayer, nous payons pour l'aller-retour complet, et pas seulement pour le billet aller simple. Cet article traite d'une nouvelle façon de gérer ces équipes d'IA afin que nous ne dépassions pas accidentellement notre budget en envoyant le mauvais robot sur une tâche qui nécessite trop de tentatives.

Le coût caché du "Réessayer"

Imaginez que vous êtes à une fête foraine devant un stand de jeu. Vous avez une quantité limitée d'argent (jetons) pour jouer. Vous pouvez choisir entre une machine un peu bancale qui coûte 1 $ par essai, ou une machine sophistiquée et de haute technologie qui coûte 10 $ par essai.

L'ancienne façon de penser était simple : "La machine bon marché coûte 1 $, donc je vais choisir celle-là !" Mais voici le piège : la machine bon marché est capricieuse. Si vous lui posez une question difficile, elle peut se tromper. Ainsi, vous devez payer 1 $ à nouveau pour essayer une deuxième fois. Et une troisième. Et une quatrième. Le temps que vous obteniez enfin la bonne réponse, vous avez dépensé 5 $ avec la machine bon marché. Pendant ce temps, la machine sophistiquée aurait réussi du premier coup pour 10 $.

Cet article appelle ce coût supplémentaire caché l'"Inflation de jetons" (Token Inflation). C'est l'écart entre ce que vous pensez payer (un essai) et ce que vous payez réellement (cinq essais). Les auteurs ont découvert que pour les tâches difficiles, cette inflation peut être énorme. Un petit modèle bon marché peut finir par coûter 4,25 fois plus cher que prévu parce qu'il échoue et nécessite des tentatives répétées.

La nouvelle stratégie : l' "InflationAgent"

Les chercheurs ont construit un nouveau système appelé InflationAgent pour corriger cela. Au lieu de simplement regarder le prix d'un seul essai, ce système agit comme un gestionnaire de fête foraine avisé qui sait exactement quelles machines sont sujettes à tomber en panne.

Voici comment cela fonctionne, étape par étape :

1. Le "Test de l'instinct" (CoT Branching Entropy)
Avant même de demander à un robot de résoudre un problème, le système effectue un test rapide et gratuit. Il demande à un petit robot local de réfléchir au problème trois fois de suite de manières différentes.

Si le robot donne la même réponse les trois fois, le système sait que le problème est facile.
Si le robot donne trois réponses totalement différentes et confuses, le système sait que le problème est difficile et que le robot est susceptible de rester bloqué dans une boucle de tentatives.
Les auteurs appellent cette mesure la "CoT Branching Entropy". C'est comme vérifier si le moteur d'une voiture bafouille avant même de commencer le voyage. Cela ne coûte rien de plus car cela se passe sur un ordinateur local, et non sur les serveurs coûteux du cloud.

2. Le calculateur de "Prix"
En utilisant ce "test de l'instinct", le système prédit l'ampleur de l' "inflation". Il ne se contente pas de deviner ; il utilise un petit calculateur intelligent (un modèle d'apprentissage automatique) entraîné sur des données passées. Il prédit : "Si nous envoyons cette question difficile au petit robot, il va probablement échouer 3 fois, donc le coût réel est de 3x le prix."

3. Le sélecteur du "Meilleur Deal"
Maintenant, le système calcule le Taux de Change Sémantique (Semantic Exchange Rate - SER). C'est une façon sophistiquée de demander : "Quelle précision est-ce que j'obtiens pour chaque dollar que je dépense réellement ?"

Si le petit robot est bon marché mais échouera 4 fois, son "deal" est terrible.
Si le gros robot est coûteux mais réussira du premier coup, son "deal" pourrait en fait être meilleur.
Le système choisit le robot qui offre la meilleure valeur, et non pas seulement le prix affiché le plus bas.

4. La règle du "Nouveau Départ"
C'est l'astuce la plus importante. Si le système envoie une question à un robot et qu'il échoue, puis qu'il décide de passer à un robot plus gros et plus intelligent, il jette la tentative ratée précédente.
Les chercheurs ont découvert quelque chose de surprenant : si vous montrez au gros robot les notes confuses et désordonnées de la tentative ratée du petit robot, le gros robot devient confus lui aussi ! C'est comme montrer les gribouillis d'un élève en difficulté à un génie ; le génie pourrait commencer à douter de lui-même.
En donnant au gros robot un prompt frais (une page blanche), le système maintient une précision élevée. Si l'on avait simplement transmis les notes ratées, la précision du gros robot aurait chuté de 34,8 points de pourcentage sur les questions difficiles.

Ce qu'ils ont trouvé

L'équipe a testé cela sur des problèmes mathématiques (GSM8K) et des questions de culture générale complexes (HotpotQA). Voici ce qui s'est passé :

L'inflation est réelle : Sur les questions de culture générale difficiles, le petit modèle (Qwen2.5-7B) présentait un taux d'inflation de 4,25×. Cela signifiait que pour chaque dollar que vous pensiez dépenser, vous dépensiez réellement 4,25 $ parce que le robot échouait sans cesse.
De meilleurs résultats pour moins d'argent : Lorsqu'ils ont fixé un budget fixe (une limite stricte sur le nombre de jetons qu'ils pouvaient dépenser), leur nouveau système (InflationAgent) a obtenu 94,7 % de bonnes réponses. L'ancienne méthode populaire (FrugalGPT) n'en a obtenu que 91,0 %.
Économie de jetons : Pour obtenir le même niveau de précision de 91,0 % que l'ancienne méthode, le nouveau système a utilisé 31 % de jetons en moins. C'est une économie massive.
Le danger de "Plus de tentatives" : Ils ont découvert que donner simplement plus de chances au petit robot (jusqu'à 10 fois) ne fonctionnait pas indéfiniment. Après un certain point, le robot devenait confus par ses propres échecs passés, et sa précision diminuait en réalité. Parfois, il vaut mieux passer à un robot plus intelligent plutôt que de continuer à frapper inlassablement contre le mur.

L'essentiel

Cet article démonte l'idée que, dans le monde de l'IA, "bon marché" n'est pas toujours synonyme de faible coût. Si un modèle est susceptible d'échouer et de devoir réessayer encore et encore, il devient coûteux et inefficace. En mesurant la probabilité qu'un modèle se retrouve bloqué (via l'entropie du "test de l'instinct") et en repartant de zéro lors du passage à un modèle plus intelligent, nous pouvons économiser de l'argent et obtenir de meilleures réponses.

Les auteurs sont confiants dans ces résultats basés sur leurs tests avec des ensembles de données spécifiques de mathématiques et de culture générale. Ils suggèrent que bien que cela fonctionne très bien pour les tâches de raisonnement, nous devons encore découvrir comment appliquer cela à des conversations plus ouvertes ou à des outils. Mais pour l'instant, ils ont prouvé qu'une planification intelligente permet d'éviter que le budget de l'IA ne s'envole de manière incontrôlée.

Résumé technique : Tous les jetons ne sont pas égaux : Routage sensible à l'inflation pour les systèmes d'agents LLM

Énoncé du problème

Les systèmes agentiques modernes construits sur des modèles de langage étendu (LLM) emploient fréquemment des mécanismes de tentative (retry) lorsque le modèle ne parvient pas à répondre correctement à une requête ou produit une chaîne de raisonnement incomplète. Alors que les systèmes de routage existants (par exemple, FrugalGPT, RouteLLM) optimisent les coûts basés sur le prix par jeton d'un appel unique, ils ne parviennent pas à prendre en compte le coût cumulé des tentatives de réessai.

Les auteurs définissent l'Inflation de Jetons comme le rapport entre le coût réel du flux de travail (incluant tous les réessais) et le coût estimé d'un appel unique.
$\text{Inflation}(m, x) = \frac{C_{\text{réel}}(m, x)}{C_{\text{direct}}(m, x)}$
Où $C_{\text{réel}}$ est la somme des jetons consommés à travers $k^*$ tentatives jusqu'au succès (ou l'épuisement des tentatives), et $C_{\text{direct}}$ est le nombre de jetons d'une tentative unique.

Les auteurs démontrent que cette inflation est non négligeable et hautement variable. Pour les tâches multi-étapes difficiles, un "petit" modèle peu coûteux peut échouer de manière répétée, entraînant un coût réel 4,25 fois supérieur à l'estimation d'un appel unique. Par conséquent, les décisions de routage basées uniquement sur les estimations d'un appel unique peuvent systématiquement sous-estimer les coûts réels de plus de 2×, menant à une sélection de modèles sous-optimale.

Méthodologie : InflationAgent

Pour remédier à cela, les auteurs proposent InflationAgent, un pipeline de routage en quatre étapes conçu pour maximiser le Taux d'Échange Sémantique (SER), défini comme l'exactitude attendue divisée par le coût réel prédit :
$\text{SER}(m, x) = \frac{U(m)}{\hat{C}_{\text{réel}}(m, x)}$

Le pipeline fonctionne comme suit :

Extraction de caractéristiques (Locale) : Le système extrait des caractéristiques structurelles de la requête (nombre de jetons, diversité du vocabulaire, indices multi-étapes) sans appels API.
Calcul de l'Entropie de Branchement de la CoT (CBE) (Locale) : Le système échantillonne $K$ chaînes de raisonnement indépendantes à partir d'un modèle local. Il calcule l'entropie de Shannon de la distribution de réponses résultante :
$\text{CBE}(x) = -\sum_{c} p_c \log_2 p_c$
Une entropie élevée indique des chemins de raisonnement divergents et une difficulté de requête élevée, servant de proxy à coût nul pour la probabilité de réessai.
Prédiction de l'inflation et routage : Un perceptron multicouche (MLP) léger prédit le facteur d'inflation ( $\hat{\text{Inflation}}$ ) en utilisant quatre caractéristiques : CBE, score d'accord, longueur moyenne de la chaîne et nombre de jetons du prompt. Le système estime le coût réel ( $\hat{C}_{\text{réel}} = C_{\text{direct}} \times \hat{\text{Inflation}}$ ) et sélectionne le niveau de modèle ayant le SER le plus élevé.
Exécution avec Escalade-Fraîche (Fresh-Escalation) : Le modèle sélectionné exécute la requête. Si l'inflation observée dépasse 2× la prédiction, le système escalade vers un niveau de modèle plus puissant. Crucialement, cette escalade utilise un prompt frais, écartant la chaîne de raisonnement échouée pour éviter la contamination du contexte.

Contributions clés

Mesure systématique de l'inflation de jetons : Les auteurs ont instrumenté un harnais de réessai agentique à travers trois niveaux de modèles (Qwen2.5-7B, GPT-4o-mini, GPT-4o) et deux jeux de données (GSM8K, HotpotQA). Ils ont constaté que l'inflation varie considérablement selon le type de tâche, atteignant 4,25× pour un modèle 7B sur du QA multi-étapes, alors que GPT-4o sur la même tâche n'a gonflé que de 2,92×.
Entropie de Branchement de la CoT (CBE) : Un nouveau signal de difficulté pré-exécution calculé entièrement via l'inférence locale. Il prédit une inflation élevée avec un AUROC de 0,887, permettant au système d'anticiper la surcharge de réessai sans engendrer de coûts d'API.
Routage par Taux d'Échange Sémantique (SER) : Un objectif de routage qui équilibre l'exactitude par rapport au coût réel prédit, plutôt que simplement le coût d'un appel unique.
Politique d'Escalade-Fraîche : Une découverte empirique indiquant que transmettre les chaînes de raisonnement échouées à un modèle plus fort dégrade les performances. Les auteurs montrent que contaminer GPT-4o avec des chaînes échouées provenant d'un modèle plus petit réduit son exactitude de 34,8 points de pourcentage sur les requêtes difficiles, validant la nécessité de rejeter le contexte échoué lors de l'escalade.

Résultats expérimentaux

L'évaluation a été menée sur GSM8K et HotpotQA avec un budget de jetons fixe et un maximum de 5 réessais.

Exactitude vs Coût : Sur GSM8K, InflationAgent a atteint 94,7 % d'exactitude contre 91,0 % pour le baseline FrugalGPT. Pour atteindre le niveau d'exactitude de FrugalGPT, InflationAgent a nécessité 31 % de jetons en moins.
Prédiction de l'inflation : Le prédicteur MLP a atteint une corrélation de Pearson de 0,714 et un AUROC de 0,887 sur l'ensemble de test laissé de côté pour la détection des requêtes à haute inflation (seuil $\ge$ 2×).
Rendements marginaux : L'augmentation des réessais pour un petit modèle (Qwen2.5-7B) a montré des rendements décroissants ; l'exactitude a culminé à 5× le budget (92,5 %) et est tombée à 82,0 % à 10× en raison de l'interférence de la fenêtre de contexte par les chaînes échouées.
Contamination du contexte : Dans une expérience contrôlée, l'exactitude de GPT-4o est passée de 73,9 % à 39,1 % lorsqu'il était alimenté par des chaînes de raisonnement échouées de Qwen2.5-7B, une baisse statistiquement significative ( $p=0,0078$ ).

Signification et affirmations

L'article affirme que l'inflation de jetons est un facteur critique, précédemment négligé, dans la conception de systèmes agentiques. En ignorant la surcharge de réessai, les stratégies de routage existantes peuvent par inadvertance sélectionner des modèles qui sont "bon marché" par jeton mais coûteux par tâche réussie.

Les auteurs affirment qu'InflationAgent résout cela en :

Modélisant explicitement l'écart entre les estimations d'appel unique et les coûts réels du flux de travail.
Utilisant l'inférence locale (CBE) pour prédire cet écart sans coûts d'API supplémentaires.
Mettant en œuvre une stratégie d'escalade-fraîche qui empêche la dégradation des performances du modèle en aval causée par la contamination du contexte.

Ce travail établit que pour les tâches difficiles et multi-étapes, un modèle nominalement peu coûteux avec une inflation élevée n'est ni rentable, ni efficace. Le cadre proposé offre une voie vers une inférence agentique plus efficace en alignant les décisions de routage sur le coût économique réel de l'achèvement de la tâche.

Limites

Les auteurs notent que leur évaluation est limitée à deux benchmarks de raisonnement (GSM8K, HotpotQA) et ne s'étend pas à la génération ouverte, au dialogue multi-tours ou aux agents utilisant des outils. Le prédicteur d'inflation est entraîné sur des distributions de tâches spécifiques, et la généralisation inter-tâches reste une question ouverte. De plus, les ratios d'unités de calcul utilisés sont fixes et ne tiennent pas compte de la tarification dynamique des API.