Reducing Cost of LLM Agents with Trajectory Reduction

Each language version is independently generated for its own context, not a direct translation.

Imaginez que vous engagez un super-assistant très intelligent (un agent IA) pour réparer un bug dans un logiciel complexe. Cet assistant travaille en boucle : il lit du code, pose des questions, exécute des commandes, lit les résultats, et recommence.

Le problème ? À chaque fois qu'il fait une action, il écrit tout ce qu'il a fait et lu dans un carnet de notes géant (ce qu'on appelle la "trajectoire"). Au fur et à mesure que la tâche avance, ce carnet devient énorme.

Le Problème : Le Carnet qui Encombre

C'est comme si vous demandiez à un cuisinier de préparer un gâteau, mais à chaque fois qu'il ajoute un œuf, vous lui forcez à relire toute la recette depuis le début, y compris la liste des courses de la veille et les instructions pour faire bouillir l'eau.

Dans le monde réel des agents IA, ce "carnet" contient beaucoup de déchets :

Des infos inutiles : Des listes de fichiers qui ne servent à rien.
Des répétitions : Le même code copié-collé dix fois.
Des infos périmées : Des résultats de tests anciens qui ne concernent plus le problème actuel.

Plus le carnet est gros, plus l'ordinateur doit travailler dur pour le lire à chaque nouvelle étape. Cela coûte cher (en argent et en temps) et ralentit tout le monde.

La Solution : "AgentDiet" (Le Régime de l'Agent)

Les auteurs de cette recherche ont créé un outil drôlement nommé AgentDiet. Son but est simple : faire un régime au carnet de notes de l'assistant.

Voici comment ça marche, avec une analogie culinaire :

L'Assistant Principal (Le Chef) : C'est l'IA qui fait le travail (réparer le code). Il est très doué, mais il est gourmand en "tokens" (les mots qui coûtent de l'argent).
Le Module de Réflexion (Le Diététicien) : C'est un second assistant, plus petit, moins cher et très rapide. Son seul travail est de surveiller le carnet de notes du Chef.

Le processus :

Le Chef écrit une page dans son carnet.
Le Diététicien regarde cette page et se dit : "Attends, cette liste de 500 tests qui ont tous réussi, on s'en fiche ! On va juste écrire '500 tests réussis'."
Il remplace la page énorme par un petit résumé intelligent.
Le Chef continue son travail avec un carnet beaucoup plus léger.

Pourquoi c'est génial ?

Les chercheurs ont testé cette idée sur de vrais problèmes de programmation (des bugs sur GitHub). Voici ce qu'ils ont découvert :

Économie massive : En coupant les "déchets", ils ont réduit la quantité de données à lire de 40 % à 60 %.
Moins cher : Cela a réduit le coût total de l'opération de 20 % à 35 %. Imaginez économiser un tiers de votre facture d'électricité juste en rangeant mieux votre maison !
Pas de perte de qualité : Le plus surprenant, c'est que l'assistant n'a pas fait d'erreurs. Au contraire, en enlevant le "bruit" (les infos inutiles), il a parfois même été plus rapide et plus efficace, car il ne se perdait plus dans un carnet trop rempli.

L'Analogie Finale

Imaginez que vous conduisez une voiture dans un bouchon de trafic (le carnet trop gros). Vous avancez lentement et vous consommez beaucoup de carburant.
AgentDiet, c'est comme ouvrir un tunnel de déviation qui coupe les embouteillages. Vous arrivez à destination plus vite, avec moins d'essence, et vous n'avez même pas besoin de changer de voiture (pas besoin de changer l'IA elle-même).

En résumé : Cette recherche montre qu'on peut rendre les assistants IA beaucoup moins chers et plus rapides, simplement en leur apprenant à jeter ce dont ils n'ont plus besoin, sans pour autant oublier l'essentiel. C'est une victoire pour l'efficacité et pour notre portefeuille !

Each language version is independently generated for its own context, not a direct translation.

1. Problématique : Le Coût Exponentiel des Trajectoires d'Agents

Les systèmes d'agents basés sur les grands modèles de langage (LLM) sont devenus incontournables pour des tâches complexes d'ingénierie logicielle (comme la résolution de bugs GitHub). Cependant, leur adoption massive est freinée par des coûts de calcul prohibitifs.

Cause racine : Le fonctionnement itératif des agents génère des "trajectoires" (historique complet des interactions : instructions, appels d'outils, résultats) qui s'allongent à chaque étape. Contrairement aux tâches en un seul tour, chaque nouvelle prédiction du LLM doit inclure l'intégralité de cette trajectoire croissante.
Conséquence : Une grande partie des tokens d'entrée est constituée d'informations inutiles, redondantes ou expirées (ex: sorties de commandes de compilation verbeuses, listes de fichiers non pertinentes, résultats de tests passés).
Le paradoxe : Bien que les mécanismes de cache (KV Cache) atténuent certains coûts, la longueur croissante de la trajectoire consomme toujours des ressources matérielles (VRAM, bande passante) et dégrade les performances du modèle (phénomène de "long context degradation"). Les solutions existantes (comme la compression de contexte dans Cursor ou Claude Code) sont souvent réactives (déclenchées uniquement quand la fenêtre est pleine) et visent la robustesse plutôt que l'efficacité.

2. Méthodologie : AgentDiet

Les auteurs proposent AgentDiet, une approche de réduction de trajectoire exécutée au moment de l'inférence (inference-time). L'idée centrale est d'automatiser la suppression des "déchets" dans la trajectoire sans altérer la capacité de l'agent à résoudre la tâche.

A. Analyse des Déchets

L'étude a identifié trois catégories de gaspillage dans les trajectoires d'agents :

Informations inutiles : Sorties de commandes système verbeuses (ex: logs de make, listes complètes de fichiers) qui n'aident pas à la décision actuelle.
Informations redondantes : Répétitions de données, comme les arguments d'un outil de modification de fichier (str_replace_editor) qui sont souvent répétés dans la réponse de l'outil.
Informations expirées : Données pertinentes pour une étape passée mais obsolètes une fois l'étape terminée (ex: fichiers explorés lors d'une recherche de symbole qui ne sont plus nécessaires une fois le fichier cible trouvé).

B. Architecture de AgentDiet

Plutôt que de demander à l'agent lui-même de réduire sa propre trajectoire (ce qui s'est révélé inefficace car les LLMs tendent à ignorer ces instructions pour se concentrer sur la tâche), les auteurs introduisent un module de réflexion externe.

Module de Réflexion (Reflection Module) : Un LLM distinct (souvent un modèle moins cher et plus rapide, comme GPT-5 mini ou Gemini Flash) est appelé périodiquement par le système hôte.
Fenêtre Glissante (Sliding Window) : Le module ne traite pas toute la trajectoire d'un coup. Il se concentre sur une étape spécifique ( $s-a$ $s - a$ ) en utilisant un contexte limité ( $s-a-b$ $s - a - b$ à $s$ $s$ ). Cela permet de :
- Minimiser le coût de surcharge (overhead).
- Préserver le cache KV pour les étapes précédentes (en modifiant une étape récente mais pas immédiate).
- Éviter de détruire l'information critique de l'étape en cours.
Processus de Réduction : Le module reçoit l'étape cible et le contexte, puis génère une version compressée en remplaçant les déchets par des résumés courts (takeaways) tout en préservant la structure (XML/JSON) et les informations critiques (ex: les erreurs de test).

C. Algorithme

L'algorithme intègre cette étape de réflexion après chaque action de l'agent. Si la longueur de l'étape dépasse un seuil $\theta$ , le module de réflexion est invoqué. Si la réduction obtenue est significative, l'étape dans la trajectoire est remplacée par la version compressée.

3. Contributions Clés

Identification du problème : Démonstration empirique que les trajectoires d'agents contiennent une quantité massive de déchets (jusqu'à 60-70% du contenu traité) qui peuvent être éliminés sans perte de performance.
Proposition d'AgentDiet : Une méthode simple, open-source et intégrable dans n'importe quel agent LLM utilisant des outils, ne nécessitant pas de modification du modèle LLM lui-même (approche "boîte noire").
Validation à grande échelle : Une évaluation rigoureuse sur deux benchmarks (SWE-bench Verified et Multi-SWE-bench Flash) et deux modèles LLM (Claude 4 Sonnet et Gemini 2.5 Pro), prouvant la généralisation de l'approche.

4. Résultats Expérimentaux

Les expériences ont été menées sur 200 instances de SWE-bench Verified et 300 instances de Multi-SWE-bench Flash.

Réduction des Tokens d'Entrée : AgentDiet réduit le nombre de tokens d'entrée cumulés de 39,9 % à 59,7 %.
Réduction des Coûts Computations : Le coût total de calcul (incluant le surcoût du module de réflexion) diminue de 21,1 % à 35,9 %.
- Exemple : Pour une instance typique sur SWE-bench avec Claude 4 Sonnet, le coût passe de ~0,53 $à ~0,42$ .
Performance (Pass@1) : La performance de résolution de tâches reste identique à celle de l'agent original (variation de -1,0 % à +2,0 %).
Robustesse : Dans certains cas (notamment avec Gemini 2.5 Pro sur des tâches complexes), AgentDiet a même réduit le nombre d'étapes nécessaires, car la réduction de la longueur du contexte a empêché le modèle de "s'embourber" dans des boucles de commandes invalides dues à un contexte trop long.
Généralisation : L'approche fonctionne efficacement sur sept langages de programmation différents (Rust, TypeScript, Java, etc.) et avec différents modèles LLM.

5. Signification et Impact

Cet article apporte une contribution majeure à l'efficacité des agents LLM en démontrant que :

L'efficacité n'est pas un compromis avec la performance : Contrairement à la croyance populaire selon laquelle réduire les tokens dégrade la qualité de la réponse, supprimer les "déchets" peut maintenir, voire améliorer, la robustesse de l'agent.
Viabilité économique : La réduction de 20 à 35 % des coûts a un impact financier colossal pour les produits commerciaux d'IA, où des milliards de tokens sont consommés quotidiennement.
Approche pratique : AgentDiet offre une solution immédiate et applicable aux agents propriétaires sans nécessiter de réentraînement coûteux ou d'accès aux poids du modèle.

En conclusion, AgentDiet établit que la réduction de trajectoire au moment de l'inférence est une direction prometteuse et essentielle pour rendre les agents LLM économiquement viables à grande échelle.