Résumé Technique : ACON : Optimiser la compression de contexte pour les agents LLM à long horizon

1. Énoncé du Problème

Les modèles de langage de grande taille (LLM) sont de plus en plus déployés en tant qu'agents dans des environaux dynamiques et réels, où le succès dépend du maintien d'enregistrements précis des actions et des observations sur des horizons étendus. Cependant, ces tâches à long horizon entraînent une croissance démesurée du contexte, créant deux goulots d'étranglement critiques :

1. Coûts d'inférence prohibitifs : Le coût de mémoire des transformateurs augmente avec la longueur du contexte, principalement en raison des besoins massifs en cache KV, ce qui rend le raisonnement à long horizon coûteux en termes de calcul.
2. Dégradation du raisonnement : Des contextes excessivement longs diluent les informations pertinentes, distrayant le modèle avec des détails obsolètes ou superflus et dégradant la qualité de la décision.

Les méthodes de compression existantes ne parviennent pas à répondre de manière adéquate à ces besoins spécifiques aux agents. Les systèmes orientés dialogue se concentrent sur la cohérence conversationnelle plutôt que sur le suivi d'état, tandis que les méthodes centrées sur les documents supposent un raisonnement en une seule étape. Les approches basées sur des heuristiques sont souvent fragiles et étroitement spécialisées, tandis que les approches basées sur l'optimisation de modèles (par exemple, l'apprentissage par renforcement) nécessitent l'accès aux poids internes du modèle, ce qui les rend peu pratiques pour les LLM propriétaires ou basés sur des API.

2. Méthodologie : Optimisation du Contexte d'Agent (ACON)

ACON est un cadre unifié conçu pour compresser de manière optimale à la fois les observations de l'environnement et les historiques d'interaction sans modifier les poids du modèle de l'agent. Il opère via deux étapes principales :

A. Optimisation des Directives de Compression (Espace du Langage Naturel)

Contra irement aux méthodes qui ajustent les paramètres du modèle, ACON optimise les prompts (directives de compression) utilisés par un LLM compresseur. Ce processus est indépendant du modèle et repose sur un feedback de tâche contrastif :

1. Analyse Contrastive : Le système exécute l'agent sur une tâche avec et sans compression de contexte. Il identifie les tâches où l'agent réussit sans compression mais échoue avec la compression.
2. Génération de Feedback : Un LLM optimiseur analyse la trajectoire de référence réussie par rapport à la trajectoire compressée échouée pour générer un feedback en langage naturel identifiant quelles informations critiques (ex: variables, états, faits) ont été perdues ou déformées.
3. Raffinement Itératif : Ce feedback est utilisé pour mettre à jour le prompt de la directive de compression. Le processus implique deux étapes d'optimisation spécifiques :
   • Maximisation de l'Utilité (UT) : Se concentre sur la maximisation de la récompense de la tâche en garantissant que les informations d'état critiques sont préservées.
   • Maximisation de la Compression (CO) : Se conditionne uniquement sur les trajectoires compressées réussies pour identifier et supprimer les informations redondantes, minimisant ainsi le coût du contexte tout en maintenant la suffisance.

B. Distillation du Compresseur

Pour atténuer la surcharge de calcul liée à l'invocation répétée d'un grand LLM pour la compression, ACON distille le compresseur optimisé vers un modèle plus petit.

• Un compresseur "enseignant" (grand LLM avec des directives optimisées) génère des sorties compressées à partir des historiques/observations d'entrée.
• Un modèle "étudiant" (plus petit LLM) est entraîné via l'entropie croisée sur ces paires entrée-sortie.
• Cela permet de réserver le modèle large et coûteux pour la prise de décision de l'agent, tandis que le modèle étudiant léger gère la compression.

3. Contributions Clés

• Cadre ACON : Une approche unifiée pour optimiser la compression des historiques d'interaction et des observations d'environnement, adaptée aux tâches agentiques multi-étapes à long horizon.
• Optimisation des Directives Pilotée par l'Échec : Une méthode indépendante du modèle qui affine les prompts de compression grâce à un feedback en langage naturel dérivé des échecs de l'agent, éliminant le besoin de mises à jour de poids ou d'accès aux internes propriétaires du modèle.
• Déploiement Rentable : Démontre que les compresseurs optimisés peuvent être distillés dans des modèles plus petits, préservant plus de 95 % de la performance de l'enseignant tout en réduisant considérablement les coûts.
• Validation Empirique : Évaluation étendue sur trois benchmarks (AppWorld, OfficeBench et Multi-objective QA) montrant qu'ACON réduit l'utilisation de tokens de pointe de 26 à 54 % tout en améliorant les taux de réussite des tâches par rapport aux lignes de base existantes.

4. Résultats Expérimentaux

Les auteurs ont évalué ACON sur trois benchmarks nécessitant plus de 15 étapes d'interaction :

• Efficacité des Tokens : ACON a réduit l'utilisation de tokens de pointe de 26 à 54 % à travers les benchmarks. Par exemple, sur AppWorld, il a réduit les tokens de pointe de plus de 25 % tout en maintenant une précision comparable à la ligne de base non compressée.
• Succès de la Tâche : ACON a amélioré les taux de réussite des tâches par rapport aux lignes de base de compression existantes (FIFO, Retrieval, LLMLingua, Naive Prompting). Sur AppWorld, il a obtenu une amélioration relative de 32,4 % pour l'agent Qwen3-14B (passant de 25,6 % à 33,9 %) et un gain de 45,6 % sur le QA à 8 objectifs.
• Performance de la Distillation : Les compresseurs distillés (ex: Qwen3-14B, Phi-4) conservent plus de 95 % de la performance du compresseur enseignant gpt-4.1.
• Capacités des Petits Agents : En atténuant la distraction du contexte, ACON a permis à de plus petits modèles (comme Qwen3-14B) de fonctionner efficacement comme des agents à long horizon, atteignant des améliorations de performance de 20 à 46 % selon le benchmark.
• Analyse des Coûts : Bien que l'étape d'optimisation des directives soit légère (moins de 2 $ par domaine), la distillation des compresseurs vers des modèles plus petits (ex: Qwen3-14B) a réduit les coûts d'API de compression de 99,1 % par rapport à l'utilisation d'un grand modèle enseignant.

5. Signification et Revendications

L'article affirme qu'ACON pose les bases pour des agents LLM à long horizon plus généraux, économes en mémoire et déployables. Sa principale importance réside dans :

• Accessibilité : En étant indépendant du modèle et ne nécessitant pas de mises à jour de gradients, il rend les capacités agentiques avancées accessibles pour les modèles basés sur des API propriétaires dont les poids internes sont indisponibles.
• Efficacité des Ressources : Il réduit considérablement l'empreinte computationnelle des systèmes d'IA en diminuant les coûts de tokens et en permettant l'utilisation de modèles plus petits et moins chers pour la compression et l'exécution de l'agent.
• Égalisation : Il agit comme un "égalisateur", permettant à de plus petits modèles de langage d'approcher les performances de modèles beaucoup plus grands en leur fournissant des contextes concis mais informatifs, abaissant ainsi les barrières à l'entrée pour les chercheurs disposant de ressources limitées.

Les auteurs notent des limites, notamment l'accent principal mis sur les modèles GPT en raison de contraintes de ressources et la latence inhérente introduite par le processus de compression générative lui-même. Cependant, ils postulent que le compromis entre la réduction des coûts de tokens et la latence de compression ajoutée est favorable pour les tâches à long horizon.