When Does Context Compaction Pay in Long-Horizon Agents?

Imaginez un assistant numérique capable de travailler pendant des heures, résolvant des problèmes complexes en lisant des fichiers, en exécutant du code et en vérifiant ses propres progrès. Pour ce faire, l'assistant doit se souvenir de tout ce qu'il a fait jusqu'à présent, en tenant un journal de bord de ses actions et des résultats observés. Ce journal est appelé son « contexte ». À mesure que le travail progresse, ce journal s'allonge de plus en plus, finissant par devenir si volumineux qu'il ralentit l'assistant et coûte une somme importante à traiter. Pour gérer cela, les ingénieurs logiciels ont développé une astuce appelée « compaction de contexte ». Au lieu de transporter l'intégralité de l'historique, le système demande à l'assistant d'écrire un court résumé de ce qui s'est passé, abandonne les détails anciens et poursuit le travail en utilisant uniquement ce résumé. C'est un peu comme un voyageur qui, après avoir marché cent milles, écrit une carte postale à son futur soi décrivant le voyage, puis brûle son journal détaillé pour gagner de la place dans son sac à dos. L'espoir est que ce résumé soit suffisant pour maintenir le voyageur sur la bonne voie tout en économisant du temps et des ressources.

Une nouvelle étude menée par le chercheur Yuyao Wang examine si cette stratégie fonctionne réellement pour les tâches de longue durée. Le chercheur a testé cette idée sur neuf problèmes difficiles et multi-étapes en utilisant deux modèles de langage avancés différents. Il a mis en place une expérience contrôlée où il a sauvegardé l'état des agents à des moments spécifiques, puis les a laissés terminer la tâche en utilisant deux méthodes différentes. Dans une méthode, les agents conservaient leur historique complet, servant de base de référence. Dans l'autre, les agents passaient à l'utilisation de résumés dès que leur historique devenait trop long. Le chercheur n'a pas seulement mesuré le coût final, mais aussi comment le changement de stratégie affectait le comportement de l'agent, le nombre d'étapes effectuées et le temps passé à attendre la rédaction des résumés.

Les résultats ont révélé un rebondissement surprenant. Bien que les calculs suggéraient que passer au résumé devrait permettre d'économiser de l'argent, la réalité était souvent l'inverse. Pour l'un des modèles testés, les agents ayant opté pour les résumés ont fini par coûter plus cher que ceux qui conservaient leur historique complet. La raison n'était pas que les résumés étaient mauvais, mais que l'acte de résumer modifiait le comportement de l'agent d'une manière qui créait un travail supplémentaire. Lorsque l'agent recevait un résumé au lieu de l'historique complet, il ressentait souvent le besoin de relire des fichiers ou de vérifier des informations qu'il avait déjà vues, ce qui entraînait une cascade de requêtes supplémentaires. Ces étapes supplémentaires, que le chercheur a appelées des actions de « lecture seule », s'accumulaient rapidement. Dans de nombreux cas, l'argent économisé grâce à un historique plus court était totalement annulé par le coût de ces vérifications inutiles et supplémentaires. En fait, pour le modèle principal testé, la stratégie a augmenté les coûts dans 20 des 21 états différents lors de la poursuite de la tâche.

L'étude a également examiné la durée de travail de ces agents après le passage au résumé pour déterminer si la stratégie pouvait un jour porter ses fruits. Le chercheur a découvert que la compaction de contexte ne devient rentable que s'il reste une très grande quantité de travail à accomplir après la rédaction du résumé. Si la tâche est presque terminée, le coût de la rédaction du résumé et les étapes supplémentaires que l'agent entreprend pour s'y adapter ne valent pas les économies réalisées. Cependant, pour les tâches dont le chemin est encore long, la stratégie peut fonctionner, mais seulement sous certaines conditions spécifiques. Le prix de la technologie compte énormément : pour un modèle, la stratégie n'a permis d'économiser de l'argent que si le coût de la lecture dans la mémoire de l'ordinateur était extrêmement élevé, bien plus élevé que ce qui est actuellement facturé par la plupart des fournisseurs. Pour l'autre modèle testé, la stratégie était beaucoup plus efficace, permettant d'économiser de l'argent même avec les prix actuels, mais cela était largement dû au fait que le comportement de ce modèle changeait beaucoup moins radicalement lorsqu'il recevait un résumé.

Au-delà du coût, le chercheur a également examiné la vitesse de travail des agents. Il a simulé le processus sur une seule puce informatique pour voir si des historiques plus courts rendraient le système plus rapide. Il a constaté que, bien que les historiques plus courts accéléraient le traitement des étapes individuelles, le temps passé à rédiger les résumés et les étapes supplémentaires entreprises par les agents rendaient souvent l'ensemble du processus plus lent. Dans certains scénarios, les agents utilisant des résumés ont mis presque deux fois plus de temps pour accomplir la même tâche que ceux avec l'historique complet, même s'ils n'attendaient jamais dans une file d'attente. Cela s'est produit parce que le temps gagné sur le traitement du long historique était perdu dans le temps de génération du résumé et le travail supplémentaire effectué par l'agent.

L'étude conclut que la compaction de contexte n'est pas une solution simple pour les tâches de longue durée. C'est un compromis qui dépend fortement du modèle spécifique utilisé, du coût de la technologie et de la quantité de travail restant. Le chercheur a constaté que le simple fait de raccourcir l'historique perturbe souvent l'agent, le poussant à répéter un travail qu'il a déjà effectué. Pour que cette stratégie fonctionne, les systèmes doivent être conçus avec soin afin de préserver les étapes les plus récentes et de s'assurer que l'agent ne ressente pas le besoin de revérifier son propre historique. Tant que ces conditions ne sont pas remplies, conserver l'historique complet, malgré son coût, reste souvent la voie la plus fiable et parfois même la moins coûteuse pour les agents s'attaquant à des problèmes longs et complexes.