When Does Context Compaction Pay in Long-Horizon Agents?

Immaginate un assistente digitale che può lavorare per ore, risolvendo problemi complessi leggendo file, eseguendo codice e controllando i propri progressi. Per fare ciò, l'assistente deve ricordare tutto ciò che ha fatto finora, mantenendo un registro continuo delle sue azioni e dei risultati che vede. Questo registro è chiamato "contesto". Man mano che il lavoro prosegue, questo registro si allunga sempre di più, diventando così grande da rallentare l'assistente e costare una quantità significativa di denaro per essere elaborato. Per gestire questa situazione, gli ingegneri del software hanno sviluppato un trucco chiamato "compattazione del contesto". Invece di portare avanti l'intera cronologia, il sistema chiede all'assistente di scrivere un breve riassunto di ciò che è accaduto, scarta i dettagli vecchi e continua il lavoro utilizzando solo quel riassunto. È un po' come un viaggiatore che, dopo aver camminato per cento miglia, scrive una cartolina al proprio sé futuro descrivendo il viaggio, poi brucia il diario dettagliato per risparmiare spazio nello zaino. La speranza è che questo riassunto sia sufficiente a mantenere il viaggiatore sulla strada giusta pur risparmiando tempo e risorse.

Un nuovo studio del ricercatore Yuyao Wang indaga se questa strategia funzioni effettivamente per compiti a lungo termine. Il ricercatore ha testato questa idea su nove problemi difficili e multi-fase utilizzando due diversi modelli linguistici avanzati. Ha impostato un esperimento controllato in cui ha salvato lo stato degli agenti in momenti specifici e poi ha lasciato che continuassero fino al traguardo utilizzando due metodi differenti. In un metodo, gli agenti mantenevano la loro intera cronologia, fungendo da base di riferimento (baseline). Nell'altro, gli agenti passavano all'uso di riassunti ogni volta che la loro cronologia diventava troppo lunga. Il ricercatore non ha misurato solo il costo finale, ma anche come il cambiamento di strategia influenzasse il comportamento dell'agente, il numero di passaggi compiuti e il tempo trascorso in attesa che i riassunti venissero scritti.

I risultati hanno rivelato un colpo di scena sorprendente. Sebbene la matematica suggerisse che passare a un riassunto avrebbe dovuto far risparmiare denaro, la realtà era spesso l'opposto. Per uno dei modelli testati, gli agenti che passavano ai riassunti finivano per costare più denaro rispetto a quelli che mantenevano la loro intera cronologia. Il motivo non era che i riassunti fossero scadenti, ma che l'atto di riassumere cambiava il comportamento dell'agente in modo da creare lavoro extra. Quando l'agente riceveva un riassunto invece della cronologia completa, spesso sentiva il bisogno di rileggere file o controllare informazioni che aveva già visto, portando a una cascata di richieste supplementari. Questi passaggi extra, che il ricercatore ha chiamato azioni "di sola lettura", si accumulavano rapidamente. In molti casi, il denaro risparmiato avendo una cronologia più breve veniva completamente annullato dal costo di questi controlli extra e non necessari. In effetti, per il modello principale testato, la strategia ha aumentato i costi in 20 stati su 21 diversi quando proseguita fino alla fine del compito.

Lo studio ha anche esaminato quanto tempo gli agenti dovessero lavorare dopo il passaggio per determinare se la strategia potesse mai valere la pena. Il ricercatore ha scoperto che la compattazione del contesto diventa un vantaggio finanziario solo se rimane una grande quantità di lavoro da svolgere dopo che il riassunto è stato scritto. Se il compito è quasi terminato, il costo della scrittura del riassunto e gli extra passaggi che l'agente compie per adattarsi ad esso non valgono il risparmio. Tuttavia, per i compiti con una lunga strada davanti, la strategia può funzionare, ma solo in condizioni specifiche. Il prezzo della tecnologia conta enormemente: per un modello, la strategia risparmiava denaro solo se il costo della lettura dalla memoria del computer era estremamente alto, molto più elevato di quanto venga attualmente addebitato dalla maggior parte dei fornitori. Per l'altro modello testato, la strategia era molto più efficace, risparmiando denaro anche con i prezzi attuali, ma ciò era dovuto principalmente al fatto che il comportamento di quel modello cambiava molto meno drasticamente quando riceveva un riassunto.

Oltre al costo, il ricercatore ha esaminato anche la velocità con cui lavoravano gli agenti. Ha simulato il processo su un singolo chip di un computer per vedere se cronologie più brevi avrebbero reso il sistema più veloce. Ha scoperto che, sebbene le cronologie più brevi accelerassero l'elaborazione dei singoli passaggi, il tempo speso per generare i riassunti e gli extra passaggi compiuti dagli agenti rendevano spesso l'intero processo più lento. In alcuni scenari, gli agenti che utilizzavano i riassunti impiegavano quasi il doppio del tempo per completare lo stesso compito rispetto a quelli con la cronologia completa, anche se non erano mai in attesa in una coda. Questo accadeva perché il tempo risparmiato sull'elaborazione della lunga cronologia veniva perso a causa del tempo impiegato per generare il riassunto e del lavoro extra svolto dall'agente.

Lo studio conclude che la compattazione del contesto non è una soluzione semplice per compiti di lunga durata. È un compromesso che dipende fortemente dal modello specifico in uso, dal costo della tecnologia e da quanto lavoro rimane. Il ricercatore ha scoperto che tagliare semplicemente la cronologia spesso confonde l'agente, causandogli di ripetere il lavoro che ha già svolto. Per far sì che questa strategia funzioni, i sistemi devono essere progettati con cura per preservare i passaggi più recenti e garantire che l'agente non senta il bisogno di ricontrollare la propria cronologia. Finché queste condizioni non saranno soddisfatte, mantenere la cronologia completa, nonostante il suo costo, rimane spesso la via più affidabile e, talvolta, anche quella più economica per gli agenti impegnati in problemi lunghi e complessi.