Nel mondo dell'intelligenza artificiale, un tipo specifico di software chiamato agente agisce come un lavoratore digitale. Questi agenti non si limitano a chattare; eseguono compiti utilizzando strumenti, leggendo file ed eseguendo comandi. Per farlo, si affidano a un modello linguistico di grandi dimensioni, un potente programma informatico che comprende e genera il linguaggio umano. Tuttavia, questi modelli hanno un limite di memoria. Ogni volta che l'agente compie un passo, deve inviare l'intera cronologia della sua conversazione al modello affinché il modello sappia cosa è successo finora. Man mano che una sessione si prolunga, coinvolgendo decine di file e centinaia di comandi, questa cronologia diventa enorme. Inviare tutto ogni volta è lento e costoso.

Per risolvere questo problema, gli ingegneri hanno provato due trucchi principali. Il primo è quello di tagliare semplicemente le parti più vecchie della conversazione, mantenendo solo i messaggi più recenti. Questo risparmia spazio ma rischia di eliminare fatti importanti, come una password o la posizione di un file, di cui l'agente potrebbe aver bisogno in seguito. Il secondo trucco è chiedere al modello di riassumere le parti vecchie in una storia più breve. Anche questo è rischioso perché il riassunto potrebbe omettere un dettaglio cruciale o inventarne uno nuovo, e non c'è modo di verificare se il riassunto sia accurato. Entrambi i metodi costringono a scegliere tra il risparmio economico e la conservazione della verità.

Un ricercatore di nome Mohammad Mosafer ha proposto un approccio diverso che rifiuta di fare quella scelta. Ha costruito un sistema chiamato Tessera, che agisce come un intelligente intermediario tra l'agente e il modello. Invece di eliminare le vecchie informazioni o riscriverle in un riassunto, Tessera comprime la conversazione trovando e rimuovendo copie esatte e quasi-duplicati. Mantiene il testo originale al sicuro in un'area di archiviazione separata e sostituisce le parti ripetute nella conversazione principale con piccoli e precisi puntatori. Se l'agente ha bisogno di rivedere il vecchio testo, può richiederlo e il sistema recupera l'originale esatto istantaneamente. Questo metodo permette all'agente di lavorare con una cronologia di conversazione molto più breve senza perdere alcun fatto o dipendere dalla tecnologia di una specifica azienda.

Il cuore del problema risiede nel modo in cui lavorano questi agenti. Quando un agente esegue un comando, riceve un risultato. Se esegue lo stesso comando di nuovo, spesso ottiene esattamente lo stesso risultato. In una sessione lunga, l'agente potrebbe leggere lo stesso file di log più volte o controllare ripetutamente lo stesso stato. Poiché l'agente invia l'intera cronologia ogni volta, finisce per inviare ripetutamente gli stessi grandi blocchi di testo. Tessera nota questa ripetizione. Scansiona la cronologia della conversazione e identifica quando un pezzo di testo è identico a qualcosa di inviato precedentemente. Invece di inviare nuovamente l'intero testo, invia un breve segno che dice: "Questo è lo stesso testo di tre passi fa". Il modello può ancora leggere il segno e comprendere il contesto, ma la quantità di dati inviati è drasticamente ridotta.

Tessera va oltre la semplice ricerca di copie esatte. Cerca anche testi che sono quasi uguali, come un file di log che è cambiato solo di poche parole. Quando trova questi quasi-duplicati, invia una piccola nota che descrive solo le modifiche, invece dell'intero file. Gestisce anche grandi blocchi di dati, come lunghe liste di numeri o codice, rimuovendo la formattazione non necessaria e mantenendo solo la struttura essenziale. Tutto questo avviene senza utilizzare un grande modello linguistico per prendere decisioni. Il sistema utilizza regole deterministiche semplici, il che significa che produrrà sempre lo stesso risultato per lo stesso input. Questo rende il processo veloce e affidabile, aggiungendo solo pochi millisecondi al tempo necessario per inviare un messaggio.

Per testare se questo sistema funzioni davvero, il ricercatore ha creato un ambiente controllato. Ha costruito un generatore che crea sessioni di agenti fittizie piene di dati realistici, come risposte JSON, log di servizio e output di comandi. In queste sessioni ha inserito fatti specifici e unici, come un codice casuale o un'impostazione specifica, in posizioni casuali. Ha poi fatto passare le sessioni attraverso Tessera e ha misurato quanti di questi fatti piantati sono sopravvissuti nella cronologia compressa. Ha confrontato questo risultato con altri metodi che semplicemente tagliano i messaggi più vecchi o mantengono solo quelli più recenti. I risultati sono stati chiari. Quando il sistema ha compresso la conversazione a circa il 29 percento della sua dimensione originale, ha mantenuto il 61,8 percento dei fatti nella cronologia principale. Al contrario, gli altri metodi, che erano costretti a mantenere la stessa quantità di spazio, mantenevano solo circa il 26-30 percento dei fatti.

Il sistema include anche un modo per recuperare l'informazione mancante se necessario. Questo è chiamato livello di richiamo (recall tier). Se l'agente pone una domanda specifica su una parte più vecchia della conversazione, il sistema può cercare nella sua archiviazione sicura dei testi originali e riportare indietro il passaggio esatto. Quando questa funzione viene utilizzata, il sistema può recuperare il 99,5 percento dei fatti, anche se non erano presenti nella cronologia compressa principale. Ciò significa che l'agente può lavorare con una cronologia piccola ed efficiente, ma può comunque accedere ai dettagli completi ogni volta che necessario. I ricercatori hanno scoperto che questo recupero funziona meglio quando l'agente ricorda il contesto dell'evento passato, ma funziona bene anche con domande vaghe.

Lo studio ha anche esaminato come si comportano diversi tipi di agenti. Alcuni agenti, come quelli progettati per correggere bug software, tendono a ripetere i comandi e vedere spesso gli stessi risultati. Per questi agenti, il sistema ha trovato che quasi il 15 percento della conversazione era costituito da duplicati esatti. Altri agenti, utilizzando modelli diversi, raramente si ripetevano. Il sistema si è adattato a entrambe le situazioni, dimostrando di non dover essere tarato per un tipo specifico di agente per funzionare. Semplicemente rimuove ciò che è presente, che si tratti di molta ripetizione o di pochissima. Il tempo impiegato dal sistema per comprimere i dati è trascurabile, aggiungendo meno di otto millisecondi per richiesta, che è molto meno del tempo necessario al modello per generare una risposta.

Uno dei risultati più importanti è che questo metodo non richiede di rinunciare all'accuratezza. A differenza della sintesi, che può perdere dettagli o cambiare significati, Tessera mantiene ogni byte di testo originale al sicuro. Se un fatto viene rimosso dalla vista principale per risparmiare spazio, non è sparito; è solo nascosto dietro una maniglia che può essere aperta in qualsiasi momento. Questo rende il sistema completamente verificabile. Un ingegnere può guardare la cronologia compressa e sapere esattamente cosa è stato rimosso e dove trovare l'originale. Questo è un cambiamento significativo rispetto agli attuali metodi, che spesso si affidano al modello per indovinare cosa sia importante, un processo difficile da verificare.

I ricercatori hanno testato il loro sistema contro diversi altri modi di gestire la memoria. Hanno scoperto che mantenere semplicemente i messaggi più recenti, una pratica comune, era il modo meno efficace per mantenere i fatti. Persino un metodo che manteneva messaggi in modo casuale era più efficace del semplice taglio dei messaggi più vecchi, ma non poteva comunque eguagliare la precisione di Tessera. La chiave del successo di Tessera è che non scarta interi messaggi. Invece, "potatura il grasso" dall'interno dei messaggi, mantenendo la testa e la coda di testi lunghi e sostituendo il centro con un puntatore. Questo permette all'agente di mantenere il contesto della conversazione pur eliminando la massa dei dati.

Lo studio ha anche esaminato quanto il sistema sia sensibile alle sue impostazioni. I ricercatori hanno regolato le regole per ciò che conta come duplicato e quanti messaggi recenti siano protetti dalla compressione. Hanno scoperto che il sistema è robusto. Cambiare leggermente le regole non ha causato il crollo delle prestazioni. Il sistema ha costantemente risparmiato circa il 70 percento dei dati mantenendo la stragrande maggioranza dei fatti importanti. Questa stabilità suggerisce che il sistema potrebbe essere utilizzato in applicazioni reali senza richiedere continui aggiustamenti.

In conclusione, il lavoro dimostra che è possibile rendere le conversazioni degli agenti molto più brevi senza perdere la verità. Trattando la cronologia della conversazione come una collezione di dati che possono essere compressi e recuperati, piuttosto che come una storia che deve essere riassunta o tagliata, il sistema raggiunge un livello di efficienza che precedentemente si pensava richiedesse un compromesso. L'agente può eseguire compiti più lunghi e complessi senza esaurire la memoria o pagare per un eccessivo trasferimento di dati. Il sistema rimane indipendente da qualsiasi fornitore di modelli, il che significa che può essere utilizzato con qualsiasi strumento che parli il linguaggio standard di questi agenti.

I ricercatori riconoscono che il loro test è stato condotto con dati sintetici, il che significa che le sessioni sono state generate da un computer piuttosto che registrate da un uso umano reale. Prevedono di testare il sistema su traiettorie di agenti reali per vedere come si comporta nel mondo reale. Notano anche che, sebbene l'attuale sistema sia eccellente nel rimuovere la ridondanza, non comprende ancora il significato profondo della conversazione. Le versioni future potrebbero aggiungere livelli in grado di identificare quali parti della conversazione siano più importanti in base al compito specifico. Tuttavia, l'attuale sistema fornisce una solida base. Dimostra che, con una cura ingegneristica attenta, possiamo mantenere l'intero registro del lavoro di un agente inviando solo una frazione dei dati, garantendo che nessun fatto vada mai veramente perduto.