Immaginate un assistente digitale capace di leggere intere biblioteche, scrivere software complessi o gestire un progetto di ricerca per settimane. Per farlo, l'assistente tiene un registro continuo di tutto ciò che ha visto e fatto, una cronologia che si allunga con ogni azione. Questa cronologia è conservata in uno spazio di memoria temporanea chiamato finestra di contesto. Sebbene queste finestre siano vaste, capaci di contenere centinaia di migliaia di parole, non sono infinite. Quando un compito si protrae troppo a lungo, la memoria si riempie e l'assistente rischia di dimenticare i dettagli più importanti dell'inizio. Per risolvere questo problema, gli ingegneri utilizzano una tecnica chiamata sintesi (summarization). L'idea è semplice: prima che la memoria si riempia troppo, l'assistente condensa la sua lunga cronologia in una versione più breve e compatta, scartando il rumore e mantenendo il segnale, e poi prosegue il proprio lavoro partendo da quel riassunto. È una forma digitale di prendere appunti per ricordare una lunga conversazione.

Tuttavia, un nuovo studio condotto dai ricercatori della Pennsylvania State University suggerisce che questa rete di sicurezza stia fallendo in modo sottile ma critico. I ricercatori hanno indagato se questi modelli di intelligenza artificiale potessero effettivamente essere istruiti a mantenere più dettagli quando sintetizzano. Volevano sapere se, man mano che la cronologia cresce, anche il riassunto potesse crescere, preservando una frazione costante delle informazioni originali. Inveve, hanno scoperto che i modelli hanno un limite rigido. Non importa quanto diventi lunga la storia, il riassunto mantiene approssimativamente la stessa dimensione, riducendo la quantità di informazioni trattenute a una frazione minuscola. Anche quando gli esseri umani chiedono esplicitamente al computer di scrivere un riassunto più lungo, il computer si rifiuta di ottemperare, restando fedele alle proprie abitudini brevi. I ricercatori hanno scoperto che l'unico modo per cambiare questo comportamento non è chiedere gentilmente, ma riaddestrare il computer su esempi di riassunti più lunghi.

Il team ha testato questo comportamento su undici diversi modelli linguistici di grandi dimensioni, che spaziano da assistenti generici a strumenti specializzati nel coding e nel ragionamento. Hanno fornito ai modelli input che crescevano da un mero mille parole fino a centomila parole, utilizzando sia documenti lunghi che log reali di un agente che risolve problemi di programmazione. In un sistema perfetto, se l'input cresce di cento volte, il riassunto dovrebbe crescere proporzionalmente per mantenere lo stesso livello di dettaglio. Invece, i modelli si sono comportati come se fossero intrappolati in un binario morto. Mentre l'input gonfiava fino a centomila parole, i riassunti crescevano appena. Infatti, a quella scala massiccia, meno dell'uno percento dell'input originale sopravviveva nel riassunto. Per un documento di quelle dimensioni, questo significa che per ogni cento frasi del testo originale, solo circa una frase è arrivata nel riassunto finale. Il resto è andato perduto. Questo schema è rimasto costante indipendentemente dal fatto che il modello fosse progettato per la scrittura di codice, la conversazione generale o il ragionamento complesso. La dimensione del modello stesso non ha aiutato; anche i modelli più grandi e potenti producevano riassunti che erano decisamente troppo brevi per il compito.

I ricercatori hanno poi provato un approccio più diretto. Sospettavano che i modelli avessero semplicemente bisogno di un'istruzione più chiara. Hanno preso gli stessi input massicci e hanno aggiunto comandi specifici al prompt, dicendo ai modelli di scrivere riassunti di una certa lunghezza, misurata in parole, caratteri o token. Hanno chiesto riassunti che fossero un quarto, un terzo o persino la metà della dimensione del testo originale. I risultati sono stati frustrantemente coerenti. Sebbene i modelli scrivessero riassunti leggermente più lunghi quando richiesto, raggiungevano un soffitto molto rapidamente. Se i ricercatori chiedevano un riassunto di sedicimila parole, i modelli smettevano di scrivere dopo poche migliaia, ignorando il resto della richiesta. I modelli sembravano incapaci di estendere il proprio output per soddisfare la domanda, indipendentemente da come la lunghezza venisse misurata o da come la richiesta venisse formulata. Le istruzioni hanno fornito un piccolo incremento nella lunghezza, ma nulla di sufficiente a prevenire la perdita di dettagli critici.

Questo ha portato i ricercatori a una conclusione sorprendente: il problema non risiede nel prompt o nell'input, ma nei dati di addestramento. Per dimostrarlo, hanno preso due dei modelli e hanno sottoposto loro un leggero riaddestramento, o fine-tuning, utilizzando solo riassunti di lunghezze diverse. Un gruppo è stato addestrato su riassunti molto brevi, e un altro su riassunti molto più lunghi. Quando hanno testato questi modelli riaddestrati con le stesse istruzioni neutre, i risultati sono cambiati drasticamente. Il modello addestrato su riassunti brevi scriveva testi ancora più brevi, mentre quello addestrato su riassunti lunghi scriveva testi significativamente più lunghi, anche se il prompt non menzionava mai la lunghezza. Ciò suggerisce che i modelli abbiano appreso un'abitudine predefinita di brevità dai loro dati di addestramento, un'abitudine che sovrasta qualsiasi richiesta di fare il contrario. La lunghezza del riassunto non è un calcolo flessibile basato sulla dimensione dell'input; è un comportamento rigido impresso nel DNA del modello.

Le implicazioni per gli agenti autonomi sono significative. Questi sistemi si affidano alla sintesi per sopravvivere a compiti a lungo termine, ma se il riassunto è troppo breve, informazioni vitali come un percorso di un file, un tentativo fallito o un vincolo specifico vengono perse per sempre. Una volta perse, l'agente non può recuperarle e deve sprecare tempo per riscoprirle o procedere alla cieca. Lo studio dimostra che chiedere semplicemente a un agente di "ricordare di più" richiedendo un riassunto più lungo non è una soluzione affidabile. La soluzione non risiede in un migliore prompting, ma nel cambiare i dati usati per addestrare i sintetizzatori. Finché i dati di addestramento non insegneranno a questi modelli a preservare più dettagli man mano che il contesto cresce, gli assistenti digitali su cui facciamo affidamento per compiti a lungo termine continueranno a perdere la memoria, un piccolo, immutabile riassunto alla volta.