Constraint Inflation: Context Compaction in LLM Agents Rarely Loses Instructions but Often Overstates Them

Immaginate un assistente digitale capace di lavorare per ore su un singolo progetto complesso, leggendo file, utilizzando strumenti e comunicando con un utente umano. Man mano che questa conversazione si allunga, alla fine diventa troppo lunga perché la memoria del computer possa contenerla tutta in una volta. Per continuare a lavorare, il sistema deve comprimere la cronologia, sostituendo le parti iniziali della chat con un breve riassunto che catturi i punti principali. Questo è un trucco standard nell'intelligenza artificiale, molto simile a un essere umano che prende appunti per ricordare una lunga riunione. Per anni, i ricercatori hanno temuto che questi riassunti potessero dimenticare dettagli importanti, causando la perdita di traccia delle regole specifiche o delle istruzioni di sicurezza di un utente. Il timore prevalente è stato che la macchina potesse semplicemente "far cadere la palla".

Tuttamente, un nuovo studio suggerisce che il problema non sia che la macchina dimentichi, ma che ricordi troppo bene. In effetti, spesso ricorda le cose in un modo troppo ampio o troppo rigido. I ricercatori chiamano questo fenomeno "inflazione dei vincoli" (constraint inflation). Accade quando un riassunto prende una richiesta temporanea e una tantum e la trasforma in una regola permanente. Per esempio, se un utente dice: "Salta i test per questo specifico file perché internet è assente", un buon riassunto annoterebbe che i test sono stati saltati per quel singolo file. Un riassunto difettoso, invece, potrebbe registrare l'istruzione come "Salta sempre i test quando internet è assente". La regola è ancora presente, ma il suo significato è cambiato: da una soluzione temporanea a una politica fissa. Questo sottile spostamento può causare errori all'assistente in seguito, applicando una soluzione temporanea a ogni compito futuro.

Per misurare quanto spesso accada questo, i ricercatori hanno costruito un ambiente di test chiamato InflateBench. Hanno creato 240 sessioni di lavoro realistiche in cinque diverse aree, come la programmazione, l'analisi dei dati e il lavoro d'ufficio. In ogni sessione, hanno inserito sei istruzioni specifiche con un ambito noto, come un compito una tantum o una preferenza temporanea. Hanno poi fatto passare queste sessioni attraverso sette diversi metodi di riassunto della conversazione, utilizzando due diversi tipi di modelli linguistici. L'obiettivo era vedere se i riassunti mantenessero intatte le istruzioni, le perdessero completamente o le espandessero accidentalmente. Hanno anche testato se queste regole espanse cambiassero effettivamente ciò che l'assistente digitale faceva successivamente.

I risultati sono stati sorprendenti. I riassunti quasi mai perdevano un'istruzione; anzi, ne mantenevano più del 99 percento. Ma mentre raramente dimenticavano, spesso esageravano. Quando il sistema utilizzava un riassunto a testo libero, gonfiava circa il 12-14% degli elementi idonei. Quando utilizzava un modello strutturato con sezioni specifiche per regole e preferenze, quel numero balzava a quasi il 20%. L'errore più comune era trasformare una preferenza in un requisito, o trattare un compito una tantum come una regola permanente. Ad esempio, una richiesta di utilizzare uno strumento specifico solo per il lavoro corrente veniva spesso riscritta come una regola secondo cui lo strumento deve essere sempre utilizzato.

Lo studio ha anche testato due popolari soluzioni progettate per prevenire la perdita di istruzioni. Un metodo consisteva nell'estrarre le regole in un elenco separato, e l'altro nel "fissarle" (pinning) affinché apparissero in ogni riassunto. I ricercatori hanno scoperto che questi metodi non aiutavano perché le istruzioni non venivano perse in primo luogo. Al contrario, questi metodi rendevano il problema dell'inflazione molto peggiore. Il metodo del "fissaggio", in particolare, ha fatto schizzare l'inflazione oltre il 50% in alcuni casi. Costringendo il sistema a ripetere le regole parola per parola, i riassunti perdevano il contesto che mostrava che quelle regole erano temporanee. Il sistema non era più in grado di distinguere tra una regola permanente e una richiesta isolata.

Infine, i ricercatori hanno verificato se queste regole gonfiate cambiassero effettivamente il comportamento dell'assistente digitale. Hanno scoperto che lo facevano. Quando il riassunto conteneva una regola inflata, l'assistente era significativamente più propenso ad applicare quella regola a compiti futuri in cui non era appropriata. Sebbene gli assistenti non seguissero le regole gonfiate in ogni singolo caso, il tasso di errore era abbastanza alto da essere una seria preoccupazione. Lo studio conclude che il modo attuale di gestire le conversazioni lunghe deve cambiare. Non basta semplicemente mantenere le regole; il sistema deve anche tenere traccia di quanto debbano durare tali regole. Senza questo, l'assistente digitale rischia di diventare un lavoratore rigido che segue vecchie istruzioni temporanee come se fossero leggi eterne.