PERK: Long-Context Reasoning as Test-Time Learning

I modelli linguistici di grandi dimensioni sono strumenti potenti che hanno imparato a leggere e scrivere studiando enormi quantità di testo. Eccellono nel trovare schemi e nel rispondere a domande quando l'informazione è proprio davanti a loro. Tuttavia, questi modelli affrontano un ostacolo significativo quando l'informazione di cui hanno bisogno è sepolta all'interno di un massiccio muro di testo, come un documento lungo quanto un libro o una lunga trascrizione. Man mano che il testo si allunga, i modelli spesso faticano a ignorare il rumore irrilevante e a trovare il fatto specifico necessario per risolvere un problema. Questa difficoltà è aggravata da una tendenza di molti modelli a concentrarsi pesantemente proprio all'inizio o alla fine di un testo, perdendo traccia dei dettagli nascosti nel mezzo. I ricercatori cercano da tempo modi per aiutare questi modelli a gestire tali compiti a "lungo contesto" senza richiedere che vengano riaddestrati da zero, un processo che è spesso proibitivamente costoso e dispendioso in termini di tempo.

In un nuovo studio presentato alla conferenza ICLR 2026, i ricercatori dell'EPFL propongono una soluzione chiamata PERK, che sta per Parameter Efficient Reasoning over Knowledge (Ragionamento sui Conoscenze tramite Parametri Efficienti). Invece di cercare di costringere il modello a leggere un documento massiccio tutto in una volta, PERK tratta l'atto di leggere come un processo di apprendimento che avviene proprio nel momento in cui viene posta la domanda. Immaginate uno studente che, ricevendo un libro di testo voluminoso e una domanda specifica, scansiona rapidamente le pagine per scrivere un insieme conciso di note su un taccuino. Una volta scritte quelle note, lo studente può mettere via il libro di testo e rispondere alla domanda usando solo le note. PERK funziona in modo simile. Quando viene presentato un documento lungo, il modello non mantiene l'intero testo nella sua memoria attiva. Invece, utilizza una breve fase di apprendimento interno per comprimere le parti più importanti di quel testo in un piccolo ed efficiente insieme di aggiustamenti ai propri parametri interni. Questi aggiustamenti agiscono come un modulo di memoria specializzato, memorizzando l'essenza del lungo documento. Una volta creato questo "taccuino", il testo originale viene scartato e il modello utilizza i suoi nuovi parametri aggiornati per rispondere a domande sul contenuto.

I ricercatori hanno sviluppato un metodo di addestramento che insegna al modello come eseguire efficacemente questa compressione e questo recupero. Hanno utilizzato una tecnica che prevede due livelli di apprendimento. Nel primo livello, il modello impara a codificare rapidamente un frammento di testo nei suoi parametri di memoria. Nel secondo livello, il modello impara come utilizzare tali parametri per rispondere alle domande con precisione. Per mantenere questo processo efficiente e impedire al computer di esaurire la memoria, il modello aggiorna solo una minuscola frazione dei suoi parametri totali, specificamente un componente leggero aggiuntivo noto come low-rank adapter (adattatore a basso rango). Ciò consente al modello di apprendere dal contesto senza alterare la sua base di conoscenza principale. I ricercatori hanno testato questo approccio su varie attività impegnative, tra cui trovare un singolo fatto specifico nascosto in migliaia di pagine di testo, rispondere a domande complesse che richiedono di collegare molteplici pezzi di informazione e recuperare dati da lunghe liste di record simili tra loro.

I risultati hanno mostrato che PERK supera significativamente i metodi standard in cui i modelli vengono semplicemente addestrati su testi lunghi per rispondere in seguito. Nei test che coinvolgevano il modello Qwen-2.5, PERK ha migliorato l'accuratezza fino al 20 percento rispetto a questi approcci standard. Il metodo si è dimostrato robusto anche quando al modello veniva chiesto di gestire testi molto più lunghi di quelli visti durante l'addestramento, generalizzando con successo a contesti di 64.000 e persino 128.000 token. Inoltre, PERK ha dimostrato una capacità unica di ignorare la posizione delle informazioni. Mentre altri modelli spesso falliscono quando il fatto rilevante viene spostato dall'inizio o dalla fine di un testo verso il centro, PERK ha mantenuto un'alta accuratezza indipendentemente da dove l'informazione apparisse. Ciò suggerisce che, codificando il testo in una struttura di memoria flessibile invece di fare affidamento su posizioni fisse, il modello può ragionare in modo più affidabile. L'approccio ha funzionato costantemente attraverso diverse dimensioni di modelli, da quelli molto piccoli con 0,5 miliardi di parametri a quelli più grandi da 8 miliardi, e ha eguagliato o superato le prestazioni di modelli specializzati e massicci progettati specificamente per contesti lunghi.

Oltre all'accuratezza, lo studio ha evidenziato l'efficienza di questo metodo. Poiché il modello elabora il testo in frammenti più piccoli e gestibili e scarta il testo originale dopo la codifica, richiede molta meno memoria del computer per gestire documenti estremamente lunghi. In test in cui i metodi standard sono andati in crash a causa dei limiti di memoria a 128.000 token, PERK ha continuato a funzionare, elaborando l'informazione in una frazione del tempo e utilizzando una frazione della memoria. I ricercatori hanno concluso che riformulando il ragionamento a lungo contesto come un compito di apprendimento al momento del test, dove il modello adatta la propria memoria al volo, è possibile ottenere prestazioni superiori senza l'elevato costo computazionale dell'addestramento tradizionale. Questo approccio offre una strada promettente per rendere i modelli linguistici di grandi dimensioni più capaci di gestire le informazioni vaste e complesse presenti nel mondo reale.