Sintesi Tecnica: Co-LMLM (Continuous-Query Limited Memory Language Models)

Problematica

I Large Language Models (LLM) tipicamente interiorizzano la conoscenza fattuale all'interno dei loro parametri. Questo approccio presenta limitazioni significative: il richiamo fattuale scala con la dimensione del modello e la frequenza di esposizione, rendendo difficile la cattura della conoscenza "long-tail"; le associazioni fattuali sono intrecciate con le rappresentazioni linguistiche, rendendo difficile attribuire, modificare o rimuovere i singoli fatti; e questo intreccio contribuisce alle allucinazioni e alla conoscenza obsoleta.

Recenti lavori hanno introdotto i Limited Memory Language Models (LMLM), che esternalizzano la conoscenza fattuale in una Knowledge Base (KB) leggibile dall'uomo durante il pre-training invece di memorizzarla. Tuttavia, l'implementazione esistente, denominata REL-LMLM (Relational LMLM), si basa su una KB relazionale in cui i fatti sono memorizzati come tuple strutturate soggetto-relazione-oggetto. Questo design impone diversi vincoli:

1. Restrizione dei Dati: Limita i dati esternalizzabili a elementi esprimibili come tuple relazionali, restringendo lo scopo principalmente ai dati strutturati in stile Wikipedia.
2. Espressività delle Query: Il recupero dipende dalla generazione di query testuali esplicite e decodificate (domande in linguaggio naturale soggetto-relazione), il che introduce un overhead di inferenza e limita il meccanismo di recupero a query semplici.
3. Percorsi Pre-determinati: Il processo di addestramento sintetizza query esatte durante il pre-processing dei dati, mantenendo costanti i percorsi di recupero e limitando l'espressività del meccanismo di recupero appreso.

Metodologia

Gli autori propongono Co-LMLM (Continuous-Query Limited Memory Language Models), un paradigma che affronta i limiti dei LMLM relazionali mantenendo i vantaggi della memoria esternalizzata e modificabile.

Architettura Core

Co-LMLM funziona come un Transformer decoder-only che agisce sia come modello linguistico che come retriever denso.

• Continuous Queries: Invece di decodificare una query testuale, il modello emette un token speciale <FACT>. Lo stato nascosto (hidden state) in questa posizione del token viene estratto e utilizzato direttamente come query vettoriale densa.
• Unstructured KB: La Knowledge Base memorizza coppie di chiavi vettoriali (le continuous query) e valori stringa (spazi di testo fattuale letterali). Ciò consente la memorizzazione di segmenti fattuali a forma libera senza i vincoli delle tuple soggetto-relazione-oggetto.
• Inferenza: Durante la generazione, quando il modello emette <FACT>, viene attivato un passaggio di recupero. Il frammento di fatto top-1 viene inserito nel contesto immediatamente dopo <FACT>, seguito da un token di chiusura </FACT>, e la decodifica riprende. Ciò aggiunge solo un passo autoregressivo per ogni recupero.

Obiettivo di Addestramento

Il modello è addestrato congiuntamente su due obiettivi:

1. Next-Token Prediction (NTP): Il modello predice i token nella sequenza, ma crucialmente, non è ottimizzato per memorizzare gli spazi fattuali racchiusi tra <FACT> e </FACT>. La perdita (loss) è calcolata solo sui token non fattuali e sul token di apertura <FACT> (che attiva il recupero).
2. Contrastive Retrieval Loss: Una perdita InfoNCE bidirezionale allinea la rappresentazione della query al token <FACT> nel documento con la rappresentazione della query al token <FACT-q> in una coppia di domande in linguaggio naturale. Questo insegna al modello a emettere uno stato nascosto che recupera efficacemente lo spazio fattuale corretto quando interrogato.

Pipeline di Annotazione dei Dati

Per scalare oltre Wikipedia, gli autori hanno sviluppato una pipeline di annotazione automatizzata per elaborare testi arbitrari (es. FineWeb-Edu):

1. Seed Annotation: Un modello di frontiera (Gemini 3.1 Pro) annota un piccolo set di documenti "seed", taggando gli spazi fattuali con <FACT q="..." a="...">span</FACT>.
2. Distillazione: Due annotatori leggeri sono addestrati su questo set di seed:
   • Un Fact Span Annotator (encoder ModernBERT) che esegue il tagging BIO per identificare gli spazi fattuali nel testo grezzo.
   • Un Question Generator (decoder Qwen2.5) che genera una coppia domanda-risposta autonoma per ogni spazio.
3. Corpus Processing: Questi annotatori elaborano l'intero corpus di pre-training, convertendo i documenti grezzi nel formato annotato richiesto per l'addestramento di Co-LMLM. Questa pipeline permette l'estrazione di fatti da testi web generali, non solo da voci enciclopediche strutturate.

Contributi Chiave

1. Meccanismo di Continuous-Query: Sostituzione delle query testuali decodificate con query vettoriali continue emesse dagli stati nascosti. Ciò riduce l'overhead di inferenza (nessuna decodifica della query) e permette al meccanismo di recupero di utilizzare l'intero contesto di generazione anziché una query testuale breve e ristretta.
2. Esternalizzazione della Conoscenza Free-Form: Passaggio dalle tuple relazionali a spazi fattuali non strutturati e a forma libera. Ciò consente l'esternalizzazione di una gamma più ampia di conoscenze senza vincoli di ruolo o relazionali, facilitando lo scaling verso corpora generali come FineWeb-Edu.
3. Pipeline di Annotazione Scalabile: Un metodo per annotare centinaia di miliardi di token con spazi fattuali e domande accoppiate, rimuovendo la restrizione a Wikipedia e consentendo l'addestramento su dati web diversificati.
4. Controllabilità e Unlearning: Dimostrare che l'esternalizzazione della conoscenza permette l' "unlearning" tramite semplici operazioni di database (eliminazione delle voci), senza riaddestrare il modello o sacrificare l'utilità generale, una capacità spesso persa nell'editing della conoscenza parametrica.

Risultati Sperimentali

Gli autori hanno valutato Co-LMLM contro modelli linguistici standard (STANDARD) e il baseline relazionale (REL-LMLM) a scale di 135M e 360M di parametri, addestrati su Wikipedia e FineWeb-Edu.

• Perplexity: Co-LMLM ottiene costantemente una perplexity inferiore rispetto ai modelli standard della stessa dimensione. Alla scala di 360M, Co-LMLM addestrato su Wikipedia ottiene una perplexity inferiore rispetto ai modelli off-the-shelf HF/SMOLLM2-360M addestrati su 40× più dati.
• Precisione Fattuale: Co-LMLM migliora sostanzialmente la precisione fattuale attraverso i benchmark (TriviaQA, PopQA, SimpleQA, T-REx, FactScore).
  • Alla scala di 360M, Co-LMLM raggiunge un punteggio SimpleQA di 21.2 (21.7 con FineWeb-Edu), che gli autori notano essere in linea con gpt-4o-mini e superiore a Claude Sonnet 4.5 secondo i leaderboard pubblici.
  • Supera REL-LMLM, dimostrando che le query continue e gli spazi free-form sono più robusti delle tuple relazionali e delle query testuali.
• Performance NLU: Il modello mantiene prestazioni di comprensione del linguaggio naturale (NLU) comparabili ai modelli standard della stessa dimensione, indicando che l'offloading dei fatti non degrada le capacità linguistiche generali.
• Unlearning: Negli esperimenti di unlearning TOFU, Co-LMLM dimentica con successo i fatti designati tramite la diretta eliminazione dalla KB, mantenendo un'alta utilità sulla conoscenza trattenuta, mentre i metodi di unlearning basati sull'addestramento (come NPO) degradano l'utilità a causa dell'entanglement dei parametri.
• Efficienza: Co-LMLM riduce il costo della formazione della query a un singolo passaggio forward dello stato nascosto (~2.2ms), rispetto ai ~28ms dei metodi che richiedono la decodifica di una domanda testuale e la successiva codifica.

Significato e Rivendicazioni

Il paper sostiene che Co-LMLM fornisca un metodo scalabile per addestrare LLM con un uso della conoscenza verificabile, controllabile e trasparente. Esternalizzando la conoscenza in un indice privo di schema e utilizzando query continue, l'approccio supera i limiti di espressività e scaling dei precedenti LMLM relazionali.

Gli autori sottolineano che questo design stabilisce una base per studiare le leggi di scaling della conoscenza attraverso domini più ampi e dimensioni di memoria maggiori. Riconoscono le attuali limitazioni, notando che, sebbene la pipeline si estenda a corpora generali, la valutazione sistematica attraverso diversi domini di conoscenza rimane un lavoro futuro. Il paper conclude che Co-LMLM offre una via percorribile verso LLM che siano non solo fattualmente accurati, ma anche modificabili e attribuibili, affrontando critiche questioni di affidabilità negli attuali modelli.