💬 NLP

Can Language Models Actually Retrieve In-Context? Drowning in Documents at Million Token Scale

Questo articolo presenta uno studio sistematico del recupero in-context alla scala di un milione di token, identificando la diluizione dell'attenzione come un punto di fallimento chiave e proponendo modifiche architettoniche che consentono a un modello linguistico da 0,6B di eguagliare o superare i sistemi di recupero denso su vari benchmark, dimostrando al contempo una superiore generalizzazione della lunghezza.

Autori originali: Siddharth Gollapudi, Nilesh Gupta, Prasann Singhal, Sewon Min

Pubblicato 2026-07-03

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Siddharth Gollapudi, Nilesh Gupta, Prasann Singhal, Sewon Min

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una biblioteca gigante con un milione di libri. Fai una domanda a un bibliotecario (l'IA) e vuoi che trovi l'unico libro specifico che contiene la risposta, senza consultare un catalogo o un database informatico. Invece, consegni al bibliotecario l'intera biblioteca e lui deve leggerla tutta nella sua mente per trovare la risposta.

Questo è ciò che il documento chiama "In-Context Retrieval" (Recupero nel Contesto).

Per molto tempo, i computer hanno usato un sistema a "catalogo" (chiamato recupero vettoriale) per trovare le cose velocemente. Ma questo documento si chiede: Un'IA intelligente può semplicemente leggere l'intera biblioteca e scegliere il libro giusto da sola?

Ecco la storia del loro esperimento, spiegata in modo semplice:

1. Il Problema: Il Bibliotecario viene sopraffatto

I ricercatori hanno costruito un bibliotecario piccolo e intelligente (un'IA da 0,6 miliardi di parametri) e gli hanno dato una biblioteca di documenti.

La Buona Notizia: Quando la biblioteca era piccola (qualche migliaio di libri), il bibliotecario era incredibile. Riusciva a trovare il libro giusto quasi quanto i migliori computer con il "catalogo".
La Cattiva Notizia: Man mano che la biblioteca cresceva fino a un milione di libri, il bibliotecario iniziava a fallire. Non era che dimenticava il libro giusto; semplicemente si confondeva e ne sceglieva uno sbagliato.

2. La Diagnosi: L'effetto "Rumore della Mensa"

I ricercatori hanno capito perché il bibliotecario falliva. Non era che il bibliotecario non potesse "vedere" il libro giusto.

L'Analogia: Immagina che il bibliotecario stia cercando di sentire la voce di un amico in una stanza silenziosa. Facile!
Ora, immagina lo stesso amico in uno stadio con un milione di altre persone che sussurrano contemporaneamente.
Anche se l'amico sta gridando la risposta corretta, la sua voce si perde nel "rumore" dei milioni di altri sussurri.

In termini tecnici, l'IA utilizza un processo matematico chiamato Softmax per decidere quale documento è più importante. Man mano che il numero di documenti aumenta, il "rumore" dei documenti irrilevanti sommerge il segnale del documento corretto. L'attenzione dell'IA viene "diluita" finché la risposta giusta diventa solo una minuscola goccia in un oceano immenso.

3. La Soluzione: Due trucchi per chiarire il rumore

I ricercatori hanno provato due nuovi trucchi per aiutare il bibliotecario a concentrarsi:

Trucco A: Il "Pomello del Volume" (SSMax)
Hanno regolato la matematica in modo che, man mano che la biblioteca cresce, l'IA aumenti automaticamente il volume sui documenti "importanti" e abbassi il volume sul "rumore". È come dare al bibliotecario un apparecchio acustico speciale che sa esattamente quanto è rumorosa la folla e si adatta di conseguenza.

Trucco B: La "Lista di Selezione" (Routing)
Invece di far leggere al bibliotecario ogni singola pagina di un milione di libri, gli permettono di scansionare rapidamente i titoli e scegliere i 256 libri più promettenti. Poi, il bibliotecario legge nel dettaglio solo quei 256 libri. È come chiedere al bibliotecario di fare prima una lista di selezione, invece di leggere l'intera biblioteca.

4. I Risultati: Un nuovo tipo di bibliotecario

Con questi trucchi, i risultati sono stati impressionanti:

Nei test standard: La piccola IA (con i trucchi) si è comportata quasi come i massicci computer con il "catalogo", anche con un milione di documenti. Era 7 volte più piccola di un'IA concorrente che cercava di fare la stessa cosa.
Nei test "strani": Hanno testato l'IA in un compito in cui i computer con il "catalogo" di solito falliscono (trovare documenti basandosi su specifici schemi di parole piuttosto che sul significato generale). In questo caso, l'IA non si è limitata a pareggiare il computer; l'ha superato di 3 volte.

5. Il Punto Fondamentale

Il documento conclude che l'IA può agire come il proprio bibliotecario e trovare risposte in una biblioteca enorme senza bisogno di un database esterno. Tuttavia, c'è un ostacolo: la Diluizione dell'Attenzione.

Man mano che la biblioteca diventa infinitamente grande, la capacità dell'IA di concentrarsi sulla cosa giusta svanisce naturalmente, come il fascio di una torcia che diventa troppo largo per vedere chiaramente qualcosa. I ricercatori hanno dimostrato che possiamo risolvere questo problema con alcuni accorgimenti matematici intelligenti, ma rimane la sfida principale per far sì che tutto questo funzioni perfettamente su scala massiccia.

In breve: L'IA può leggere un milione di libri e trovare la risposta, ma ha bisogno di un piccolo aiuto per ignorare il rumore ed evitare di perdersi nella folla.

Sintesi Tecnica: I Modelli di Linguaggio Possono Effettivamente Recuperare in Contesto?

Problematica
Sebbene i modelli di linguaggio (LM) offrano una potenziale alternativa al recupero basato su vettori condizionandosi su un corpus in-context per generare direttamente identificatori di documenti rilevanti, questa capacità rimane ampiamente inesplorata su scale realistiche. Il lavoro precedente si è concentrato su sistemi proprietari o compiti di reranking su piccola scala, lasciando inesplorate due sfide critiche: (C1) la scalabilità a corpora contenenti milioni di token, e (C2) la generalizzazione a dimensioni di corpus molto superiori a quelle viste durante l'addestramento. Gli attuali LM faticano sia con i costi di attenzione per un milione di token, sia con la fragilità dell'estrapolazione a contesti più lunghi. La domanda centrale è se un LM possa agire in modo affidabile come un recuperatore su scala corpus in queste condizioni senza collassare.

Metodologia: BLOCKSEARCH e Analisi
Gli autori introducono BLOCKSEARCH, uno studio sistematico e un'architettura di modello progettata per affrontare il recupero in-context (ICR) su scala corpus.

Architettura e Addestramento: Costruito su un backbone da 0,6B di parametri (Qwen3-0.6B), BLOCKSEARCH impiega un'attenzione sparsa a blocchi (block-sparse attention) per gestire efficientemente documenti disgiunti. Le modifiche chiave all'architettura e all'addestramento includono:
- Identificatori di Documento Randomizzati: Invece di ID sequenziali, ai documenti vengono assegnati codici a quattro cifre casuali per ogni step di addestramento per prevenire l'overfitting sulle posizioni assolute.
- Negativi In-Batch e Perdita On-Policy: Il modello è addestrato con 1 positivo e 15 negativi "hard" per query. Per mitigare il bias di esposizione (dove il modello si condiziona sui propri prefissi potenzialmente errati generati durante l'inferenza), viene aggiunta una perdita ausiliaria on-policy. Ciò comporta l'esecuzione (rollout) di un codice dalla distribuzione del modello stesso e l'addestramento del modello a correggere il proprio percorso basandosi sugli score in-batch.
- Configurazione di Valutazione: Il modello è valutato su dataset BEIR (MS MARCO, NQ, HotpotQA) con dimensioni del corpus che variano da 500 a 10.000 documenti (fino a circa 1 milione di token), superando di gran lunga la finestra di contesto nativa di 32k token del modello.
Analisi Meccanicistica del Fallimento: Lo studio identifica che, sebbene BLOCKSEARCH migliori l'estrapolazione, esso collassa comunque a grandi scale (recall vicino allo zero a 1M di token). Gli autori attribuiscono ciò non a un fallimento nell'identificazione del documento rilevante (ranking), ma a un effetto di diluizione dell'attenzione:
- Gap tra Recupero e Generazione: Anche a 10.000 documenti, le singole teste di attenzione spesso assegnano ancora lo score pre-softmax più alto al documento gold ( $R_{any} \approx 1.0$ ).
- Collasso della Softmax: Tuttavia, man mano che il corpus ( $N$ ) cresce, il contributo aggregato dei documenti irrilevanti al denominatore della softmax aumenta più velocemente dello score del documento gold. Di conseguenza, la massa di attenzione normalizzata (peso post-softmax) sul documento gold collassa, causando il fatto che l'output del layer diventi una media dei distrattori piuttosto che il contenuto rilevante.
Mitigazioni Proposte: Per contrastare la diluizione dell'attenzione, gli autori propongono due aggiustamenti consapevoli della lunghezza:
1. Aggiustamenti della Softmax Consapevoli della Lunghezza:
  - Sink Additivi: Appendere una costante appresa al denominatore della softmax per assorbire la massa di attenzione diffusa (ispirato a Streaming-LLM).
  - Riscalamento Moltiplicativo (SSMax): Scalare gli score pre-softmax per $s \cdot \log N$ per allargare il divario tra lo score gold e i distrattori, impedendo al peso gold di svanire all'aumentare di $N$ .
2. Attenzione Sparsa a Livello di Documento: Un meccanismo di routing a un livello intermedio (L16) che valuta tutti i documenti e restringe l'attenzione densa ai top- $B$ (ad esempio, 256) documenti per i layer successivi, potando efficacemento il contesto prima della generazione finale.

Risultati Chiave

Performance del Baseline: Il modello BLOCKSEARCH iniziale eguaglia le performance del recupero denso su benchmark standard (MS MARCO, NQ) a dimensioni di corpus ridotte (~45k token), e generalizza fino a ~500k token (10x il contesto di addestramento), ma collassa vicino a 1M di token.
Impatto delle Modifiche:
- SSMax: Migliora significativamente le performance attraverso l'intero sweep di $N$ . Su MS MARCO a 1M di token, raggiunge il 16,5% di Recall@1 (rispetto allo 0,2% del modello non modificato), colmando la maggior parte del gap rispetto al baseline denso (20,2%).
- Routing: Il routing a livello di documento migliora ulteriormente le performance, raggiungendo il 18,8% di Recall@1 su MS MARCO a 1M di token, quasi eguagliando il baseline denso.
- Approccio Combinato: La combinazione di SSMax e routing (BLOCKSEARCH-SSMax-routing) raggiunge il 20,5% di Recall@1 su MS MARCO a 1M di token, superando leggermente il baseline denso (20,2%) e superando il concomitante modello MSA-4B, 7 volte più grande (16,0%).
Out-of-Distribution (LIMIT): Sul benchmark LIMIT, che richiede somiglianza lessicale piuttosto che somiglianza di embedding semantico (dove il recupero denso fatica), il modulo BLOCKSEARCH modificato supera significativamente il baseline denso. A 850k token, BLOCKSEARCH-SSMax-routing raggiunge il 14,9% di Recall@1 rispetto al 3,5% del recuperatore denso (un miglioramento di circa 3x).
Ceiling dell'Attenzione: In tutti gli esperimenti, il "ceiling dell'attenzione" (la frazione di query in cui almeno una testa classifica il documento gold al primo posto) rimane vicino al 100%, confermando che il segnale di recupero è presente internamente ma viene perso durante la fase di readout/generazione a causa della diluizione dell'attenzione.

Significatività e Claim
Il paper sostiene di fornire il primo studio sistematico sul recupero in-context alla scala di un milione di token, stabilendolo come una valida alternativa al classico recupero denso in condizioni specifiche.

Viabilità: Con accorgimenti architettonici (SSMax e routing), gli LM possono eguagliare o superare il recupero denso su benchmark standard e superare significativamente quest'ultimo in compiti che richiedono somiglianza non semantica.
Efficienza: Il modello proposto da 0,6B raggiunge questi risultati con 7 volte meno parametri rispetto ai modelli a lungo contesto concomitanti (MSA-4B) e senza necessità di ri-addestramento quando il corpus cambia (a differenza del recupero generativo).
Collo di Bottiglia Fondamentale: Il lavoro identifica la diluizione dell'attenzione (dispersione della softmax) come il principale collo di bottiglia per il recupero in-context scalabile. Sebbene interventi semplici possano mitigarla, il paper sottolinea che il controllo dell'attenzione sotto l'estrema crescita del contesto rimane una sfida fondamentale per le future architetture di recupero.

Gli autori rimangono modesti, osservando che, sebbene i loro metodi estendano il recupero funzionale a corpora più grandi, non "risolvono" completamente il problema del recupero a scale estreme, poiché le performance diminuiscono comunque all'aumentare di $N$ e rimane un gap residuo rispetto al recupero denso su alcuni dataset.