When to Retrieve During Reasoning: Adaptive Retrieval for Large Reasoning Models

1. Enunciato del Problema

Il paper affronta un fondamentale disallineamento temporale tra i Modelli di Ragionamento su Grande Scala (LRM) come DeepSeek-R1 e OpenAI o1, e i sistemi tradizionali di Retrieval-Augmented Generation (RAG).

• La Discrepanza: Il RAG standard segue un paradigma "recupera-poi-genera", iniettando il contesto prima dell'inizio del ragionamento. Tuttavia, gli LRM generano catene di pensiero estese (12.000–25.000 token) che coinvolgono inferenze multi-step, auto-verifica e backtracking. Le lacune conoscitive emergono spesso a metà inferenza e non possono essere anticipate nella fase di query.
• Limiti dei Metodi Iterativi Esistenti: I metodi di recupero iterativo attuali (es. IRCoT, FLARE) sono inadatti agli LRM a causa di:
  1. Disallineamento di Granularità: Attivano il recupero a livello di token o frase, mentre gli LRM operano a livello di step di ragionamento (unità logiche che abbracciano più frasi).
  2. Indisponibilità del Segnale: I metodi basati sulle probabilità dei token (FLARE) o sugli stati di attenzione interni (DRAGIN) falliscono con i modelli "solo completamento" (come o1) che non espongono questi interni.
  3. Crollo dell'Efficienza: Il recupero a intervalli fissi (es. dopo ogni frase) è proibitivamente costoso per catene lunghe, aggiungendo latenza significativa e sovraccarico di token.

2. Metodologia: ReaLM-Retrieve

Gli autori propongono ReaLM-Retrieve, un framework consapevole del ragionamento che integra il recupero dinamicamente durante la catena di inferenza. È composto da tre componenti principali:

A. Segmentazione dello Step di Ragionamento

Invece della segmentazione a livello di frase, il sistema identifica gli step logici di ragionamento.

• Meccanismo: Un classificatore transformer leggero a 3 strati rileva i confini degli step basandosi su marcatori discorsivi ("pertanto", "tuttavia"), connettivi logici, cambi di argomento (tramite similarità di embedding) e punteggiatura.
• Addestramento: Addestrato su tracce annotate da umani provenienti da DeepSeek-R1, raggiungendo un F1 del 94,2% nell'identificazione dei confini. Ciò permette al sistema di trattare la catena di ragionamento come una sequenza di unità logiche discrete piuttosto che come un flusso di token.

B. Rilevamento dell'Incertezza a Livello di Step (RSUS)

Il sistema calcola un Punteggio di Incertezza dello Step di Ragionamento (RSUS) per determinare se uno step richiede conoscenza esterna.

• Punteggio Composito: $RSUS(r_i) = \alpha \cdot U_{verb} + \beta \cdot U_{ent} + \gamma \cdot U_{cons}$
  • $U_{verb}$ (Incertezza Verbalizzata): Il modello è invitato a valutare la propria fiducia (0–100). Per i modelli solo completamento, un proxy MLP appreso stima questo valore basandosi su caratteristiche superficiali e conteggi di entità.
  • $U_{ent}$ (Entropia delle Entità): Misura l'ambiguità/copertura scarsa delle entità nominate nel corpus recuperato. Un'alta entropia indica che il modello manca di conoscenza su specifiche entità.
  • $U_{cons}$ (Coerenza): Misura l'accordo tra più continuazioni campionate dello step corrente.
• Efficienza: Questo calcolo aggiunge solo ~8% di sovraccarico, evitando il costo massiccio dell'entropia semantica o del campionamento di auto-coerenza.

C. Politica di Intervento Appresa e Integrazione Efficiente

• Politica ($\pi$): Un modello a bandit contestuale decide se recuperare, quale query formulare e come integrare le prove. È addestrato tramite REINFORCE per massimizzare l'accuratezza della risposta penalizzando al contempo il costo del recupero (latenza e numero di chiamate).
• Formulazione della Query: La politica genera query specifiche che mirano al bisogno informativo (es. "Qual è la relazione di [entità] con [concetto]?") piuttosto che ripetere semplicemente lo step corrente.
• Ottimizzazioni di Efficienza:
  • Compressione Implicita: Mantiene solo le frasi dai documenti recuperati che superano una soglia di importanza, riducendo l'espansione del contesto del 73%.
  • Caching Speculativo: Precarica i documenti per le probabili query dello step successivo in parallelo; se l'ipotesi è corretta (tasso di successo del 37%), la latenza di recupero viene eliminata.
  • Preservazione della KV-Cache: Per i modelli open-weight, preserva gli stati chiave-valore memorizzati per le porzioni di contesto invariate, riducendo il tempo al primo token di 2,1 volte.

3. Contributi Chiave

1. Granularità a Livello di Step: Sposta il trigger del recupero dal livello token/frase al livello di step di ragionamento, allineandosi alla struttura logica degli LRM.
2. Incertezza Compatibile con Black-Box: Introduce RSUS, un metodo che funziona su modelli solo completamento (come o1) senza richiedere l'accesso alle probabilità dei token o agli stati di attenzione interni.
3. Integrazione Ottimizzata per l'Efficienza: Riduce il sovraccarico per recupero di 3,2 volte rispetto all'integrazione ingenua tramite caching speculativo e compressione del contesto, abilitando il deployment pratico.

4. Risultati Sperimentali

Valutati su MuSiQue, HotpotQA e 2WikiMultiHopQA utilizzando i modelli DeepSeek-R1 e QwQ.

• Accuratezza: ReaLM-Retrieve ottiene un miglioramento assoluto medio del 10,1% in F1 rispetto al RAG standard e del 4,6% rispetto al metodo precedente più forte (ReARTeR).
  • Su MuSiQue (ragionamento a 2–4 hop), ottiene un F1 del 71,2% (vs 65,4% per IRCoT).
• Efficienza:
  • Meno Chiamate: Riduce le chiamate di recupero del 47% rispetto agli approcci a intervalli fissi (1,8 chiamate vs 3,4 chiamate per IRCoT su MuSiQue).
  • Latenza: Ottiene una latenza end-to-end inferiore di 1,33 volte rispetto a IRCoT e inferiore di 1,50 volte rispetto all'interleaving ingenuo.
  • Costo: Riduce i costi dei token di output del 16% grazie a catene di ragionamento più brevi (le prove risolvono l'incertezza più rapidamente).
• Qualità del Recupero: Migliora il Recall@5 all'81,3% (vs 72,6% per IRCoT), dimostrando che il sistema recupera prove migliori al momento giusto.
• Generalizzazione: La politica si generalizza bene a diverse architetture di modelli (es. QwQ) e si trasferisce tra benchmark (addestrata su HotpotQA, testata su MuSiQue) con un calo minimo delle prestazioni.

5. Significato

• Cambiamento di Paradigma: Il paper dimostra che "recuperi meno frequenti ma meglio tempizzati" superano il recupero frequente a intervalli fissi. Ciò stabilisce una nuova frontiera di Pareto per il compromesso accuratezza-efficienza nei task intensivi di ragionamento.
• Scalabilità: Operando a livello di step di ragionamento e supportando modelli solo completamento, il framework è applicabile ai LLM proprietari più capaci (come o1) che sono attualmente inaccessibili a molti sforzi di ricerca RAG.
• Progettazione del Sistema: Fornisce una guida per integrare il recupero in task di ragionamento a lungo orizzonte, spostando il RAG da una fase statica di pre-elaborazione a un partner di ragionamento dinamico e adattivo.

In conclusione, ReaLM-Retrieve risolve il critico disallineamento temporale nell'integrazione LRM-RAG, offrendo accuratezza allo stato dell'arte con costi computazionali significativamente ridotti.