Anchored Confabulation: Partial Evidence Non-Monotonically Amplifies Confident Hallucination in LLMs

1. Enunciato del Problema

I sistemi di Generazione Aumentata dal Recupero (RAG) affrontano una sfida critica di instradamento: decidere quando utilizzare un recupero vettoriale standard ed economico (VanillaRAG) rispetto a un recupero basato su grafi strutturati e costoso (GraphRAG).

• Lo Status Quo: I metodi di instradamento esistenti (es. Adaptive-RAG) operano pre-generazione, prendendo decisioni basate esclusivamente sulle caratteristiche della query (es. complessità, numero di entità). Assumono che una bassa fiducia nella risposta generata segnali la necessità di un recupero migliore.
• Il Problema Centrale: Gli autori identificano un fallimento di calibrazione precedentemente sconosciuto nei Modelli Linguistici di Grande Dimensione (LLM) chiamato Confabolazione Ancorata. In compiti di ragionamento multi-hop, fornire un fatto intermedio parziale (un "ancora") può paradossalmente aumentare la fiducia del modello in una risposta sbagliata prima che l'evidenza completa elimini l'errore.
• La Conseguenza: L'instradamento standard basato sull'incertezza (escalation in caso di bassa fiducia) fallisce catastroficamente su queste query. Il modello diventa più sicuro quando è sbagliato, portando a "allucinazioni sicure" che gli instradatori pre-generazione non possono rilevare.

2. Fenomeno Chiave: Fiducia nell'Allucinazione Parametrica (PHC)

Il paper definisce la Fiducia nell'Allucinazione Parametrica (PHC) come una metrica in cui l'AUC della previsione di un'"escalation oracle" (necessità di GraphRAG) basata sulla fiducia del modello è > 0.5.

• Inversione del Segnale: Negli scenari standard, l'alta fiducia si correla con la correttezza. Negli scenari PHC (specificamente query ponte a 3 hop), l'alta fiducia si correla con l'incorrettezza.
• Il Meccanismo: Quando un LLM riceve un fatto intermedio confermato (un "gold anchor") in una catena multi-step, utilizza la sua memoria parametrica per "colmare" fluentemente e con sicurezza i passaggi mancanti. Questo ancoraggio parziale impegna il modello in un completamento specifico, sicuro, ma potenzialmente fabbricato.

3. Metodologia e Quadro Teorico

A. Intervento Causale ed Evidenza

Gli autori hanno stabilito la PHC attraverso sei linee di evidenza, inclusa un'intervento causale controllato sul dataset MuSiQue (query a 3 hop, N=160):

1. Iniezione Causale: Hanno iniettato fatti intermedi gold nei prompt mantenendo fisse le etichette oracle.
   • k=0 (Nessun indizio): PHC = 0.613 (Inversione significativa).
   • k=1 (Un fatto): La PHC schizza a 0.656 (Amplificazione massima). Il modello diventa più sicuro nella sua risposta sbagliata.
   • k=3 (Quasi-oracle): La PHC scende a 0.536 (Nessuna inversione significativa). L'evidenza completa sopprime l'allucinazione.
2. Legge della Soglia di Ancoraggio: Gli autori hanno derivato una legge predittiva: $k^*(n) = \lfloor n/3 \rfloor$.
   • Per catene a 3 hop, la soglia è $k=1$ (33% della catena). Questo è il "punto dolce" in cui un fatto ancora il modello abbastanza da fabbricare il resto con sicurezza.
   • Per catene a 2 hop, $k^*=0$; non si verifica alcun picco di amplificazione perché la catena è troppo corta per sostenere una fabbricazione sicura senza evidenza completa.
   • Per catene a 4 hop, il picco è più debole ($k^*=1$, ma la copertura del 25% è insufficiente).
3. Scalabilità delle Capacità: La PHC scala con la capacità del modello. Modelli più potenti (es. Claude Opus, Sonnet) mostrano una PHC più alta (allucinazioni più sicure) rispetto a modelli più deboli (es. Haiku, Llama-3-8B).

B. Dimostrazioni Teoriche

• Teorema 1 (Dominio Post-Generazione): Utilizzando la Disuguaglianza di Elaborazione dei Dati (DPI), gli autori dimostrano che qualsiasi segnale post-generazione $U(Q, A)$ contiene più informazioni sulla necessità di escalation rispetto a qualsiasi classificatore pre-generazione $g(Q)$. Gli instradatori pre-generazione non possono accedere al "segnale di inversione del ponte" perché l'inversione si manifesta solo dopo che il modello tenta di generare la risposta.
• Teorema 2 (Instradamento a Gate di Rigenerazione): I guadagni nell'instradamento sono limitati dalla qualità del passaggio di rigenerazione. Se la rigenerazione (dopo l'escalation) è scarsa, i miglioramenti nell'instradamento producono rendimenti decrescenti.

C. Soluzione Proposta: LR+DirectGR

Gli autori propongono un sistema in due parti per sfruttare la PHC:

1. LearnedRouter: Un classificatore post-generazione addestrato su soli N=200 esempi. Utilizza un termine di interazione delle caratteristiche conf × hop per apprendere che per query ad alto hop, un'alta fiducia deve attivare l'escalation (invertendo la logica standard).
2. DirectGR (Direct GraphRAG): Invece di estrarre sotto-domande (il che perde contesto), il sistema scala la domanda completa originale direttamente alla pipeline GraphRAG. Questo evita la "perdita di estrazione delle sotto-domande" identificata come un collo di bottiglia maggiore.

4. Risultati Chiave

Metriche di Performance

• Chiusura del Gap Oracle: Il sistema LR+DirectGR chiude l'81.1% del gap oracle (Macro F1 = 0.426) su quattro benchmark (HotpotQA, MuSiQue, NQ, 2Wiki).
• Confronto con le Baseline:
  • Supera la migliore baseline di instradamento pre-generazione (HybridRouter) di +35.9 punti nella chiusura del gap oracle.
  • Raggiunge questo risultato con 50 volte meno etichette di addestramento (200 vs 10.000) e senza Reinforcement Learning (RL) o fine-tuning.
  • A costo pari (tasso di escalation del 32%), LR+DirectGR raggiunge un Macro F1 di 0.324 contro lo 0.295 di HybridRouter.

Risultati Specifici

• Specificità della Profondità dell'Hop: L'effetto di inversione è strettamente non monotono. Raggiunge il picco alle query a 3 hop. Le query a 2 hop non mostrano un'inversione significativa, e quelle a 4 hop mostrano un effetto più debole.
• Mitigazione: Un prompt di "Umiltà Epistemica" (che dice al modello che gli mancano fatti) ha ridotto con successo il picco PHC di $\Delta = -0.118$, dimostrando che il fenomeno è sopprimibile a livello metacognitivo.
• Vulnerabilità dei RAG Iterativi: Il paper dimostra che i sistemi RAG iterativi (come IRCoT) cadono sistematicamente nella "zona di amplificazione" al loro primo passo di recupero per le query a 3 hop, portando a ragionamenti intermedi sicuri ma errati che corrompono i passaggi successivi.

5. Significato e Contributi

1. Scoperta della Confabolazione Ancorata: Il paper identifica un fallimento di calibrazione fondamentale e non monotono negli LLM in cui l'evidenza parziale aumenta l'allucinazione sicura. Questo sfida l'assunzione che "più evidenza riduca sempre l'incertezza".
2. Legge Predittiva: La Legge della Soglia di Ancoraggio ($k^* = \lfloor n/3 \rfloor$) fornisce un quadro quantitativo per prevedere quando gli LLM allucineranno con sicurezza in base alla lunghezza della catena e alla densità dell'evidenza.
3. Superiorità dell'Instradamento Post-Generazione: Dimostra formalmente e valida empiricamente che l'instradamento post-generazione (utilizzando la risposta generata come segnale) domina strettamente l'instradamento pre-generazione per compiti multi-hop, specificamente perché può rilevare lo stato "sicuro ma sbagliato".
4. Deployment Efficiente e Senza Addestramento: Il sistema proposto LR+DirectGR raggiunge prestazioni di instradamento all'avanguardia senza fine-tuning o RL, utilizzando un numero minimo di esempi etichettati. Offre una guida pratica per il deployment di sistemi RAG robusti che si adattano dinamicamente alle capacità del modello e alla complessità della query.
5. Implicazioni per i Sistemi Iterativi: I risultati suggeriscono che le attuali pipeline RAG iterative (IRCoT, FLARE) potrebbero essere strutturalmente difettose per le query a 3 hop, poiché innescano involontariamente il meccanismo di amplificazione dell'ancoraggio.

In sintesi, questo paper riformula il problema dell'instradamento RAG da un compito di classificazione della complessità della query a un compito di rilevamento post-generazione consapevole della calibrazione, sfruttando un fenomeno appena scoperto in cui gli LLM sono più sicuri quando sono più sbagliati.