Principled Context Engineering for RAG: Statistical Guarantees via Conformal Prediction

1. Il Problema

I sistemi di Retrieval-Augmented Generation (RAG) migliorano l'accuratezza fattuale dei Large Language Models (LLM) integrando evidenze recuperate. Tuttavia, questi sistemi affrontano sfide critiche:

• Attenzione Limitata e Rumore: Gli LLM soffrono dell'effetto "lost-in-the-middle" (dimenticano informazioni a metà del prompt) e la loro capacità di attenzione efficace è limitata (spesso al 10-20% del contesto).
• Rumore di Recupero: I sistemi di recupero basati su similarità cosena (embedding) restituiscono spesso passaggi irrilevanti o marginalmente correlati. I punteggi di similarità sono tipicamente non calibrati, il che significa che non riflettono una probabilità reale di rilevanza.
• Mancanza di Controllo Statistico: I filtri esistenti si basano su euristiche (es. top-k) o punteggi di confidenza degli LLM non calibrati. Questi approcci non offrono garanzie statistiche sul fatto che le informazioni rilevanti vengano effettivamente mantenute, portando a un'inefficienza nel budget di attenzione e a costi token elevati.

2. Metodologia

Gli autori propongono un framework di "Context Engineering" basato sulla Predizione Conformale (Conformal Prediction - CP) per filtrare il contesto prima della generazione.

• Formulazione del Problema:

  • Dato un query $q$ e un insieme di snippet recuperati $S_q$, l'obiettivo è selezionare un sottoinsieme filtrato $K_q$.
  • Si richiede di garantire un tasso di copertura marginale predefinito: la probabilità di mantenere uno snippet rilevante deve essere almeno $1 - \alpha$, dove $\alpha$ è il tasso di mancata copertura specificato dall'utente.

• Predizione Conformale Split (Split Conformal Prediction):

  • Viene utilizzata una funzione di punteggio $A(q, s)$ che assegna un "punteggio di non conformità" agli snippet (punteggi più bassi indicano maggiore rilevanza).
  • Fase di Calibrazione: Su un set di dati di calibrazione etichettato, si calcola il quantile empirico $(1-\alpha)$ dei punteggi degli snippet rilevanti. Questo definisce la soglia di filtro $\hat{\tau}_\alpha$.
  • Fase di Test: Uno snippet viene mantenuto solo se il suo punteggio è inferiore o uguale alla soglia calibrata ($A(q, s) \le \hat{\tau}_\alpha$).
  • Garanzia: Sotto l'assunzione di scambiabilità (exchangeability) tra set di calibrazione e test, questo metodo garantisce matematicamente che la frazione di snippet rilevanti mantenuti sia $\ge 1 - \alpha$.

• Funzioni di Punteggio Testate:

  1. Conformal-Embedding: Utilizza un modello di embedding (Qwen3-Embedding-8B) e calcola $1 - \cos(\text{emb}(q), \text{emb}(s))$.
  2. Conformal-LLM: Utilizza un LLM (GPT-4o) per valutare la rilevanza su una scala [0, 1], trasformando il rating in un punteggio di non conformità.

• Setup Sperimentale:

  • Dataset: NeuCLIR e RAGTIME.
  • Splits: Query topic-disjoint per calibrazione e test per preservare l'assunzione di scambiabilità.
  • Valutazione: Copertura empirica, tasso di rimozione e qualità fattuale downstream (misurata con ARGUE F1 su NeuCLIR).

3. Contributi Chiave

1. Framework di Filtraggio Principato: Introduzione di un metodo che applica la predizione conformale post-recupero per garantire la copertura delle evidenze rilevanti, trasformando il filtraggio da euristico a statisticamente fondato.
2. Efficienza e Garanzie: Dimostrazione empirica che il filtraggio conformale raggiunge la copertura target mentre riduce la dimensione del contesto di 2-3 volte rispetto al recupero non filtrato, mantenendo l'accuratezza fattuale.
3. Indipendenza dal Modello (Model-Agnostic): L'approccio funziona con diverse funzioni di punteggio (embedding o LLM), non richiede il riaddestramento del modello generatore e offre un controllo rigoroso sulla composizione del contesto.

4. Risultati

• Garanzie di Copertura: Sia il metodo basato su Embedding che quello basato su LLM hanno soddisfatto o superato leggermente le garanzie di copertura teoriche su tutti i valori di $\alpha$ testati (da 0.05 a 0.40).
  • Nota: Il metodo basato su LLM mostra una copertura leggermente eccessiva ("over-coverage") a causa della discretizzazione dei rating, mentre quello basato su embedding segue la linea target in modo più fluido.
• Riduzione del Contesto:
  • Il filtraggio conformale ha ridotto il contesto mantenendo la copertura desiderata.
  • A livelli di copertura stretti ($\alpha \le 0.20$), il metodo basato su embedding ha rimosso il 25-55% degli snippet recuperati, mentre quello basato su LLM ne ha rimossi il 46-70%.
• Qualità delle Risposte (NeuCLIR):
  • La metrica ARGUE F1 è migliorata significativamente con filtri stretti ($\alpha=0.05, 0.10$) rispetto alla baseline non filtrata (0.69 F1).
  • A livelli di copertura moderati ($\alpha=0.20$), la qualità è rimasta statisticamente indistinguibile dalla baseline, dimostrando che gran parte del contenuto rimosso era ridondante o irrilevante.
• Confronto con Baseline Euristiche: I metodi euristici (top-k o soglie fisse di similarità) non riescono a garantire una copertura controllata, oscillando ampiamente e spesso fallendo nel mantenere le evidenze critiche.

5. Significato e Implicazioni

Questo lavoro stabilisce la Predizione Conformale come un fondamento leggero e agnostico per l'ingegneria del contesto nei sistemi RAG.

• Affidabilità: Trasforma il processo di selezione del contesto in un processo con garanzie statistiche finite, essenziale per applicazioni critiche dove non si può perdere informazione rilevante.
• Efficienza: Permette di ridurre drasticamente il costo computazionale (token) e il rumore nel prompt senza sacrificare la qualità della risposta, sfruttando meglio la capacità di attenzione limitata degli LLM.
• Futuro: Il lavoro apre la strada a ricerche su come rilassare l'assunzione di scambiabilità (ad esempio, attraverso ricalibrazione adattiva) per gestire cambiamenti di distribuzione (domain shift) mantenendo le garanzie statistiche.

In sintesi, il paper dimostra che è possibile "pulire" il contesto di un sistema RAG in modo matematicamente garantito, migliorando l'efficienza e la precisione delle risposte generate.