From BM25 to Corrective RAG: Benchmarking Retrieval Strategies for Text-and-Table Documents

1. Il Problema

I sistemi di Retrieval-Augmented Generation (RAG) dipendono criticamente dalla qualità del recupero delle informazioni. Tuttavia, non esiste un confronto sistematico delle moderne strategie di recupero per documenti eterogenei che contengono sia testo che dati tabellari.
Questo è un problema particolarmente acuto nel dominio finanziario (es. report annuali, documenti regolatori), dove il testo fornisce il contesto ma le tabelle contengono i dati numerici precisi. Le domande come "Qual è stata la crescita dei ricavi anno su anno?" richiedono di localizzare sia il documento corretto che la cella specifica all'interno di una tabella.

• I metodi di recupero semantici (dense retrieval) spesso falliscono nel cogliere target numerici esatti.
• I metodi lessicali (sparse retrieval) possono perdere il contesto parafrasato.
• Nessuno dei due approcci da solo è sufficiente, e le valutazioni esistenti sono spesso inconsistenti o limitate a pochi metodi.

2. Metodologia

Gli autori hanno condotto un benchmark sistematico su T2-RAGBench, un dataset finanziario composto da:

• 23.088 query (domande) su 7.318 documenti unici.
• I documenti sono un mix di testo e tabelle in formato Markdown, estratti da depositi SEC e report annuali reali.
• Le domande sono state riformulate (usando Llama 3.3-70B) per essere indipendenti dal contesto, garantendo una sola risposta corretta indipendentemente dal documento fornito.

Strategie di Recupero Valutate (10 metodi):

1. Sparse: BM25 (Okapi).
2. Dense: Embedding vettoriale (OpenAI text-embedding-3-large).
3. Hybrid: Fusione dei risultati BM25 e Dense tramite Reciprocal Rank Fusion (RRF).
4. Hybrid + Reranking: Pipeline a due stadi (Hybrid RRF + Cross-Encoder reranker, es. Cohere Rerank v4.0 Pro).
5. Query Expansion: HyDE (Hypothetical Document Embeddings) e Multi-Query Retrieval.
6. Index Augmentation: Contextual Retrieval (aggiunta di riassunti generati da LLM ai documenti prima dell'indicizzazione).
7. Adaptive Retrieval: CRAG (Corrective RAG), che rileva documenti non pertinenti e riscrive la query.

Metriche di Valutazione:

• Recupero: Recall@k, MRR (Mean Reciprocal Rank), nDCG, MAP.
• Generazione: Number Match (NM) con tolleranza relativa, F1, ROUGE-L, BERTScore.
• Significatività Statistica: Test bootstrap appaiati con correzione di Bonferroni.

3. Contributi Chiave

1. Benchmark Sistematico: La valutazione più completa finora su un corpus finanziario misto (testo+tabelle), confrontando 10 strategie diverse.
2. Valutazione Multidimensionale: Analisi combinata di metriche di recupero e di generazione, con test statistici rigorosi.
3. Studi di Ablazione: Analisi dettagliata sull'impatto delle strategie di fusione (RRF vs Convex Combination) e sulla profondità dei candidati nel reranking.
4. Raccomandazioni Pratiche: Linee guida basate su dati empirici per l'implementazione di sistemi RAG su documenti eterogenei, con un'analisi costo-accuratezza.

4. Risultati Principali

A. Performance di Recupero

• Pipeline a Due Stadi Dominante: La combinazione di Recupero Ibrido (Hybrid RRF) + Neural Reranking (Cross-Encoder) supera tutti i metodi a stadio singolo con un margine significativo.
  • Recall@5: 0.816 (vs 0.695 per Hybrid RRF da solo).
  • MRR@3: 0.605 (vs 0.433 per Hybrid RRF).
• BM25 vs Dense Retrieval: Contrariamente all'assunzione comune che la ricerca semantica sia sempre superiore, BM25 supera i modelli densi più avanzati (come text-embedding-3-large) su quasi tutte le metriche in questo dominio. Questo perché i documenti finanziari contengono terminologia specifica (nomi di aziende, metriche, periodi fiscali) che il matching lessicale cattura meglio degli embedding semantici.
• Limiti di HyDE: HyDE (Hypothetical Document Embeddings) performa peggio del dense retrieval base. Nel contesto finanziario, le allucinazioni di numeri plausibili ma errati da parte dell'LLM distorcono l'embedding, allontanandolo dal contesto reale.
• Contextual Retrieval: L'aggiunta di riassunti contestuali generati da LLM durante l'indicizzazione offre guadagni consistenti (+2.2pp - +2.8pp di Recall@5).
• CRAG e Multi-Query: CRAG (recupero adattivo) offre miglioramenti moderati, ma non eguaglia la fusione ibrida. L'espansione multi-query non porta benefici significativi per query finanziarie già specifiche.

B. Risultati di Generazione End-to-End

• Esiste una correlazione forte (r > 0.98) tra la qualità del recupero (Recall@5) e la qualità della generazione (Number Match).
• Migliorare il recupero porta direttamente a risposte più accurate.
• LLM più potenti (es. GPT-5.4 simulato) migliorano le prestazioni, ma la qualità del recupero rimane il fattore limitante principale.

C. Analisi degli Errori

L'analisi dei fallimenti (31.1% dei casi) rivela che il 73% degli errori è dovuto a un mismatch nella struttura delle tabelle. I modelli di embedding faticano a mappare query come "Qual era il reddito netto nel 2019?" su righe di tabella dove "reddito netto" e "2019" appaiono in celle separate.

5. Significato e Raccomandazioni

Il paper sfida il paradigma secondo cui i metodi densi e semantici dominano universalmente, dimostrando che per documenti strutturati e tecnici (finanza), l'approccio ibrido è essenziale.

Raccomandazioni per i Pratici:

1. Baseline Minima: Utilizzare sempre un recupero ibrido (BM25 + Dense con RRF).
2. Massima Qualità: Aggiungere un reranker Cross-Encoder (es. Cohere) è il singolo intervento con il maggior impatto (+17.2 punti MRR@3).
3. Indicizzazione: Applicare il Contextual Retrieval (aggiunta di metadati/riassunti) per guadagni costanti a costo una tantum.
4. Da Evitare: Non usare HyDE per domini che richiedono precisione numerica o entità specifiche.
5. Validazione: Non fare affidamento su benchmark generici (MTEB/BEIR); è necessario valutare su dati specifici del dominio.

In sintesi, per i documenti misti testo-tabella, la strategia vincente non è scegliere tra lessicale e semantico, ma combinarli e raffinarli con un reranking neurale, riconoscendo che la precisione lessicale rimane fondamentale per i dati finanziari strutturati.