Enhancing Financial Report Question-Answering: A Retrieval-Augmented Generation System with Reranking Analysis

Titolo: Miglioramento del Question-Answering sui Report Finanziari: Un Sistema RAG con Analisi di Reranking Neurale

1. Il Problema

I report finanziari annuali (moduli 10-K) depositati presso la SEC statunitense sono documenti complessi che spesso superano le 100-300 pagine. Contengono informazioni critiche su performance, rischi e strategie aziendali, ma la loro vastità e densità rendono l'estrazione manuale delle informazioni lenta, soggetta a errori e non scalabile.
Sebbene i sistemi Retrieval-Augmented Generation (RAG) offrano una soluzione promettente combinando il recupero di documenti con la generazione di linguaggio naturale (LLM), la loro applicazione nel dominio finanziario presenta sfide specifiche:

• Qualità del recupero: Passaggi irrilevanti o marginalmente pertinenti possono indurre in errore il modello generatore, portando a risposte incomplete o "allucinazioni".
• Linguaggio specializzato: I documenti finanziari utilizzano terminologia specifica, abbreviazioni e strutture complesse che i metodi di recupero tradizionali (basati su parole chiave o semplice similarità semantica) faticano a interpretare con precisione.
• Mancanza di studi empirici: Sebbene il reranking neurale sia noto nel recupero generale, il suo impatto specifico sui sistemi RAG finanziari, specialmente con moderni LLM, rimane poco esplorato.

2. Metodologia

Gli autori hanno sviluppato un pipeline RAG end-to-end e hanno condotto un'analisi di ablazione sistematica per quantificare l'impatto del reranking.

A. Architettura del Sistema
Il sistema elabora i report 10-K di tutte le 500 aziende dell'S&P 500 e si articola in due fasi principali:

1. Elaborazione dei Documenti (Offline):

   • Raccolta e Conversione: I file HTML vengono convertiti in PDF per preservare il layout, poi estratti in testo.
   • Chunking: I testi sono suddivisi in chunk di 2.500 caratteri con un sovrapposizione (overlap) del 50% (1.250 caratteri) per mantenere il contesto.
   • Indicizzazione Ibrida:
     • Full-Text Search (FTS): I chunk sono archiviati in SQLite con estensione FTS5 per la ricerca lessicale esatta.
     • Semantic Search: Vengono generati embedding vettoriali (1.024 dimensioni) usando il modello text-embedding-3-small di OpenAI e indicizzati in FAISS per la ricerca semantica.

2. Elaborazione delle Query (Online):

   • Rewriting della Query: Un LLM (GPT-4.1) riscrive la query utente per chiarire ambiguità, correggere errori e estrarre parole chiave.
   • Recupero Ibrido (Hybrid Retrieval): Vengono eseguite due ricerche parallele: FTS (top-20 risultati) e Ricerca Semantica (top-30 risultati).
   • Fusione (RRF): I risultati vengono fusi utilizzando la Reciprocal Rank Fusion (RRF) per combinare i punteggi delle due liste senza bisogno di dati di addestramento.
   • Reranking Neurale (Fase Critica): I candidati fusi (fino a 30) vengono passati a un modello cross-encoder (Jina Reranker v2) che ricalcola i punteggi di rilevanza considerando la coppia query-documento congiuntamente. Vengono applicate strategie di taglio adattivo (soglia di probabilità cumulativa e rilevamento del "gradino" nel punteggio) per selezionare solo i 5-10 chunk più pertinenti.
   • Generazione della Risposta: I chunk selezionati vengono forniti a GPT-4.1 per generare la risposta finale.

B. Configurazione Sperimentale

• Dataset: FinDER, un benchmark con 5.703 triplette query-evidenza-risposta. Sono stati campionati 1.500 query divise in 5 gruppi indipendenti (300 query ciascuno) per robustezza statistica.
• Confronto: Due configurazioni sono state testate:
  1. Con Reranking: Pipeline completa.
  2. Senza Reranking (Ablazione): La pipeline si ferma alla selezione dei top-10 dopo la fusione RRF, saltando il modello cross-encoder.
• Valutazione: Utilizzo di un approccio "LLM-as-a-judge" (GPT-4.1) per assegnare un punteggio da 1 a 10 confrontando la risposta generata con la verità fondamentale (ground truth).

3. Risultati Chiave

L'analisi empirica dimostra che il reranking neurale è un componente fondamentale per le prestazioni nel dominio finanziario.

• Miglioramento della Correttezza: La percentuale di risposte "basicamente corrette" (punteggio ≥ 8) è passata dal 33,5% (senza reranking) al 49,0% (con reranking), un miglioramento assoluto di 15,5 punti percentuali.
• Riduzione degli Errori Critici: La percentuale di risposte completamente errate (punteggio = 1) è diminuita dal 35,3% al 22,5%, una riduzione di 12,8 punti percentuali.
• Punteggio Medio: Il punteggio medio è aumentato da 4,95 a 6,02 (+21,6% relativo).
• Robustezza: I risultati sono stati coerenti in tutti e cinque i gruppi sperimentali, confermando che il miglioramento non è dovuto a casualità nel campionamento.
• Confronto con Baseline: Il sistema con reranking supera significativamente le prestazioni riportate in lavori precedenti (~33% di correttezza), attribuendo il guadagno principale al reranking piuttosto che solo all'uso di LLM moderni o al recupero ibrido.

4. Contributi Principali

1. Implementazione Completa: Sviluppo di un sistema RAG end-to-end che processa l'intero set di report 10-K dell'S&P 500 con un approccio di recupero ibrido.
2. Valutazione Sistematica: Un'analisi rigorosa su 1.500 query con controlli statistici (5 gruppi indipendenti) per isolare l'effetto del reranking.
3. Evidenza Empirica: Dimostrazione quantitativa che il reranking neurale è critico per i sistemi RAG finanziari, fornendo un miglioramento sostanziale nella qualità delle risposte e riducendo le allucinazioni.
4. Nuovi Benchmark: Stabilimento di nuove linee di base di performance (~49% di correttezza) per la ricerca futura nel settore, ottenute combinando modelli linguistici moderni (GPT-4.1), strategie di recupero ibrido e reranking.

5. Significato e Implicazioni

Questo studio evidenzia che nel dominio finanziario, dove la precisione è imperativa, i metodi di recupero tradizionali non sono sufficienti. Il reranking neurale agisce come un filtro di alta qualità che:

• Filtra il rumore: Rimuove chunk che sembrano pertinenti superficialmente ma non contengono l'informazione richiesta.
• Cattura la rilevanza fine: I modelli cross-encoder riescono a comprendere le sfumature semantiche e le interazioni complesse tra query e documento che i modelli bi-encoder (usati nella prima fase di recupero) non possono modellare.
• Riduce i costi decisionali: Diminuendo drasticamente gli errori gravi, il sistema diventa uno strumento più affidabile per analisti finanziari e investitori.

Il lavoro suggerisce che per applicazioni RAG ad alta precisione in settori specializzati, l'aggiunta di una fase di reranking neurale non è solo un'ottimizzazione, ma un requisito fondamentale per raggiungere livelli di affidabilità accettabili.