FinTagging: Benchmarking LLMs for Extracting and Structuring Financial Information

Titolo: FinTagging: Benchmarking LLMs per l'Estrazione e la Strutturazione di Informazioni Finanziarie

1. Il Problema

L'interpretazione accurata dei dati numerici nei report finanziari è cruciale per mercati e regolatori. Attualmente, il processo di tagging XBRL (eXtensible Business Reporting Language) richiede di mappare migliaia di fatti numerici presenti nei report aziendali su oltre 17.000 concetti standardizzati del US-GAAP (Generally Accepted Accounting Principles).

• Sfide attuali: Questo processo è costoso, manuale e soggetto a errori.
• Limitazioni dei benchmark esistenti: Le valutazioni precedenti semplificano eccessivamente il compito riducendolo a una classificazione piatta su sottoinsiemi limitati di concetti. Ignorano la semantica gerarchica della tassonomia e la natura strutturata dei documenti finanziari (in particolare le tabelle), fallendo nel valutare le capacità dei Large Language Models (LLM) in scenari di reporting realistici.
• Gap di ricerca: Non esiste un benchmark che valuti l'end-to-end tagging finanziario su input misti (testo e tabelle) allineati all'intera tassonomia US-GAAP.

2. Metodologia: FinTagging

Gli autori introducono FinTagging, il primo benchmark completo e consapevole della struttura per il tagging XBRL. Il lavoro propone una riformulazione del compito da una semplice classificazione a un processo in due stadi: "Extract-and-Align".

Il processo è decomposto in due sottocompiti:

1. FinNI (Financial Numeric Identification):

   • Obiettivo: Identificare i valori numerici nei documenti finanziari (testo e tabelle) e classificarli in base al loro tipo di dati XBRL.
   • Output: Estrazione di triplette {Fatto, Tipo}.
   • Tipi di dati supportati: monetaryItemType (valori monetari), percentItemType (percentuali), sharesItemType (azioni), perShareItemType (valori per azione), integerItemType (interi).
   • Sfida: Estrazione da contesti eterogenei, inclusi numeri scritti a parole e strutture tabellari complesse.

2. FinCL (Financial Concept Linking):

   • Obiettivo: Mappare ogni entità numerica estratta al concetto corretto nella tassonomia US-GAAP completa (17.688 concetti).
   • Approccio: Non trattato come classificazione estrema diretta (che fallisce con tassonomie così ampie), ma come un compito di retrieval e reranking.
   • Flusso:
     1. Un motore di retrieval (basato su embedding semantici) recupera i candidati migliori (es. top-200) dalla tassonomia.
     2. L'LLM esegue un reranking contestuale per selezionare il tag finale più appropriato.

3. Dataset e Risorse

• Raccolta Dati: 142 report annuali 10-K di aziende statunitensi (2023-2024), coprenti 11 settori industriali.
• Struttura: I dati sono stati estratti dai file iXBRL (Inline XBRL) della SEC, risultando in 319.893 frasi narrative e 21.576 tabelle finanziarie.
• Annotazione:
  • Pipeline automatizzata basata su regole per ricostruire i link semantici tra disclosure umane e metadati XBRL.
  • Controllo Qualità: Un subset strategico di 1.949 istanze (928 frasi, 1.021 tabelle) è stato verificato manualmente da esperti (due analisti junior e un senior adjudicator), raggiungendo un accordo di Cohen's $\kappa = 0.81$.
• Dataset di Valutazione:
  • FinNI-eval: 28.787 istanze per l'identificazione numerica.
  • FinCL-eval: 261.457 coppie query-risposta per il collegamento concettuale.

4. Risultati Sperimentali

Il benchmark ha valutato 13 LLM all'avanguardia (inclusi GPT-4o, DeepSeek-V3, serie Llama, Qwen, e modelli specifici per il settore come Fino1) in modalità zero-shot, confrontandoli con modelli PLM tradizionali (BERT, FinBERT, SECBERT).

• Prestazioni Generali:

  • Gli LLM generici di grandi dimensioni (es. DeepSeek-V3, GPT-4o) superano i modelli PLM finetunati e i modelli di dominio più piccoli, dimostrando una migliore capacità di generalizzazione sui concetti a "coda lunga" (long-tail).
  • FinNI (Estrazione): Le prestazioni sono buone; i modelli riescono a estrarre correttamente i fatti numerici con un buon compromesso tra precisione e richiamo.
  • FinCL (Allineamento): Le prestazioni crollano drasticamente. Anche i migliori modelli raggiungono un'accuratezza inferiore al 19% nel task di collegamento concettuale.

• Analisi degli Errori:

  • Divario Estrazione-Allineamento: Esiste un gap critico. Mentre i modelli sono bravi a trovare i numeri, faticano enormemente a disambiguare i concetti US-GAAP fini (es. distinguere tra "Restricted Cash Current" e "Non-current").
  • Impatto della Struttura: Il retrieval basato su contesto strutturato (SAC - Structure-Aware Context) per le tabelle è molto più efficace rispetto a finestre fisse, ma la copertura rimane limitata per le entità tabellari.
  • Ablazione: Se si tenta di trattare il tagging come una classificazione estrema diretta (senza fase di estrazione e retrieval), le prestazioni crollano a zero per tutti i modelli, confermando la necessità dell'approccio in due stadi.

5. Contributi Chiave

1. Nuova Formulazione del Task: Introduzione del paradigma "Extract-and-Align" a due stadi, che permette la valutazione su tutta la tassonomia US-GAAP (17k+ concetti), precedentemente intrattabile per gli LLM zero-shot.
2. Risorse ad Alta Fedeltà: Rilascio di due dataset verificati da esperti (FinNI-eval e FinCL-eval) che incorporano strutture tabellari complesse, fondamentali per il ragionamento congiunto su dati strutturati e non strutturati.
3. Insight Diagnostici: Identificazione di un "divario di allineamento della conoscenza". Gli LLM eccellono nell'estrazione numerica ma necessitano di framework specifici (retrieval + reranking) per evitare il collasso delle prestazioni durante la mappatura su tassonomie di grandi dimensioni.

6. Significato e Impatto

Il lavoro di FinTagging segna un punto di svolta per la ricerca NLP in ambito finanziario:

• Superamento dei limiti attuali: Dimostra che i benchmark esistenti sono insufficienti per valutare le capacità reali degli LLM nel tagging XBRL.
• Guida per lo sviluppo: Evidenzia che per applicazioni regolamentari reali, non basta un modello generico; è necessaria un'architettura ibrida che combini l'estrazione robusta con meccanismi di allineamento semantico guidati dalla conoscenza.
• Riproducibilità: Fornisce codice, dati e prompt pubblici per facilitare futuri sviluppi nell'estrazione di informazioni finanziarie strutturate e nella conformità normativa.

In sintesi, FinTagging stabilisce un nuovo standard di valutazione, rivelando che sebbene gli LLM siano potenti, la loro applicazione nel tagging finanziario di precisione richiede ancora progressi significativi nel ragionamento strutturato e nell'allineamento semantico fine.