LLM-based Triplet Extraction from Financial Reports

Titolo: Estrazione di Tripletti basata su LLM dai Report Finanziari

Autori: Dante Wesslund, Ville Stenström, Pontus Linde, Alexander Holmberg (KTH Royal Institute of Technology)
Data: Febbraio 2026

---

1. Il Problema

I report finanziari aziendali sono una fonte preziosa di conoscenza strutturata per la costruzione di Grafi della Conoscenza (KG), ma la loro analisi automatica presenta sfide significative:

• Mancanza di Ground Truth: A differenza di altri domini, non esistono dataset annotati manualmente di grandi dimensioni per valutare l'estrazione di informazioni dai report finanziari, rendendo difficile il calcolo di metriche tradizionali come precisione e richiamo.
• Rischio di Allucinazioni: I Large Language Models (LLM) tendono a generare contenuti non fedeli al testo sorgente (allucinazioni). Nel settore finanziario, dove la fedeltà fattuale è critica, questo rappresenta un rischio inaccettabile.
• Complessità Linguistica: I report finanziari utilizzano sintassi complesse, voci passive e agenti omessi, che complicano l'estrazione corretta di soggetti e relazioni.
• Inadeguatezza dei Metodi Supervisionati: I metodi tradizionali basati su NER e RE supervisionati richiedono dataset di addestramento costosi e specifici, poco scalabili in ambienti dinamici.

2. Metodologia

Gli autori propongono una pipeline semi-automatica per l'estrazione di tripletti (Soggetto-Predicato-Oggetto) che non dipende da un ground truth annotato, ma utilizza metriche guidate dall'ontologia.

A. Pipeline di Estrazione

• Preprocessing: I documenti vengono suddivisi in chunk di 5 frasi (senza sovrapposizione) per mitigare il fenomeno "lost-in-the-middle" e mantenere il contesto gestibile per gli LLM.
• Prompting: Per ogni chunk, un LLM riceve il testo, la definizione dell'ontologia e esempi, con l'istruzione di estrarre tripletti in formato JSON strutturato.

B. Strategie Ontologiche (Variabile Sperimentale)

Il paper confronta due approcci per definire l'ontologia ($O$):

1. Ontologia Manuale Statica ($O_{Manual}$): Un'ontologia fissa, ingegnerizzata manualmente analizzando un solo report (Volvo 2024), utilizzata per estrarre dati sia dallo stesso report (dominio interno) che da un report diverso (Elekta 2022/23, dominio esterno).
2. Induzione Automatica dell'Ontologia ($O_{Auto}$): Un approccio fully automated dove l'ontologia è inizialmente vuota. Per ogni chunk, un LLM propone nuove entità e relazioni necessarie per quel specifico testo, che vengono fuse dinamicamente. Vengono generate ontologie specifiche per documento ($O_{Auto-Volvo}$ e $O_{Auto-Elekta}$).

C. Modelli Sperimentali

Sono stati testati due LLM distinti:

• M1: Gemini-2.5 Flash
• M2: Llama 4 Maverick

D. Framework di Valutazione (Senza Ground Truth)

Poiché manca un ground truth, l'efficacia è misurata tramite due obiettivi proxy:

1. Conformità all'Ontologia (OC): Percentuale di tripletti i cui predicati appartengono all'insieme di relazioni valide dell'ontologia.
2. Fedeltà (Faithfulness): Verifica che ogni componente del tripletto sia presente nel testo sorgente. Vengono misurati tre tipi di allucinazione:
   • SH (Subject Hallucination): Il soggetto non è nel testo.
   • OH (Object Hallucination): L'oggetto non è nel testo.
   • RH (Relation Hallucination): Il predicato non è nell'ontologia.

E. Strategia di Verifica Ibrida

Per misurare la fedeltà senza ground truth, gli autori confrontano:

• Baseline: Ricerca esatta tramite Regex (alta percentuale di falsi positivi dovuti a variazioni morfologiche o coreferenze).
• Verifica Ibrida: Se il Regex fallisce, un secondo LLM ("LLM-as-a-judge") valuta semanticamente se l'entità estratta è presente nel testo nonostante le differenze superficiali.

3. Risultati Chiave

Validazione della Verifica Ibrida

L'uso della verifica ibrida ha ridotto drasticamente le allucinazioni apparenti causate da falsi positivi:

• Soggetto (SH): Da 65.2% (Regex puro) a 1.6%.
• Oggetto (OH): Da 22.5% a 0.24%.
  Questo dimostra che la maggior parte delle "allucinazioni" rilevate dal Regex erano in realtà corrette risoluzioni di coreferenze o variazioni linguistiche.

Confronto delle Strategie Ontologiche

• Conformità (OC): La strategia automatica ($O_{Auto}$) ha raggiunto il 100% di OC in tutte le configurazioni. La strategia manuale ($O_{Manual}$) ha mostrato un degrado, specialmente con il modello M2 su dati fuori dominio (89.4% su Elekta).
• Allucinazioni di Relazione (RH): Con $O_{Manual}$, il modello M2 ha generato relazioni non valide (7.3% su Volvo, 10.6% su Elekta). Con $O_{Auto}$, l'RH è sceso a 0% per entrambi i modelli.
• Conclusione: L'induzione specifica del documento elimina lo "schema drift" (deriva dell'ontologia) osservato con l'approccio manuale statico.

Performance dei Modelli

• M1 (Gemini-2.5 Flash): Si è dimostrato estremamente conservativo, mantenendo il 100% di OC e 0% di RH in tutte le configurazioni, rispettando rigorosamente i vincoli dell'ontologia.
• M2 (Llama 4 Maverick): Ha mostrato una tendenza a privilegiare la fluidità semantica rispetto alla rigidità dello schema, generando relazioni non previste quando l'ontologia era statica. Tuttavia, con l'ontologia automatica, le sue performance sono migliorate drasticamente, allineandosi a quelle di M1.

Asimmetria nelle Allucinazioni

È stata osservata un'asimmetria sistematica: le allucinazioni di Soggetto (SH) sono più frequenti di quelle di Oggetto (OH).

• Causa: I report finanziari usano spesso costruzioni passive e agenti omessi, costringendo il modello a inferire il soggetto (che può non essere esplicito nel testo). Gli oggetti, invece, sono spesso valori numerici o date copiabili verbatim.

4. Contributi Principali

1. Analisi Comparativa Ontologica: Dimostrazione che un'ontologia indotta automaticamente e specifica per il documento supera un'ontologia manuale statica in termini di conformità e fedeltà, eliminando la deriva semantica.
2. Valutazione dell'Adesione allo Schema: Identificazione di come diverse architetture LLM influenzino la deriva dell'ontologia; alcuni modelli sono intrinsecamente più conservativi, mentre altri necessitano di schemi adattivi per evitare allucinazioni di relazione.
3. Strategia di Verifica Ibrida: Proposta di un metodo (Regex + LLM-as-a-judge) che permette di valutare la fedeltà senza ground truth, filtrando efficacemente i falsi positivi legati alla risoluzione delle coreferenze.

5. Significato e Conclusioni

Questo lavoro offre una soluzione pratica al problema della valutazione dell'estrazione di informazioni in domini privi di dati annotati (come la finanza).

• Impatto Pratico: L'approccio proposto rende scalabile la costruzione di Grafi della Conoscenza da report finanziari, riducendo la necessità di annotazione manuale e mitigando i rischi di allucinazione.
• Raccomandazioni: Per massimizzare l'affidabilità, è cruciale utilizzare ontologie dinamiche adattate al documento specifico e adottare strategie di verifica ibride che considerino la semantica oltre alla semplice corrispondenza di stringhe.
• Limitazioni: Lo studio si basa su due soli report aziendali inglesi e non misura direttamente il "richiamo" (potrebbero esserci tripletti validi non estratti per eccessiva conservatività). Tuttavia, i risultati forniscono una solida base metodologica per futuri lavori su domini complessi e privi di ground truth.