💬 NLP

Understanding Structured Financial Data with LLMs: A Case Study on Fraud Detection

Il paper introduce FinFRE-RAG, un approccio in due fasi che combina la riduzione guidata dall'importanza delle caratteristiche e l'apprendimento contestuale potenziato dal recupero per abilitare i Large Language Models a rilevare le frodi finanziarie con prestazioni competitive e spiegazioni interpretabili, superando le limitazioni dell'uso diretto dei modelli su dati tabulari.

Autori originali: Xuwei Tan, Yao Ma, Xueru Zhang

Pubblicato 2026-04-10

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Xuwei Tan, Yao Ma, Xueru Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective privato che deve controllare milioni di transazioni bancarie ogni giorno per trovare i truffatori. Il problema è che i dati sono come un enorme mazzo di schede con centinaia di numeri e codici (età, importo, luogo, tipo di carta, ecc.).

Il Problema: L'Intelligenza Artificiale "Confusa"

Fino a poco tempo fa, per trovare le truffe, si usavano dei "detective robot" specializzati (chiamati modelli tabulari). Erano bravi a fare i calcoli, ma avevano due grossi difetti:

Erano opachi: Ti dicevano "È una truffa" senza spiegarti il perché. Era come se un giudice ti desse una condanna senza leggere la sentenza.
Erano rigidi: Se la truffa cambiava forma, loro faticavano ad adattarsi.

Poi sono arrivate le LLM (i grandi modelli linguistici come ChatGPT). Sono come investigatori geniali che parlano perfettamente, capiscono il contesto e possono spiegare perché sospettano di qualcuno.
Il problema? Se dai a questi investigatori geniali un foglio pieno di numeri senza contesto, si confondono. È come chiedere a un esperto di letteratura di risolvere un caso di algebra: non sanno come leggere quei numeri. Inoltre, le truffe sono rarissime (come trovare un ago in un pagliaio), quindi l'investigatore tende a dire "tutto ok" per non sbagliare.

La Soluzione: FinFRE-RAG (Il "Detective con la Bussola")

Gli autori del paper hanno creato un metodo chiamato FinFRE-RAG. Immaginalo come un sistema che dà all'investigatore geniale gli strumenti giusti per lavorare. Funziona in due fasi, come preparare una mappa prima di una caccia al tesoro:

1. Fase Offline: La "Selezione dei Dettagli" (Feature Reduction)

Immagina che il detective debba leggere un libro di 1000 pagine per trovare un indizio. È troppo lungo e si stanca.
Il sistema FinFRE-RAG prende quel libro e lo riduce a soli 10-15 pagine che contengono solo gli indizi più importanti (es. "l'importo è strano", "la città non corrisponde").

Analogia: È come se un assistente molto intelligente filtrasse il rumore di fondo e consegnasse al detective solo le prove rilevanti, ignorando tutto il resto che non serve.

2. Fase Online: La "Caccia all'Analogia" (RAG - Retrieval Augmented Generation)

Ora che il detective ha i dettagli importanti, non deve inventare nulla da solo. Il sistema va nel "archivio dei casi passati" e cerca 3-5 casi molto simili a quello attuale.

Se il caso attuale assomiglia a un vecchio caso di truffa, il sistema dice al detective: "Guarda, 5 anni fa c'era una situazione identica ed era una truffa. Cosa ne pensi?"
Il detective (l'LLM) legge questi esempi, confronta i dettagli e dice: "Ah, sì! Vedo che qui manca l'indirizzo e l'importo è strano, proprio come nel caso X. È molto probabile che sia una truffa."

Perché è Geniale?

Spiega il "Perché": A differenza dei vecchi robot che danno solo un "Sì/No", questo sistema ti dice: "È una truffa perché l'importo è basso ma il luogo è lontano, e questo corrisponde a 3 casi simili che abbiamo già visto."
Non serve riaddestrarlo: Non devi insegnare al detective una nuova materia ogni volta che cambia la truffa. Gli basta guardare i casi simili nel suo archivio (il "RAG") per adattarsi subito.
Funziona meglio: I test mostrano che, usando questo metodo, gli investigatori AI diventano quasi bravi quanto i robot specializzati, ma con la capacità di parlare e spiegare.

In Sintesi

Il paper ci dice che le Intelligenze Artificiali linguistiche possono diventare ottimi investigatori finanziari, ma solo se non le lasciamo sole con un foglio di numeri. Dobbiamo:

Dar loro solo i dati importanti (filtrare il rumore).
Dar loro dei "casi studio" simili da confrontare (fornire il contesto).

In questo modo, trasformiamo un "genio confuso" in un detective esperto e spiegabile, capace di proteggere i nostri soldi con intelligenza e trasparenza.

1. Il Problema

La rilevazione delle frodi nelle transazioni finanziarie si basa tradizionalmente su modelli tabulari (come XGBoost o LightGBM) che richiedono un'ingegnerizzazione delle feature (feature engineering) massiccia e laboriosa. Sebbene efficaci, questi modelli offrono una scarsa interpretabilità, rendendo difficile per gli umani comprendere le ragioni dietro una previsione.

D'altro canto, i Large Language Models (LLM) hanno dimostrato capacità eccezionali nel ragionamento complesso e nella generazione di spiegazioni leggibili. Tuttavia, l'applicazione diretta degli LLM ai dati tabulari per la rilevazione delle frodi fallisce per diverse ragioni fondamentali:

Disallineamento dell'Input: I dati finanziari sono prevalentemente numerici e categorici, mentre gli LLM sono pre-addestrati su linguaggio naturale. Gli LLM faticano a interpretare il significato semantico delle feature strutturate e a gestire valori numerici con precisione.
Alta Dimensionalità: Le transazioni reali possono avere centinaia o migliaia di feature. Inserirle tutte nel prompt supera i limiti del contesto (context window) e introduce rumore.
Ambiguità e Rarità: Le frodi sono eventi rari (spesso <1% dei dati) e le definizioni variano tra istituzioni. Senza guida specifica, gli LLM tendono a trattare gli input tabulari come numeri arbitrari, producendo previsioni quasi casuali.

2. Metodologia: FinFRE-RAG

Per colmare questo divario, gli autori propongono FinFRE-RAG (FINancial Feature-REduced in-context learning framework with Retrieval-Augmented Generation). Si tratta di un approccio a due stadi che adatta gli LLM alla rilevazione delle frodi senza richiedere un addestramento specifico (fine-tuning) sui parametri del modello.

Fase 1: Riduzione delle Feature Offline

Prima dell'inferenza, il sistema riduce lo spazio delle feature per garantire che l'LLM si concentri solo sugli attributi più informativi:

Viene addestrato un modello Random Forest sul dataset storico esterno per calcolare l'importanza delle feature.
Vengono selezionate le top-k feature (es. k=10) più rilevanti.
Le feature numeriche vengono normalizzate globalmente per creare rappresentazioni vettoriali standardizzate.
Questo passaggio riduce la dimensionalità, rimuove il rumore e ottimizza l'efficienza del recupero.

Fase 2: In-Context Learning Potenziato dal Recupero (Online)

Durante l'inferenza, per ogni transazione da valutare ( $x_q$ ):

Recupero delle Istanze (Instance Retrieval):
- Le feature vengono divise in categoriche e numeriche.
- Filtro Categorical: Si filtrano le transazioni storiche che corrispondono esattamente alle feature categoriche più importanti della query.
- Ricerca di Similarità Numerica: All'interno del pool filtrato, si cercano i vicini più simili basandosi sulla similarità coseno delle feature numeriche normalizzate.
- Vengono recuperati i top-n esempi storici (es. n=20) con le loro etichette reali (frode/non frode).
Costruzione del Prompt e Ragionamento:
- Gli esempi recuperati e la transazione corrente vengono convertiti in testo naturale (serializzazione), trasformando le coppie chiave-valore in frasi descrittive (es. "Il cliente ha uno stato 5, un saldo di 10540...").
- Il prompt include istruzioni di task, esempi few-shot (con etichette) e la query corrente.
- L'LLM non esegue una classificazione binaria diretta, ma genera un punteggio di rischio su scala 1-5 accompagnato da una spiegazione testuale che giustifica la decisione basandosi sui casi recuperati.

3. Contributi Chiave

Framework FinFRE-RAG: Un metodo innovativo che combina riduzione delle feature guidata dall'importanza e RAG per adattare gli LLM ai dati tabulari senza fine-tuning.
Valutazione Sistematica: Analisi su quattro dataset pubblici di frodi (CCF, CCFRAUD, IEEE-CIS, PAYSIM) e tre famiglie di LLM open-weight (Qwen, Gemma, GPT-OSS).
Analisi Principi: Studio approfondito su quanti feature e quante transazioni recuperate siano necessarie, l'impatto della granularità dell'output (punteggio vs binario) e il confronto con modelli fine-tuned.

4. Risultati Sperimentali

Performance vs. Prompting Diretto: Gli LLM base, se interrogati direttamente sui dati tabulari, performano peggio del caso (MCC negativo o vicino a zero). Con FinFRE-RAG, le prestazioni migliorano drasticamente (es. F1 di Qwen3-14B su CCF passa da 0.00 a 0.31; su IEEE-CIS da 0.04 a 0.62).
Confronto con Baseline Tabulari: FinFRE-RAG rende gli LLM competitivi con metodi tradizionali come Random Forest e XGBoost in diversi scenari, e in alcuni casi li supera.
Importanza della Selezione delle Feature: La selezione guidata dall'importanza (top-k) è cruciale. La selezione casuale delle feature porta a performance significativamente inferiori, specialmente su dataset ad alta dimensionalità come IEEE-CIS.
Granularità dell'Output: Chiedere all'LLM un punteggio di rischio (1-5) invece di una classificazione binaria migliora sia l'F1 che il MCC, permettendo al modello di gestire meglio l'incertezza.
Fine-tuning vs. ICL: Il fine-tuning diretto (con LoRA) non supera costantemente FinFRE-RAG. I modelli fine-tuned tendono ad avere una precisione più alta ma un richiamo (recall) più basso, suggerendo un adattamento eccessivo alla classe maggioritaria. FinFRE-RAG mantiene un profilo più bilanciato grazie all'esposizione a esempi eterogenei durante l'inferenza.
Comportamento degli LLM: I modelli con capacità di ragionamento (es. Qwen3-14B, GPT-OSS-20B) beneficiano di un numero maggiore di esempi recuperati, mentre modelli come Gemma 3 tendono a fare affidamento sulla distribuzione delle etichette nei vicini recuperati, funzionando bene solo quando i vicini sono omogenei.

5. Significato e Conclusioni

Il paper dimostra che gli LLM, sebbene non siano ancora superiori ai classificatori specializzati su dati tabulari puri, possono diventare strumenti assistivi potenti nell'analisi delle frodi grazie a:

Interpretabilità: Forniscono motivazioni testuali leggibili per le decisioni, riducendo il carico di lavoro degli analisti umani.
Adattabilità: Non richiedono un costoso ri-addestramento per ogni nuovo schema di dati o cambiamento nelle pattern di frode; si adattano dinamicamente tramite il recupero di esempi.
Riduzione del Divario: FinFRE-RAG riduce significativamente il divario di performance tra gli LLM e i metodi tradizionali, aprendo la strada all'uso di modelli generativi per compiti strutturati critici.

Limitazioni: Lo studio si basa su dataset pubblici (spesso anonimizzati o sintetici) e non include sistemi di produzione su larga scala. Inoltre, le spiegazioni generate sono euristica e non causali, richiedendo sempre una revisione umana per decisioni ad alto impatto.