A Unified Framework for Modeling Heterogeneous Financial Data via Dual-Granularity Prompting

1. Il Problema

Il settore del credito industriale si basa ancora pesantemente su metodi statistici di apprendimento manuale (come XGBoost), che richiedono un'ingegneria delle caratteristiche (feature engineering) estensiva e costosa. Sebbene i modelli di deep learning abbiano mostrato potenziale, faticano a superare i modelli statistici tradizionali in scenari reali a causa di due sfide principali:

• Eterogeneità dei dati: I dati finanziari provengono da fonti multiple e disparate (report di credito, cronologie transazionali, comportamenti di utilizzo), caratterizzati da rumore, alta dimensionalità, sparsità e valori mancanti.
• Dinamicità temporale: La solvibilità di un utente non è statica ma evolve nel tempo. I modelli attuali tendono a fare previsioni "istantanee" (point-in-time), fallendo nel catturare l'evoluzione del rischio su diversi orizzonti temporali futuri (breve, medio e lungo termine).

2. Metodologia: FinLangNet

Per colmare questo divario, gli autori propongono FinLangNet, un framework che riformula la valutazione del credito come un problema di apprendimento sequenziale multi-scala. L'architettura è composta da due moduli complementari:

A. Modulo Non-Sequenziale (Statico)

• Obiettivo: Gestire le caratteristiche statiche dell'utente (profilo demografico, reddito, ecc.).
• Tecnica: Utilizza DeepFM (Factorization Machine + Deep Neural Network).
  • La componente FM cattura le interazioni di basso ordine (secondo ordine) tra le caratteristiche.
  • La componente DNN cattura le correlazioni non lineari di ordine superiore.
• Output: Un embedding statico che rappresenta il rischio di base dell'utente.

B. Modulo Sequenziale (SRG - Sequence Representation Generator)

• Obiettivo: Modellare i comportamenti dinamici provenienti da fonti temporali eterogenee (es. record di richieste, log di prestito).
• Preprocessing: Le caratteristiche continue vengono discretizzate in "token" per gestire la sparsità e il rumore.
• Innovazione Chiave: Il Meccanismo a Doppio Prompt (Dual-Prompt Mechanism)
  Ispirato ai prompt nei Transformer, questo meccanismo introduce due tipi di vettori apprendibili per guidare l'attenzione:
  1. Prompt a livello di caratteristica (Feature-level Prompt): Un token apprendibile prepended a ogni canale di sequenza. Serve a catturare pattern temporali fini e specifici per quella dimensione di feature.
  2. Prompt a livello di utente (User-level Prompt): Un vettore globale prepended alla sequenza aggregata di tutte le fonti. Serve a catturare il profilo di rischio olistico e le interazioni tra le diverse fonti di dati.
• Elaborazione: I dati elaborati passano attraverso un Encoder Transformer che genera una rappresentazione sequenziale completa.

C. Predizione Multi-Scala e Ottimizzazione

• Output: Il modello non predice un singolo valore binario, ma una distribuzione di probabilità su L orizzonti temporali futuri (es. rischio di insolvenza a 30, 60, 90 giorni).
• Funzione di Perdita: Viene utilizzata una Loss Ibrida Dinamicamente Pesata che combina:
  • Weighted Logarithmic Loss: Per gestire lo sbilanciamento delle classi (penalizzando di più i casi di default).
  • Dynamic Hard Example Mining: Assegna pesi dinamici ai campioni in base all'incertezza della predizione (gradiente), focalizzando l'addestramento sui casi difficili.

3. Contributi Chiave

1. Riformulazione del Problema: Passaggio dalla classificazione binaria statica alla previsione dinamica multi-scala, permettendo al modello di apprendere l'evoluzione del profilo di credito.
2. Architettura Ibrida Innovativa: Integrazione di DeepFM per dati tabellari e un modulo sequenziale con un meccanismo a doppio prompt (feature-level e user-level) per dati eterogenei.
3. Prestazioni SOTA: Risultati superiori rispetto ai metodi esistenti su benchmark pubblici (UEA) e dataset industriali.
4. Validazione Industriale: Implementazione reale in una piattaforma finanziaria su larga scala, dimostrando un impatto finanziario tangibile.

4. Risultati Sperimentali

A. Dataset Industriale (Piattaforma Finanziaria Reale)

• Dati: Oltre 7 milioni di utenti, 6 task di previsione su diversi orizzonti temporali.
• Confronto: FinLangNet supera XGBoost (baseline industriale), Transformer, Mamba, TimesNet e modelli LLM (DeepSeek, GPT-4) in modalità zero-shot.
• Metriche:
  • Miglioramento del 6.3 punti percentuali (pp) nella statistica KS (Kolmogorov-Smirnov) rispetto a XGBoost.
  • Riduzione del 9.9% del tasso di cattivi crediti (bad debt rate).
  • La fusione di FinLangNet con XGBoost ha raggiunto le migliori prestazioni complessive, ma FinLangNet da solo ha mostrato superiorità nelle previsioni a lungo termine, dove XGBoost fallisce nel catturare le dipendenze temporali.

B. Benchmark Pubblici (UEA Time Series)

• Il modulo SRG (senza il modulo statico) è stato testato su 5 dataset multivariati dell'archivio UEA (medicina, riconoscimento gestuale, ecc.).
• Ha ottenuto prestazioni competitive o state-of-the-art, superando modelli basati su Transformer (TStamp, SVP-T) e metodi basati su shapelet, dimostrando la generalizzabilità del meccanismo a doppio prompt.

C. Test A/B Online

• In un test controllato con soglia di approvazione al 60%, l'adozione del framework ha ridotto il tasso di default dal 9.1% al 8.2% (miglioramento relativo del 9.9%).
• Il modello è in grado di identificare e rifiutare candidati ad alto rischio che i modelli tradizionali (XGBoost) approverebbero erroneamente.

5. Significato e Impatto

FinLangNet rappresenta un passo avanti significativo nell'applicazione dell'Intelligenza Artificiale al rischio di credito industriale:

• Superamento dei limiti di XGBoost: Dimostra che l'apprendimento profondo può superare i metodi basati su alberi decisionali se l'architettura è progettata specificamente per gestire l'eterogeneità e la dinamicità dei dati finanziari.
• Efficienza Operativa: A differenza di altri modelli complessi che richiedono preprocessing pesante (es. estrazione di shapelet), FinLangNet è progettato per l'efficienza, consentendo inferenza in tempo reale (sub-100ms) su cluster GPU.
• Interpretabilità e Conformità: Per aggirare i vincoli normativi sui modelli "black-box", il sistema è stato implementato in un'architettura ibrida dove FinLangNet genera un "punteggio di rischio linguistico" che viene inserito come feature densa nel modello XGBoost spiegabile, combinando così le prestazioni del deep learning con la governabilità richiesta dal settore finanziario.

In sintesi, FinLangNet valida la fattibilità di combinare innovazione accademica (prompt learning su dati finanziari) e praticità industriale per gestire sistemi di credito su larga scala con milioni di transazioni giornaliere.