Riepilogo Tecnico: V4FinBench

Enunciato del Problema

La previsione del fallimento aziendale è un compito finanziario ad alto rischio, caratterizzato da uno squilibrio di classe severo e dalla necessità di previsioni multi-orizzontali. Nonostante la sua importanza pratica per investitori, creditori e regolatori, le risorse pubbliche per lo studio di questo problema rimangono scarse. I benchmark gratuiti ampiamente utilizzati (ad esempio, i dataset del mercato azionario polacco, taiwanese e americano dell'UCI) contengono tipicamente tra 6.000 e 80.000 osservazioni azienda-anno, insufficienti per un fine-tuning significativo dei moderni modelli fondazionali. Esistono risorse più grandi e ricche, ma sono dietro paywall in abbonamento, limitando la riproducibilità e la valutazione di metodi che richiedono dati sostanziali per l'adattamento. Inoltre, i dataset pubblici esistenti spesso mancano di etichette multi-orizzontali o di definizioni coerenti di difficoltà finanziaria, rendendo difficile valutare comportamenti dipendenti dall'orizzonte o confrontare metodi in condizioni finanziarie realistiche.

Metodologia e Costruzione del Benchmark

Per colmare queste lacune, gli autori introducono V4FinBench, un benchmark pubblico composto da 1.106.879 osservazioni azienda-anno provenienti dalle economie del Gruppo di Visegrád (V4) (Repubblica Ceca, Ungheria, Polonia e Slovacchia) che coprono il periodo 2006–2021.

Dati e Caratteristiche

• Fonte: I dati sono estratti dal servizio EMIS, coprendo 203.900 aziende uniche.
• Caratteristiche: Ogni osservazione è descritta da 131 caratteristiche, inclusi metadati aziendali, indici finanziari, misure di crescita, misure di dimensione e indicatori relativi al settore.
• Definizione di Difficoltà Finanziaria: A differenza di studi precedenti basati su depositi formali di fallimento legale, V4FinBench utilizza un criterio composito di difficoltà finanziaria. Un'azienda viene etichettata come in difficoltà solo nell'ultimo anno di rendicontazione se soddisfa simultaneamente tre condizioni:
  1. Solvibilità: Patrimonio netto su totale attivo negativo ($< 0$).
  2. Redditività: EBITDA su totale attivo negativo ($< 0$).
  3. Liquidità: Rapporto corrente inferiore a 0,6 ($< 0,6$).
• Compiti Multi-Orizzontali: Il benchmark definisce sei compiti di previsione binaria corrispondenti agli orizzonti $h \in \{0, 1, \dots, 5\}$ anni avanti. Per ogni orizzonte, gli ultimi $h$ anni di dati per le aziende in difficoltà vengono rimossi e l'osservazione risultante viene etichettata come positiva.
• Squilibrio: I compiti risultanti presentano uno squilibrio di classe severo, con tassi positivi che variano dallo 0,19% allo 0,36%.

Protocollo di Valutazione

Gli autori definiscono un protocollo di valutazione fisso e riproducibile:

• Folding: Validazione incrociata stratificata a 5 fold con raggruppamento a livello di azienda all'interno dei paesi per prevenire la fuoriuscita di dati.
• Preprocessing: I valori mancanti sono imputati utilizzando le mediane del set di addestramento; le caratteristiche sono standardizzate utilizzando le statistiche del set di addestramento.
• Metriche: Data la sproporzione, F1-score e ROC-AUC sono le metriche principali. Le soglie decisionali sono calibrate sul fold di validazione massimizzando il F1 sulla curva precisione-richiamo.

Metodi Valutati

Il documento valuta tre famiglie di metodi:

1. Baseline Classiche per Tabelle: Regressione Logistica (LR), Perceptron Multistrato (MLP), Random Forest, XGBoost, CatBoost e LightGBM.
2. Modello Fondazionale per Tabelle (TabPFN): Un apprendista in contesto pre-addestrato, fine-tunato con costruzione del contesto consapevole dello squilibrio. Gli autori confrontano tre strategie per la costruzione del contesto di 10.000 campioni:
   • Nessun ricampionamento: Campionamento uniforme (lascia la classe di minoranza debolmente rappresentata).
   • Sottocampionamento casuale: Sottocampionamento casuale della classe di maggioranza fino a un rapporto di 0,3.
   • Sottocampionamento prototipale: Selezione di rappresentanti della maggioranza tramite clustering K-means per preservare la struttura della popolazione non in difficoltà.
3. Modello Linguistico di Grande Formato (LLM): Llama-3-8B fine-tunato tramite QLoRA su registri finanziari serializzati formattati come conversazioni in stile istruzione.

Risultati Chiave

1. TabPFN vs. Baseline Classiche

• La Costruzione del Contesto Conta: Il sottocampionamento prototipale ha prodotto i migliori risultati per TabPFN, superando il sottocampionamento casuale e l'assenza di ricampionamento. Ciò indica che preservare la diversità strutturale della classe di maggioranza è cruciale oltre al semplice aumento dell'esposizione alla minoranza.
• Prestazioni: Con il sottocampionamento prototipale, TabPFN ha eguagliato o superato gli alberi gradient-boosted (le baseline classiche più forti) su ROC-AUC a ogni orizzonte. Sul F1-score, TabPFN ha eguagliato il gradient boosting all'orizzonte immediato ($h=0$) e lo ha superato da $h=2$ in poi.

2. Prestazioni dell'LLM (Llama-3-8B)

• Confronto: Llama-3-8B fine-tunato con QLoRA ha mostrato prestazioni inferiori rispetto agli alberi gradient-boosted (in particolare XGBoost) su ROC-AUC a ogni orizzonte ed è stato generalmente più debole sul F1-score.
• Dipendenza dall'Orizzonte: L'LLM ha ottenuto le migliori prestazioni all'orizzonte immediato, ma la sua capacità di ordinamento è diminuita drasticamente oltre $h=0$, rimanendo vicina al caso a orizzonti più lunghi. Il divario tra l'LLM e XGBoost si è ampliato significativamente all'aumentare dell'orizzonte di previsione.

3. Trasferimento Cross-Dataset

• Validazione Esterna: Gli autori hanno valutato un checkpoint di TabPFN fine-tunato su V4FinBench sul Dataset di Fallimenti Americano (una diversa economia, periodo e insieme di caratteristiche).
• Risultato: Il modello fine-tunato ha migliorato il TabPFN vanilla (pre-addestrato) sia su ROC-AUC (da 0,818 a 0,842) che su F1-score (da 0,372 a 0,409). Ciò suggerisce che l'adattamento ha catturato una struttura trasferibile di difficoltà finanziaria piuttosto che semplicemente adattarsi eccessivamente a pattern specifici di V4.

Significato e Contributi

Il documento apporta tre contributi principali:

1. Dataset V4FinBench: Un benchmark pubblico su larga scala per la difficoltà aziendale, progettato specificamente per supportare il fine-tuning dei modelli fondazionali. Copre 1,1 milioni di osservazioni in quattro paesi, sei orizzonti di previsione e un criterio di difficoltà composito, affrontando la scarsità di dataset finanziari grandi e liberamente accessibili.
2. Protocollo di Valutazione Riproducibile: Un framework standardizzato per confrontare metodi classici per tabelle, modelli fondazionali per tabelle e approcci basati su LLM in condizioni realistiche di squilibrio di classe e previsioni multi-orizzontali.
3. Risultati Empirici:
   • Dimostra che la costruzione del contesto consapevole dello squilibrio (in particolare il sottocampionamento prototipale) è fondamentale per adattare i modelli fondazionali per tabelle a dati finanziari fortemente sbilanciati, permettendo loro di competere o superare le solide baseline gradient-boosted.
   • Mostra che, in questa configurazione di previsione strutturata, il fine-tuning di LLM su registri serializzati non è ancora competitivo con solide baseline per tabelle, in particolare per orizzonti di previsione più lunghi.
   • Fornisce prove preliminari che benchmark come V4FinBench possono supportare adattamenti che si trasferiscono a distribuzioni esterne, catturando strutture finanziarie riutilizzabili.

Gli autori sottolineano che V4FinBench è destinato al benchmarking e alla ricerca, non al processo decisionale automatizzato diretto. Notano limitazioni riguardanti la portata geografica (Europa Centrale) e l'uso di etichette composite di difficoltà finanziaria anziché depositi formali di fallimento legale, esortando alla cautela nell'implementazione senza ulteriori validazioni e analisi di equità.