Technische Samenvatting: V4FinBench

Probleemstelling

Het voorspellen van faillissementen van bedrijven is een financieel kritieke taak die wordt gekenmerkt door een ernstige class-imbalance en de noodzaak van voorspellingen op meerdere horizonten. Ondanks de praktische relevantie voor beleggers, crediteuren en toezichthouders, blijven publieke bronnen voor het bestuderen van dit probleem schaars. Veelgebruikte gratis benchmarks (bijvoorbeeld de Poolse, Taiwanese en Amerikaanse beursdatasets van UCI) bevatten doorgaans tussen de 6.000 en 80.000 waarnemingen per bedrijf-per jaar, wat ontoereikend is voor zinvolle fine-tuning van moderne foundation-modellen. Grotere, rijker bronnen bestaan wel, maar bevinden zich achter betaalmuren, wat de reproduceerbaarheid beperkt en de evaluatie van methoden die aanzienlijke hoeveelheden data vereisen voor adaptatie bemoeilijkt. Bovendien ontbreken in bestaande publieke datasets vaak labels voor meerdere horizonten of consistente definities van financiële nood, waardoor het moeilijk is om horizon-afhankelijk gedrag te evalueren of methoden te vergelijken onder realistische financiële omstandigheden.

Methodologie en Opbouw van de Benchmark

Om deze hiaten aan te pakken, introduceren de auteurs V4FinBench, een publieke benchmark bestaande uit 1.106.879 waarnemingen per bedrijf-per jaar uit de economieën van de Visegrád-groep (V4) (Tsjechië, Hongarije, Polen en Slowakije), gedurende de periode 2006–2021.

Data en Kenmerken

• Bron: De data is ontleend aan de EMIS-service en omvat 203.900 unieke bedrijven.
• Kenmerken: Elke waarneming wordt beschreven door 131 kenmerken, waaronder bedrijfsmetadata, financiële ratios, groeimaatstaven, omvangsmaten en sectorrelatieve indicatoren.
• Definitie van Nood: In tegenstelling tot eerdere studies die vertrouwen op formele juridische faillissementsaangiftes, hanteert V4FinBench een samengesteld criterium voor financiële nood. Een bedrijf wordt alleen in zijn laatste rapportagejaar als in nood gelabeld als het gelijktijdig aan drie voorwaarden voldoet:
  1. Solvabiliteit: Negatief eigen vermogen ten opzichte van het totaal aan activa ($< 0$).
  2. Winstgevendheid: Negatieve EBITDA ten opzichte van het totaal aan activa ($< 0$).
  3. Liquiditeit: Stroomverhouding onder de 0,6 ($< 0,6$).
• Taken op Meerdere Horizonten: De benchmark definieert zes binaire voorspellingstaken die corresponderen met horizonten $h \in \{0, 1, \dots, 5\}$ jaar vooruit. Voor elke horizon worden de laatste $h$ jaren aan data voor bedrijven in nood verwijderd, en wordt de resulterende waarneming positief gelabeld.
• Imbalans: De resulterende taken vertonen een ernstige class-imbalance, met positieve percentages variërend van 0,19% tot 0,36%.

Evaluatieprotocol

De auteurs definiëren een vast, reproduceerbaar evaluatieprotocol:

• Indeling: Stratificatie met 5-voudige cross-validatie met groepering op bedrijfsniveau binnen landen om datalekken te voorkomen.
• Preprocessing: Ontbrekende waarden worden geïmputeerd met de mediaan van de trainingsset; kenmerken worden gestandaardiseerd met statistieken uit de trainingsset.
• Maten: Gezien de imbalans zijn F1-score en ROC-AUC de primaire maten. Beslissingsdrempels worden gekalibreerd op de validatie-fold door de F1-score op de precisie-recall-curve te maximaliseren.

Geëvalueerde Methoden

Het artikel evalueert drie families van methoden:

1. Klassieke Baselines voor Tabulaire Data: Logistische regressie (LR), Multilayer Perceptron (MLP), Random Forest, XGBoost, CatBoost en LightGBM.
2. Foundation Model voor Tabulaire Data (TabPFN): Een voorgetrainde in-context learner die wordt gefine-tuned met contextopbouw bewust van imbalans. De auteurs vergelijken drie strategieën voor het construeren van de context van 10.000 steekproeven:
   • Geen resampling: Uniforme steekproef (laat de minderheidsklasse zwak vertegenwoordigd).
   • Willekeurige undersampling: Willekeurig subsampling van de meerderheidsklasse tot een ratio van 0,3.
   • Prototype undersampling: Selectie van vertegenwoordigers van de meerderheid via K-means clustering om de structuur van de niet-in-nood populatie te behouden.
3. Groot Taalmodel (LLM): Llama-3-8B gefine-tuned via QLoRA op geserialiseerde financiële records geformatteerd als instructie-gebaseerde gesprekken.

Belangrijkste Resultaten

1. TabPFN versus Klassieke Baselines

• Contextopbouw is cruciaal: Prototype undersampling leverde de beste resultaten op voor TabPFN, en presteerde beter dan willekeurige undersampling en geen resampling. Dit geeft aan dat het behoud van de structurele diversiteit van de meerderheidsklasse cruciaal is, verder dan het simpelweg vergroten van de blootstelling aan de minderheidsklasse.
• Prestaties: Met prototype undersampling kwam TabPFN overeen met of overtrof gradient-boosted trees (de sterkste klassieke baselines) op ROC-AUC bij elke horizon. Op F1-score kwam TabPFN overeen met gradient boosting bij de directe horizon ($h=0$) en overtrof het dit vanaf $h=2$.

2. Prestaties van het LLM (Llama-3-8B)

• Vergelijking: De met QLoRA gefine-tuned Llama-3-8B bleef achter bij gradient-boosted trees (specifiek XGBoost) op ROC-AUC bij elke horizon en was over het algemeen zwakker op F1-score.
• Horizon-afhankelijkheid: Het LLM presteerde het beste bij de directe horizon, maar zijn rangschikkingsvermogen nam scherp af na $h=0$ en bleef dicht bij het toeval bij langere horizonten. De kloof tussen het LLM en XGBoost vergrootte aanzienlijk naarmate de voorspellinghorizon toenam.

3. Transfer tussen Datasets

• Externe Validatie: De auteurs evalueerden een op V4FinBench gefine-tuned TabPFN-checkpoint op de American Bankruptcy Dataset (een andere economie, periode en kenmerkenset).
• Resultaat: Het gefine-tuned model verbeterde de vanilla (voorgetrainde) TabPFN op zowel ROC-AUC (0,818 $\to$ 0,842) als F1-score (0,372 $\to$ 0,409). Dit suggereert dat de adaptatie een overdraagbare structuur van financiële nood heeft vastgelegd, en niet louter overfitte op V4-specifieke patronen.

Betekenis en Bijdragen

Het artikel levert drie primaire bijdragen:

1. V4FinBench Dataset: Een grootschalige, publieke benchmark voor bedrijfsondergang, specifiek ontworpen om fine-tuning van foundation-modellen te ondersteunen. Deze omvat 1,1 miljoen waarnemingen over vier landen, zes voorspellinghorizonten en een samengesteld criterium voor nood, en adresseert zo de schaarste aan grote, gratis toegankelijke financiële datasets.
2. Reproduceerbaar Evaluatieprotocol: Een gestandaardiseerd raamwerk voor het vergelijken van klassieke tabulaire methoden, foundation-modellen voor tabulaire data en LLM-gebaseerde benaderingen onder realistische omstandigheden van class-imbalance en voorspelling op meerdere horizonten.
3. Empirische Inzichten:
   • Demonstreert dat contextopbouw bewust van imbalans (specifiek prototype undersampling) cruciaal is voor het aanpassen van foundation-modellen voor tabulaire data aan ernstig onbalans financiële data, waardoor ze kunnen concurreren met of sterkere gradient-boosted baselines kunnen overtreffen.
   • Toont aan dat, in deze gestructureerde voorspellingopzet, fine-tuning van LLM's op geserialiseerde records nog niet concurrerend is met sterke tabulaire baselines, met name voor langere voorspellinghorizonten.
   • Biedt voorlopig bewijs dat benchmarks zoals V4FinBench adaptatie kunnen ondersteunen die overdraagbaar is naar externe distributies, en herbruikbare financiële structuren vastlegt.

De auteurs benadrukken dat V4FinBench bedoeld is voor benchmarking en onderzoek, en niet voor directe geautomatiseerde besluitvorming. Zij wijzen op beperkingen wat betreft geografische reikwijdte (Centraal-Europa) en het gebruik van samengestelde labels voor financiële nood in plaats van formele juridische faillissementsaangiftes, en dringen aan op voorzichtigheid bij implementatie zonder aanvullende validatie en analyse van eerlijkheid.