🤖 machine learning

V4FinBench: Benchmarking Tabular Foundation Models, LLMs, and Standard Methods on Corporate Bankruptcy Prediction

Cet article présente V4FinBench, une référence à grande échelle comprenant plus d'un million d'enregistrements entreprise-année issus des économies du Groupe de Visegrád, conçue pour évaluer les méthodes de prédiction des faillites d'entreprises, révélant que le TabPFN affiné et conscient du déséquilibre surpasse le gradient boosting standard et les LLM tels que Llama-3-8B dans la gestion du déséquilibre de classes sévère et de la prévision multi-horizon.

Auteurs originaux : Marcin Kostrzewa, Sebastian Tomczak, Roman Furman, Anna Poberezhna, Michał Furgała, Oleksii Furman, Maciej Zięba

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Marcin Kostrzewa, Sebastian Tomczak, Roman Furman, Anna Poberezhna, Michał Furgała, Oleksii Furman, Maciej Zięba

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective financier cherchant à repérer une entreprise sur le point de faire faillite. Le problème est que les faillites sont comme chercher une aiguille dans une botte de foin : elles sont incroyablement rares, et la « botte de foin » (les données sur les entreprises saines) est massive.

Pendant longtemps, les détectives n'avaient que de petites vieilles bottes de foin pour s'entraîner. Cet article présente une nouvelle botte de foin massive et toute neuve appelée V4FinBench.

Voici un résumé simple de ce que les chercheurs ont fait, en utilisant des analogies du quotidien :

1. Le nouveau « terrain d'entraînement » (L'ensemble de données)

Auparavant, les chercheurs tentant de prédire les défaillances d'entreprises devaient travailler avec de petits ensembles de données ne contenant que quelques milliers d'enregistrements. C'était comme essayer d'apprendre à jouer à un jeu vidéo complexe sur un tout petit écran de faible résolution.

La mise à niveau : Les auteurs ont construit V4FinBench, un ensemble de données massif contenant plus de 1,1 million d'enregistrements d'entreprises de quatre pays d'Europe centrale (Pologne, Hongrie, République tchèque et Slovaquie) sur une période de 15 ans.
Les détails : Ils ne se sont pas contentés de regarder une seule année ; ils ont examiné la performance des entreprises depuis « l'instant présent » jusqu'à « cinq ans dans le futur ».
L'étiquette : Ils ont créé un « test de détresse » strict. Une entreprise n'est marquée comme « en difficulté » que si elle échoue simultanément sur trois fronts : elle doit plus qu'elle ne possède (solvabilité), elle perd de l'argent (rentabilité) et elle ne peut pas payer ses factures immédiates (liquidité). Cela garantit qu'ils ne signalent pas les entreprises qui traversent simplement un mauvais mois.

2. Les concurrents (Les modèles)

Les chercheurs ont soumis trois types différents de « détectives » à l'épreuve pour voir qui repérait le mieux les fauteurs de troubles :

Les Pros de l'ancienne école (Gradient Boosting) : Ce sont des modèles statistiques traditionnels et finement réglés (comme XGBoost). Imaginez-les comme des détectives vétérans ayant résolu des milliers d'affaires et sachant exactement quelles indices rechercher.
Le nouveau « TabPFN » (Le modèle de fondation tabulaire) : Il s'agit d'un type d'IA plus récent conçu spécifiquement pour les feuilles de calcul. Imaginez un détective qui a lu tous les manuels de finance jamais écrits et qui peut apprendre de nouvelles affaires instantanément en examinant quelques exemples. Cependant, comme les faillites sont si rares, ce détective est souvent confus car il voit rarement une entreprise « malade » dans ses données d'entraînement.
Le « Llama-3 » (Le modèle de langage de grande taille) : C'est une IA géante généralement utilisée pour écrire des histoires ou répondre à des questions. Les chercheurs ont tenté de lui apprendre à lire des feuilles de calcul financières en transformant des lignes de chiffres en format narratif. Imaginez demander à un brillant professeur de littérature de diagnostiquer la maladie d'un patient simplement en lisant son dossier médical comme un roman.

3. Les résultats : Qui a gagné ?

Les Pros vétérans contre le nouveau TabPFN :

Le problème : Comme les faillites sont si rares (moins de 1 % des données), le détective « TabPFN » était initialement submergé par la mer d'entreprises saines. C'était comme essayer de trouver un marbre rouge dans un seau contenant un million de marbles bleus ; le détective voyait surtout du bleu.
La solution : Les chercheurs ont utilisé une astuce ingénieuse appelée « sous-échantillonnage par prototypes ». Au lieu de montrer à l'IA toutes les entreprises saines, ils lui ont présenté un échantillon soigneusement sélectionné et représentatif. C'est comme montrer au détective un album « best of » d'entreprises saines afin qu'il puisse apprendre à quoi ressemble la « normale » sans se lasser du volume pur.
Le résultat : Grâce à cette astuce, le détective TabPFN est devenu aussi bon, voire meilleur, que les pros vétérans pour repérer les ennuis 2 à 5 ans à l'avance.

Le professeur de littérature (Llama-3) contre les Pros vétérans :

Le résultat : Le modèle Llama-3 a considérablement peiné. Même après avoir appris à lire la « histoire » financière, il n'a pas pu égaler les pros vétérans. Il était particulièrement mauvais pour prédire les ennuis plus d'un an à l'avance.
La leçon : Transformer une feuille de calcul en histoire n'a pas aidé cette IA spécifique. Pour les données financières structurées, les « pros vétérans » et le « TabPFN » spécialisé restent les meilleurs détectives.

4. Le test de « transfert »

Pour vérifier si le détective TabPFN avait réellement appris des règles universelles de finance ou simplement mémorisé les particularités spécifiques des entreprises européennes, les chercheurs l'ont testé sur un ensemble de données complètement différent provenant des États-Unis.

Le résultat : Le modèle TabPFN, entraîné sur les données européennes, a obtenu de meilleurs résultats sur les données américaines qu'une version standard non entraînée de lui-même. Cela suggère qu'il a appris des principes généraux de la détresse financière, et non seulement des modèles locaux.

Résumé

L'article dit essentiellement :

Nous avons construit un terrain d'entraînement gigantesque et réaliste pour prédire les faillites d'entreprises.
Les nouveaux modèles d'IA (TabPFN) peuvent surpasser les méthodes anciennes si vous leur apprenez à gérer le fait que les faillites sont rares.
L'IA à usage général (Llama-3) n'est pas encore prête à remplacer les outils spécialisés pour ce travail spécifique.
Les compétences acquises sur ces données semblent se transférer à d'autres pays, suggérant que le modèle a appris une véritable logique financière.

Note importante : Les auteurs soulignent qu'il s'agit d'une référence de recherche. C'est un outil pour que les scientifiques testent et améliorent leurs méthodes, et non un outil pour que les banques prennent des décisions de prêt immédiates sans surveillance humaine.

Résumé technique : V4FinBench

Énoncé du problème

La prédiction des faillites d'entreprises est une tâche financière à haut risque, caractérisée par un déséquilibre de classes sévère et la nécessité de prévisions multi-horizons. Malgré son importance pratique pour les investisseurs, les créanciers et les régulateurs, les ressources publiques pour l'étude de ce problème restent rares. Les benchmarks gratuits largement utilisés (par exemple, les jeux de données boursiers polonais, taïwanais et américains de l'UCI) contiennent généralement entre 6 000 et 80 000 observations entreprise-année, ce qui est insuffisant pour un ajustement fin significatif des modèles de base modernes. Des ressources plus vastes et plus riches existent, mais elles sont derrière des paywalls d'abonnement, limitant la reproductibilité et l'évaluation des méthodes nécessitant des données substantielles pour l'adaptation. De plus, les jeux de données publics existants manquent souvent d'étiquettes multi-horizons ou de définitions cohérentes de la détresse, rendant difficile l'évaluation des comportements dépendants de l'horizon ou la comparaison des méthodes dans des conditions financières réalistes.

Méthodologie et construction du benchmark

Pour combler ces lacunes, les auteurs présentent V4FinBench, un benchmark public comprenant 1 106 879 observations entreprise-année provenant des économies du Groupe de Visegrád (V4) (République tchèque, Hongrie, Pologne et Slovaquie) couvrant la période 2006–2021.

Données et caractéristiques

Source : Les données sont extraites du service EMIS, couvrant 203 900 entreprises uniques.
Caractéristiques : Chaque observation est décrite par 131 caractéristiques, incluant les métadonnées de l'entreprise, les ratios financiers, les mesures de croissance, les mesures de taille et les indicateurs relatifs au secteur.
Définition de la détresse : Contrairement aux études antérieures s'appuyant sur des déclarations de faillite légales formelles, V4FinBench utilise un critère composite de détresse financière. Une entreprise est étiquetée comme en détresse lors de sa dernière année de reporting uniquement si elle satisfait simultanément trois conditions :
1. Solvabilité : Fonds propres négatifs par rapport au total des actifs ( $< 0$ ).
2. Rentabilité : EBITDA négatif par rapport au total des actifs ( $< 0$ ).
3. Liquidité : Ratio de liquidité courant inférieur à 0,6 ( $< 0,6$ ).
Tâches multi-horizons : Le benchmark définit six tâches de prédiction binaire correspondant aux horizons $h \in \{0, 1, \dots, 5\}$ années à l'avance. Pour chaque horizon, les $h$ dernières années de données pour les entreprises en détresse sont supprimées, et l'observation résultante est étiquetée positive.
Déséquilibre : Les tâches résultantes présentent un déséquilibre de classes sévère, avec des taux positifs allant de 0,19 % à 0,36 %.

Protocole d'évaluation

Les auteurs définissent un protocole d'évaluation fixe et reproductible :

Plis : Validation croisée stratifiée en 5 plis avec regroupement au niveau de l'entreprise au sein des pays pour prévenir les fuites de données.
Prétraitement : Les valeurs manquantes sont imputées à l'aide des médianes de l'ensemble d'entraînement ; les caractéristiques sont standardisées à l'aide des statistiques de l'ensemble d'entraînement.
Métriques : Compte tenu du déséquilibre, le score F1 et le ROC-AUC sont les métriques principales. Les seuils de décision sont calibrés sur le pli de validation en maximisant le F1 sur la courbe de précision-rappel.

Méthodes évaluées

L'article évalue trois familles de méthodes :

Baselines tabulaires classiques : Régression logistique (LR), Perceptron multicouche (MLP), Forêt aléatoire, XGBoost, CatBoost et LightGBM.
Modèle de base tabulaire (TabPFN) : Un apprenant en contexte pré-entraîné, affiné avec une construction de contexte consciente du déséquilibre. Les auteurs comparent trois stratégies pour la construction du contexte de 10 000 échantillons :
- Aucun rééchantillonnage : Échantillonnage uniforme (laisse la classe minoritaire faiblement représentée).
- Sous-échantillonnage aléatoire : Sous-échantillonnage aléatoire de la classe majoritaire jusqu'à un ratio de 0,3.
- Sous-échantillonnage par prototypes : Sélection de représentants majoritaires via un clustering K-means pour préserver la structure de la population non en détresse.
Grand modèle de langage (LLM) : Llama-3-8B affiné via QLoRA sur des enregistrements financiers sérialisés formatés comme des conversations de type instruction.

Résultats clés

1. TabPFN vs. Baselines classiques

L'importance de la construction du contexte : Le sous-échantillonnage par prototypes a produit les meilleurs résultats pour TabPFN, surpassant le sous-échantillonnage aléatoire et l'absence de rééchantillonnage. Cela indique que la préservation de la diversité structurelle de la classe majoritaire est cruciale au-delà du simple accroissement de l'exposition à la minorité.
Performance : Avec le sous-échantillonnage par prototypes, TabPFN a égalé ou dépassé les arbres de gradient (les baselines classiques les plus fortes) sur le ROC-AUC à chaque horizon. Sur le score F1, TabPFN a égalé le boosting de gradient à l'horizon immédiat ( $h=0$ ) et l'a dépassé à partir de $h=2$ .

2. Performance du LLM (Llama-3-8B)

Comparaison : Le Llama-3-8B affiné par QLoRA a été inférieur aux arbres de gradient (spécifiquement XGBoost) sur le ROC-AUC à chaque horizon et généralement plus faible sur le score F1.
Dépendance à l'horizon : Le LLM a performé le mieux à l'horizon immédiat, mais sa capacité de classement a chuté brusquement au-delà de $h=0$ , restant proche du hasard aux horizons plus longs. L'écart entre le LLM et XGBoost s'est considérablement élargi à mesure que l'horizon de prédiction augmentait.

3. Transfert inter-jeux de données

Validation externe : Les auteurs ont évalué un point de contrôle TabPFN affiné sur V4FinBench sur le American Bankruptcy Dataset (une économie, une période et un ensemble de caractéristiques différents).
Résultat : Le modèle affiné a amélioré le TabPFN vanilla (pré-entraîné) à la fois sur le ROC-AUC (0,818 $\to$ 0,842) et le score F1 (0,372 $\to$ 0,409). Cela suggère que l'adaptation a capturé une structure de détresse financière transférable plutôt que de simplement surajuster aux motifs spécifiques au V4.

Importance et contributions

L'article apporte trois contributions principales :

Jeu de données V4FinBench : Un benchmark public à grande échelle de détresse d'entreprises conçu spécifiquement pour soutenir l'ajustement fin des modèles de base. Il couvre 1,1 million d'observations sur quatre pays, six horizons de prédiction et un critère composite de détresse, répondant à la rareté des jeux de données financiers vastes et librement accessibles.
Protocole d'évaluation reproductible : Un cadre standardisé pour comparer les méthodes tabulaires classiques, les modèles de base tabulaires et les approches basées sur les LLM dans des conditions réalistes de déséquilibre de classes et de prévisions multi-horizons.
Insights empiriques :
- Démontre que la construction de contexte consciente du déséquilibre (spécifiquement le sous-échantillonnage par prototypes) est cruciale pour adapter les modèles de base tabulaires à des données financières sévèrement déséquilibrées, leur permettant de rivaliser avec ou de dépasser de solides baselines de gradient.
- Montre que, dans cette configuration de prédiction structurée, l'ajustement fin de LLM sur des enregistrements sérialisés n'est pas encore compétitif avec de solides baselines tabulaires, en particulier pour les horizons de prédiction plus longs.
- Fournit des preuves préliminaires que des benchmarks comme V4FinBench peuvent soutenir une adaptation qui se transfère à des distributions externes, capturant des structures financières réutilisables.

Les auteurs soulignent que V4FinBench est destiné au benchmarking et à la recherche, et non à la prise de décision automatisée directe. Ils notent des limitations concernant la portée géographique (Europe centrale) et l'utilisation d'étiquettes composites de détresse financière plutôt que de déclarations de faillite légales formelles, appelant à la prudence dans le déploiement sans validation et analyse d'équité supplémentaires.