📊 statistics

Challenges in the calibration of tree-based models for imbalanced classification

Cet article démontre que le calibrage analytique de modèles basés sur des arbres entraînés sur des données déséquilibrées sous-échantillonnées conduit à des estimations de prévalence peu fiables et à des biais inattendus, préconisant plutôt l'utilisation de méthodes de calibrage fondées sur l'apprentissage comme le calibrage bêta.

Auteurs originaux : Nathan Phelps, Daniel J. Lizotte, Douglas G. Woolford

Publié 2026-06-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nathan Phelps, Daniel J. Lizotte, Douglas G. Woolford

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le problème de la « recette »

Imaginez que vous êtes un chef essayant d'apprendre à préparer une soupe parfaite. Cependant, votre cuisine est incroyablement déséquilibrée : vous avez 10 000 pommes de terre mais seulement 10 carottes. Si vous essayez d'apprendre la recette en goûtant un bol qui contient 10 000 pommes de terre et 10 carottes, vous n'apprendrez jamais le goût d'une carotte. Vous penserez que la soupe est composée à 99,9 % de pommes de terre.

Pour corriger cela, vous décidez de faire un sous-échantillonnage. Vous jetez la plupart des pommes de terre pour obtenir un bol avec 50 pommes de terre et 10 carottes. Désormais, vos données d'entraînement sont équilibrées, et vous pouvez mieux apprendre la recette.

Le piège : Quand vous cuisinerez enfin la soupe pour le monde réel (où il y a réellement 10 000 pommes de terre), vos papilles seront toujours habituées au bol équilibré. Vous penserez que la soupe contient 50 % de carottes, alors qu'en réalité, elle est toujours composée à 99,9 % de pommes de terre. Vos prédictions sont « biaisées ».

L'ancienne solution : La « formule mathématique »

Pendant longtemps, les scientifiques des données ont utilisé une formule mathématique spécifique (l'Équation 1 de l'article) pour corriger cela. L'idée était simple : « Nous savons que nous avons jeté 90 % des pommes de terre. Ajoutons-les simplement à nouveau mathématiquement en multipliant notre prédiction par un nombre. »

Les auteurs de cet article disent : « Arrêtez de faire cela. »

Ils ont découvert que cette formule mathématique ne fonctionne pas bien pour les modèles basés sur les arbres (comme les forêts aléatoires/Random Forests). Au lieu de corriger la soupe, la formule rend le goût extrêmement imprévisible.

Les deux problèmes principaux découverts

1. Le problème du « bouton » (Nombre de prédicteurs)

Imaginez que votre Forêt Aléatoire soit une équipe de 500 détectives essayant de résoudre un mystère.

La règle : À chaque étape, les détectives ne peuvent regarder qu'un certain nombre d'indices (prédicteurs) pour décider de la direction à prendre.
L'expérience : Les auteurs ont tourné un « bouton d'indice ». Parfois, ils laissaient les détectives regarder seulement 2 indices. Parfois, ils les laissait regarder 15 indices.

Ce qui s'est passé :
Lorsqu'ils ont utilisé l'ancienne formule mathématique pour corriger le biais, la réponse finale changeait radicalement selon le nombre d'indices que les détectives étaient autorisés à regarder.

S'ils regardaient 2 indices, le modèle prédisait 100 incendies.
S'ils regardaient 15 indices, le modèle prédisait 140 incendies.

L'analogie : C'est comme demander à un groupe de personnes de deviner le poids d'une pastèque. Si vous leur dites de ne regarder que la couleur, ils devinent 10 livres. Si vous leur dites de regarder la couleur, la tige, le son quand on tapote et la texture, ils devinent 15 livres.
Dans un monde parfait, la formule mathématique devrait avoir corrigé ces estimations pour qu'elles arrivent toutes sur le même poids réel. Mais au lieu de cela, la formule a fait dériver les estimations. Plus les détectives utilisaient d'indices, plus l'estimation finale bondissait.

2. Le « biais surprenant » (Taux d'échantillonnage)

Habituellement, nous pensons que si vous avez trop peu d'éléments « minoritaires » (comme les 10 carottes), le modèle les ignorera et estimera un chiffre trop bas.

L'ancienne croyance : « Les arbres de décision ignorent la classe minoritaire. »
La découverte de l'article : Dans leurs expériences, les arbres de décision ont fait exactement le contraire ! Ils ont surestimé la classe minoritaire.

L'analogie : Imaginez que vous essayiez de deviner combien de billes rouges se trouvent dans un bocal de 1 000 billes (990 bleues, 10 rouges). Vous prenez un petit échantillon.

Attendu : Vous pourriez deviner « peut-être 1 ou 2 billes rouges » (sous-estimation).
Ce que les arbres ont fait : Les arbres ont regardé l'échantillon et ont dit : « Wow, les billes rouges sont partout ! Je parie qu'il y a 50 billes rouges ! »

Les auteurs ont constaté qu'en modifiant le taux d'échantillonnage (le nombre de pommes de terre jetées), la surestimation du modèle s'aggravait. La formule mathématique tentait de corriger cela, mais comme l'arbre estimait déjà trop haut, la formule rendait le résultat final encore plus chaotique.

L'exemple concret : Les feux de forêt

Les auteurs ont testé cela avec des données réelles sur les feux de forêt en Alberta, au Canada.

Les feux de forêt sont rares (comme les carottes).
Ils ont utilisé la « formule mathématique » pour corriger les modèles.
Le résultat : Selon la façon dont ils réglaient le « bouton d'indice » (nombre de prédicteurs) ou la façon dont ils échantillonnaient les données, le modèle prédisait que le nombre de futurs incendies pouvait varier de 40 %.
Pourquoi cela importe : Si une agence gouvernementale utilise ces modèles pour décider où envoyer des camions de pompiers, elle pourrait envoyer trop de camions dans une zone et aucun dans une autre, simplement parce qu'elle a modifié un paramètre dans le code informatique.

La conclusion

L'article conclut que la « formule mathématique » (calibration analytique) est un outil défectueux pour ce travail spécifique. Elle crée une situation où :

Changer un paramètre (comme le nombre d'indices) change la réponse, même si la réponse ne devrait pas changer.
Les modèles estiment parfois que la classe minoritaire est plus commune qu'elle ne l'est réellement, et la formule ne parvient pas à corriger cela.

La solution : Au lieu d'utiliser une formule mathématique rigide, les auteurs suggèrent d'utiliser des méthodes d'« apprentissage » (comme la calibration Beta). Voyez cela comme l'embauche d'un testeur de goût qui goûte réellement la soupe finale et apprend comment ajuster l'assaisonnement, plutôt que d'essayer de calculer l'ajustement avec une calculatrice.

Résumé en une phrase

Utiliser une simple formule mathématique pour corriger des données « déséquilibrées » dans les modèles basés sur les arbres ne fonctionne pas ; cela rend les prédictions extrêmement instables et peut parfois amener le modèle à surestimer des événements rares, c'est pourquoi nous avons besoin de méthodes d'apprentissage plus intelligentes pour corriger le biais à la place.

Résumé technique : Défis de la calibration des modèles basés sur les arbres pour la classification déséquilibrée

Énoncé du problème
Dans la classification binaire déséquilibrée, il est courant de sous-échantillonner la classe majoritaire pour créer un ensemble de données d'entraînement équilibré. Cependant, cette procédure biaise les probabilités prédites par le modèle car la distribution d'entraînement ne représente plus la population sous-jacente. Pour corriger cela, des méthodes de calibration analytique (spécifiquement l'Éq. 1 dérivée de Dal Pozzolo et al., 2015) ont été proposées pour mapper les prédictions des modèles sous-échantillonnés vers les véritables probabilités de la population en fonction du taux d'échantillonnage. Bien que largement appliquées à des modèles comme les Forêts Aléatoires (RF), cet article examine si cette approche analytique produit des estimations de probabilité bien calibrées lorsqu'elle est appliquée à des modèles basés sur des arbres entraînés sur des données sous-échantillonnées.

Méthodologie
Les auteurs emploient une approche multidimensionnelle pour évaluer l'efficacité de la calibration analytique :

Analyse théorique : L'article examine d'abord la validité mathématique de l'application de l'Éq. 1 aux Forêts Aléatoires Équilibrées (Balanced Random Forests, Chen et al., 2004). Il démontre que la dérivation de l'Éq. 1 repose sur des hypothèses concernant les probabilités d'échantillonnage qui sont violées par la procédure de bootstrapping inhérente aux Forêts Aléatoires Équilibrées.
Étude de cas empirique : En utilisant un ensemble de données réelles de feux de forêt causés par l'homme dans la région de Lac La Biche en Alberta (1996–2016), les auteurs entraînent des Forêts Aléatoires standards sur des données sous-échantillonnées. Ils font varier systématiquement deux hyperparamètres : le taux d'échantillonnage de la classe majoritaire et le nombre de prédicteurs considérés à chaque division ( $m_{try}$ ). Les modèles sont calibrés à l'aide de l'Éq. 1, et les estimations de prévalence résultantes (somme des probabilités prédites) sont comparées au nombre réel d'événements.
Étude de simulation : Pour isoler les variables et contrôler le processus de génération de données, un simulateur est développé avec 10 prédicteurs et une relation non linéaire complexe (Éq. 2). Cela permet de générer des ensembles de données avec des probabilités réelles connues. Les auteurs répètent l'étude de cas empirique sur ces ensembles de données simulés pour évaluer la cohérence des résultats.
Investigation des mécanismes :
- Effet de $m_{try}$ : Les auteurs analysent la distribution des prédictions avant et après calibration en utilisant des graphiques quantile-quantile pour comprendre comment la non-linéarité de l'Éq. 1 interagit avec l'« extrémisme » des prédictions des Forêts Aléatoires.
- Effet du taux d'échantillonnage : Les auteurs testent des arbres de décision individuels (ajustés à la pureté) sur des ensembles de données présentant différents niveaux de déséquilibre pour déterminer si les arbres eux-mêmes présentent un biais envers la classe minoritaire, ce qui expliquerait la surestimation systématique observée dans les Forêts Aléatoires.

Principales contributions
L'article apporte trois contributions majeures :

Inapplicabilité aux Forêts Aléatoires Équilibrées : Il démontre que la calibration analytique (Éq. 1) est théoriquement inappropriée pour les Forêts Aléatoires Équilibrées car le processus de bootstrapping modifie la probabilité d'inclusion des observations de la classe minoritaire ( $\mathbb{P}(S=1|Y=1) \approx 0,632$ ), violant ainsi les hypothèses requises pour la dérivation de l'équation.
Sensibilité des hyperparamètres dans les Forêts Aléatoires standards : Il révèle que, pour les Forêts Aléatoires standards entraînées sur des données sous-échantillonnées, la calibration analytique conduit à des estimations de prévalence qui ne sont pas invariantes aux choix d'hyperparamètres. Plus précisément, la prévalence estimée augmente systématiquement avec à la fois le nombre de prédicteurs considérés à chaque division et le taux d'échantillonnage utilisé.
Découverte d'un biais de la classe minoritaire dans les arbres de décision : Contredisant la littérature dominante qui suggère que les arbres de décision sont biaisés vers la classe majoritaire (ignorant ou sous-estimant la minorité), les auteurs fournissent des preuves que les arbres de décision peuvent être biaisés vers la classe minoritaire (surestimant les probabilités) lorsqu'ils sont entraînés sur des données déséquilibrées. Ce biais persiste même après la calibration analytique, entraînant une surprédiction systématique.

Résultats

Prédiction des feux de forêt : Dans l'application au monde réel, le nombre prédit de feux de forêt variait de plus de 40 % selon le choix des hyperparamètres, malgré la calibration des modèles. Les estimations présentaient des corrélations positives claires avec à la fois le taux d'échantillonnage et le nombre de prédicteurs considérés à chaque division.
Simulation : L'étude de simulation a confirmé les résultats du monde réel, montrant que les estimations de prévalence augmentaient avec le taux d'échantillonnage et le nombre de prédicteurs. Dans de nombreux cas, les modèles calibrés surestimaient systématiquement la prévalence réelle jusqu'à 20 %.
Mécanisme de $m_{try}$ : L'analyse a montré que les Forêts Aléatoires produisent des prédictions plus extrêmes (plus proches de 0 ou 1) lorsque davantage de prédicteurs sont considérés à chaque division. Bien que les distributions pré-calibration soient similaires, la nature non linéaire de l'Éq. 1 a amplifié ces différences post-calibration, faisant en sorte que le modèle avec un $m_{try}$ plus élevé produise des estimations de prévalence nettement plus élevées.
Mécanisme du taux d'échantillonnage : L'investigation des arbres de décision individuels a révélé qu'à mesure que le déséquilibre des classes augmentait, le ratio entre la probabilité prédite et la probabilité réelle augmentait (dépassant 1,0), indiquant un biais de surprédiction vers la classe minoritaire. Ce biais n'a pas été éliminé par la calibration analytique.

Signification et affirmations
Les auteurs concluent que la calibration analytique est inappropriée pour calibrer les modèles basés sur les arbres entraînés sur des données sous-échantillonnées. La méthode ne parvient pas à produire des estimations de probabilité bien calibrées car la prévalence résultante dépend de choix d'hyperparamètres arbitraires et de biais inhérents à la structure des arbres que la formule analytique ne peut corriger.

L'article soutient que, puisque de bonnes estimations de prévalence sont une condition nécessaire à une bonne calibration, l'incapacité à produire des estimations de prévalence stables indique un défaut fondamental de l'approche. Par conséquent, les auteurs suggèrent que les modèles basés sur les arbres entraînés sur des données sous-échantillonnées devraient utiliser des méthodes de calibration capables d'apprendre le motif de décalibration à partir des données, telles que la calibration bêta ou une version modifiée de la mise à l'échelle de Platt, plutôt que de compter sur des corrections analytiques.

La conclusion selon laquelle les arbres de décision peuvent être biaisés en faveur de la classe minoritaire est présentée comme un contrepoint significatif à la littérature existante, suggérant que les praticiens ne devraient pas automatiquement supposer que les arbres de décision négligeront la classe minoritaire dans des contextes déséquilibrés. Cependant, les auteurs restent modestes, notant que ce biais n'a pas été observé de manière constante dans toutes les configurations (par exemple, dans certaines variations d'implémentation R) et que des travaux supplémentaires sont nécessaires pour comprendre pleinement les conditions sous lesquelles ce biais se produit.