🤖 machine learning

The Hidden Cost of Resampling: How Imbalance Correction Degrades Probability Calibration in Tree Ensembles

Cet article démontre que si le SMOTE dégrade légèrement le calibrage de probabilité dans les ensembles d'arbres, le sous-échantillonnage aléatoire provoque de graves erreurs de calibrage lors de ratios de déséquilibre élevés, mais que ces deux problèmes peuvent être résolus efficacement par un recalibrage post-hoc sans sacrifier de manière significative la performance de classement.

Auteurs originaux : Zewen Liu

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zewen Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le « coût caché » de la correction du déséquilibre

Imaginez que vous êtes un enseignant essayant de noter une classe où 99 % des élèves sont excellents (la « Majorité ») et seulement 1 % sont en difficulté (la « Minorité »). Si vous regardez simplement la moyenne des notes, la classe semble parfaite. Mais si vous voulez aider les élèves en difficulté, vous devez leur accorder une attention particulière.

En apprentissage automatique (machine learning), c'est ce qu'on appelle le déséquilibre des classes (class imbalance). Pour corriger cela, les scientifiques des données utilisent le rééchantillonnage (resampling) :

Suréchantillonnage (SMOTE) : Ils créent des copies « synthétiques » des élèves en difficulté pour que la classe paraisse plus équilibrée.
Sous-échantillonnage (Undersampling) : Ils jettent la plupart des excellents élèves pour que les élèves en difficulté ne soient pas noyés dans la masse.

La découverte du papier :
Les auteurs ont découvert que, bien que ces astuces aident le modèle à mieux classer qui est en difficulté (trouver les bonnes personnes), elles brisent secrètement la capacité du modèle à vous dire à quel point il est sûr de lui.

Pensez à un prévisionniste météo. S'il dit : « Il y a 70 % de chances qu'il pleuve », vous vous attendez à ce qu'il pleuve 7 fois sur 10. Si le modèle est calibré, il dit la vérité. S'il est mal calibré, il peut dire « 70 % » alors qu'en réalité, il n'y a que 10 % de chances qu'il pleuve.

Ce papier pose la question suivante : Ces astuces de « correction » ruinent-elles l'honnêteté du modèle concernant sa propre confiance ?

Les trois principales conclusions

1. L'astuce de la « copie synthétique » (SMOTE) est un petit prix à payer

L'analogie : Imaginez que vous avez une recette de gâteau, mais que vous n'avez qu'un seul œuf. Pour faire plus de gâteaux, vous photocopiez les instructions pour l'œuf. Le gâteau a toujours bon goût (le modèle trouve les bonnes personnes), mais les instructions sur la quantité d'œuf à utiliser deviennent un peu floues.
Le résultat : Utiliser SMOTE (créer des données synthétiques) rend effectivement le modèle légèrement moins honnête sur sa confiance. Cependant, le dommage est faible. Le modèle trouve toujours bien les élèves en difficulté, et la légère perte d'« honnêteté » en vaut généralement la peine pour gagner en capacité à les trouver.

2. L'astuce de « jeter les données » (Sous-échantillonnage) est dangereuse

L'analogie : Imaginez que vous avez 1 000 élèves, mais que vous décidez d'en jeter 990 juste pour vous concentrer sur les 10 qui sont en difficulté. Maintenant, vous essayez d'apprendre un sujet complexe avec seulement 10 exemples. Vous pourriez deviner la bonne réponse par chance, mais votre confiance sera complètement déréglée.
Le résultat : Le sous-échantillonnage aléatoire est le véritable méchant. Lorsque le déséquilibre est énorme (comme 70 contre 1), cette méthode détruit l'honnêteté du modèle. Le modèle devient extrêmement trop confiant. Il dit : « Je suis sûr à 99 % ! » alors qu'en réalité, il devine à l'aveugle parce qu'il n'avait pas assez de données pour apprendre.

3. La « solution magique » (Recalibrage)

L'analogie : Imaginez un thermomètre qui est précis mais qui affiche 5 degrés de trop. Vous n'avez pas besoin de reconstruire le thermomètre ; vous avez juste besoin d'ajouter un autocollant qui dit « Soustraire 5 ».
Le résultat : Les auteurs ont trouvé une solution simple et peu coûteuse. Après l'entraînement du modèle (même s'il a utilisé les « mauvaises » astuces ci-dessus), vous pouvez le passer par une étape rapide de « recalibrage » (en utilisant des méthodes comme le Platt scaling ou la régression isotonique).

Cela corrige presque entièrement le problème d'honnêteté.
Cela ne coûte presque rien en termes de capacité du modèle à classer les personnes correctement.
Note cruciale : Vous ne pouvez pas simplement utiliser une formule mathématique pour « annuler » l'astuce des données synthétiques (SMOTE) car le SMOTE change la forme des données, pas seulement les chiffres. Vous avez besoin d'un « autocollant » basé sur les données (recalibrage) pour corriger cela.

Pourquoi cela vous concerne

Si vous construisez un système qui prend des décisions basées sur des probabilités (ex : « Ce prêt est-il risqué ? Si le risque est > 20 %, rejetez-le »), vous devez vous soucier du calibrage.

Le piège : La plupart des gens vérifient seulement si le modèle trouve les « mauvais » cas (en utilisant des métriques comme le F1 ou l'AUC). Le papier montre que le rééchantillonnage améliore souvent ces scores, vous faisant croire que votre modèle est excellent.
La réalité : Bien que le modèle soit meilleur pour trouver les mauvais cas, ses chiffres de probabilité pourraient vous mentir. Il pourrait dire « 20 % de risque » alors que le risque réel est de 50 %.
La solution :
1. Si vous utilisez le rééchantillonnage, vérifiez toujours le calibrage du modèle (l'honnêteté), et pas seulement sa précision.
2. Si vous utilisez le sous-échantillonnage sur des données fortement déséquilibrées, soyez très prudent ; cela peut briser la confiance du modèle.
3. Ajoutez toujours une étape de recalibrage à la fin si votre système repose sur des chiffres de probabilité. C'est une correction simple et peu coûteuse qui vous évite de prendre de mauvaises décisions basées sur une fausse confiance.

Résumé en une phrase

Le rééchantillonnage aide les modèles à trouver des événements rares, mais il compromet souvent leur capacité à indiquer leur niveau de certitude ; cependant, une simple étape de « recalibrage » peut réparer cette honnêteté brisée sans nuire à la performance du modèle.

Résumé technique : Le coût caché du rééchantillonnage dans les ensembles d'arbres

1. Énoncé du problème

Le déséquilibre des classes est omniprésent dans les domaines à enjeux élevés tels que la détection de la fraude et le dépistage de maladies. Le remède standard consiste à utiliser des techniques de rééchantillonnage — spécifiquement la technique de suréchantillonnage de la minorité par synthèse (SMOTE), le suréchantillonnage aléatoire (ROS) et le sous-échantillonnage aléatoire (RUS) — pour équilibrer les ensembles d'entraînement. Bien que ces méthodes soient systématiquement évaluées à l'aide de métriques de discrimination (ex: score F1, AUC, rappel de la classe minoritaire), elles ne sont presque jamais évaluées pour leur calibration de probabilité.

De nombreux systèmes déployés s'appuient sur des probabilités prédites pour des décisions en aval (ex: optimisation des coûts attendus, seuils de triage). Le rééchantillonnage fausse délibérément le prior de classe observé lors de l'entraînement, ce qui conduit à l'hypothèse que cela fausse également les probabilités émises. Ce document examine si le rééchantillonnage dégrade la calibration des ensembles d'arbres, comment cette dégradation évolue avec le ratio de déséquilibre (IR), et si des corrections post-hoc peuvent réparer les dommages sans sacrifier le pouvoir de classement.

2. Méthodologie

L'étude emploie un plan expérimental rigoureux, basé sur des statistiques appariées et de multiples graines (seeds), sur cinq jeux de données de classification binaire publique (avec des ratios de déséquilibre allant de 1,9 à 70,1) et deux modèles d'ensembles d'arbres : les Forêts Aléatoires (RF) et le Gradient Boosting d'Histogrammes (HGB).

Conditions expérimentales :
- Baseline : Aucun rééchantillonnage.
- Rééchantillonnage : SMOTE, ROS et RUS (visant un équilibre de classe 1:1 dans les plis d'entraînement).
- Contrôle : Pondération des classes (rééquilibrage de la perte sans modification des données).
- Calibration post-hoc : Échelle de Platt (Platt scaling) et régression isotonique appliquées à un modèle SMOTE sur un pli de calibration tenu à l'écart.
Métriques :
- Calibration : Erreur de calibration attendue (ECE), score de Brier et diagrammes de fiabilité.
- Discrimination : ROC-AUC, PR-AUC et F1 de la classe minoritaire.
Analyse statistique : Les comparaisons utilisent le test de Wilcoxon signé-rang par paires sur 10 graines aléatoires et une validation croisée à 5 plis. Les tailles d'effet sont quantifiées par le $\delta$ de Cliff. La correction de Holm–Bonferroni est appliquée pour contrôler les taux d'erreur de la famille.
Investigations spécifiques :
- H1 : Le rééchantillonnage dégrade-t-il la calibration ?
- H2 : La recalibration post-hoc peut-elle réparer les dommages ?
- H3 : Comment les dommages évoluent-ils avec le ratio de déséquilibre et l'agressivité du suréchantillonnage ?
- H4 (Résultat négatif) : La correction analytique du décalage de prior (valide pour le sous-échantillonnage) est-elle transférable à SMOTE ?

3. Résultats clés

A. Le rééchantillonnage dégrade la calibration (H1)

Toutes les familles de rééchantillonnage augmentent significativement l'ECE par rapport à la baseline, bien que l'ampleur varie considérablement :

SMOTE & ROS : Provoquent une augmentation faible à modérée de l'ECE (ex: SMOTE : $0,052 \to 0,061$ , $\delta = +0,27$ ).
Sous-échantillonnage aléatoire (RUS) : Provoque une dégradation sévère, particulièrement à des ratios de déséquilibre élevés. Sur le jeu de données yeast_ml8 (IR=70), le RUS fait gonfler l'ECE de $0,008 $à$ 0,395$. Cela est attribué à l'« effondrement de la taille de l'échantillon » (entraînement sur environ 50 échantillons) plutôt qu'au mécanisme de rééchantillonnage lui-même, bien que le RUS reste dommageable sur les jeux de données disposant de tailles d'échantillons adéquates.
Pondération des classes : Provoque des décalages de calibration seulement marginaux, indiquant que le préjudice provient de l'altération de la distribution des données d'entraînement, et non simplement de la fonction d'objectif.

B. La recalibration post-hoc répare les dommages (H2)

Une seule étape de recalibration post-hoc (Platt ou Isotonique) élimine efficacement les dommages de calibration causés par SMOTE :

Réduction de l'ECE : L'ECE de SMOTE passe de $0,061 $à$ 0,021$ (Platt) et $0,025$ (Isotonique), tombant souvent en dessous de la baseline originale.
Coût de classement : La réparation entraîne un coût négligeable pour le pouvoir de classement. L'AUC diminue de seulement $0,002 $($ \delta = -0,07$). Cette légère baisse est largement attribuée à la réduction de données requise pour le pli de calibration, et non à la transformation elle-même.
Compromis : Échanger une baisse de $0,002$ de l'AUC contre une réduction de $66\%$ de l'ECE est favorable pour les systèmes de décision.

C. Évolution avec le déséquilibre et l'agressivité (H3)

Ratio de déséquilibre : Les dommages de calibration du RUS croissent de manière abrupte avec le ratio de déséquilibre. En revanche, la pénalité de calibration de SMOTE reste relativement faible et stable sur la plage de IR étudiée (1,9–70).
Ratio de suréchantillonnage : L'erreur de calibration croît de manière monotone avec l'agressivité de SMOTE (la quantité de données synthétiques injectées), tandis que les métriques de discrimination (AUC, F1) restent stables ou s'améliorent légèrement.

D. La correction analytique échoue pour SMOTE (Résultat négatif)

Le document démontre que la correction analytique du décalage de prior (qui fonctionne pour le RUS en ajustant le prior décalé $\pi_{train}$ ) ne se transfère pas à SMOTE.

Raisonnement : Le RUS déplace uniquement le prior $p(y)$ , laissant intacte la densité conditionnelle de classe $p(x|y)$ . SMOTE, cependant, synthétise de nouveaux points via l'interpolation, distordant ainsi la densité conditionnelle de classe $p(x|y=1)$ .
Résultat : Appliquer la correction analytique aux modèles SMOTE échoue à améliorer l'ECE (voire l'aggrave dans certains cas), alors que la recalibration isotonique pilotée par les données réussit.

E. Stabilité de l'attribution des caractéristiques

L'analyse SHAP sur le jeu de données credit-g indique que SMOTE préserve la structure apprise des caractéristiques (corrélation de Spearman de 0,96 dans les classements d'importance des caractéristiques) tout en corrompant l'échelle de probabilité. Cela confirme que le dommage de calibration est un problème d'échelle corrigeable par des transformations monotones, et non un changement fondamental de ce que le modèle apprend.

4. Signification et contributions

Les auteurs positionnent ce travail non pas comme la découverte d'un phénomène nouveau (le dommage de calibration du sous-échantillonnage ayant déjà été noté par Dal Pozzolo et al.), mais comme une consolidation et une extension pratique et fondée sur des preuves des connaissances existantes.

Clarification du risque : L'étude distingue entre les coûts de calibration « faibles mais réels » pour SMOTE et les coûts « véritablement dangereux » pour le RUS, surtout à des ratios de déséquilibre extrêmes.
Guide pratique : Elle fournit un protocole clair pour les praticiens : si le rééchantillonnage est utilisé et que les probabilités pilotent les décisions, une étape de recalibration post-hoc est nécessaire et suffisante.
Correction méthodologique : Elle met explicitement en garde contre l'application de corrections analytiques de décalage de prior aux méthodes de suréchantillonnage synthétique, car elles ne tiennent pas compte de la distorsion de densité.
Standard d'évaluation : L'article soutient que les études sur l'apprentissage déséquilibré doivent rapporter les métriques de calibration (ECE, Brier) aux côtés des métriques de discrimination (F1, AUC) pour éviter de livrer des modèles avec des probabilités peu fiables.

5. Limites

Les auteurs reconnaissent plusieurs limites à leurs affirmations :

L'étude est limitée aux données tabulaires et à deux modèles d'ensembles d'arbres ; les réseaux de neurones et autres modalités pourraient se comporter différemment.
La décomposition de la perte d'AUC entre le « coût de réduction de données » et le « coût de transformation de calibration » est basée sur un ratio de division spécifique.
L'explication de l'échec de la correction analytique de SMOTE est une hypothèse intuitive concernant la distorsion de $p(x|y)$ , nécessitant une analyse formelle dans des travaux futurs.
Les résultats sont limités à la plage de déséquilibre testée (IR 1,9–70) ; des ratios extrêmes (centaines ou milliers) pourraient produire des effets plus importants.