Résumé technique : Évaluation de la robustesse des classifieurs binaires sous déséquilibre de classes sans techniques de rééquilibrage

Problématique

Le déséquilibre des classes représente un défi critique dans la classification supervisée, particulièrement dans les domaines à enjeux élevés tels que le diagnostic médical, la détection de fraude et la détection d'anomalies, où les instances de la classe minoritaire sont rares. Bien que la communauté du machine learning ait largement exploré les techniques de rééquilibrage explicites (par exemple, SMOTE, sous-échantillonnage, apprentissage sensible au coût) pour atténuer ce problème, il existe une lacune notable dans la compréhension de la robustesse intrinsèque des classifieurs binaires lorsque ces techniques ne sont pas appliquées.

La littérature existante suppose souvent que le rééquilibrage est nécessaire pour un apprentissage efficace, pourtant peu d'études ont évalué systématiquement la performance des classifieurs sous des conditions de déséquilibre extrême — spécifiquement dans des scénarios de one-shot (instance minoritaire unique) et de few-shot (quelques instances) — sans intervention externe. Cette étude comble ces lacunes en évaluant la performance « telle quelle » de divers classifieurs binaires afin de déterminer le ratio de déséquilibre minimal permettant encore une classification et une généralisation fiables.

Méthodologie

Les auteurs proposent un cadre expérimental systématique conçu pour évaluer la résilience des classifieurs sans rééquilibrage explicite. La méthodologie repose sur trois stratégies principales :

1. Réduction systématique de la classe minoritaire

L'étude emploie une réduction contrôlée des échantillons de la classe minoritaire à travers des jeux de données réels.

• Procédure : À partir du jeu de données original, la proportion d'exemples d'entraînement de la classe minoritaire est systématiquement réduite à 100 %, 50 %, 25 %, 10 %, 5 % et 1 %.
• Scénarios extrêmes : Pour les réductions inférieures à 1 %, l'ensemble d'entraînement ne conserve qu'un seul point de donnée représentatif de la classe minoritaire (scénario one-shot).
• Contrôle : Les échantillons de la classe majoritaire restent intacts dans toutes les itérations pour isoler l'effet de la rareté de la classe minoritaire.
• Validation : Les expériences utilisent une stratégie de validation croisée stratifiée 2×5-fold pour garantir des estimations de performance stables.

2. Baselines One-Shot et Few-Shot

Pour simuler la rareté des données du monde réel, où l'acquisition d'échantillons minoritaires est difficile ou coûteuse, les auteurs construisent des ensembles d'entraînement spécifiques :

• Scénarios : Les ensembles d'entraînement sont construits avec k = 1, 3 et 5 instances de la classe minoritaire.
• Répétition : Pour atténuer le biais lié à la sélection spécifique d'échantillons, les expériences sont répétées dix fois avec un échantillonnage aléatoire des instances minoritaires, en rapportant les scores moyens AUC-ROC et AUC-PR.
• Comparaison : Ces résultats sont comparés aux méthodes de Classification à Classe Unique (OCC) pour évaluer la performance lorsqu'aucune donnée minoritaire n'est disponible pour l'entraînement.

3. Génération de frontières de décision synthétiques

Pour découpler les effets du déséquilibre de la complexité des données, les auteurs génèrent des jeux de données synthétiques représentant diverses structures géométriques :

• Linéaire Séparable : Séparation de classes élevée.
• Non-linéaire Modérée : Clusters avec du bruit.
• Redondance Non-linéaire : Redondance de haute dimension réduite via PCA.
• Quantiles Gaussiens : Structures de classes circulaires avec des frontières chevauchantes.
• Non-linéaire Difficile (XOR) : Frontières de décision complexes et non linéaires.
  Ces jeux de données permettent d'évaluer comment la complexité géométrique interagit avec les distributions de classes asymétriques.

Modèles et Métriques

• Classifieurs Évalués : Un ensemble diversifié incluant des modèles traditionnels (Arbre de Décision, k-NN), des classifieurs basés sur la marge (SVM), des méthodes d'ensemble (Random Forest, BaggingRF, RUSBoost, XGBoost, LightGBM, CatBoost) et des modèles de données tabulaires profonds (TabPFN).
• Métriques d'Évaluation : La performance est évaluée via l'AUC-ROC, l'AUC-PR, l'Exactitude (Accuracy), la Précision, le Rappel, le score F1 et la G-mean.
• Interprétabilité : Des graphiques de Fonction de Répartition Cumulative (CDF) des scores de prédiction sont utilisés pour visualiser la séparation entre les prédictions des classes majoritaire et minoritaire.

Résultats Clés

1. Impact de la réduction systématique

• Dégradation de la performance : À mesure que la taille de la classe minoritaire diminue, la plupart des classifieurs (DT, k-NN, RF, XGBoost) présentent une chute constante et sévère de l'AUC-ROC et de l'AUC-PR, particulièrement en dessous du seuil de 25 %.
• Modèles robustes : TabPFN démontre systématiquement la plus grande robustesse à tous les niveaux de déséquilibre, y compris dans les scénarios extrêmes de one-shot. CatBoost et LightGBM maintiennent également une performance relativement stable jusqu'à une représentation minoritaire de 10 %.
• Échec des modèles traditionnels : Les modèles traditionnels comme les Arbres de Décision et k-NN se détériorent rapidement lorsque la représentation minoritaire tombe en dessous de 25 %, atteignant souvent un niveau proche du hasard dans les contextes one-shot.

2. Performance One-Shot et Few-Shot

• Sensibilité à la rareté : La plupart des classifieurs échouent à généraliser efficacement avec seulement 1 échantillon minoritaire. Cependant, augmenter le nombre d'échantillons de 1 à 3 ou 5 améliore significativement la performance de nombreux modèles.
• Dominance de TabPFN : TabPFN maintient une performance solide même dans les contextes one-shot, surpassant les méthodes d'ensemble et les classifieurs traditionnels.
• Utilité de l'OCC : Les modèles de Classification à Classe Unique, bien qu'intrinsèquement limités par leur dépendance aux données majoritaires, ont montré une robustesse surprenante sur certains jeux de données, servant de solution de repli viable lorsque les données minoritaires sont totalement inaccessibles.

3. Influence de la complexité des données

• La Géométrie compte : La performance des classifieurs est fortement dépendante de la géométrie sous-jacente des données.
  • Linéaire / Haute Séparation : Une classification fiable est réalisable même à des ratios de déséquilibre extrêmes si la frontière de décision est simple.
  • Complexe / Non-linéaire : À mesure que les frontières de décision deviennent plus complexes (ex: motifs XOR, quantiles gaussiens chevauchants), la performance chute brutalement pour tous les modèles, sauf les plus avancés (TabPFN, CatBoost).
• Résultats Synthétiques : Dans les jeux de données synthétiques présentant une haute redondance ou non-linéarité, seuls les modèles avancés conservent une performance acceptable en conditions de few-shot.

4. Analyse des scores de prédiction

Les graphiques CDF révèlent que TabPFN génère des distributions bien séparées pour les classes majoritaire et minoritaire, maintenant une confiance élevée même sous un déséquilibre sévère. En revanche, les modèles traditionnels comme DT montrent un chevauchement significatif dans les scores de prédiction, indiquant une faible capacité de discrimination.

Signification et Contributions

L'article revendique les contributions suivantes au domaine de l'apprentissage déséquilibré :

1. Évaluation de la Robustesse Intrinsèque : L'étude fournit une évaluation rigoureuse des classifieurs binaires « tels quels », sans les variables confondantes des techniques de rééquilibrage. Cela clarifie la capacité intrinsèque de certains algorithmes à gérer la rareté.
2. Identification des Seuils : La recherche identifie les ratios de déséquilibre minimaux auxquels une classification fiable est encore possible, notant que ce seuil varie considérablement selon le modèle et la complexité des données.
3. Guidage pour la Sélection de Modèles : Les résultats offrent des conseils pratiques aux praticiens dans des domaines à faibles ressources ou à enjeux élevés (ex: diagnostic médical), suggérant que les modèles avancés comme TabPFN et certains ensembles de boosting (CatBoost) sont des choix supérieurs lorsque le rééquilibrage n'est pas réalisable ou souhaitable.
4. Interprétabilité : En utilisant la visualisation des frontières de décision et l'analyse CDF, l'étude offre des perspectives plus profondes sur la manière dont les classifieurs séparent les classes sous un déséquilibre extrême, allant au-delà du simple rapport de métriques.

Limites

Les auteurs reconnaient que l'étude est basée sur des jeux de données de référence et des scénarios synthétiques contrôlés. Les hyperparamètres ont été restreints à des configurations standards, et les résultats peuvent varier dans des applications à plus grande échelle ou spécifiques à un domaine. Les auteurs suggèrent que les travaux futurs explorent l'ajustement adaptatif des hyperparamètres et l'évaluation respectueuse de la vie privée dans des domaines sensibles.

En conclusion, l'article soutient que si le déséquilibre des classes défie sévèrement les classifieurs traditionnels, les modèles avancés possèdent une capacité intrinsèque significative à généraliser sous la rareté, offrant une voie viable pour la classification dans des scénarios où le rééquilibrage explicite est impraticable.