Do we need rebalancing strategies? A theoretical and empirical study around SMOTE and its variants

Cette étude théorique et empirique démontre que l'absence de rééchantillonnage est souvent compétitive sur des données déséquilibrées, tout en proposant deux variantes de SMOTE fondées sur de nouvelles bornes théoriques qui surpassent les méthodes existantes lorsque le déséquilibre est artificiellement accru.

L'essentiel

🍎 Le Problème : La Tarte aux Pommes Déséquilibrée

Imaginez que vous êtes un boulanger qui doit apprendre à reconnaître deux types de tartes : des Tartes aux Pommes (très nombreuses, disons 99%) et des Tartes à la Fraise (très rares, seulement 1%).

Si vous donnez 100 tartes à un apprenti boulanger (votre algorithme d'intelligence) pour qu'il apprenne, il verra 99 pommes et 1 fraise.

• Le résultat ? L'apprenti va conclure : "Toutes les tartes sont aux pommes !"
• Le problème : S'il tombe sur une tarte à la fraise, il la classera à tort comme une tarte aux pommes. C'est ce qu'on appelle un jeu de données déséquilibré.

Pour aider l'apprenti, on a inventé des stratégies de "rééquilibrage". L'idée est de lui donner plus d'exemples de fraises pour qu'il apprenne à les reconnaître.

---

🛠️ L'Outil Populaire : SMOTE (Le Photocopieur Magique)

La méthode la plus célèbre pour aider l'apprenti s'appelle SMOTE.
Au lieu de simplement photocopier la seule tarte à la fraise existante (ce qui serait ennuyeux et inutile), SMOTE utilise un truc astucieux : l'interpolation.

Imaginez que vous avez deux tartes à la fraise voisines. SMOTE prend une photo de l'une, une photo de l'autre, et invente une nouvelle tarte hybride qui se trouve exactement entre les deux. C'est comme si vous mélangeiez deux couleurs de peinture pour créer une nouvelle teinte.

Mais la question de la recherche est : Est-ce que cette méthode fonctionne vraiment bien ? Ou y a-t-il un piège ?

---

🔍 La Découverte des Chercheurs : Le Piège du Photocopieur

Les chercheurs (Abdoulaye, Emmanuel et Erwan) ont regardé très attentivement comment fonctionne SMOTE avec des mathématiques précises. Ils ont découvert deux problèmes majeurs :

1. Le "Copier-Coller" Involontaire :
   Avec les réglages par défaut (comme si on laissait l'apprenti utiliser un manuel trop rigide), SMOTE a tendance à ne pas créer de vraies nouvelles tartes. Il se contente de créer des copies presque identiques aux tartes originales.

   • L'analogie : C'est comme si vous essayiez d'apprendre à un enfant à dessiner des chats en lui montrant 5 photos de chats, et qu'il ne dessinait que des copies exactes de ces 5 photos, sans jamais imaginer un chat avec une queue différente ou une oreille en moins. Il manque de variété.

2. Le Problème des Bords (La Zone de Danger) :
   SMOTE a du mal à créer des tartes à la fraise qui sont "à la limite" de la zone des tartes à la fraise (près des tartes aux pommes).

   • L'analogie : Imaginez que les tartes à la fraise sont dans un cercle rouge. SMOTE a du mal à placer de nouvelles tartes juste à la lisière du cercle, là où c'est difficile de distinguer une fraise d'une pomme. Il laisse donc un vide dangereux près des frontières.

---

💡 Les Solutions Proposées : Deux Nouvelles Recettes

Pour corriger ces défauts, les chercheurs ont proposé deux améliorations :

1. SMOTE "Réglé" (K-tuned) :
   Au lieu de laisser l'outil choisir un nombre fixe de voisins pour créer les nouvelles tartes, on lui demande de chercher le meilleur réglage possible pour chaque situation. C'est comme ajuster la température d'un four pour chaque type de gâteau.

   • Résultat : C'est théoriquement mieux, mais en pratique, sur des données réelles, ça n'a pas toujours grandement amélioré les résultats.

2. MGS (La Méthode du Nuage de Points) :
   C'est la grande découverte ! Au lieu de faire une ligne droite entre deux tartes (comme SMOTE classique), MGS imagine un nuage de points autour de la tarte originale. Il invente de nouvelles tartes en les dispersant dans toutes les directions, comme si on lançait des confettis autour de la tarte originale.

   • Le gros avantage : Cela permet de créer des tartes même en dehors de la zone habituelle (là où SMOTE classique n'osait pas aller), comblant ainsi les trous près des frontières.

---

🏆 Les Résultats Concrets : Faut-il vraiment rééquilibrer ?

Les chercheurs ont testé tout cela sur 13 jeux de données réels (comme la détection de fraude bancaire ou de maladies). Voici ce qu'ils ont trouvé :

• Pour la plupart des cas (le déséquilibre n'est pas trop fort) :
  Ne rien faire est souvent la meilleure stratégie !
  Si vous utilisez un bon outil d'apprentissage moderne (comme les "Forêts Aléatoires" ou "LightGBM"), l'apprenti est déjà assez intelligent pour gérer un peu de déséquilibre sans qu'on lui donne des tartes supplémentaires. Ajouter des données artificielles ne fait parfois qu'embrouiller l'apprenti.

  • Leçon : Parfois, le meilleur remède est de ne pas toucher à la recette.

• Pour les cas extrêmes (déséquilibre énorme, ex: 1 pour 1000) :
  Là, il faut agir. Et c'est ici que MGS (notre nouvelle méthode de nuage de points) brille. Elle surpasse souvent les méthodes classiques et même des technologies très complexes et coûteuses (comme les modèles de diffusion ou les GAN, qui sont des "robots artistes" très puissants mais lents).

  • Leçon : Quand le déséquilibre est critique, une petite modification intelligente (MGS) vaut mieux qu'une technologie compliquée.

📝 En Résumé

1. SMOTE classique est un outil populaire, mais il a tendance à être trop "paresseux" (il copie trop) et a peur des bords.
2. Ne pas rééquilibrer fonctionne souvent très bien pour des problèmes standards avec des algorithmes modernes.
3. MGS est la nouvelle star : une méthode simple qui crée plus de variété et fonctionne mieux que les géants de l'IA pour les cas très difficiles.

C'est une preuve que parfois, comprendre la théorie (pourquoi l'outil échoue) permet de créer une solution simple et efficace, sans avoir besoin de construire une usine géante.

Résumé technique

1. Problématique

L'article s'intéresse au problème de la classification binaire sur des données tabulaires déséquilibrées, un défi fréquent dans des domaines comme la détection de fraude, le diagnostic médical ou la détection de churn.

• Contexte : Les algorithmes d'apprentissage automatique ont tendance à prédire la classe majoritaire, ce qui entraîne des prédictions biaisées.
• Approche existante : La technique la plus courante pour résoudre ce problème au niveau des données est SMOTE (Synthetic Minority Over-sampling Technique), qui génère des échantillons synthétiques par interpolation linéaire entre les échantillons minoritaires et leurs voisins.
• Question centrale : Les stratégies de rééquilibrage sont-elles réellement nécessaires pour améliorer les performances prédictives, et SMOTE fonctionne-t-il théoriquement comme on le pense ?

2. Méthodologie

Les auteurs adoptent une approche hybride combinant une analyse théorique rigoureuse et une évaluation empirique extensive.

A. Analyse Théorique

Les auteurs dérivent des bornes supérieures non asymptotiques pour la densité des échantillons générés par SMOTE.

• Hypothèses : Ils considèrent des variables d'entrée continues et un nombre d'échantillons minoritaires $n$ tendant vers l'infini.
• Résultats théoriques clés :
  1. Convergence vers la copie : Ils prouvent que, avec le paramètre par défaut ($K=5$) et lorsque $n \to \infty$, la distribution générée par SMOTE converge vers la distribution originale des échantillons minoritaires. En d'autres termes, SMOTE tend à copier les échantillons originaux plutôt que d'explorer la variabilité intrinsèque de la classe.
  2. Biais de frontière : Ils démontrent que la densité de SMOTE s'annule (tend vers zéro) à proximité des frontières du support de la distribution minoritaire. Cela crée un "artefact de frontière" où les zones périphériques sont sous-représentées.
  3. Distance caractéristique : La distance entre un échantillon synthétique et son point central est de l'ordre de $(K/n)^{1/d}$. Si $K$ est fixe (ex: 5), cette distance tend vers zéro, confirmant le manque de diversité.

B. Évaluation Empirique

• Données : 13 jeux de données tabulaires réels (issus de UCI, Grinsztajn et al., etc.), incluant des données initialement déséquilibrées et des versions sous-échantillonnées pour créer des déséquilibres extrêmes (1%, 10%, 20%).
• Classificateurs : Random Forest (RF), LightGBM et Régression Logistique.
• Métrique : PR AUC (Area Under the Precision-Recall Curve), jugée plus pertinente que le ROC AUC pour les données déséquilibrées.
• Comparaison : Les auteurs comparent l'absence de stratégie ("None") contre 10 stratégies de rééquilibrage de l'état de l'art, incluant :
  • Méthodes classiques : ROS, RUS, NearMiss, Class-Weight (CW).
  • Variantes de SMOTE : Borderline SMOTE, ADASYN, etc.
  • Modèles génératifs avancés : CTGAN (GAN conditionnel) et ForestDiffusion (modèles de diffusion basés sur des arbres).
  • Nouvelles propositions : Deux variantes de SMOTE basées sur leurs résultats théoriques.

3. Contributions Principales

A. Apports Théoriques

• Preuve formelle que SMOTE avec $K$ fixe (par défaut 5) ne fait qu'asymptotiquement dupliquer les données existantes, limitant son efficacité générative.
• Identification du biais de frontière inhérent à SMOTE, expliquant pourquoi il échoue à couvrir les zones périphériques de la distribution minoritaire.

B. Nouvelles Stratégies (Variantes de SMOTE)

Pour pallier ces limitations théoriques, les auteurs proposent deux modifications :

1. SMOTE K-tuned : Une approche où le paramètre $K$ (nombre de voisins) n'est pas fixe mais optimisé via validation croisée. Cependant, les résultats empiriques montrent que cela n'améliore pas systématiquement les performances par rapport au SMOTE par défaut.
2. MGS (Multivariate Gaussian SMOTE) : C'est la contribution majeure. Au lieu d'une interpolation linéaire, MGS génère des échantillons à partir d'une distribution gaussienne multivariée estimée à partir du point central et de ses $K$ voisins.
   • Cela permet de générer des points en dehors de l'enveloppe convexe des données originales.
   • Cela atténue le biais de frontière et augmente la diversité des échantillons synthétiques.

C. Résultats Empiriques

• Cas de déséquilibre modéré : Pour la majorité des jeux de données initiaux (déséquilibre faible à modéré), l'absence de stratégie de rééquilibrage ("None") est compétitive, voire supérieure, par rapport aux méthodes de rééquilibrage, quel que soit le classifieur (RF, LightGBM, LogReg). Les auteurs concluent que le rééquilibrage n'est souvent pas nécessaire dans ces cas.
• Cas de déséquilibre extrême : Lorsque le ratio de déséquilibre est drastiquement augmenté (ex: 1%), les stratégies de rééquilibrage deviennent utiles.
  • MGS se distingue comme la meilleure stratégie globale, surpassant SMOTE standard, les GANs et les modèles de diffusion (ForestDiffusion).
  • MGS offre de bonnes performances sans nécessiter un réglage fin de la profondeur des arbres de décision, contrairement à d'autres méthodes.
  • Les modèles génératifs complexes (CTGAN, Diffusion) sont souvent plus lents et ne surpassent pas les méthodes simples comme SMOTE ou MGS sur ces données tabulaires.

4. Signification et Conclusion

Cette étude remet en question la pratique courante du rééquilibrage systématique des données tabulaires.

• Prise de conscience : Pour de nombreux problèmes réels, l'ajout de données synthétiques via SMOTE (ou d'autres méthodes) n'apporte pas de gain de performance et peut même être contre-productif. La stratégie "None" devrait être considérée comme la méthode par défaut.
• Innovation : Lorsque le rééquilibrage est indispensable (déséquilibre extrême), la méthode MGS proposée, basée sur des fondements théoriques solides, s'avère supérieure aux approches existantes, y compris aux modèles génératifs profonds récents.
• Impact : L'article fournit une justification théorique pour l'échec de SMOTE standard et propose une alternative simple mais efficace (MGS) qui corrige les biais de densité et de frontière, offrant ainsi une meilleure généralisation pour les classificateurs basés sur les arbres.

En résumé, l'article démontre que la complexité des modèles génératifs n'est pas toujours nécessaire et que la compréhension théorique des mécanismes de rééquilibrage (comme la densité et la convexité) est cruciale pour concevoir des stratégies efficaces.