Résumé Technique : Régression Hybride Déséquilibrée par l'Unification du Rééquilibrage au Niveau des Données et de l'Algorithme

Énoncé du Problème

L'apprentissage déséquilibré est un défi critique en apprentissage automatique où les valeurs cibles sous-représentées conduisent à des modèles biaisés qui performent mal sur des phénomènes rares mais à fort impact. Bien que largement étudiée dans les tâches de classification avec des distributions de classes asymétriques, la régression déséquilibrée — caractérisée par des densités non uniformes dans les espaces de cibles continues — reste sous-explorée.

Les approches existantes en régression déséquilibrée se divisent généralement en deux catégories, chacune présentant des limites distinctes :

1. Méthodes au niveau des données : Elles synthétisent des échantillons (par exemple, via le suréchantillonnage) pour enrichir les régions creuses. Bien qu'intuitives et agnostiques au modèle, elles risquent d'introduire du bruit synthétique ou du surapprentissage, particulièrement dans des distributions complexes.
2. Méthodes au niveau de l'algorithme : Elles ajustent les fonctions de perte pour prioriser les plages de cibles rares sans modifier les données. Bien que fondées sur des principes, elles peinent souvent face à des déséquilibres sévères et des distributions complexes, manquant des bénéfices complémentaires de l'enrichissement des données.

La littérature actuelle manque d'une approche véritablement hybride qui intègre étroitement la synthèse d'échantillons au niveau des données avec des pertes explicites de type sensibilité au coût ou de repondération lors de l'entraînement d'un régresseur neuronal unique. La plupart des tentatives « hybrides » existantes reposent sur des stratégies d'ensemble ou sont limitées à des domaines non tabulaires, échouant à unifier ces stratégies dans un pipeline de bout en bout pour les tâches de régression standard.

Méthodologie

Les auteurs proposent un cadre hybride en cinq phases, agnostique au régresseur, qui intègre de manière synergique des stratégies de niveau données et de niveau algorithme dans un pipeline unifié. Le cadre est conçu pour être appliqué en amont de n'importe quel régresseur standard.

Phase 0 : Partitionnement Adaptatif de l'Espace des Cibles par Bins

Pour remédier à l'absence d'étiquettes de classes discrètes en régression, le cadre segmente d'abord l'espace continu des cibles en bins statistiquement cohérents.

• Mécanisme : Il emploie un partitionnement de bins adaptatif piloté par des scores de cohérence $R^2$ locaux. Un régresseur linéaire simple est ajusté dans les intervalles candidats ; si le score $R^2$ dépasse un seuil ($\tau$) et que la taille du bin respecte un minimum dicté par les données ($M$), le bin est accepté. Sinon, l'intervalle est divisé de manière récursive.
• Signification : Cela transforme le problème continu en une structure de type « classe », permettant une conscience localisée de la rareté et facilitant les opérations de rééquilibrage ultérieures. La taille minimale du bin $M$ est calculée dynamiquement en combinant une proportion de la taille du jeu de données et l'inverse de la densité de pointe de l'estimation de densité par noyau (KDE) pour garantir la fiabilité statistique.

Phase I : Apprentissage de Représentation

Les caractéristiques brutes dans les régions creuses échouent souvent à capturer les structures latentes nécessaires.

• Mécanisme : Un Autoencodeur Variationnel Conditionnel (CVAE) est entraîné, conditionné sur la variable cible continue $y$. L'encodeur projette les caractéristiques d'entrée $x$ et la cible $y$ dans un espace latent $z$, tandis que le décodeur reconstruit $x$ à partir de $z$ et $y$.
• Signification : Cela produit des plongements (embeddings) latents sensibles à la cible qui capturent les motifs prédictifs alignés avec la distribution de sortie, y compris les régions peu peuplées. La nature probabiliste du CVAE facilite également les représentations tenant compte de l'incertitude.

Phase II : Rééquilibrage au Niveau des Données

Cette phase traite la rareté des échantillons tant dans l'espace des cibles que dans l'espace des caractéristiques par une stratégie multi-étapes.

• Étape 1 (Clustering) : Au sein de chaque bin adaptatif de la Phase 0, le DBSCAN est appliqué aux représentations latentes pour identifier les clusters minoritaires et creux.
• Étape 2 (Suréchantillonnage) : Une technique SMOGN (Synthetic Minority Oversampling Technique for Regression with Gaussian Noise) localisée est appliquée à ces clusters minoritaires. Contrairement au suréchantillonnage global, celle-ci est guidée par une fonction de pertinence spécifique au cluster $\phi_C(y)$ afin de prioriser les valeurs de cible rares dans le contexte spécifique du cluster.
• Sortie : Un MLP peu profond est entraîné sur le jeu de données augmenté (original + synthétique), et les activations cachées des échantillons originaux ($h_{data}$) sont extraites. Cela garantit que les caractéristiques bénéficient de la géométrie des voisins synthétiques tout en maintenant une correspondance exacte avec les instances originales.

Phase III : Rééquilibrage au Niveau de l'Algorithme

Cette phase adapte l'objectif d'apprentissage pour mettre l'accent sur les régions sous-représentées sans modification supplémentaire des données.

• Mécanisme : Une nouvelle Perte Pondérée par la Densité Latente (LDWL) est introduite. La fonction de perte pondère les échantillons en fonction de leur rareté conjointe dans deux espaces :
  1. Espace Latent ($Z$) : Densité estimée via KDE sur les représentations latentes du CVAE.
  2. Espace des Cibles ($Y$) : Densité estimée via KDE au sein des bins adaptatifs définis en Phase 0.
• Formule : Le poids $w_i$ d'un échantillon est inversement proportionnel au produit de sa densité latente et de sa densité de cible conditionnée par le bin. Un terme de régularisation pénalise les poids excessivement élevés pour éviter le surapprentissage sur les valeurs aberrantes (outliers).
• Sortie : Un MLP est entraîné en utilisant la LDWL, et les activations cachées des échantillons originaux ($h_{alg}$) sont extraites.

Phase IV : Fusion Finale

La phase finale intègre les forces complémentaires des représentations de niveau données et de niveau algorithme.

• Mécanisme : Un mécanisme de fusion par porte basée sur l'attention concatène $h_{data}$ et $h_{alg}$. Un réseau de porte apprend dynamiquement les poids spécifiques aux instances ($\alpha_i$) pour mélanger les deux flux de caractéristiques : $\tilde{x}_i = \alpha_i \odot h_{data} + (1-\alpha_i) \odot h_{alg}$.
• Signification : Cela permet au modèle d'adapter la priorité des informations les plus pertinentes pour chaque échantillon, produisant une représentation enrichie et robuste prête pour tout régresseur en aval.

Contributions Clés

1. Cadre Hybride Unifié : Le premier pipeline de bout en bout qui intègre étroitement la synthèse de données au niveau des données (via SMOGN localisé) avec une repondération explicite par échantillon au niveau de l'algorithme (via LDWL) pour la régression déséquilibrée.
2. Partitionnement de Bins Adaptatif : Une étape de prétraitement novatrice utilisant la cohérence $R^2$ locale pour segmenter dynamiquement les espaces de cibles continus, simulant des structures de type « classe » pour un traitement efficace du déséquilibre.
3. Perte Pondérée par la Densité Latente (LDWL) : Une nouvelle fonction de perte qui priorise les échantillons rares en considérant conjointement leur densité dans l'espace des caractéristiques latentes (apprise via CVAE) et l'espace des cibles (au sein des bins adaptatifs).
4. Équilibrage de Données Multi-étapes : Une stratégie combinant le clustering dans l'espace des caractéristiques (DBSCAN) avec un suréchantillonnage localisé pour enrichir les régions creuses tout en minimisant le biais synthétique.
5. Conception Agnostique au Régresseur : Le cadre produit un vecteur de caractéristiques fusionné qui peut être intégré de manière transparente avec n'importe quel algorithme de régression standard (linéaire, basé sur les arbres ou neuronal).

Résultats Expérimentaux

Le cadre a été évalué sur 16 jeux de données de référence (ex: California Housing, Wine Quality, Abalone) à travers six régresseurs différents (MLP, XGBoost, Régression Linéaire, KNN, SVR, Ridge).

• Performance : Le pipeline hybride a systématiquement surpassé les méthodes de niveau données ou de niveau algorithme utilisées seules, ainsi que les régresseurs de base standards sans gestion du déséquilibre.
• Métriques : Des améliorations ont été observées pour l'erreur quadratique moyenne (RMSE), l'erreur absolue moyenne (MAE) et le coefficient de détermination ($R^2$). Par exemple, sur le jeu de données airfoild, l'approche hybride a produit une amélioration de 568,71 % du $R^2$ par rapport au régresseur seul.
• Corrélation de l'Asymétrie : L'analyse a révélé une corrélation positive significative entre l'asymétrie (skewness) absolue de la variable cible et l'amélioration de performance du pipeline hybride. Le cadre est plus efficace dans les scénarios présentant une forte asymétrie de la cible.
• Limites : Le cadre présente une dépendance au volume de données. Dans les jeux de données de moins de ~1 000 échantillons, le pipeline a occasionnellement sous-performé par rapport aux régresseurs seuls en raison du surapprentissage lors des phases de partitionnement de bin adaptatif et de CVAE, ainsi que de l'instabilité de l'estimation de densité.

Signification et Revendications

L'article affirme que le cadre hybride proposé comble une lacune critique dans la littérature de la régression déséquilibrée en allant au-delà des interventions isolées au niveau des données ou de l'algorithme. En unifiant ces stratégies, le cadre offre une solution plus complète pour prédire des valeurs cibles rares mais critiques.

Les auteurs affirment que leur approche :

• Combine de manière synergique les bénéfices de diversité de l'augmentation de données avec l'optimisation fondée sur des principes de l'apprentissage sensible au coût.
• Améliore la généralisation dans les régions creuses sans les risques de bruit du suréchantillonnage naïf ou l'aveuglement distributionnel des fonctions de perte standard.
• Se scale efficacement aux tâches de régression déséquilibrée à grande échelle, démontrant que le degré d'asymétrie de la cible est un proxy fiable de l'efficacité du cadre.

L'étude conclut que, bien que le cadre nécessite un volume de données suffisant pour stabiliser son architecture en cinq phases, il offre une amélioration robuste, évolutive et agnostique au régresseur pour des applications réelles impliquant des prévisions météorologiques extrêmes, la détection d'anomalies, ou la prédiction de risques médicaux ou financiers où les événements rares sont d'une importance capitale.