Résumé Technique : RUBRIC – Classement Équilibré Réalisme–Utilité pour la Classification Déséquilibrée

1. Énoncé du Problème

Le déséquilibre des classes présente un défi fondamental dans les domaines sensibles au risque tels que la détection de fraude et le diagnostic médical, où les échantillons de la classe minoritaire sont rares mais critiques. Les réponses standards consistent à suréchantillonner la classe minoritaire en utilisant des générateurs comme SMOTE ou les GAN. Cependant, ces méthodes produisent souvent un grand volume de candidats synthétiques de faible qualité. Ces candidats peuvent fausser les frontières de décision, introduire des artefacts ou ne pas fournir de signaux informatifs, entraînant un surapprentissage et une dégradation de la généralisation.

La littérature existante se concentre principalement sur l'endroit où synthétiser les échantillons (par exemple, les variantes axées sur la frontière) ou sur la manière de les générer (par exemple, l'entraînement adversarial). Il subsiste une lacune dans la détermination de quels échantillons synthétiques conserver après la génération. Les auteurs postulent que le réalisme (plausibilité) et l'utilité en aval (valeur informative pour l'apprentissage) ne sont pas équivalents ; un échantillon peut paraître réaliste mais être peu informatif, ou être axé sur la frontière mais nuisible en raison d'un décalage de distribution.

2. Méthodologie : RUBRIC

Le papier introduit RUBRIC (Realism–Utility Balanced Ranking), un cadre de filtrage post-génération agnostique vis-à-vis du générateur. Plutôt que de modifier le processus de génération, RUBRIC traite la sélection d'échantillons synthétiques comme un problème d'optimisation sous contrainte qui équilibre deux objectifs concurrents : le Réalisme et l'Utilité.

2.1 Mécanisme de Notation

RUBRIC évalue chaque candidat synthétique $\tilde{x}$ à l'aide de deux modèles auxiliaires entraînés sur les données réelles et le pool de candidats :

1. Score d'Utilité ($u(\tilde{x})$) : Capture la proximité d'un échantillon par rapport à la frontière de décision, privilégiant les régions informatives.
   • Un modèle de frontière $f$ est entraîné sur les données réelles pour produire des scores de marge.
   • Une fonction de mise en forme concave et non décroissante $g$ (par défaut : $g(t) = \log(1+e^{t/\tau})$) transforme la marge. Cette forme garantit des rendements décroissants pour les échantillons éloignés de la frontière, se concentrant sur la sélection des régions « proches de la frontière » sans surpondérer les cas triviaux.
2. Score de Réalisme ($r(\tilde{x})$) : Quantifie la plausibilité de l'échantillon par rapport à la véritable distribution minoritaire.
   • Un discriminateur $D$ est entraîné pour distinguer les échantillons minoritaires réels du pool de candidats synthétiques.
   • Le score est dérivé du log-odds de la sortie du discriminateur : $r(\tilde{x}) = \log \frac{D(\tilde{x})}{1-D(\tilde{x})}$. Cela approxime le rapport de densité logarithmique entre les distributions réelles et synthétiques.

2.2 Objectif de Sélection

Étant donné un paramètre de compromis $\lambda \in [0, 1]$ et un budget de sélection $K$, RUBRIC sélectionne un sous-ensemble $U \subset S$ de taille $K$ pour maximiser :
$$\max_{U \subseteq S, |U|=K} \sum_{\tilde{x} \in U} \left( \lambda u(\tilde{x}) + (1-\lambda) r(\tilde{x}) \right) + \gamma \text{Div}(U)$$

• Terme Réalisme-Utilité : La somme pondérée des scores d'utilité et de réalisme.
• Terme de Diversité ($\text{Div}(U)$) : Modélisé comme une fonction de couverture de type facility-location sur le pool de candidats pour éviter la sélection d'échantillons redondants ou quasi-doublons.
• Optimisation : L'objectif est une fonction sous-modulaire monotone. RUBRIC emploie un algorithme glouton pour sélectionner le sous-ensemble, ce qui garantit une approximation de $(1 - 1/e)$ de la solution optimale.

2.3 Pipeline

1. Générer un pool de candidats synthétiques $S$ en utilisant n'importe quel générateur externe.
2. Entraîner un modèle de frontière $f$ sur les données réelles et un discriminateur $D$ pour distinguer le réel du synthétique.
3. Noter tous les candidats dans $S$ en utilisant $f$ et $D$ gelés.
4. Sélectionner par algorithme glouton les $K$ meilleurs candidats basés sur l'objectif sous-modulaire.
5. Entraîner le classificateur final sur le jeu de données augmenté (Réel + Synthétique Sélectionné).

3. Contributions Théoriques

Le papier fournit une analyse théorique montrant que le filtrage sélectif resserre la borne de généralisation des classificateurs basés sur la marge sous des conditions de régularité modérées :

• Réduction du Décalage de Distribution : En filtrant via le discriminateur, RUBRIC réduit la distance de variation totale (TV) entre la distribution synthétique sélectionnée et la véritable distribution minoritaire, contrôlant ainsi le terme de biais.
• Suppression de la Queue (Tail Suppression) : Le formateur d'utilité concave $g$ induit un plancher de marge, supprimant exponentiellement la contribution des échantillons de la « queue proche du négatif » (échantillons qui sont synthétiques mais situés loin de la variété minoritaire).
• Borne de Généralisation : Les auteurs dérivent une borne de risque excédentaire qui inclut explicitement des termes pour l'erreur de calibration du discriminateur ($\epsilon_{est}$) et le plancher de marge, démontant que RUBRIC resserre de manière monotone la borne par rapport à la rétention de tous les candidats.

4. Résultats Expérimentaux

RUBRIC a été évalué sur trois benchmarks tabulaires hautement déséquilibrés : la détection de fraude par carte de crédit (ULB), la détection de fraude IEEE-CIS, et la prédiction des transactions clients Santander.

• Gains de Performance : À travers plusieurs générateurs (SMOTE, ADASYN, Borderline-SMOTE, KMeans-SMOTE) et classificateurs (Régression Logistique, SVM, LightGBM, XGBoost), RUBRIC a systématiquement amélioré les scores de Rappel (Recall) et de F1-macro.
• Gestion du Compromis : Le paramètre $\lambda$ permet aux utilisateurs de naviguer dans le compromis entre la qualité du classement (AUPRC) et les métriques de détection (Rappel/F1).
  • Un $\lambda$ plus faible (priorisant le réalisme) préserve ou améliore l'AUPRC.
  • Un $\lambda$ plus élevé (priorisant l'utilité de la frontière) augmente le Rappel et le F1, parfois au détriment de l'AUPRC.
• Robustesse : RUBRIC a maintenu un ROC-AUC comparable tout en boostant significativement le rappel dans des scénarios de déséquilibre extrême.
• Temps d'Exécution : Le processus de filtrage ajoute un coût de post-traitement unique (par exemple, ~12s pour Credit Card, ~85s pour IEEE-CIS) mais n'affecte pas la latence d'inférence.

5. Signification et Revendications

Le papier revendique les contributions suivantes :

1. Un Nouveau Paradigme : Il déplace l'attention de la génération de meilleurs échantillons vers la sélection des meilleurs échantillons parmi des pools existants, offrant une solution agnostique au générateur qui peut être cumulée avec n'importe quelle méthode de suréchantillonnage.
2. Optimisation Formalisée : Il formalise la sélection d'échantillons synthétiques comme un problème d'optimisation réalisme-utilité sous contrainte, soluble via la maximisation sous-modulaire avec des garanties théoriques.
3. Justification Théorique : Il fournit une borne de généralisation dépendante des données prouvant que le filtrage sélectif réduit le décalage de distribution et supprime les contributions nuisibles de la queue.
4. Utilité Pratique : À travers des expériences approfondies, il démontre que RUBRIC améliore les métriques critiques (Rappel, F1) dans des domaines à enjeux élevés comme la détection de fraude, tout en offrant un contrôle explicite sur le régime opérationnel précision-rappel via le paramètre $\lambda$.

Les auteurs soulignent que RUBRIC n'est pas un correctif universel ; dans certaines configurations (par exemple, certains couplages générateur-modèle sur des jeux de données au déséquilibre modéré comme Santander), les gains peuvent être mitigés ou les compromis peuvent entraîner une baisse du F1 si le seuil n'est pas ajusté. Cependant, le cadre offre un mécanisme rigoureux pour gérer ces compromis.