A Data-Centric Framework for Detecting and Correcting Corrupted Labels

Résumé Technique : Relabeler – Un cadre centré sur les données pour la détection et la correction d'étiquettes corrompues

Énoncé du problème
La performance des modèles d'apprentissage automatique (ML) et d'apprentissage profond (DL) dépend fondamentalement de la qualité des données d'entraînement. En pratique, les jeux de données à grande échelle contiennent souvent un « bruit d'étiquetage » — des instances auxquelles des étiquettes incorrectes sont attribuées en raison d'erreurs de crowdsourcing ou d'annotation automatisée. Les taux de bruit rapportés dans les jeux de données réels varient de 8 % à 38,5 %. Un tel bruit dégrade considérablement l'exactitude et la fiabilité des modèles. Bien que les approches existantes se classent généralement en deux catégories — centrées sur le modèle (amélioration de la robustesse de l'algorithme) et centrées sur les données (amélioration de la qualité du jeu de données) — la plupart des méthodes centrées sur les données traitent la détection et la correction d'étiquettes comme des tâches distinctes. De plus, de nombreuses solutions existantes se concentrent principalement sur l'identification des instances bruitées pour les écarter ou les repondérer, plutôt que sur l'inférence explicite et la réparation des étiquettes correctes. Cette séparation limite la capacité à exploiter pleinement les relations intrinsèques entre les caractéristiques d'entrée, les étiquettes bruitées et les étiquettes propres au sein d'un cadre unifié.

Méthodologie : Le cadre Relabeler
Les auteurs proposent Relabeler, un cadre de bout en bout centré sur les données, conçu pour détecter et corriger les étiquettes corrompues via deux phases intégrées :

1. Détection des étiquettes corrompues
Cette phase partitionne un jeu de données bruité $\tilde{D}$ en un sous-ensemble propre ($D_{clean}$) et un sous-ensemble suspect ($D_{suspicious}$) en exploitant à la fois les relations locales et globales des instances.

• Vérification locale : Le cadre utilise l'algorithme des k-plus proches voisins (k-NN) pour examiner la cohérence de l'étiquette d'une instance avec ses voisins immédiats dans l'espace des caractéristiques. Les instances dont les étiquettes sont cohérentes avec la majorité de leurs voisins sont provisoirement classées comme propres.
• Vérification globale : Pour pallier les limites de l'analyse locale (ex: proximité des frontières de classes), Relabeler entraîne de manière itérative un modèle de classification ($M_{clean}$) sur les instances identifiées comme propres. Ce modèle capture des motifs globaux plus larges. Les instances du groupe suspect sont réévaluées ; si leurs étiquettes originales s'alignent avec les prédictions de $M_{clean}$, elles sont transférées vers $D_{clean}$. Ce processus itératif se poursuit jusqu'à ce qu'aucune autre instance propre ne puisse être identifiée.

2. Correction des étiquettes corrompues
Pour les instances restant dans $D_{suspicious}$, Relabeler estime l'étiquette propre la plus probable ($y^*$) en maximisant la probabilité a posteriori $P(y | x, \tilde{y})$, où $x$ est la caractéristique d'entrée et $\tilde{y}$ est l'étiquette bruitée observée. Par inférence bayésienne, cela est reformulé pour combiner deux facteurs complémentaires :

• Prédiction de l'étiquette propre ($P(y|x)$) : Un modèle $M_{clean}$ entraîné sur $D_{clean}$ estime la probabilité d'une étiquette basée sur les caractéristiques d'entrée.
• Estimation de l'étiquette bruitée ($P(\tilde{y}|x, y)$) : Un modèle $M_{noisy}$ estime la probabilité d'observer une étiquette bruitée spécifique étant donné l'entrée et une étiquette propre candidate.
  • Entraînement de $M_{noisy}$ : Puisque les données de transition de vérité terrain sont indisponibles, Relabeler entraîne un « simulateur de bruit » ($M_{simulator}$) sur $D_{suspicious}$ pour apprendre les motifs de bruit spécifiques au jeu de données. Ce simulateur génère des étiquettes bruitées synthétiques pour les instances de $D_{clean}$, créant ainsi un jeu de données de transition utilisé pour entraîner $M_{noisy}$.
• Inférence : L'étiquette réparée finale est déterminée en intégrant les prédictions de $M_{clean}$ et $M_{noisy}$, garantissant que la correction tient compte à la fois de l'alignement sémantique des caractéristiques et des motifs statistiques de la corruption des étiquettes.

Contributions clés

• Cadre unifié : L'introduction de Relabeler, un système de bout en bout qui réalise conjointement la détection et la correction, comblant le fossé où la détection et la correction sont habituellement traitées séparément.
• Intégration bayésienne : Une approche novatrice de la correction d'étiquettes qui modélise à la fois la distribution des étiquettes propres et la probabilité de transition du bruit, plutôt que de s'appuyer uniquement sur la prédiction par caractéristiques ou le vote heuristique.
• Raffinement itératif : Un mécanisme de détection qui affine de manière itérative l'ensemble des données propres pour entraîner un modèle de vérification globale, améliorant la précision de l'identification des instances suspectes.

Résultats expérimentaux
Les auteurs ont évalué Relabeler sur cinq jeux de données diversifiés (CIFAR-10, CIFAR-100, Agnews, Clickbait, CodeXGLUE) couvrant la classification d'images, de texte et de code source. Le cadre a été comparé aux bases de référence de pointe, spécifiquement Docta (avec ses variantes de vote et de classement).

• Précision de la correction d'étiquettes : Relabeler a systématiquement surpassé les bases de référence, atteignant jusqu'à 58 % d'amélioration de la précision de la correction d'étiquettes à travers divers jeux de données et taux de bruit (20 % et 40 %). Par exemple, sur le jeu de données Agnews avec 40 % de bruit, Relabeler a atteint une précision de 89,47 % contre 61,43 % pour Docta-R.
• Réduction du taux d'erreur : Le cadre a considérablement réduit le taux d'erreur résiduel des jeux de données réparés. Sur CIFAR-10 avec 40 % de bruit, Relabeler a réduit le taux d'erreur à 7,48 %, alors que les bases de référence maintenaient des taux supérieurs à 23 %.
• Robustesse : Relabeler a démontré une performance supérieure à travers différents types de bruit, incluant le bruit symétrique, asymétrique et dépendant de l'instance. Il a maintenu une précision élevée et de faibles taux d'erreur même sous des scénarios de bruit mixtes complexes où les bases de référence peinaient.
• Utilité en aval : L'entraînement de modèles en aval (classificateurs MLP) sur des jeux de données réparés par Relabeler a produit les plus hautes précisions et scores F1 pondérés. Sur le jeu de données Agnews, Relabeler a amélioré la précision en aval à 75,50 %, soit un gain relatif d'environ 6 % par rapport au jeu de données bruité original, surpassant à la fois les données originales et les jeux de données réparés par Docta.
• Analyse des composants : Des études d'ablation ont confirmé que l'intégration de l'estimateur d'étiquette bruitée ($M_{noisy}$) avec le prédicteur d'étiquette propre ($M_{clean}$) est critique, apportant jusqu'à 50 % d'amélioration relative de la précision par rapport à l'utilisation de $M_{clean}$ seul.

Signification et affirmations
L'article affirme que Relabeler répond à une lacune critique de l'apprentissage centré sur les données en allant au-delà de la simple détection pour proposer une réparation d'étiquettes explicite et fondée sur des principes. En formulant la correction d'étiquettes comme un problème d'inférence bayésienne qui modélise à la fois les relations caractéristiques-étiquettes et les motifs de transition du bruit, Relabeler fournit un jeu de données réutilisable et de haute qualité qui bénéficie à tout apprenant en aval. Les auteurs soutiennent que cette approche est particulièrement pratique pour les applications réelles où l'écartement des données n'est pas possible, et où la compréhension de la distribution spécifique du bruit est essentielle pour une correction précise. Les résultats suggèrent que Relabeler non seulement améliore la qualité des données, mais sert également de complément robuste aux méthodes existantes d'apprentissage robuste au bruit centrées sur le modèle.