🤖 machine learning

Benchmarking Instance-Dependent Label Noise with Controlled Corruptions

Cet article introduit CILN, un cadre de génération de référence qui crée un bruit d'étiquette contrôlé et dépendant de l'instance par le biais de corruptions explicites des entrées, révélant que la structure du bruit impacte significativement la performance des algorithmes et exposant les modes de défaillance des méthodes populaires d'apprentissage avec étiquettes bruitées que les références traditionnelles basées sur la faillibilité des évaluateurs ne parviennent pas à détecter.

Auteurs originaux : Shadman Islam, Agustinus Kristiadi, Mostafa Milani

Publié 2026-06-16

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shadman Islam, Agustinus Kristiadi, Mostafa Milani

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous entraîniez un robot à reconnaître des animaux sur des photos. Vous lui donnez l'image d'un chien, mais l'étiquette indique « chat ». Le robot est confus. C'est ce qu'on appelle le bruit d'étiquetage (label noise).

Pendant longtemps, les chercheurs ont testé la capacité des robots à gérer ces erreurs en inversant simplement les étiquettes de manière aléatoire. C'est comme dire : « Bon, supposons que 10 % des photos de chiens soient en fait des chats, et 10 % des chats soient des chiens. » Mais dans le monde réel, les erreurs ne sont pas aléatoires. Elles surviennent parce qu'une image est floue, que la lumière est mauvaise ou que l'animal a une apparence étrange. Un robot est plus susceptible de confondre un chien flou avec un chat qu'un chien net et précis.

Cet article introduit une nouvelle façon de tester les robots, appelée CILN (Corruption-Induced Label Noise - Bruit d'étiquetage induit par la corruption). Au lieu de simplement échanger les étiquettes de manière aléatoire, les chercheurs « cassent » délibérément les images d'abord, puis observent comment les robots réagissent.

Voici une décomposition simple de son fonctionnement et de leurs découvertes :

1. L'ancienne méthode vs La nouvelle méthode

L'ancienne méthode (Le « mauvais professeur ») : Imaginez un professeur qui est simplement fatigué et fait des erreurs aléatoires. Il regarde une image claire d'un chien et écrit accidentellement « chat » sur la copie. L'erreur n'a rien à voir avec l'image elle-même ; c'est juste que le professeur passe une mauvaise journée. Les tests existants utilisaient cette méthode.
La nouvelle méthode (La « photo endommagée ») : Dans l'expérience CILN, les chercheurs ne se contentent pas de changer l'étiquette ; ils abîment d'abord la photo. Ils prennent une image nette d'un chien et ajoutent du grain, du flou ou coupent ses oreilles. Désormais, l'image ressemble réellement un peu à un chat. Lorsqu'ils demandent à un groupe de « votants » (un ensemble de différents modèles d'IA) d'étiqueter cette photo endommagée, ils ne sont pas d'accord. Certains disent « chien », d'autres disent « chat ». Les chercheurs utilisent ce désaccord pour créer l'étiquette « bruitée ».

La différence clé : Dans l'ancienne méthode, l'erreur est cachée dans le cerveau du professeur. Dans la nouvelle méthode, l'erreur est visible dans la photo brisée. Vous savez exactement pourquoi le robot est confus : parce que l'image est floue, et non parce que le professeur a été négligent.

2. Comment ils ont procédé (La « rupture contrôlée »)

Les chercheurs ont pris des ensembles de données propres (comme des images d'animaux : chiens, chats et oiseaux) et ont appliqué des « corruptions » spécifiques :

Flou : Rendre l'image diffuse.
Bruit : Ajouter du grain statique.
Météo : Ajouter du brouillard ou de la neige.
Géométrie : Étirer ou faire pivoter l'image.

Ils ont fait cela à différents niveaux de sévérité, allant de « légèrement agaçant » à « complètement méconnaissable ». Ils ont ensuite demandé à une équipe diversifiée de modèles d'IA de deviner ce qu'était l'image endommagée. Si l'équipe était en désaccord, cette image devenait partie intégrante de leur ensemble de test « bruité ».

3. Ce qu'ils ont découvert

Les chercheurs ont testé ces méthodes sur trois types de données différents : des photos d'animaux (CIFAR-10), des chiffres écrits à la main (MNIST) et des données de revenus d'adultes (Adult).

Les erreurs suivent un schéma : Ils ont découvert que lorsque vous cassez une image d'une certaine manière, les erreurs ne sont pas aléatoires. Par exemple, si vous ajoutez un « bruit d'impulsion » (comme du grain de type sel et poivre) à un chiffre « 5 » écrit à la main, les espaces se comblent et il commence à ressembler à un « 8 ». Les robots font systématiquement la même erreur (le 5 devient un 8) parce que les dommages le font ressembler à un 8. C'est différent du bruit aléatoire, où un 5 pourrait devenir aléatoirement un 2, un 7 ou un 9.
L'effet « Attracteur » : Certains types de dommages agissent comme un aimant. Peu importe l'image d'origine, si vous l'endommagez suffisamment, les robots commencent tous à donner la même mauvaise réponse. Par exemple, un flou intense pourrait faire en sorte que presque tout ressemble à un « chat » ou à une « grenouille ».
Le piège de la « faible perte » (Small Loss) : De nombreuses méthodes d'IA modernes tentent de corriger les erreurs en supposant que si un robot est sûr d'une étiquette (faible « perte » ou loss), il a probablement raison. Mais les tests CILN ont montré un piège : si une image est suffisamment endommagée pour ressembler à un chat, le robot devient très sûr qu'il s'agit d'un chat, même s'il s'agit en réalité d'un chien. Le robot pense avoir raison parce que l'image est brisée, et non parce qu'il est intelligent. Cela a provoqué l'échec de méthodes d'IA populaires qui n'avaient jamais échoué lors des anciens tests de « erreurs aléatoires ».

4. Pourquoi cela importe

L'article soutient que nous ne pouvons pas nous contenter de mesurer combien d'erreurs un ensemble de données contient (le « taux de bruit »). Nous devons également mesurer quel type d'erreurs elles sont.

Analogie : Imaginez tester les freins d'une voiture.
- Ancien test : Vous appuyez de manière aléatoire sur la pédale de frein pendant que la voiture roule. Parfois elle s'arrête, parfois non.
- Nouveau test (CILN) : Vous placez la voiture sur une route couverte de glace, puis vous testez les freins.
- Résultat : La voiture peut s'arrêter très bien sur du pavé sec (faible bruit), mais échouer complètement sur la glace (bruit élevé). L'ancien test ne vous aurait pas dit que la voiture a des difficultés sur la glace. De même, les anciens tests d'IA ne nous disaient pas que l'IA lutte lorsque les données elles-mêmes sont endommagées, seulement quand les étiquettes sont erronées.

Résumé

L'article présente le CILN, un nouvel outil qui crée des données « brisées » pour tester l'IA. Il montre que lorsque les données sont endommagées de manières spécifiques (comme le flou ou le bruit), l'IA commet des erreurs prévisibles et structurées qui sont très différentes des erreurs aléatoires. Cela révèle les faiblesses des méthodes actuelles de sécurité de l'IA qui étaient auparavant cachées, prouvant que la manière dont une erreur se produit est tout aussi importante que le nombre d'erreurs qui surviennent.

Résumé technique : Évaluation de la référence du bruit de labels dépendant de l'instance avec des corruptions contrôlées (CILN)

Énoncé du problème

Les systèmes d'apprentissage automatique modernes reposent sur de grands ensembles de données étiquetées, pourtant les étiquettes sont fréquemment imparfaites en raison d'erreurs d'annotation, d'exemples ambigus ou d'une supervision faible. Si les premières recherches se sont concentrées sur le bruit symétrique et conditionnel à la classe (CCN), les contextes pratiques présentent souvent un Bruit de Labels Dépendant de l'Instance (IDN), où la probabilité d'une erreur d'étiquetage dépend à la fois de la classe réelle et des caractéristiques spécifiques de l'instance d'entrée.

Les benchmarks de génération de IDN synthétiques existants produisent généralement du bruit via deux mécanismes :

Transformations dans l'espace des caractéristiques : Application de transformations latentes pour augmenter les probabilités de corruption pour des exemples spécifiques.
Pseudo-étiquetage : Utilisation de classifieurs divers comme annotateurs synthétiques, où le désaccord induit de l'incertitude.

La limite : Dans les deux approches, la source de l'ambiguïté reste implicite. Dans les méthodes de l'espace des caractéristiques, les transformations sont souvent difficiles à interpréter. Dans le pseudo-étiquetage, le bruit est contrôlé par la modification des propriétés des annotateurs (par exemple, les procédures d'entraînement), ce qui rend difficile l'isolement de mécanismes d'ambiguïté spécifiques (par exemple, le flou, l'occlusion, les données manquantes) ou le traçage des erreurs de labels vers des changements d'entrée spécifiques. Par conséquent, les benchmarks existants offrent un support limité pour étudier systématiquement comment des mécanismes de dégradation de données spécifiques affectent le désaccord des classifieurs et le comportement d'apprentissage en aval.

Méthodologie : Le cadre CILN

Les auteurs introduisent CILN (Corruption-Induced Label Noise), un cadre de génération de benchmark qui crée de l'IDN par le biais de corruptions d'entrées contrôlées. Contrairement aux méthodes précédentes qui altèrent le processus d'étiquetage, CILN altère les données d'entrée elles-mêmes tout en préservant le contenu sémantique.

Composants fondamentaux

Corruptions contrôlées : Le cadre applique des types de corruption spécifiques ( $c$ $c$ ) à des niveaux de sévérité variables ( $\ell$ $ℓ$ ) aux instances propres.
- Données d'images : Utilise des familles de corruption issues de CIFAR-C et MNIST-C, incluant le bruit (gaussien, shot, impulsionnel), le flou (défocalisation, verre, mouvement), la météo (brouillard, givre, neige), les transformations géométriques et les artefacts numériques (luminosité, contraste, JPEG).
- Données tabulaires : Utilise des opérateurs de corruption inspirés du benchmark Jenga, incluant des mécanismes de données manquantes (MCAR, MAR, MNAR) et des corruptions de valeurs (injection de bruit, mise à l'échelle).
Pool de votants : Un pool diversifié de $M$ modèles (par exemple, ResNets, Vision Transformers, XGBoost) évalue les instances corrompues.
Génération de labels :
- Chaque votant produit une distribution prédictive $p^{(m)}(y|x)$ .
- Le benchmark publie une distribution de labels agrégée $\bar{p}_i$ (moyenne arithmétique des prédictions des votants) ainsi que les distributions individuelles des votants.
- Pour les expériences à label dur (hard-label), un seul votant est échantillonné uniformément au hasard pour fournir un label d'entraînement, imitant le protocole PL-IDN.
Configuration de départ propre (Clean-Start) : Un mode optionnel filtre le jeu de données pour ne conserver que les instances classées unanimement de manière correcte par tous les votants avant la corruption. Cela isole l'incertitude induite par la corruption de l'ambiguïté préexistante dans les données originales.

Construction du benchmark

Le cadre a été instancié sur trois jeux de données : CIFAR-10, MNIST et Adult.

CIFAR-10 : 45 configurations (15 types de corruption $\times$ 3 niveaux de sévérité).
MNIST : 30 configurations publiées (11 types de sévérité continue + 4 types structurels).
Adult : 15 configurations (5 types de corruption $\times$ 3 niveaux de sévérité).
Total : 90 configurations de benchmark couvrant les domaines de l'image et du tabulaire.

Contributions clés

Génération d'IDN contrôlée par mécanisme : CILN fournit un cadre où la source (type de corruption) et la sévérité de l'ambiguïté sont explicites et contrôlables, établissant un lien direct entre la dégradation de l'entrée et l'incertitude du label.
Véritable dépendance à l'instance : Les auteurs démontrent que le cadre génère un véritable IDN où le degré de dépendance à l'instance peut être systématiquement ajusté via le type de corruption et la sévérité.
Incertitude similaire à celle de l'humain : Sous des configurations appropriées, les distributions de labels générées par CILN sont statistiquement plus proches de l'incertitude humaine (mesurée par rapport à CIFAR-10-H) que les benchmarks IDN synthétiques existants (spécifiquement PL-IDN).
Exposition des modes de défaillance : Le benchmark révèle que les méthodes d'apprentissage de labels bruités à l'état de l'art (Co-Teaching, DivideMix) présentent des modes de défaillance sous une corruption de haute sévérité qui ne sont pas observés sous des taux de bruit comparables générés par des modèles de faillibilité de l'évaluateur.

Résultats expérimentaux

1. Force de la dépendance à l'instance

Les auteurs introduisent l'Hétérogénéité de la Transition de Bruit ( $n_{th}$ ) pour mesurer la dépendance à l'instance.

Résultats : Toutes les configurations CILN produisent des valeurs $n_{th}$ positives, confirmant un véritable IDN.
Contrôle : L'ampleur de $n_{th}$ varie considérablement selon les familles de corruption et les niveaux de sévérité. Pour de nombreuses familles, $n_{th}$ augmente avec la sévérité mais finit par saturer ou diminuer à haute sévérité à mesure que les schémas de prédiction convergent.
Comparaison : À des taux de bruit élevés, les configurations représentatives de CILN égalent ou dépassent la dépendance à l'instance de PL-IDN.

2. Similitude avec l'incertitude d'annotation humaine

En utilisant la distance de Variation Totale (TV) par rapport à CIFAR-10-H :

Résultats : CILN est systématiquement plus proche de l'incertitude humaine que PL-IDN à tous les niveaux de bruit.
Spécificité de la corruption : Les corruptions légères (particulièrement les familles Météo et Numérique comme le givre, la neige, le brouillard, la luminosité, JPEG) produisent des distributions de labels les plus proches du désaccord humain. Les corruptions sévères ont tendance à diverger davantage des schémas humains mais surpassent toujours PL-IDN.
Analyse PCA : Les dix configurations CILN les plus proches de CIFAR-10-H dans l'espace PCA étaient toutes des corruptions de faible sévérité de type Météo ou Numérique ; aucune des publications de PL-IDN n'apparaissait dans les dix premières.

3. Comportement d'apprentissage en aval

Les auteurs ont évalué ERM, Co-Teaching et DivideMix sur CIFAR-10.

Bruit Faible/Moyen : CILN et PL-IDN produisent des tendances de performance similaires.
Divergence à haut bruit : À des taux de bruit élevés, Co-Teaching et DivideMix subissent une dégradation substantielle des performances sur certaines configurations CILN (par exemple, contraste de haute sévérité, pixellisation, flou de verre), alors qu'ils restent relativement robustes sur PL-IDH.
Mécanisme de défaillance :
- Classes attractrices : Certaines corruptions créent des "classes attractrices" (par exemple, grenouille, chat, camion) où les exemples mal étiquetés provenant de nombreuses classes réelles sont attirés vers une seule classe incorrecte.
- Effondrement de la distribution de perte : Dans ces configurations, le label incorrect devient cohérent avec l'entrée corrompue. Par conséquent, les exemples bruités ne produisent pas nécessairement des pertes d'entraînement plus élevées que les exemples propres. Cela viole l'hypothèse de la petite perte (selon laquelle les exemples propres ont une perte plus faible que les exemples bruités) sur laquelle Co-Teaching et DivideMix reposent pour la sélection d'échantillons.
- Validation par départ propre (Clean-Start) : Les modes de défaillance persistent même dans la variante Clean-Start (CILN-C), confirmant que la difficulté provient de la structure de la corruption elle-même, et non de l'ambiguïté préexistante des données.

Signification et affirmations

L'article soutient que la structure du bruit, et non seulement le taux de bruit, est un facteur critique de la difficulté du benchmark et du comportement des algorithmes.

Complémentarité : CILN complète les benchmarks de faillibilité de l'évaluateur existants (comme PL-IDN) en déplaçant l'attention de comment les labels bruités sont produits (qualité de l'annotateur) vers pourquoi ils surviennent (dégradation des données).
Interprétabilité : En rendant les mécanismes d'ambiguïté explicites, CILN permet aux chercheurs d'étudier comment des types spécifiques de dégradation de données (par exemple, flou vs données manquantes) influencent la dynamique d'apprentissage.
Réalisme : Le cadre démontre que des corruptions contrôlées peuvent produire des distributions de labels qui approchent mieux l'incertitude humaine que les méthodes synthétiques actuelles, particulièrement dans les régimes de sévérité faible à modérée.
Insight algorithmique : Les résultats suggèrent que les méthodes actuelles de robustesse au bruit peuvent faire du surapprentissage (overfitting) sur les structures de bruit spécifiques des benchmarks traditionnels (où le bruit est largement indépendant de l'entrée) et peuvent échouer lorsque le bruit est structurellement couplé à l'entrée via la corruption.

Les auteurs concluent que CILN fournit un cadre pratique, interprétable et contrôlé par mécanisme pour évaluer l'apprentissage de labels bruités sous diverses sources de difficulté d'instance, exhortant la communauté à considérer la structure du bruit parallèlement au taux de bruit dans la conception des benchmarks.