🤖 AI

An automated method of identifying incorrectly labelled images based on the sequences of loss functions of deep learning networks

Cet article propose et valide une méthode automatisée pour identifier les images médicales incorrectement étiquetées en analysant les séquences de fonctions de perte du deep learning, démontrant que la correction de ces erreurs améliore considérablement la qualité du jeu de données et la performance du modèle dans le dépistage de la rétinopathie diabétique.

Auteurs originaux : Zhipeng Zhang, Wenhui Shou, Wengting Ma, Dongjia Xing, Qingqing Xu, Li-Qun Xu, Qingxia Fan, Ling Xu

Publié 2026-07-07

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zhipeng Zhang, Wenhui Shou, Wengting Ma, Dongjia Xing, Qingqing Xu, Li-Qun Xu, Qingxia Fan, Ling Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à reconnaître différents types de fruits. Vous lui montrez des milliers d'images, mais certaines d'entre elles ont de mauvaises étiquettes collées dessus. Par exemple, vous pourriez accidentellement étiqueter une banane comme une pomme. Si vous laissez le robot étudier ces mauvaises étiquettes, il sera confus et apprendra de mauvaises choses.

Dans le monde médical, c'est exactement ce qui se passe avec l'IA qui analyse les scanners oculaires. Les médecins doivent étiqueter manuellement des milliers d'images pour entraîner ces systèmes d'IA. Mais les médecins sont humains ; ils se fatiguent, les images peuvent être floues ou les pathologies peuvent se ressembler énormément. Les auteurs de cet article estiment que jusqu'à 10 % de ces étiquettes médicales pourraient être erronées.

Le Problème : L'Élève « Confus »
Les chercheurs ont remarqué quelque chose d'intéressant sur la façon dont l'IA « apprend ». Lorsqu'une IA regarde une image avec la bonne étiquette, elle gagne rapidement en confiance. Son « score d'erreur » (appelé fonction de perte) descend de manière fluide, comme un élève qui comprend la leçon et obtient de meilleures notes chaque jour.

Cependant, lorsqu'une IA regarde une image avec une mauvaise étiquette, elle s'enferme dans une boucle de confusion. Elle essaie d'apprendre, échoue, réessaie, et échoue encore. Son « score d'erreur » oscille de manière sauvage ou reste élevé, comme un élève qui est constamment confus par les instructions du professeur.

La Solution : Écouter le « Battement de Cœur » de l'IA
L'article propose une méthode ingénieuse et automatisée pour trouver ces mauvaises étiquettes sans avoir besoin qu'un humain vérifie chaque image. Voici comment ils ont procédé :

La Longue Distance : Ils ont laissé l'IA étudier le jeu de données de nombreuses fois (comme courir un marathon de sessions d'entraînement).
L'Histoire du Score : Au lieu de simplement regarder le résultat final, ils ont enregistré le « score d'erreur » de l'IA après chaque session d'entraînement. Cela a créé une « histoire » ou une séquence unique pour chaque image.
Trouver les Motifs : Ils ont utilisé un outil mathématique pour examiner ces histoires. Ils ont découvert que les histoires des images correctement étiquetées se ressemblaient toutes (une descente fluide). Les histoires des images incorrectement étiquetées étaient totalement différentes (accidentées, plates ou chaotiques).
Le Tri : Ils ont utilisé un algorithme informatique pour regrouper ces histoires en deux tas : « Les Confuses » (étiquettes probablement fausses) et « Les Confiantes » (étiquettes probablement correctes).

L'Expérience : Nettoyer la Salle de Classe
Pour tester si cela fonctionnait, les chercheurs ont pris un ensemble parfait de 10 788 images oculaires et ont secrètement inversé les étiquettes de 6 % d'entre elles (648 images), simulant ainsi des erreurs du monde réel.

La Chasse : Ils ont appliqué leur nouvelle méthode sur ce jeu de données désordonné. Elle a réussi à trouver 75 % des étiquettes inversées.
Le Filet de Sécurité : Crucialement, elle n'a pas trop crié au loup. Elle n'a accusé à tort que environ 5 % des étiquettes correctes.
Le Nettoyage : Ils ont pris les images signalées par l'ordinateur, ont demandé à des médecins seniors de réviser spécifiquement ces cas, et ont corrigé les étiquettes. Cela a réduit le taux d'erreur de l'ensemble du jeu de données de 6 % à 1,5 %.

Le Résultat : Une IA plus Intelligente
Enfin, ils ont réentraîné l'IA en utilisant ce jeu de données « nettoyé ». Le résultat ? L'IA est devenue meilleure dans son travail. Sa précision sur un ensemble de test est passée de 95,93 % à 96,50 %. Bien que ce chiffre paraisse faible, dans le monde de l'IA médicale, se rapprocher du score « parfait » (qui était de 96,57 % lors de l'entraînement sur les données originales non corrompues) est une étape majeure.

En Résumé
L'article démontre qu'en écoutant comment le « score d'erreur » d'une IA évolue au fil du temps, nous pouvons identifier automatiquement les images qui portent de mauvais noms. Cela permet aux médecins de concentrer leur temps uniquement sur les images qui nécessitent une correction, rendant le jeu de données final plus propre et l'IA médicale résultante plus précise.

Résumé Technique : Identification Automatisée d'Images Médicales Incorrectement Étiquetées via des Séquences de Fonctions de Perte

Énoncé du Problème
Les modèles d'apprentissage profond pour l'analyse d'images médicales dépendent fortement de la qualité des ensembles de données étiquetées manuellement. Cependant, l'étiquetage manuel par des médecins est sujet à des erreurs dues à des facteurs tels que la fatigue des médecins, la petite taille des lésions (par exemple, les microanévrismes), les limites ambiguës entre les catégories de maladies (par exemple, la forte myopie versus la myopie pathologique) et les interprétations subjectives de la graduabilité des images. On estime que jusqu'à 10 % des images médicales étiquetées manuellement peuvent être incorrectes. Ces erreurs, si elles sont présentes dans les ensembles d'entraînement, induisent l'optimisation du modèle en erreur, tandis que les erreurs dans les ensembles de validation ou de test empêchent une évaluation authentique des performances. Les solutions traditionnelles impliquent la révision par des médecins seniors de tous les étiquettes initiales, un processus qui est chronophage et énergivore.

Méthodologie
Les auteurs proposent une méthode automatisée pour identifier les images médicales incorrectement étiquetées en analysant les séquences temporelles des fonctions de perte générées lors de l'entraînement de réseaux d'apprentissage profond. L'hypothèse centrale est que, tandis que les échantillons correctement étiquetés présentent une tendance de perte constante et de diminution progressive à travers les époques d'entraînement, les échantillons incorrectement étiquetés (où la vérité de terrain est erronée) provoquent une confusion du modèle, résultant en des séquences de perte qui maintiennent des niveaux élevés ou fluctuent de manière significative.

Le pipeline proposé se compose de trois étapes :

Entraînement de Modèle Multi-Époques : Un réseau d'apprentissage profond (pré-entraîné sur ImageNet) est entraîné sur le jeu de données étiquetées pendant $N$ époques ( $N > 2$ ). Pour chaque échantillon, la valeur de la perte (entropie croisée) est enregistrée à chaque époque, formant une séquence de longueur $N$ .
Extraction de Caractéristiques : Six caractéristiques spécifiques sont extraites de la séquence de perte de chaque échantillon pour caractériser sa tendance :
- F1 : La moyenne de l'ensemble de la séquence (niveau de perte globale).
- F2 : La moyenne des $P$ premiers termes (perte locale au stade précoce).
- F3 : La position $Q$ où la plus grande chute de perte se produit entre le $Q$ -ième et le $(Q+1)$ -ième terme.
- F4 : La moyenne des $Q$ premiers termes (perte avant la diminution significative).
- F5 : La moyenne des $N-Q$ derniers termes (perte après la diminution significative).
- F6 : La différence entre F4 et F5 (étendue de la diminution significative).
Clustering : En utilisant ces six caractéristiques extraites, l'algorithme de clustering $k$ -means ( $k=2$ ) est appliqué pour partitionner le jeu de données en deux catégories : l'une représentant les échantillons correctement étiquetés et l'autre représentant les échantillons incorrectement étiquetés.

Validation Expérimentale et Résultats
La méthode a été validée à l'aide d'un ensemble d'images de fond d'œil pour le dépistage de la rétinopathie diabétique (RD) référable, comprenant 10 788 échantillons avec des étiquettes de référence (gold-standard).

Simulation de Jeu de Données : Pour simuler le bruit du monde réel, un jeu de données synthétique (A') a été créé en inversant intentionnellement les étiquettes de 6 % (648 échantillons) du jeu de données de référence.
Performance d'Identification : Dans la première expérience, la méthode a identifié avec succès 75,31 % (488 sur 648) des échantillons intentionnellement mal étiquetés. La spécificité était de 95,15 %, ce qui signifie que seulement 4,85 % des échantillons correctement étiquetés ont été identifiés à tort comme incorrects. Les auteurs notent que les échantillons non identifiés possédaient souvent une mauvaise qualité d'image ou des caractéristiques ambiguës qui les rendaient visuellement similaires à la classe opposée, même pour des experts humains.
Amélioration de la Performance du Modèle : Dans la seconde expérience, les 980 échantillons identifiés comme potentiellement incorrects ont été révisés et corrigés par des médecins, créant un jeu de données raffiné (A'') avec seulement 1,5 % d'erreurs restantes. Un modèle d'apprentissage profond réentraîné sur ce jeu de données raffiné a atteint une précision maximale de 96,50 % sur un ensemble de test indépendant. Cela représente une amélioration par rapport au modèle entraîné sur le jeu de données bruité (95,93 %) et se rapproche de la performance idéale de 96,57 % obtenue par un modèle entraîné sur le jeu de données original, parfaitement propre.

Contributions Clés et Signification
L'article affirme que cette approche automatisée offre une solution pratique au problème laborieux du nettoyage de données en IA médicale. En exploitant le comportement intrinsèque des fonctions de perte pendant l'entraînement, la méthode permet aux médecins seniors de concentrer leurs efforts de révision sur un sous-ensemble d'images à haute probabilité (environ 9,1 % du jeu de données dans cette étude) plutôt que sur la collection entière. Ce processus améliore efficacement la cohérence et la fiabilité des ensembles de données d'images médicales étiquetées, posant une base plus robuste pour l'entraînement des modèles d'apprentissage profond et, finalement, pour améliorer leurs performances de diagnostic. Les auteurs concluent que bien que la méthode soit efficace pour les tâches de classification binaire comme le dépistage de la RD, des recherches supplémentaires sont nécessaires pour valider son utilité dans les tâches de classification multi-classes et de segmentation.

Articles similaires