🤖 AI

An automated method of identifying incorrectly labelled images based on the sequences of loss functions of deep learning networks

Dieses Papier schlägt eine automatisierte Methode zur Identifizierung falsch etikettierter medizinischer Bilder durch die Analyse von Sequenzen der Deep-Learning-Verlustfunktion vor und validiert diese, wobei es zeigt, dass die Korrektur dieser Fehler die Datensatzqualität und die Modellleistung beim Screening auf diabetische Retinopathie signifikant verbessert.

Ursprüngliche Autoren: Zhipeng Zhang, Wenhui Shou, Wengting Ma, Dongjia Xing, Qingqing Xu, Li-Qun Xu, Qingxia Fan, Ling Xu

Veröffentlicht 2026-07-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhipeng Zhang, Wenhui Shou, Wengting Ma, Dongjia Xing, Qingqing Xu, Li-Qun Xu, Qingxia Fan, Ling Xu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, verschiedene Obstsorten zu erkennen. Sie zeigen ihm tausende Bilder, aber auf einigen der Bilder kleben die falschen Namensschilder. Zum Beispiel könnten Sie versehentlich eine Banane als Apfel beschriftet haben. Wenn Sie den Roboter diese falschen Etiketten studieren lassen, wird er verwirrt sein und die falschen Dinge lernen.

In der medizinischen Welt passiert genau das bei KI-Systemen, die Augen-Scans analysieren. Ärzte müssen tausende Bilder manuell beschriften, um diese KI-Systeme zu trainieren. Aber Ärzte sind Menschen; sie werden müde, die Bilder können unscharf sein oder die Zustände können sich sehr ähnlich sehen. Die Autoren dieser Arbeit schätzen, dass bis zu 10 % dieser medizinischen Etiketten falsch sein könnten.

Das Problem: Der „verwirrte“ Schüler
Die Forscher bemerkten etwas Interessantes darüber, wie eine KI „lernt“. Wenn eine KI ein Bild mit der richtigen Beschriftung betrachtet, wird sie schnell selbstbewusst. Ihr „Fehlerwert“ (genannt Loss-Funktion) sinkt glatt ab, wie ein Schüler, der den Unterricht versteht und jeden Tag bessere Noten schreibt.

Wenn die KI jedoch ein Bild mit einer falschen Beschriftung betrachtet, gerät sie in eine Schleife der Verwirrung. Sie versucht zu lernen, scheitert, versucht es erneut und scheitert wieder. Ihr „Fehlerwert“ springt wild hin und her oder bleibt hoch, wie ein Schüler, der ständig von den Anweisungen des Lehrers verwirrt ist.

Die Lösung: Auf den „Herzschlag“ der KI hören
Die Arbeit schlägt eine clevere, automatisierte Methode vor, um diese schlechten Etiketten zu finden, ohne dass ein Mensch jedes einzelne Bild überprüfen muss. So sind sie vorgegangen:

Der lange Lauf: Sie ließen die KI den Datensatz viele Male durchlengen (wie das Laufen eines Marathons aus Trainingssitzungen).
Die Geschichte des Scores: Anstatt nur das Endergebnis zu betrachten, zeichneten sie den „Fehlerwert“ der KI nach jeder einzelnen Trainingssitzung auf. Dies erzeugte eine einzigartige „Geschichte“ oder Sequenz für jedes einzelne Bild.
Muster finden: Sie verwendeten ein mathematisches Werkzeug, um diese Geschichten zu untersuchen. Sie fanden heraus, dass die Geschichten korrekt beschrifteter Bilder alle sehr ähnlich aussahen (eine glatte Abwärtsbewegung). Die Geschichten falsch beschrifteter Bilder sahen völlig anders aus (holprig, flach oder chaotisch).
Die Sortierung: Sie nutzten einen Computer-Algorithmus, um diese Geschichten in zwei Stapel zu gruppieren: „Die Verwirrten“ (wahrscheinlich falsche Etiketten) und „Die Selbstbewussten“ (wahrscheinlich korrekte Etiketten).

Das Experiment: Das Klassenzimmer reinigen
Um zu testen, ob dies funktionierte, nahmen die Forscher einen perfekten Satz von 10.788 Augenbildern und vertauschten heimlich die Beschriftungen bei 6 % davon (648 Bilder), um reale Fehler vorzutäuschen.

Die Jagd: Sie wendeten ihre neue Methode auf diesen unordentlichen Datensatz an. Sie fand erfolgreich 75 % der vertauschten Etiketten.
Das Sicherheitsnetz: Entscheidend war, dass sie nicht zu oft „Fehlalarm“ schlugen. Sie beschuldigten nur etwa 5 % der korrekten Etiketten fälschlicherweise.
Die Reinigung: Sie nahmen die Bilder, die der Computer markiert hatte, ließen sie von erfahrenen Ärzten überprüfen und korrigierten die Beschriftungen. Dies reduzierte die Fehlerrate im gesamten Datensatz von 6 % auf 1,5 %.

Das Ergebnis: Eine intelligentere KI
Schließlich trainierten sie die KI unter Verwendung dieses „gereinigten“ Datensatzes neu. Das Ergebnis? Die KI wurde besser in ihrem Job. Ihre Genauigkeit auf einem Testdatensatz stieg von 95,93 % auf 96,50 %. Obwohl diese Zahl klein aussieht, ist es in der Welt der medizinischen KI eine große Sache, näher an den „perfekten“ Wert (der 96,57 % betrug, als sie mit den ursprünglichen, unverfälschten Daten trainiert wurde) heranzukommen.

Zusammenfassend
Die Arbeit zeigt, dass wir, indem wir darauf hören, wie sich der „Fehlerwert“ einer KI über die Zeit verändert, automatisch die Bilder finden können, an denen die falschen Namen hängen. Dies ermöglicht es Ärzten, ihre Zeit nur auf die Bilder zu konzentrieren, die repariert werden müssen, was den endgültigen Datensatz sauberer und die resultierende medizinische KI genauer macht.

Technisches Resümee: Automatisierte Identifizierung falsch etikettierter medizinischer Bilder mittels Verlustfunktionssequenzen

Problemstellung
Deep-Learning-Modelle für die Analyse medizinischer Bilder sind stark von der Qualität manuell etikettierter Datensätze abhängig. Die manuelle Etikettierung durch Mediziner ist jedoch anfällig für Fehler aufgrund von Faktoren wie Ermüdungserscheinungen der Ärzte, der geringen Größe von Läsionen (z. B. Mikroaneurysmen), zweideutigen Grenzen zwischen Krankheitskategorien (z. B. hohe Myopie vs. pathologische Myopie) und subjektiven Interpretationen der Bildgraduierbarkeit. Es wird geschätzt, dass bis zu 10 % der manuell etikettierten medizinischen Bilder fehlerhaft sein können. Diese Fehler führen, sofern sie in Trainingssätzen vorhanden sind, zu einer Fehlleitung der Modelloptimierung, während Fehler in Validierungs- oder Testsets eine authentische Leistungsbewertung verhindern. Traditionelle Lösungen sehen vor, dass erfahrene Mediziner alle initialen Etiketten überprüfen, was jedoch ein zeit- und energieaufwendiger Prozess ist.

Methodik
Die Autoren schlagen eine automatisierte Methode zur Identifizierung falsch etikettierter medizinischer Bilder vor, indem sie die zeitlichen Sequenzen der Verlustfunktionen analysieren, die während des Trainings tiefer neuronaler Netze generiert werden. Die Kernhypothese lautet, dass korrekt etikettierte Stichproben einen konsistenten, graduell sinkenden Verlusttrend über die Trainingsepochen hinweg aufweisen, während falsch etikettierte Stichproben (bei denen die Grundwahrheit/Ground Truth falsch ist) das Modell in einem Zustand der Verwirrung halten, was zu Verlustsequenzen führt, die ein hohes Niveau beibehalten oder signifikant fluktuieren.

Die vorgeschlagene Pipeline besteht aus drei Stufen:

Multi-Epochen-Modelltraining: Ein tiefes neuronales Netz (vorab trainiert auf ImageNet) wird auf dem etikettierten Datensatz für $N$ Epochen ( $N > 2$ ) trainiert. Für jede Stichprobe wird der Verlustwert (Cross-Entropy) in jeder Epoche aufgezeichnet, wodurch eine Sequenz der Länge $N$ entsteht.
Merkmalsextraktion: Sechs spezifische Merkmale werden aus jeder Verlustsequenz extrahiert, um deren Trend zu charakterisieren:
- F1: Der Mittelwert der gesamten Sequenz (globales Verlustniveau).
- F2: Der Mittelwert der ersten $P$ Terme (lokaler Verlust in der Frühphase).
- F3: Die Position $Q$ , an der der größte Abfall des Verlusts zwischen dem $Q$ -ten und dem $(Q+1)$ -ten Term auftritt.
- F4: Der Mittelwert der ersten $Q$ Terme (Verlust vor dem signifikanten Abfall).
- F5: Der Mittelwert der letzten $N-Q$ Terme (Verlust nach dem signifikanten Abfall).
- F6: Die Differenz zwischen F4 und F5 (Ausmaß des signifikanten Abfalls).
Clustering: Unter Verwendung dieser sechs extrahierten Merkmale wird der k-Means-Clustering-Algorithmus ( $k=2$ ) angewendet, um den Datensatz in zwei Kategorien zu unterteilen: eine, die korrekt etikettierte Stichproben repräsentiert, und eine andere, die falsch etikettierte Stichproben repräsentiert.

Experimentelle Validierung und Ergebnisse
Die Methode wurde anhand eines Fundus-Bilddatensatzes für das Screening der referenzierbaren diabetischen Retinopathie (DR) validiert, der 10.788 Proben mit Goldstandard-Etiketten umfasst.

Datensimulation: Um realistischees Rauschen zu simulieren, wurde ein synthetischer Datensatz (A') erstellt, indem die Labels des Goldstandard-Datensatzes gezielt bei 6 % (648 Proben) vertauscht wurden.
Identifizierungsleistung: Im ersten Experiment identifizierte die Methode erfolgreich 75,31 % (488 von 648) der absichtlich falsch etikettierten Proben. Die Spezifität betrug 95,15 %, was bedeutet, dass nur 4,85 % der korrekt etikettierten Proben fälschlicherweise als falsch identifiziert wurden. Die Autoren merken an, dass die nicht identifizierten Proben oft eine schlechte Bildqualität oder zweideutige Merkmale aufwiesen, die sie selbst für Experten visuell ähnlich zur gegenüberliegenden Klasse machten.
Verbesserung der Modellleistung: In einem zweiten Experiment wurden die 980 als potenziell falsch identifizierten Proben von Medizinern überprüft und korrigiert, wodurch ein verfeinerter Datensatz (A'') entstand, der nur noch 1,5 % Fehler aufwies. Ein tiefes neuronales Netz, das auf diesem verfeinerten Datensatz neu trainiert wurde, erreichte eine Bestleistung der Genauigkeit von 96,50 % auf einem unabhängigen Testset. Dies stellt eine Verbesserung gegenüber dem Modell dar, das auf dem verrauschten Datensatz trainiert wurde (95,93 %), und nähert sich der idealen Leistung von 96,57 % an, die ein Modell erreicht, das auf dem ursprünglichen, perfekt sauberen Datensatz trainiert wurde.

Wesentliche Beiträge und Bedeutung
Das Paper behauptet, dass dieser automatisierte Ansatz eine praktische Lösung für das arbeitsintensive Problem der Datenbereinigung in der medizinischen KI bietet. Durch die Nutzung des intrinsischen Verhaltens von Verlustfunktionen während des Trainings ermöglicht die Methode es erfahrenen Medizinern, ihre Überprüfung efforts auf eine kleine, hochwahrscheinliche Teilmenge von Bildern zu konzentrieren (etwa 9,1 % des Datensatzes in dieser Studie) anstatt auf die gesamte Sammlung. Dieser Prozess verbessert effektiv die Konsistenz und Zuverlässigkeit etikettierter medizinischer Bilddatensätze und schafft so eine robustere Grundlage für das Training tiefer Lernmodelle und steigert letztlich deren diagnostische Leistung. Die Autoren kommen zu dem Schluss, dass die Methode zwar für binäre Klassifikationsaufgaben wie das DR-Screening effektiv ist, weitere Forschung jedoch erforderlich ist, um ihren Nutzen für Multi-Class-Klassifikations- und Segmentierungsaufgaben zu validieren.

Mehr davon