Label Cleaning in Multimodal Public Retinal Image Datasets
Diese Studie identifizierte und korrigierte systematisch Label-Rauschen in neun öffentlichen multimodalen Netzhautbild-Datensätzen durch die Kombination von automatisiertem Screening mit Expertenverifizierung, wobei sie aufzeigte, dass etwa 5,39 % der Bilder Fehler enthielten – einschließlich signifikanter Anteile an Out-of-Distribution- und Multi-Label-Fällen, die konventionelle Single-Label-Frameworks herausfordern – während gleichzeitig demonstriert wurde, dass Werkzeuge wie Cleanlab den manuellen Prüfaufwand effektiv reduzieren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das menschliche Auge ist ein Fenster zur Gesundheit des Körpers, und die Netzhaut an der Rückseite des Auges ist eine Landkarte, auf der Krankheiten wie Diabetes und Makuladegeneration ihre ersten Spuren hinterlassen. Um diese Zustände zu verstehen, machen Ärzte Bilder der Netzhaut mit speziellen Kameras auf. In den letzten Jahren haben Wissenschaftler Computern beigebracht, diese Bilder zu lesen, in der Hoffnung, eine künstliche Intelligenz zu entwickeln, die Krankheiten schneller und genauer erkennen kann als ein ermüdetes menschliches Auge. Doch damit ein Computer lernen kann, benötigt er eine riesige Bibliothek an Beispielen, und jedes Beispiel muss mit einem korrekten Etikett versehen sein, wie etwa einem Tag mit der Aufschrift „gesund“ oder „krank“. Dieses Problem falscher Etiketten, bekannt als Label Noise (Etikettenrauschen), ist ein verborgener Makel in vielen öffentlichen Sammlungen von Augenbildern. Selbst eine geringe Anzahl schlechter Tags kann einen Computer in die Irre führen, was dazu führt, dass er echte Krankheiten übersieht oder Probleme erfindet, die gar nicht existieren. Bevor diese digitalen Ärzte vertraut werden können, müssen die Karten, die sie studieren, überprüft und korrigiert werden.
Ein Team von Forschern setzte sich zum Ziel, neun große öffentliche Sammlungen von Netzhautbildern zu bereinigen, die verschiedene Arten von Fotografien enthielten: Standard-Farbfotos, Querschnittsscans und Ultra-Weitwinkelansichten, die das gesamte Hinterteil des Auges erfassen. Sie sammelten fast 35.000 Bilder aus diesen Quellen und unterzogen sie einem strengen Screening-Prozess. Zuerst verwendeten sie ein Computerprogramm, das darauf ausgelegt war, Muster und Inkonsistenzen aufzuspüren. Diese Software fungierte wie ein hocheffizienter Filter, der die Bilder scannte, um Duplikate, seltsame Ausreißer und Bilder zu finden, bei denen das Etikett dem zu widersprechen schien, was das Bild tatsächlich zeigte. Das Programm markierte über 4.400 Bilder als verdächtig – eine Aufgabe, die menschliche Experten Wochen manuell gedauert hätte.
Sobald der Computer seine erste Durchmusterung abgeschlossen hatte, begann die eigentliche Arbeit. Die markierten Bilder wurden einem Team von Ophthalmologen, also Augenärzten, vorgelegt, die sie einzeln untersuchten. Dies war kein flüchtiger Blick; es war ein strukturierter, vierstufiger Überprüfungsprozess, bei dem mehrere Ärzte jedes Bild unabhängig voneinander bewerteten und oft ihre Notizen mit erfahrenen Kollegen verglichen, um zu einer endgültigen, abgestimmten Diagnose zu gelangen. Dieser Schritt der menschlichen Verifizierung war entscheidend, da er die Vermutungen des Computers in bestätigte Fakten verwandelte. Die Ärzte stellten fest, dass der Computer recht hatte mit seinem Verdacht. Von den fast 35.000 Bildern bestätigten sie, dass 1.884 von ihnen fehlerhafte Etiketten hatten. Das bedeutet, dass etwa jedes 20. Bild in diesen öffentlichen Datensätzen mit der falschen Krankheit oder Erkrankung versehen war.
Die Art der Fehler offenbarte etwas Wichtiges über die Grenzen aktueller medizinischer Daten. Viele der Fehler waren einfache Vertauschungen, bei denen ein Bild einer Krankheit als eine andere gelabelt wurde. Ein erheblicher Teil der Fehler war jedoch komplexer. Einige Bilder zeigten Patienten mit mehreren Krankheiten gleichzeitig, was das ursprüngliche Single-Label-System nicht erfassen konnte. Andere zeigten seltene Zustände, die überhaupt nicht in die Standardkategorien passten, oder Bilder, die so unscharf oder von so schlechter Qualität waren, dass keine zuverlässige Diagnose gestellt werden konnte. Tatsächlich fielen fast ein Viertel der bestätigten Fehler in diese „Out-of-Distribution“-Kategorien (außerhalb der Verteilung), was bedeutet, dass es sich um Fälle handelte, für die der ursprüngliche Datensatz nicht konzipiert war. Die Forscher fanden auch hunderte Duplikate, bei denen dasselbe Bild mehrfach unter verschiedenen Namen erschien, was einen Computer täuschen kann, indem er glaubt, er habe mehr Beweise gesehen, als er tatsächlich hat.
Die Studie zeigte, dass eine Kombination aus automatisierter Filterung und fachlicher menschlicher Beurteilung ein leistungsstarkes Mittel ist, um diese Datensätze zu korrigieren. Das Computerprogramm identifizierte erfolgreich die überwiegende Mehrheit der Fehler und reduzierte so die Arbeitslast für die Augenärzte, indem es die eindeutigen Fälle herausfilterte und deren Aufmerksamkeit auf die schwierigen lenkte. Wenn der Computer ein neues Etikett für ein falsch beschriftetes Bild vorschlug, lag er in mehr als der Hälfte der Fälle richtig, und in einigen Datensätzen lag er fast jedes Mal richtig. Dies deutet darauf hin, dass solche Werkzeuge als zuverlässige erste Verteidigungslinie dienen können, die Experten zu den Bildern leiten, die die meiste Aufmerksamkeit benötigen. Die Forscher kamen zu dem Schluss, dass, obwohl die künstliche Intelligenz großes Potenzial für die Augenheilkunde bietet, die Daten, von denen sie lernt, einem hohen Standard unterliegen müssen. Durch die systematische Reinigung dieser öffentlichen Bildbibliotheken hat das Team ein klareres Fundament für die zukünftige Forschung geschaffen und sichergestellt, dass die nächste Generation der medizinischen KI auf Wahrheit statt auf Fehlern trainiert wird.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.