Agreement Between Fitzpatrick-17k Skin-Type Labels Is Metric- and Stratum-Dependent: A Chance-Corrected Reanalysis
Diese Arbeit reanalysiert den Fitzpatrick-17k-Datensatz unter Verwendung von chancenkorrigierten Statistiken, um zu demonstrieren, dass die Übereinstimmung der Labels zwischen Annotationsquellen hochgradig von der gewählten Metrik und dem Hauttyp-Stratum abhängt, was signifikante Diskrepanzen aufzeigt – insbesondere bei dunkleren Hauttönen –, die eine transparente Berichterstattung über die Methodik und Konfidenzintervalle pro Stratum in der dermatologischen KI-Forschung erforderlich machen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, verschiedene Nuancen der menschlichen Haut zu erkennen, wie ein digitaler Kunststudent, der lernt, Porträts zu malen. Um dies zu tun, benötigt der Roboter einen „Lehrer“, der Fotos betrachtet und sagt: „Das ist sehr blass“ oder „Das ist tiefbraun“. In der Welt der Dermatologie und der künstlichen Intelligenz ist dieser Lehrer oft ein menschlicher Annotator, der einen Hauttyp basierend auf der Fitzpatrick-Skala zuweist – ein System, das die Haut in sechs Kategorien unterteilt, von Typ I (sehr hell, verbrennt immer) bis Typ VI (tief pigmentiert, verbrennt selten). Aber hier liegt der Haken: Menschen sind nicht perfekt. Eine Person könnte ein Foto für „mittelbraun“ halten, während eine andere „dunkelbraun“ sagt. Wenn der Roboter aus diesen gemischten Anweisungen lernt, könnte er verwirrt werden, besonders wenn er versucht, Menschen mit dunkleren Hauttönen zu helfen, die in der medizinischen Versorgung ohnehin schon unterrepräsentiert sind. Die große Frage ist: Wie sehr stimmen diese menschlichen Lehrer tatsächlich überein, und spielt es eine Rolle, wenn sie sich nur um einen Schritt auf der Skala unterscheiden?
Dieser Artikel ist wie eine Detektivgeschichte, in der eine Forscherin, Niya Pennie, zu einem berühmten Datensatz namens Fitzpatrick-17k zurückkehrt, um die Hausaufgaben zu überprüfen. Dieser Datensatz wurde erstellt, indem zwei verschiedene Gruppen von Crowd-Workern (eine von Scale AI und eine von Centaur Labs) gebeten wurden, tausende Hautfotos zu etikettieren. Die ursprünglichen Ersteller des Datensatzes sagten: „Hey, 8% der Zeit lagen unsere beiden Gruppen ziemlich nah beieinander, meistens innerhalb eines Schritts vone von einander!“ Das klang großartig. Aber Pennie beschloss, einen strengeren, mathematischeren Test durchzuführen, um zu sehen, was wirklich dahintersteckt. Sie fragte nicht nur: „Waren sie nah beieinander?“ Sie fragte: „Haben sie exakt dieselbe Bezeichnung gewählt? Und wenn sie um einen Schritt daneben lagen, zählt das als Sieg oder als Verlust?“
Hier ist, was die Untersuchung herausfand. Erstens ist die Geschichte von „nah, aber nicht exakt“ wahr: Wenn man zählt, dass man um nur einen Hauttyp daneben lag, als „Übereinstimmung“ zu werten, dann stimmten die beiden Gruppen tatsächlich zu 91 % überein. Aber wenn man verlangt, dass sie die exakt gleiche Zahl wählen, sinkt die Übereinstimmung auf weniger als die Hälfte (47,9 %). Es ist, als würden zwei Freunde einen Sonnenuntergang betrachten und einer sagt „orange“ und der andere sagt „orangerot“. Sie sind nah beieinander, aber sie sagen nicht dasselbe.
Der Artikel entdeckte auch, dass diese Uneinigkeit nicht gleichmäßig verteilt ist. Es ist wie ein Spiel, bei dem sich die Regeln je nach Punktestand ändern. Für die hellsten Hauttypen (Typ I) stimmten die beiden Gruppen fast 80 % der Zeit überein. Aber für die dunkleren Hauttypen (Typen II bis VI) stürzte die Übereinstimmung ab und pendelte sich zwischen 34 % und 55 % ein. Mit anderen Worten: Die menschlichen Lehrer waren sich über dunklere Haut viel unsicherer als über hellere Haut. Zudem stimmten die beiden Gruppen nicht einfach zufällig ab; sie hatten ein Muster. Die Centaur-Labs-Gruppe neigte dazu, Fotos heller zu etikettieren als die Scale-AI-Gruppe, insbesondere bei den dunkleren Hauttönen.
Schließlich weist der Artikel auf ein ernstes „Zählproblem“ hin. Für die dunkelste Hautkategorie (Typ VI) gibt es sehr wenige Fotos von ernsthaften Hauterkrankungen (maligne Bilder) in diesem Datensatz. Unter einem Etikettierungssystem gab es 61 solcher Bilder; unter dem anderen nur 45. Da diese Zahlen so klein sind, legt der Artikel nahe, dass jede Studie, die messen will, wie gut eine KI bei dieser spezifischen Gruppe funktioniert, so wäre, als würde man versuchen, die durchschnittliche Höhe eines Raumes zu schätzen, indem man nur drei Personen misst. Die Ergebnisse wären zu wackelig und unpräzise, um ihnen zu trauen.
Die wichtigste Erkenntnis ist also nicht, dass der Datensatz unbrauchbar ist, sondern dass wir viel vorsichtiger sein müssen, wenn wir ihn lesen. Der Artikel argumentt, dass Forscher nicht einfach behaupten können, „die KI ist fair“, ohne genau anzugeben, welches Etikettierungssystem sie verwendet haben, wie sie „Übereinstimmung“ definiert haben und ob sie genug Daten haben, um eine solide Behauptung aufzustellen. Wenn man die Regeln des Spiels ändert (die Quelle der Etikettierung) oder die Größe des Teams (die Anzahl der Bilder), ändert sich das Ergebnis. Der Artikel kommt zu dem Schluss, dass wir, um wirklich zu verstehen, ob eine KI für alle fair ist, aufhören müssen, diese Etiketten als perfekte Fakten zu behandeln, und stattdessen genau angeben müssen, wie unsicher und variabel sie tatsächlich sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.