Agreement Between Fitzpatrick-17k Skin-Type Labels Is Metric- and Stratum-Dependent: A Chance-Corrected Reanalysis
Dit artikel heranalyseert de Fitzpatrick-17k-dataset met behulp van kansgecorrigeerde statistieken om aan te tonen dat de overeenstemming tussen annotatiebronnen sterk afhankelijk is van de gekozen metriek en de huidtype-stratum, wat significante discrepanties onthult—met name voor donkere huidtinten—die transparante rapportage van methodologie en betrouwbaarheidsintervallen per stratum noodzakelijk maken in dermatologisch AI-onderzoek.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren om verschillende tinten menselijke huid te herkennen, zoals een digitale kunststudent die leert portretten te schilderen. Om dit te doen, heeft de robot een "leraar" nodig die naar foto's kijkt en zegt: "Dit is heel bleek," of "Dit is diepbruin." In de wereld van de dermatologie en kunstmatige intelligentie is deze leraar vaak een menselijke annotator die een huidtype toekent op basis van de Fitzpatrick-schaal, een systeem dat de huid onderverdeelt in zes categorieën, van Type I (zeer licht, verbrandt altijd) tot Type VI (diep gepigmenteerd, verbrandt zelden). Maar hier komt het lastige gedeelte: mensen zijn niet perfect. De één vindt een foto misschien "medium bruin", terwijl een ander "donkerbruin" zegt. Als de robot leert van deze door elkaar gehusselde instructies, kan hij in de war raken, vooral wanneer hij mensen met donkere huidtinten moet helpen die al ondervertegenwoordigd zijn in de medische zorg. De grote vraag is: in hoeverre zijn deze menselijke leraren het eigenlijk met elkaar eens, en maakt het uit als ze slechts één stap op de schaal van elkaar verschillen?
Dit artikel is als een detectivespel waarbij een onderzoeker, Niya Pennie, teruggaat naar een beroemde dataset genaamd Fitzpatrick-17k om het huiswerk te controleren. Deze dataset werd gemaakt door twee verschillende groepen crowd-workers (één van Scale AI en één van Centaur Labs) te vragen om duizenden huidfoto's te labelen. De oorspronkelijke makers van de dataset zeiden: "Hé, 85% van de tijd waren onze twee groepen vrij dicht bij elkaar, meestal binnen één stap van elkaar!" Dat klonk goed. Maar Pennie besloot een strengere, meer wiskundige test uit te voeren om te zien wat er werkelijk aan de hand was. Ze vroeg niet alleen: "Waren ze dichtbij?" Ze vroeg: "Kozen ze exact hetzelfde label? En als ze één stap van elkaar af lagen, telt dat dan als een overwinning of een verlies?"
Dit is wat het onderzoek aantoonde. Ten eerste is het verhaal van "dichtbij maar niet exact" waar: als je het tellen van een verschil van slechts één huidtype als "overeenstemming" beschouwt, dan waren de twee groepen inderdaad 91% van de tijd het eens! Maar als je eist dat ze exact hetzelfde nummer kiezen, daalt de overeenstemming naar minder dan de helft (47,9%). Het is alsoftwee vrienden naar een zonsondergang kijken waarbij de één "oranje" zegt en de ander "oranje-rood". Ze zitten dicht bij elkaar, maar ze zeggen niet hetzelfde.
Het artikel ontdekte ook dat deze onenigheid niet gelijkmatig verdeeld is. Het is als een spel waarbij de regels veranderen afhankelijk van de score. Voor de lichtste huidtypes (Type I) waren de twee groepen bijna 88% van de tijd het eens. Maar voor de donkere huidtypes (Types II tot en met VI) stortte de overeenstemming in, en schommelde deze tussen de 34% en 55%. Met andere woorden: de menselijke leraren waren veel meer in de war over donkere huid dan over lichte huid. Bovendien waren de twee groepen niet zomaar willekeurig van mening verschillend; ze hadden een patroon. De groep van Centaur Labs had de neiging om foto's als lichter te labelen dan de groep van Scale AI deed, vooral bij de donkere huidtinten.
Ten slotte wijst het artikel op een serieus "telfout-probleem". Voor de donkerste huidcategorie (Type VI) zijn er zeer weinig foto's van ernstige huidziekten (maligne afbeeldingen) in de dataset. Onder het ene labelingssysteem waren er 61 dergelijke afbeeldingen; onder het andere slechts 45. Omdat deze aantallen zo klein zijn, suggereert het artikel dat elke studie die probeert te meten hoe goed een AI werkt op deze specifieke groep, zou zijn als proberen het gemiddelde van een kamer te raden door slechts drie mensen te meten. De resultaten zouden te wankel en te onnauwkeurig zijn om te vertrouwen.
De belangrijkste les is dus niet dat de dataset nutteloos is, maar dat we veel voorzichtiger moeten zijn met hoe we deze lezen. Het artikel betoogt dat onderzoekers niet zomaar kunnen zeggen: "De AI is eerlijk," zonder precies te specificeren welk labelingssysteem ze gebruikten, hoe ze "overeenstemming" definieerden, en of ze wel genoeg data hebben om een solide bewering te doen. Als je de regels van het spel verandert (de bron van de labeling) of de grootte van het team (het aantal afbeeldingen), verandert de score. Het artikel concludeert dat om echt te begrijpen of AI eerlijk is voor iedereen, we moeten stoppen met deze labels als perfecte feiten te behandelen en in plaats daarvan precies te rapporteren hoe onzeker en variabel ze werkelijk zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.