Discrimination transfers but calibration does not:1prevalence-dominated miscalibration of diabetic2retinopathy screening across fundus cameras

Stel je voor dat je een robot leert om een specif kind specifiek type wolk in de lucht te herkennen. Je laat het de robot duizenden foto's zien, genomen vanuit een high-tech weerstation met een perfecte lens. De robot leert te zeggen: "Dat is een onweerswolk!", met grote overtuiging. Maar hier komt het lastige deel: in staat zijn om de wolk te zien is iets anders dan weten hoe waarschijnlijk het is dat het gaat regenen. Als de robot zegt: "Ik weet voor 90% zeker dat dit een storm is", moet hij ook daadwerkelijk 90% van de tijd gelijk hebben. Als hij het fout heeft, en je vertrouwt hem te veel, dan vergeet je misschien je paraplu op een regenachtige dag, of neem je er juist een mee terwijl de lucht perfect helder is.

Dit artikel duikt in een wereld waar computers artsen helpen bij het vinden van oogziekten genaamd diabetische retinopathie. Het stelt een zeer praktische vraag: als we een computer trainen op foto's gemaakt met grote, dure camera's in een ziekenhuis, is hij dan nog steeds betrouwbaar wanneer we hem meenemen naar een dorp met een kleine, handbediende camera? Het antwoord is niet alleen of de computer de ziekte kan zien (dat kan hij wel), maar of zijn zelfvertrouwen zin maakt in de nieuwe omgeving. De onderzoekers ontdekten dat hoewel de ogen van de computer scherp blijven, zijn "onderbuikgevoel" over hoe zeker hij is, volledig in de war raakt, voornamelijk omdat de ziekte in de nieuwe plek veel vaker voorkomt dan in de oude.

---

Het verhaal van de verwarde oogarts-robot

Stel je voor dat je een briljante robot-oogarts hebt genaamd "Dr. AI". Je hebt Dr. AI getraind in een chique, klimaatgecontroleerd ziekenhuis met een enorme, dure tafelcamera. Dr. AI leerde naar foto's van ogen te kijken en een ziekte genaamd diabetische retinopathie te herkennen. Wanneer Dr. AI een ziek oog ziet, geeft het een score: "Ik weet voor 95% zeker dat dit ziek is!" Wanneer het een gezond oog ziet, zegt het: "Ik weet voor 99% zeker dat dit gezond is."

Nu wil je Dr. AI meenemen naar een afgelegen dorp om mensen te helpen die geen toegang hebben tot grote ziekenhuizen. Maar in het dorp kun je de enorme camera niet meenemen. Je moet een kleine, handbediende camera gebruiken die in een rugzak past. De foto's van deze kleine camera zien er wat anders uit—ze kunnen lichter, donkerder of iets waziger zijn vergeleken met de foto's uit het ziekenhuis.

De Grote Vraag: Wanneer Dr. AI naar deze nieuwe dorpsfoto's kijkt, zal hij dan nog steeds een goede dokter zijn?

De onderzoekers in dit artikel hebben Dr. AI aan de test onderworpen. Ze ontdekten twee heel verschillende dingen:

1. De ogen bleven scherp (Discriminatie): Dr. AI was nog steeds uitstekend in het onderscheid maken tussen een ziek oog en een gezond oog. Zelfs zonder extra training kon hij zieke ogen nog steeds hoger rangschikken dan gezonde ogen, bijna even goed als een arts die specifiek op dorpsfoto's is getraind. Het verloor niet zijn vermogen om het probleem te zien.
2. Het zelfvertrouwen raakte in de war (Kalibratie): Dit is waar het misging. Dr. AI begon te liegen over hoe zeker hij was. Als hij zei: "Ik weet voor 90% zeker dat dit oog ziek is", dan was hij in werkelijkheid niet 90% van de tijd gelijk. Zijn betrouwbaarheidsscores waren kapot. In het dorp was de robot misschien veel te zelfverzekerd over gezonde ogen, of niet zelfverzekerd genoeg over zieke ogen. Dit is gevaarlijk, omdat artsen vertrouwen op deze betrouwbaarheidscijfers om te beslissen wie direct een menselijke specialist moet zien.

Waarom raakte het zelfvertrouwen in de war?

Je zou kunnen denken: "De handbediende camera moet het probleem zijn! De foto's zien er zo anders uit." De onderzoekers testten dit idee en ontdekten iets verrassends.

Ze ontdekten dat de camera zelf slechts een klein deel van het probleem was (ongeveer 20%). De echte schurk was de menigte.

Denk er maar zo over na: In het ziekenhuis waar Dr. AI op getraind werd, had slechts 1 op de 20 mensen de ziekte (5,7%). Maar in het dorp had 1 op de 6 mensen het (17,6%). In een andere testgroep had bijna de helft van de mensen het (40,6%).

Dr. AI was getraind in een wereld waar de ziekte zeldzaam was. Hij leerde om zeer voorzichtig te zijn. Toen hij naar een dorp verhuisde waar de ziekte veel voorkwam, wist hij niet hoe hij zijn "onderbuikgevoel" moest aanpassen. Het is als een weervoorspeller die is opgegroeid in een woestijn. Als diegene naar een regenwoud verhuist en zegt: "Er is slechts 10% kans op regen", dan heeft hij het fout, niet omdat zijn ogen slecht zijn, maar omdat hij gewend is aan een wereld waar regen zeldzaam is. De onderzoekers toonden aan dat ongeveer 80% van de verwarring kwam door deze verandering in hoe vaak de ziekte voorkwam, en niet door de camera die de foto maakte.

Hoe de robot te repareren

Dus, hoe repareren we het kapotte zelfvertrouwen van Dr. AI? De onderzoekers probeerden een paar trucjes:

• De "Temperatuur"-truc: Ze probeerden een eenvoudige wiskundige aanpassing genaamd "temperature scaling". Dit is als het draaien aan een knop om de antwoorden van de robot wat zachter of harder te maken. Het werkte niet goed, omdat het probleem van de robot niet alleen was hoe "zacht" zijn antwoorden waren; hij moest zijn hele basislijn verschuiven omdat de ziekte vaker voorkwam.
• De "Her-trainings"-oplossing: Ze probeerden twee andere methoden genaamd Platt scaling en isotonic scaling. Dit is alsoك het geven van een korte, snelle les aan de robot. Ze lieten de robot slechts 100 tot 200 nieuwe foto's uit het dorp zien (gelabeld door mensen) en vroegen hem om zijn betrouwbaarheidscijfers aan te passen.
  • Het resultaat: Het werkte! Met slechts een heel klein beetje nieuwe data werd het zelfvertrouwen van Dr. AI weer betrouwbaar. Hij ging van volkomen onjuist naar bijna net zo goed als een robot die vanaf nul is getraind op de dorpsfoto's.

Het "Kleine Brein"-probleem

Er was nog een laatste wending. Om Dr. AI op een goedkoop, handbediend apparaat te laten draaien, moet je het computerprogramma vaak verkleinen om het te laten passen. Dit wordt "kwantisatie" genoemd.

• Half-precisie (FP16): Dit is als het licht comprimeren van een foto. Het maakte het programma kleiner, maar het deed geen kwaad voor de ogen of het zelfvertrouwen van Dr. AI. Het was veilig.
• 8-bit integer (INT8): Dit is als het zo sterk comprimeren van een foto dat deze gepixelde wordt. De onderzoekers ontdekten dat dit zowel de ogen als het zelfvertrouwen van Dr. AI kapot maakte. Zelfs als ze probeerden het zelfvertrouwen te herstellen met de "Her-trainings"-methode, konden ze de schade aan de ogen niet volledig herstellen. De robot werd minder nauwkeurig, en geen enkele snelle wiskundige truc kon de schade ongedaan maken.

De Belangrijkste Les

De belangrijkste les van dit onderzoek is dat voor AI om veilig te zijn in de echte wereld, we niet alleen kunnen kijken naar of het de ziekte kan herkennen. We moeten ook controleren of het zelfvertrouwen in de nieuwe omgeving logisch is.

Als je een medische AI van een rijk ziekenhuis naar een arm dorp brengt, ga er dan niet zomaar vanuit dat het zal werken omdat het slim is. De ziekte kan daar veel vaker voorkomen, en dat zal het zelfvertrouwen van de robot in de war brengen. Maar het goede nieuws is dat je niet miljoenen nieuwe foto's nodig hebt om dit te oplossen. Je hebt slechts een kleine, goedkope les nodig (ongeveer 100–200 voorbeelden) en de juiste wiskundige truc om de robot te leren hoe hij weer op zijn eigen gevoelens kan vertrouwen. En als je het programma inkrimpt om het op een klein apparaat te laten passen, wees dan voorzichtig: het te veel verkleinen kan de robot op manieren breken die je niet gemakkelijk kunt herstellen.