Do Medical Foundation Models Generalize on the African Brain?

Stel je een wereld voor waarin artsen een superintelligente assistent hebben die miljoenen medische tekstboeken heeft gelezen en talloze röntgenfoto's en scans heeft bekeken. Deze assistent wordt een "Foundation Model" genoemd. Denk aan een briljante student die hun hele jeugd doorgebracht heeft met studeren in de meest geavanceerde, goed uitgeruste bibliotheken van Noord-Amerika en Europa. Ze zijn ongelooflijk goed in het herkennen van patronen in hersenscans, zoals het vinden van een tumor of het detecteren van dementie. Maar hier is de crux: deze student heeft nooit echt een bibliotheek in Afrika bezocht. Ze weten niet hoe de boeken daar eruitzien, of de verlichting anders is, of dat de patiënten een andere achtergrond hebben.

De grote vraag waar wetenschappers zich mee bezighouden is: als deze super-student een arts in Nigeria of andere Afrikaanse landen probeert te helpen, zullen ze dan nog steeds even slim zijn? Of raken ze in de war omdat de "boeken" (de hersenscans) er anders uitzien? Dit is een enorm belangrijk punt, want als deze slimme AI-tools alleen goed werken voor bepaalde groepen mensen, kunnen ze onbedoeld fouten maken bij anderen, wat leidt tot onrechtvaardige gezondheidszorg. De onderzoekers wilden zien of deze digitale breinen werkelijk universeel zijn of dat ze een blinde vlek hebben voor Afrikaanse patiënten.

---

De Grote Hersenscan-test

In dit onderzoek besloten een team van onderzoekers deze "Foundation Models" de ultieme test te onderwerpen. Ze namen twee zeer verschillende soorten AI-assistenten en vroegen hen om twee verschillende taken uit te voeren met behulp van hersenscans van Afrikaanse patiënten.

De eerste taak was een detectivegame: Kan de AI naar een hersenscan kijken en raden of iemand dementie heeft (een ziekte die het geheugen aantast) of dat iemand gezond is? Hiervoor gebruikten ze een dataset uit Nigeria.
De tweede taak was een kleurspel: Kan de AI naar een scan kijken en een perfecte omtrek rond een hersentumor tekenen? Hiervoor gebruikten ze een dataset uit Sub-Sahara Afrika.

Om te zien of de AI eerlijk was, gaven de onderzoekers dezelfde tests aan de AI met behulp van hersenscans uit de Verenigde Staten en Nederland. Ze wilden zien of de AI beter presteerde op de "thuisdata" (VS/Europa) of dat hij de "nieuwe" data (Afrika) net zo goed kon afhandelen.

De resultaten van de Detectivegame: "Meh, niet veel beter"

Wat betreft de detectivegame (dementieclassificatie) waren de resultaten een beetje teleurstellend. De onderzoekers kwamen erachter dat deze chique, vooraf getrainde AI-modellen niet veel beter presteerden dan een basis-AI die vanaf nul is gebouwd voor deze specifieke taak.

• Op de Nigeriaanse data behaalde het beste Foundation Model (BrainIAC) een score van 0,86 (een maatstaf voor hoe goed het correct raadt).
• De basis-AI die vanaf nul is gebouwd, behaalde een score van 0,85.

Het is alsof je een meesterkok een recept geeft dat hij nog nooit heeft gezien; hij komt misschien wel uit de buurt, maar hij is niet noodzakelijkerwijs beter dan een lokale kok die de lokale ingrediënten perfect kent. De onderzoekers suggereren dat voor het opsporen van subtiele zaken zoals dementie, deze enorme vooraf getrainde modellen geen groot voordeel bieden, of de patiënt nu uit Afrika of Europa komt.

De resultaten van het Kleurspel: "Wauw, ze blinken uit!"

Maar toen de onderzoekers overgingen op het kleurspel (tumorsegmentatie), veranderde het verhaal volledig. Hier waren de Foundation Models absolute sterren.

• Eén model, genaamd MedSAM2, behaalde een score van 0,86 op de Afrikaanse tumor-data.
• De basis-AI vanaf nul? Die worstelde en behaalde een score van slechts 0,21 wanneer er naar alle verschillende soorten scanbeelden werd gekeken. Zelfs wanneer er alleen naar het beste type beeld werd gekeken, bereikte de basis-AI slechts 0,55.

Het is alsof de Foundation Models al een miljoen keer vormen hebben getekend, zodat ze bij het zien van een nieuwe tumor direct met ongelooflijke precisie een omtrek kunnen tekenen. De basis-AI, die nog nooit een tumor had gezien, was maar wat aan het gokken. Deze enorme verbetering vond plaats voor zowel de Afrikaanse als de Europese data, wat suggereert dat deze modellen overal uitstekend zijn in het vinden en omlijnen van tumoren.

De Grote Verrassing: Geen "Bias" gevonden

Het meest opwindende deel van het verhaal is wat de onderzoekers niet vonden. Ze waren bang dat de AI "biased" zou zijn — wat betekent dat de AI veel slechter zou zijn in het begrijpen van Afrikaanse hersenen omdat hij vooral getraind is op Europese hersenen.

Maar de resultaten toonden aan dat de AI niet inherent bevooroordeeld was tegen Afrikaanse patiënten.

• Toen de onderzoekers de scores vergeleken, was het verschil tussen hoe goed de AI presteerde op Afrikaanse data versus Europese data klein en inconsistent. Soms was de score iets beter op de ene, soms op de andere.
• De belangrijkste reden dat de AI beter presteerde op de Europese data, was niet omdat de data "beter" was of omdat de AI er een "voorkeur" voor had. Het was simpelweg omdat er meer van was. Wanneer ze de AI meer trainingsvoorbeelden uit Europa gaven, werd hij beter. Maar wanneer ze het aantal voorbeelden gelijk maakten (150 uit Afrika en 150 uit Europa), was de prestatie bijna hetzelfde.

Het Echte Probleem: Niet genoeg data

Dus, wat is het echte probleem? Het artikel suggereert dat het probleem niet is dat de AI racistisch of bevooroordeeld is; het probleem is dat er simpelweg niet genoeg Afrikaanse hersenscans beschikbaar zijn om de AI goed te onderwijzen.

De onderzoekers wijzen erop dat de Afrikaanse datasets die ze gebruikten, vrij klein waren. Bijvoorbeeld, de dementie-dataset bevatte slechts 50 mensen, terwijl de Europese dataset er 97 had. De tumor-dataset had 146 scans uit Afrika tegenover een enorme 625 uit Europa.

De studie concludeert dat deze Foundation Models effectief kunnen generaliseren naar Afrikaanse hersenen. Ze hebben geen inherente "blinde vlek". Echter, omdat er zo weinig Afrikaanse scans beschikbaar zijn, is het moeilijk om 100% zeker te zijn, en kunnen de modellen niet zoveel leren als ze zouden kunnen als er meer data beschikbaar was. De grootste barrière is niet de intelligentie van de AI; het is het gebrek aan diverse, hoogwaardige data uit Afrikaanse ziekenhuizen om te trainen en te testen.

Kortom, de superintelligente AI-assistenten zijn klaar om Afrikaanse artsen te helpen, maar we moeten ze meer Afrikaanse hersenscans geven om van te leren, zodat ze nog beter in hun werk kunnen worden.