Do Medical Foundation Models Generalize on the African Brain?

Stellen Sie sich eine Welt vor, in der Ärzte einen superintelligenten Assistenten haben, der Millionen von medizinischen Lehrbüchern gelesen und unzählige Röntgenbilder und Scans gesichtet hat. Dieser Assistent wird als „Foundation Model“ bezeichnet. Denken Sie an einen brillanten Studenten, der seine gesamte Kindheit in den fortschrittlichsten, bestens ausgestatteten Bibliotheken Nordamerikas und Europas verbracht hat. Er ist unglaublich gut darin, Muster in Gehirnscans zu erkennen, wie etwa einen Tumor zu finden oder festzustellen, ob jemand an Demenz leidet. Aber hier ist der Haken: Dieser Student hat die Bibliotheken in Afrika nie wirklich besucht. Er weiß nicht, wie die Bücher dort aussehen, oder ob das Licht anders ist, oder ob die Patienten einen anderen Hintergrund haben.

Die große Frage, die sich Wissenschaftler stellen, ist: Wenn dieser superintelligente Student versucht, einem Arzt in Nigeria oder anderen afrikanischen Ländern zu helfen, wird er dann immer noch genauso klug sein? Oder wird er verwirrt sein, weil die „Bücher“ (die Gehirnscans) anders aussehen? Dies ist eine enorme Sache, denn wenn diese smarten KI-Tools nur gut für bestimmte Gruppen von Menschen funktionieren, könnten sie versehentlich Fehler machen, was zu einer ungerechten Gesundheitsversorgung führen kann. Die Forscher wollten wissen, ob diese digitalen Gehirne wirklich universell sind oder ob sie einen blinden Fleck für afrikanische Patienten haben.

---

Der Große Gehirnscan-Test

In dieser Studie beschloss ein Team von Forschern, diese „Foundation Models“ dem ultimativen Test zu unterziehen. Sie nahmen zwei sehr unterschiedliche Arten von KI-Assistenten und gaben ihnen zwei verschiedene Aufgaben unter Verwendung von Gehirnscans von afrikanischen Patienten.

Die erste Aufgabe war ein Detektivspiel: Kann die KI einen Gehirnscan betrachten und erraten, ob eine Person an Demenz (einer Krankheit, die das Gedächtnis beeinflusst) leidet oder ob sie gesund ist? Sie verwendeten einen Datensatz aus Nigeria.
Die zweite Aufgabe war ein Malspiel: Kann die KI einen Scan betrachten und eine perfekte Umrandung um einen Hirntumor zeichnen? Sie verwendeten einen Datensatz aus Subsahara-Afrika.

Um zu sehen, ob die KI fair war, gaben die Forscher dieselben Tests an die KI unter Verwendung von Gehirnscans aus den USA und den Niederlanden. Sie wollten sehen, ob die KI bei den „Heimatdaten“ (USA/Europa) besser abschnitt oder ob sie mit den „neuen“ Daten (Afrika) genauso gut zurechtkam.

Die Ergebnisse des Detektivspiels: „Naja, nicht viel besser“

Was das Detektivspiel (Demenz-Klassifizierung) betraf, waren die Ergebnisse etwas enttäuschend. Die Forscher fanden heraus, dass diese schicken, vortrainierten KI-Modelle nicht viel besser waren als eine einfache KI, die eigens für diese spezifische Aufgabe von Grund auf neu entwickelt wurde.

• Bei den nigerianischen Daten erreichte das beste Foundation Model (BrainIAC) einen Wert von 0,86 (ein Maß dafür, wie gut es korrekt rät).
• Die einfache, von Grund auf neu gebauten KI erreichte einen Wert von 0,85.

Es ist, als würde man einem Spitzenkoch ein Rezept geben, das er noch nie gesehen hat; er mag zwar okay sein, aber er ist nicht unbedingt besser als ein lokaler Koch, der die lokalen Zutaten perfekt kennt. Die Forscher legen nahe, dass diese riesigen vortrainierten Modelle keinen großen Vorteil bieten, wenn es darum geht, subtile Dinge wie Demenz zu erkennen, egal ob der Patient aus Afrika oder Europa stammt.

Die Ergebnisse des Malspiels: „Wow, sie glänzen!“

Aber dann wechselten die Forscher zum Malspiel (Tumorsegmentierung), und die Geschichte änderte sich komplett. Hier waren die Foundation Models absolute Stars.

• Ein Modell namens MedSAM2 erreichte einen Wert von 0,86 bei den afrikanischen Tumordaten.
• Die einfache KI von Grund auf neu? Sie hatte Schwierigkeiten und erreichte einen Wert von nur 0,21, wenn sie alle verschiedenen Arten von Scanbildern betrachtete. Selbst wenn sie nur die beste Bildart betrachtete, erreichte die einfache KI nur 0,55.

Es war, als hätten die Foundation Models bereits Millionen Mal Formen nachgezeichnet, sodass sie bei einem neuen Tumor sofort mit unglaublicher Präzision eine Umrandung ziehen konnten. Die einfache KI, die noch nie zuvor einen Tumor gesehen hatte, rät lediglich wild herum. Diese enorme Verbesserung geschah sowohl für die afrikanischen als auch für die europäischen Daten, was darauf hindeutet, dass diese Modelle überall gut darin sind, Tumore zu finden und zu umranden.

Die große Überraschung: Kein „Bias“ gefunden

Der aufregendste Teil der Geschichte ist das, was die Forscher nicht fanden. Sie waren besorgt, dass die KI „voreingenommen“ (biased) sein würde – das heißt, dass sie beim Verständnis afrikanischer Gehirne viel schlechter wäre, weil sie hauptsächlich mit europäischen Gehirnen trainiert wurde.

Doch die Ergebnisse zeigten, dass die KI nicht von Natur aus gegen afrikanische Patienten voreingenommen war.

• Als die Forscher die Werte verglichen, war der Unterschied zwischen der Leistung der KI bei afrikanischen Daten gegenüber europäischen Daten gering und inkonsistent. Manchmal war sie bei der einen etwas besser, manchmal bei der anderen.
• Der Hauptgrund, warum die KI bei den europäischen Daten besser abschnitt, war nicht, dass die Daten „besser“ waren oder die KI sie „bevorzugte“. Es war schlichtweg, weil es mehr davon gab. Wenn sie der KI mehr Trainingsbeispiele aus Europa gaben, wurde sie besser. Aber als sie die Anzahl der Beispiele angleichen (150 aus Afrika und 150 aus Europa), war die Leistung fast identisch.

Das eigentliche Problem: Nicht genug Daten

Was ist also das eigentliche Problem? Das Paper legt nahe, dass das Problem nicht ist, dass die KI rassistisch oder voreingenommen ist; das Problem ist, dass es einfach nicht genug afrikanische Gehirnscans gibt, um die KI ordentlich zu lehren.

Die Forscher weisen darauf hin, dass die von ihnen verwendeten afrikanischen Datensätze recht klein waren. Zum Beispiel hatte der Demenz-Datensatz nur 50 Personen, während der europäische 97 hatte. Der Tumor-Datensatz hatte 146 Scans aus Afrika im Vergleich zu massiven 625 aus Europa.

Die Studie kommt zu dem Schluss, dass diese Foundation Models effektiv auf afrikanische Gehirne generalisieren können. Sie haben keinen angeborenen „blinden Fleck“. Da es jedoch so wenige verfügbare afrikanische Scans gibt, ist es schwer, zu 100 % sicher zu sein, und die Modelle können nicht so viel lernen, wie sie es könnten, wenn mehr Daten zur Verfügung stünden. Die größte Barriere ist nicht die Intelligenz der KI, sondern der Mangel an vielfältigen, hochwertigen Daten aus afrikanischen Krankenhäusern, um sie zu trainieren und zu testen.

Kurz gesagt: Die superintelligenten KI-Assistenten sind bereit, afrikanischen Ärzten zu helfen, aber wir müssen ihnen mehr afrikanische Gehirnscans zum Studium geben, damit sie ihre Aufgaben noch besser erfüllen können.