Reliable Evaluation of Transductive Population Graph Neural Networks for Multisite Autism fMRI
Diese Studie zeigt, dass Graph Neural Networks zwar eine hohe Genauigkeit bei der Klassifizierung von Autismus in multisite-fMRT-Daten erreichen können, indem sie kohortenspezifischen Kontext und Supervision nutzen, jedoch die Generalisierung auf ungesehene Akquisitionsstandorte fehlschlägt, was die kritische Notwendigkeit einer rigorosen Leave-One-Site-Out-Evaluierung unterstreicht, um zwischen kohortenbedingter Leistung und echter Generalisierung zu unterscheiden.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
In der Welt der medizinischen Bildgebung wenden sich Wissenschaftler zunehmend der künstlichen Intelligenz zu, um bei der Diagnose von Erkrankungen wie Autismus zu helfen. Diese Systeme lernen durch das Studium von Gehirnscans, indem sie nach subtilen Mustern suchen, die eine Gruppe von Menschen von einer anderen unterscheiden. Es entsteht jedoch eine große Herausforderung, wenn diese Werkzeuge mit Daten aus verschiedenen Krankenhäusern oder von verschiedenen Scannern getestet werden. Ein Modell, das mit Daten aus einer Stadt perfekt funktioniert, kann völlig versagen, wenn es mit einem Scan aus einer anderen Stadt konfrontiert wird, einfach weil die Maschinen oder die dort rekrutierten Menschen leicht unterschiedlich waren. Dies ist als das Problem der Generalisierung bekannt. Um dies zu lösen, haben Forscher eine clevere Art von Computerkonzept entwickelt, ein sogenanntes Population Graph Neural Network. Anstatt jeden Gehirnscan isoliert zu betrachten, erstellt dieses Programm eine Karte, die alle Menschen in einer Studie miteinander verbindet. Es verknüpft sie basierend darauf, wie ähnlich sich ihre Gehirnscans und andere Details sind, was dem Computer ermöglicht, Informationen von einer Person zur anderen über die gesamte Gruppe hinweg weiterzugeben. Dieser Ansatz hat bemerkenswerte Erfolge gezeigt, wobei einige Studien berichteten, dass diese Modelle Autismus mit extrem hoher Genauigkeit identifizieren können, wodurch das Rätsel um die Entschlüsselung dieser komplexen Gehirnkarten scheinbar gelöst wurde.
Doch ein Team von Forschern beschloss, diesem Erfolg genauer auf den Grund zu gehen. Sie wollten wissen, ob die hohe Genauigkeit wirklich darauf zurückzuführen war, dass der Computer gelernt hatte, die biologischen Anzeichen von Autismus zu erkennen, oder ob er sich heimlich auf Abkürzungen bezog, die mit der Herkunft der Daten zusammenhingen. Unter Verwendung einer großen, bekannten Sammlung von Gehirnscans von zwanzig verschiedenen Standorten bauten sie das erfolgreiche Modell in einer kontrollierten Umgebung von Grund auf neu auf. Dann führten sie eine Reihe sorgfältiger Experimente durch, die wie ein Wissenschaftler beim Testen einer Hypothese vorgingen, indem sie immer nur eine Kleinigkeit gleichzeitig veränderten. Sie fragten: Muss das Modell den spezifischen Gehirnscan der Person sehen, die es diagnostizieren soll? Muss es wissen, welches Krankenhaus die Person besucht hat? Und am wichtigsten: Funktioniert es immer noch, wenn es mit einem Gehirnscan aus einem Krankenhaus konfrontiert wird, das es noch nie zuvor gesehen hat?
Die Forscher fanden heraus, dass die beeindruckende Leistung des Modells innerhalb der bekannten Gruppe zwar real war, sich jedoch nicht auf neue Umgebungen übertragen ließ. Wenn das Modell die Information darüber verwenden durfte, aus welchem Krankenhaus ein Teilnehmer stammte, um seine Verbindungen aufzubauen, erreichte es einen AUC-Wert von 0,94. Dies war genauso hoch wie wenn es alle verfügbaren Informationen verwendet hätte, was darauf hindeutete, dass das Wissen um den Standort der Schlüssel zu seinem Erfolg war. Als sie das Modell jedoch an einem völlig neuen Standort testeten – einem, der nicht Teil der ursprünglichen Gruppe von zwanzig war – sank die Leistung signifikant. Die Fähigkeit des Modells, zwischen autistischen und nicht-autistischen Individuen zu unterscheiden, fiel auf ein Niveau von etwa 0,52, wobei die Konfidenzintervalle 0,5 einschlossen, was keinen klaren Beleg für eine Unterscheidung über den Zufall hinaus lieferte. Dies stand in starkem Kontrast zu einfacheren Methoden, die keine dieser komplexen Verbindungen nutzten und es schafften, ein etwas besseres, wenn auch immer noch bescheidenes Niveau an Genauigkeit auf ungesehenen Daten beizubehalten, indem sie etwa 65 Prozent erreichten.
Die Untersuchung enthüllte genau, wo die Abkürzung lag. Die hohe Genauigkeit hing davon ab, dass das Modell in der Lage war, eine Testperson mit anderen Personen aus demselben Krankenhaus zu verbinden, die bereits etikettiert worden waren. Ein Graph, der nur Standortinformationen verwendete, behielt eine ähnlich hohe Diskriminierungsfähigkeit bei, was darauf hindeutete, dass das Modell den spezifischen „Fingerabdruck“ der Daten eines Krankenhauses lernte, anstatt die universellen Zeichen von Autismus. Als die Forscher das Modell daran hinderten, Labels aus demselben Krankenhaus während des Trainings zu verwenden, stürzte der AUC-Wert auf etwa 0,48 ab, was bewies, dass das System nicht die Krankheit selbst lernte, sondern den Kontext der Daten. Darüber hinaus entdeckten sie, dass dieser Effekt spezifisch für die Art und Weise war, wie das Modell Informationen verarbeitete. Wenn sie den Teil des Computerprogramms änderten, der die Verbindungen zwischen den Menschen handhabte, oder wenn sie eine andere, eher standardmäßige Netzwerkarchitektur verwendeten, verschwand die hohe Genauigkeit sofort. Das Modell funktionierte nur deshalb so gut, weil es auf eine sehr spezifische Weise gebaut war, die es ihm erlaubte, die gemeinsamen Merkmale der gleichartigen Gruppe auszunutzen.
Diese Studie dient als entscheidender Realitätscheck für das Feld der medizinischen Künstlichen Intelligenz. Sie zeigt, dass ein Modell wie ein brillantes Diagnosewerkzeug erscheinen kann, wenn es mit einer Gruppe von Menschen getestet wird, die es bereits gesehen hat, dabei aber völlig versagt, wenn es mit einer neuen Gruppe aus einem anderen Ort konfrontiert wird. Die Forscher zeigten, dass die hohen Werte, die in früheren Arbeiten berichtet wurden, nicht unbedingt ein Zeichen dafür waren, dass der Computer die Biologie des Autismus gemeistert hatte, sondern vielmehr, dass er die Muster des spezifischen Datensatzes gemeistert hatte, mit dem er trainiert wurde. Indem sie die Fähigkeit des Modells, aus der aktuellen Gruppe zu lernen, von seiner Fähigkeit zu trennen, auf neue Gruppen zu generalisieren, lieferte das Team eine klare Strategie zur Bewertung zukünftiger Werkzeuge. Ihre Arbeit legt nahe, dass Künstliche Intelligenz in einem Krankenhausumfeld erst dann wirklich zuverlässig sein kann, wenn sie nicht nur an den Daten getestet wird, die sie kennt, sondern an den Daten, die sie noch nie gesehen hat. Bis ein Modell diesen Test besteht, mag seine hohe Genauigkeit eine Illusion sein – ein Spiegelbild des Ursprungs der Daten statt des Zustands des Patienten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.