What Can Artificial Intelligence Learn from Medicine? Generative Analogies and Reliable Machine Learning Systems

In den letzten Jahren haben Ärzte und Informatiker begonnen, zusammenzuarbeiten, um Werkzeuge der künstlichen Intelligenz zu entwickeln, die dabei helfen können, Krankheiten zu diagnostizieren, Patientenergebnisse vorherzusagen und Behandlungsvorschläge zu unterbreiten. Diese Werkzeuge, bekannt als Machine-Learning-Systeme, sind leistungsstark, weil sie Muster in massiven Datenmengen finden können, die Menschen vielleicht übersehen würden. Es gibt jedoch ein hartnäckiges Problem: Diese Systeme funktionieren oft wie „Black Boxes“. Sie liefern Ergebnisse, ohne zu erklären, wie sie zu ihnen gelangt sind, und sie stützen sich auf statistische Verbindungen statt auf klare Theorien darüber, warum eine Behandlung funktioniert. Dies schafft ein Dilemma für Ärzte, die den Werkzeugen, die sie verwenden, vertrauen müssen. Wenn ein Computer sagt, dass ein Patient eine Krankheit hat, aber niemand versteht, warum er das gesagt hat, wie kann ein Arzt sicher sein, dass es richtig ist? Diese Unsicherheit hat zu einer schwierigen Frage geführt: Wie verifizieren wir, dass diese komplexen, undurchsichtigen Systeme zuverlässig genug sind, um in echten Krankenhäusern eingesetzt zu werden?

Zwei Philosophen, Emanuele Ratti und Lena Zuchowski, haben einen neuen Weg vorgeschlagen, dieses Problem zu betrachten, indem sie untersuchen, wie die Medizin selbst mit ähnlichen Unsicherheiten umgeht. Sie schlagen vor, dass wir nicht versuchen sollten, die künstliche Intelligenz dazu zu zwingen, transparent oder erklärbar zu werden, wie wir es normalerweise erwarten. Stattdessen argumentieren sie, dass wir von der langen Geschichte lernen sollten, wie die Medizin neue Medikamente validiert. Genau wie Ärzte nicht immer genau wissen, wie eine bestimmte Pille im Körper wirkt, wissen sie dennoch, dass sie sicher und wirksam ist, dank des strengen Prozesses, der zum Testen verwendet wird. Die Forscher schlagen vor, dass der gleiche strenge Testprozess, der für Medikamente verwendet wird, angepasst werden kann, um einen neuen Standard für das Vertrauen in künstliche Intelligenz zu schaffen.

Der Kern ihres Arguments beruht auf einem Vergleich zwischen zwei sehr unterschiedlichen Prozessen: der Entwicklung neuer Medikamente und dem Aufbau von Machine-Learning-Systemen. In der Medizin, wenn ein neues Medikament entdeckt wird, verstehen Wissenschaftler oft nicht vollständig den biologischen Mechanismus dahinter. Sie wissen vielleicht nicht genau, wie das Molekül mit den Zellen des Körpers interagiert. Trotz dieses Mangels an theoretischem Wissen kann dennoch bewiesen werden, dass das Medikament wirkt. Dies wird durch einen Prozess namens klinische Translation erreicht, bei dem Forscher das Medikament systematisch unter vielen verschiedenen Bedingungen testen. Sie ermitteln die richtige Dosierung, die spezifischen Arten von Patienten, denen es hilft, und die Situationen, in denen es versagen könnte. Durch das Sammeln dieser Informationen erstellen sie ein detailliertes Profil der Nützlichkeit des Medikaments, selbst wenn das zugrunde liegende „Warum“ ein Geheimnis bleibt.

Ratti und Zuchowski argumenten, dass Machine-Learning-Systeme vor exakt derselben Situation stehen. Diese Systeme sind oft „atheoretisch“, was bedeutet, dass sie nicht auf menschengemachten Theorien beruhen; sie sind „assoziativ“, was bedeutet, dass sie Verbindungen zwischen Datenpunkten finden, ohne die Ursache zu verstehen; und sie sind „opak“ (undurchsichtig), was bedeutet, dass ihre internen Entscheidungsprozesse verborgen sind. Da dies der Fall ist, ist der Versuch, die KI dazu zu bringen, sich selbst zu erklären, oft unmöglich. Anstatt gegen diese Natur anzukämpfen, schlagen die Autoren vor, den medizinischen Ansatz zu kopieren. Wir sollten aufhören, zu verlangen, dass die KI ihre Logik erklärt, und stattdenfangen zu fordern, dass wir die spezifischen Bedingungen kennen, unter denen sie funktioniert.

Um diese Idee konkret zu machen, entwickelten die Forscher einen neuen Rahmen, den sie ein „Learning Ensemble“ nennen. Stellen Sie sich dies als eine detaillierte Bedienungsanleitung vor, die weit über die bloße Aussage „dieses Computerprogramm funktioniert“ hinausgeht. In der Medizin ist ein Medikament nicht nur eine Chemikalie; es ist eine Chemikalie, die auf eine bestimmte Weise, für eine bestimmte Gruppe von Menschen, mit spezifischen Nebenwirkungen eingesetzt wird. Ähnlich verhält es sich mit einem Machine-Learning-System: Es ist nicht nur ein Stück Code, sondern ein System, das nur unter bestimmten Bedingungen funktioniert. Das Learning Ensemble ist eine Sammlung von Informationen, die diese Bedingungen definiert. Es umfasst Details über die Daten, die zum Training des Systems verwendet wurden, die spezifische Hardware, auf der es läuft, die Arten von Patienten, an denen es getestet wurde, und die exakten Metriken, die zur Bewertung seines Erfolgs herangezogen wurden.

Die Autoren unterteilen diese Informationen in drei Hauptkategorien. Die erste ist die „Grenzen der Zuverlässigkeit“ (Boundaries of Reliability). Dieser Abschnitt dokumentiert die Umgebung, in der das System gebaut wurde. Es werden Fragen gestellt wie: Waren die Daten sauber und vielfältig oder waren sie ungeordnet und begrenzt? Wurde das System auf leistungsstarken Computern getestet oder hatte es mit einfacher Hardware zu kämpfen? Wenn die Daten nur aus einem einzigen Krankenhaus stammten, könnte das System in einem anderen Krankenhaus mit anderer Ausrüstung scheitern. Durch die Dokumentation dieser Grenzen können Nutzer genau wissen, wo das System sicher einzusetzen ist und wo es versagen könnte.

Die zweite Kategorie ist die „Leistung“ (Performance). Dies ist nicht nur eine einzelne Zahl, die besagt, dass das System zu 90 % genau ist. Stattdessen erfordert es einen detaillierten Bericht darüber, wie das System in verschiedenen Situationen abschneidet. Funktioniert es beispielsweise gleichermaßen gut für junge und alte Patienten oder für Menschen unterschiedlichen Geschlechts? Macht es mehr Fehler, wenn die Daten leicht von denen abweichen, mit denen es trainiert wurde? Die Forscher betonen, dass das Wissen darüber, wo ein System versagt, genauso wichtig ist wie das Wissen darüber, wo es erfolgreich ist. Wenn ein System hervorragend bei der Diagnose einer bestimmten Krebsart ist, aber bei einer anderen sehr schlecht abschneidet, muss dieses spezifische Versagen dokumentiert werden, damit Ärzte es nicht für die falschen Fälle verwenden.

Die dritte Kategorie ist die „funktionale Dimension“ (Functional Dimension). Hierbei wird betrachtet, was das System in der realen Welt tatsächlich tun soll. Ein System mag mathematisch perfekt darin sein, eine Zahl vorherzusagen, aber wenn diese Zahl einem Arzt nicht hilft, eine bessere Entscheidung zu treffen, ist das System nutzlos. Dieser Teil prüft, ob die Ausgabe des Systems mit den Bedürfnissen des medizinischen Teams übereinstimmt. Wenn beispielsweise ein System dazu entwickelt wurde, einem Arzt bei der Entscheidung zu helfen, ob ein Patient stationär aufgenommen werden muss, muss es getestet werden, um zu sehen, ob es tatsächlich bei dieser spezifischen Entscheidung hilft. Wenn das System für einen Zweck verwendet wird, für den es nicht konzipiert wurde, wird es unzuverlässig, ungeachtet dessen, wie gut es seine ursprüngliche Aufgabe erfüllt.

Die Forscher illustrieren die Leistungsfähigkeit dieses Ansatzes anhand von Realwelt-Beispielen des Scheiterns. Sie weisen auf eine Studie hin, bei der ein System der künstlichen Intelligenz behauptete, Krebs zu erkennen, indem es die genetische Zusammensetzung der Bakterien im menschlichen Körper untersuchte. Das System schien anfangs perfekt zu funktionieren, mit einer sehr hohen Genauigkeit. Als die Forscher jedoch die Daten genauer untersuchten, fanden sie heraus, dass das System überhaupt nichts über Krebs gelernt hatte. Es hatte stattdert gelernt, einen spezifischen Fehler im Datenerhebungsprozess zu erkennen, der bei Krebspatienten häufiger vorkam. Da das System opak war, blieb dieser Fehler verborgen. Hätten die Forscher das „Learning Ensemble“-Framework verwendet, wären sie verpflichtet gewesen, die Datenquellen und die spezifischen Bedingungen des Tests zu dokumentieren. Diese Dokumentation hätte offengelegt, dass die Daten fehlerhaft waren und das System eine Abkürzung statt einer echten biologischen Verbindung genutzt hatte.

Ein weiteres Beispiel betrifft ein System, das darauf ausgelegt war, vorherzusagen, welche Patienten mit einer Lungenentzündung ein hohes Sterberisiko haben. Das System lernte, dass Patienten mit Asthma tatsächlich ein geringeres Risiko hatten. Dies schien kontraintuitiv. Der Grund war, dass das System gelernt hatte, dass asthmatische Patienten im Krankenhaus eine sehr aggressive und effektive Behandlung erhielten, was ihr Sterberisiko senkte. Wenn jedoch ein Arzt dieses System nutzen würde, um zu entscheiden, wer behandelt werden muss, könnte er fälschlicherweise annehmen, dass asthmatische Patienten keine Pflege benötigen. Das System war basierend auf den Daten mathematisch korrekt, aber funktionell gefährlich, weil es den Kontext der medizinischen Behandlung nicht verstand. Das Learning Ensemble Framework hätte dies erkannt, indem es eine klare Definition des Zwecks des Systems und eine Überprüfung gegen das reale medizinische Wissen gefordert hätte.

Die Autoren weisen vorsichtig darauf hin, dass dieser Rahmen nicht das Rätsel löst, wie Machine Learning funktioniert. Die Systeme werden weiterhin opak bleiben und weiterhin auf statistischen Mustern statt auf klaren Theorien basieren. Der Wert des Learning Ensembles liegt nicht darin, die KI transparent zu machen, sondern den Einsatz der KI transparent zu machen. Es verschiebt den Fokus von der Frage „Wie denkt der Computer?“ hin zu der Frage „Unter welchen exakten Bedingungen können wir der Antwort des Computers vertrauen?“. Dies ist eine subtile, aber entscheidende Verschiebung. Sie ermöglicht es Ärzten, leistungsstarke Werkzeuge zu nutzen, ohne die komplexe Mathematik dahinter verstehen zu müssen, solange sie eine klare Karte darüber besitzen, wo diese Werkzeuge sicher einzusetzen sind.

Dieser Ansatz legt einen neuen Weg für die Regulierung und Bewertung künstlicher Intelligenz in der Medizin nahe. Anstatt zu verlangen, dass jeder Algorithmus erklärbar sein muss, sollten Regulierungsbehörden und Krankenhäuser ein vollständiges „Learning Ensemble“ für jedes System fordern. Dieses Dokument würde als Zertifikat der Zuverlässigkeit fungieren und die Daten, die Leistung und den beabsichtigten Verwendungszweck detailliert beschreiben. Wenn ein Krankenhaus ein System verwenden möchte, kann es das Ensemble prüfen, um zu sehen, ob seine spezifische Situation mit den Bedingungen übereinstimmt, unter denen das System nachweislich funktioniert. Wenn die Bedingungen nicht übereinstimmen, sollte das System nicht verwendet werden. Diese Methode akzeptiert die Grenzen der aktuellen Technologie und bietet gleichzeitig einen robusten Weg zum Management der Risiken.

Das Paper schließt mit der Feststellung, dass dieser Rahmen ein praktischer Schritt nach vorne ist. Er behauptet nicht, alle Probleme der künstlichen Intelligenz gelöst zu haben, noch verspricht er, dass diese Systeme niemals Fehler machen werden. Stattdessen bietet er einen strukturierten Weg, um Vertrauen aufzubauen. Indem wir Machine-Learning-Systeme wie medizinische Behandlungen behandeln – wobei der Fokus auf den Einsatzbedingungen statt auf dem internen Mechanismus liegt –, können wir einen sichereren und zuverlässigeren Weg für die Integration dieser Technologien in das Gesundheitswesen schaffen. Das Ziel ist nicht, die Black Box durchsichtig zu machen, sondern einen zuverlässigen Leitfaden zu erstellen, der uns genau sagt, wo es sicher ist, hineinzuschauen.