Toward a Common Language for Trustworthy AI in Healthcare

Künstliche Intelligenz wird zunehmend zu einem Partner im Gesundheitswesen und hilft Ärzten dabei, Krankheiten zu diagnostizieren, Patientenergebnisse vorherzusagen und Behandlungen auszuwählen. Doch während diese Computersysteme immer komplexer werden, ist ein stilles Problem entstanden: Viele von ihnen operieren wie „Black Boxes“. Sie nehmen medizinische Daten auf und produzieren ein Ergebnis, aber der Weg zwischen beiden ist verborgen. Wenn eine Maschine eine Diagnose vorschlägt, muss ein Arzt wissen, warum. Er muss die Logik verstehen, darauf vertrauen können, dass das System fair ist, und sicher sein, dass es für jeden Patienten gleichermaßen funktioniert und nicht nur für diejenigen, mit denen es trainiert wurde. Um dieses Vertrauen aufzubauen, hat das Fachgebiet einen Satz Leitprinzipien entwickelt, die oft als „vertrauenswürdige KI“ bezeichnet werden. Zu diesen Prinzipien gehören Ideen wie Transparenz, was bedeutet, offen darüber zu sein, wie ein System funktioniert; Fairness, die sicherstellt, dass keine Gruppe von Menschen ungerecht behandelt wird; und Zuverlässigkeit, was bedeutet, dass das System konsistent arbeitet. Damit diese Prinzipien jedoch funktionieren, müssen sich alle darüber einig sein, was sie tatsächlich bedeuten. Wenn ein Forscher ein System als „erklärbar“ bezeichnet, während ein anderer dasselbe Wort verwendet, um etwas leicht anderes zu meinen, beginnt das Fundament des Vertrauens zu bröckeln.

Ein Team von Forschern der McMaster University in Kanada unternahm den Versuch herauszufinden, ob die medizinische KI-Gemeinschaft dieselbe Sprache spricht. Sie führten eine umfassende Überprüfung von 675 Artikeln durch, die zwischen 2015 und 2025 veröffentlicht wurden, und untersuchten, wie Wissenschaftler acht Kernkonzepte definieren und verwenden: Interpretierbarkeit, Erklärbarkeit, Transparenz, Fairness, Bias (Voreingenommenheit), Robustheit, Zuverlässigkeit und Validität. Was sie fanden, war eine Landschaft der Verwirrung. Die Studie zeigte, dass diese Begriffe oft synonym verwendet werden, selbst wenn sie eigentlich unterschiedliche Dinge beschreiben sollten. Beispielsweise wurden die Wörter „Interpretierbarkeit“ und „Erklärbarkeit“ häufig vertauscht, obwohl die Forscher postulierten, dass sie tatsächlich unterschiedliche Ebenen des Verständnisses beschreiben. Ähnlich verhielt es sich mit den Definitionen für „Zuverlässigkeit“ und „Validität“, die so stark variierten, dass eine Studie ein System allein deshalb als zuverlässig bezeichnete, weil es mit denselben Daten funktionierte, mit denen es trainiert wurde, während eine andere verlangte, dass es mit völlig anderen Daten funktionieren müsste, um diese Bezeichnung zu verdienen. Dieser Mangel an einem gemeinsamen Vokabular macht es schwierig, Studien zu vergleichen, Wissen zu teilen oder Systeme zu bauen, die für Patienten wirklich sicher sind.

Um dies zu beheben, schlug das Forscherteam einen neuen, einheitlichen Rahmen vor, der diese Konzepte klar voneinander trennt. Sie definierten „Transparenz“ als das umfassendste Konzept, was bedeutet, dass das System seine inneren Abläufe und Datenquellen offenlegt, damit die Beteiligten sehen können, wie Entscheidungen getroffen werden. Innerhalb dieser Transparenz liegt die „Erklärbarkeit“, die sie als die Fähigkeit beschreiben, eine technische Rechtfertigung für eine Entscheidung zu liefern, also das „Wie“ und „Warum“ auf eine Weise zu erklären, der ein sachkundiger Nutzer folgen kann. „Interpretierbarkeit“ ist ihrer Meinung nach etwas anders; es ist die Fähigkeit eines Nutzers, die Entscheidung zu verstehen, ohne die technischen Details kennen zu müssen, wobei der Fokus auf dem „Warum“ statt auf der Mechanik liegt. Das Team stellte auch klar, dass „Robustheit“ bedeutet, dass ein System stabil bleibt, selbst wenn sich die Eingangsdaten ändern oder Rauschen enthalten, während „Zuverlässigkeit“ bedeutet, dass es stabil bleibt, wenn die Bedingungen exakt gleich bleiben. „Fairness“ wurde als das Ziel definiert, diskriminierende Ergebnisse zu eliminieren, was wiederum die Identifizierung von „Bias“ erfordert – also jenen systematischen Fehlern, die zu einer unfairen Behandlung führen. Schließlich wurde „Validität“ als der ultimative Test positioniert: Ein System ist nur dann valide, wenn es sowohl robust als auch zuverlässig ist und wie intendiert in der realen Welt funktioniert.

Als die Forscher die tatsächlichen Studien betrachteten, die im letzten Jahrzehnt veröffentlicht wurden, stellten sie fest, dass das Feld schnell wächst, wobei die Zahl der Publikationen von 2015 bis 2025 steil anstieg. Die Forschung ist jedoch nicht gleichmäßig verteilt. Die meisten Studien konzentrieren sich auf einige wenige spezifische Bereiche, wie etwa Neurologie, Onkologie und Kardiologie, und stützen sich stark auf elektronische Gesundheitsakten und medizinische Bilder. Die am häufigsten verwendeten KI-Modelle sind klassische Algorithmen des maschinellen Lernens und Deep-Learning-Netzwerke, wobei die überwiegende Mehrheit der Studien einfache Klassifizierungsaufgaben durchführt, wie etwa die Entscheidung, ob ein Scan einen Tumor zeigt oder nicht. In Bezug auf die Werkzeuge, die diese Systeme verständlich machen, ist eine Technik namens SHAP (was für „SHapley Additive exPlanations“ steht) mit Abstand am populärsten. Sie hilft Forschern zu sehen, welche Merkmale in den Daten – wie ein spezifisches Blutergebnis oder ein Pixel in einem Bild – am meisten zu einer Vorhersage beigetragen haben.

Trotz dieses Wachstums deckte die Überprüfung erhebliche Lücken auf. Während Forscher gut darin sind, zu prüfen, ob ihre Modelle mit den Daten funktionieren, die sie bereits haben, sind sie weniger erfolgreich darin zu testen, ob diese Modelle mit neuen, anderen Daten oder bei Bevölkerungsgruppen funktionieren werden, die im ursprünglichen Training nicht ausreichend repräsentiert waren. Die Studie ergab, dass weniger als die Hälfte der Artikel Themen wie Fairness oder Bias behandelte und noch weniger das tiefe Maß an Transparenz boten, das erforderlich wäre, um den Entscheidungsprozess eines Modells vollständig zu verstehen. Am wichtigsten war der Hinweis der Forscher, dass sehr wenige Studien tatsächlich „Erklärbarkeit“ im strengen Sinne adressierten, also die Offenlegung der zugrunde liegenden Mechanismen des Modells. Stattdessen blieben die meisten bei der „Interpretierbarkeit“ stehen, indem sie zeigten, welche Datenpunkte wichtig waren, ohne die vollständige Logik der Maschine zu erklären. Dies deutet darauf an, dass das Feld zwar Fortschritte macht, sich aber immer noch weitgehend darauf konzentriert, die Ausgabe der KI verständlich zu machen, anstatt die KI selbst wirklich transparent zu gestalten.

Die Autoren kommen zu dem Schluss, dass die Gemeinschaft, damit Künstliche Intelligenz ein vertrauenswürdiger Partner im Gesundheitswesen werden kann, aufhören muss, diese Begriffe locker zu verwenden, und stattdessen die von ihnen vorgeschlagenen, einheitlichen Definitionen übernehmen muss. Ohこと ein gemeinsamer Sprachgebrauch wird es unmöglich sein, die strengen Standards zu entwickeln, die notwendig sind, um die Patientensicherheit zu gewährleisten. Sie empfehlen, dass die zukünftige Forschung über die gängigsten medizinischen Fachgebiete und Datentypen hinausgehen sollte, um ein breiteres Spektrum an Erkrankungen und Informationsquellen zu untersuchen. Sie fordern Wissenschaftler zudem auf, bessere Methoden zu entwickeln, um zu testen, wie gut diese Systeme mit neuen Situationen und vielfältigen Populationen umgehen können. Indem das Feld klärt, was wir unter Vertrauen, Zuverlässigkeit und Fairness verstehen, kann es den Schritt von der bloßen Erstellung komplexer Modelle hin zur Entwicklung von Systemen vollziehen, auf die Ärzte und Patienten wirklich zählen können.