Application of deep learning and explainable AI-supported medical decision-making for facial phenotyping in genetic syndromes

Die Studie zeigt, dass zwar sowohl reine KI-Vorhersagen als auch KI mit erklärbarer Intelligenz (XAI) die diagnostische Genauigkeit von Genetikern bei korrekten Klassifizierungen verbessern, jedoch die XAI-Erklärungen selbst nicht in die Entscheidungsfindung integriert wurden und die reine Vorhersagewahrscheinlichkeit einen stärkeren Einfluss auf die Entscheidungen hatte.

Das Wesentliche

🧠 Das große Rätsel: Gesichter und Gene

Stellen Sie sich vor, Sie sind ein medizinischer Detektiv. Ihre Aufgabe ist es, an den Gesichtern von Patienten zu erkennen, ob sie eine seltene genetische Krankheit haben. Das ist wie das Lösen eines sehr schwierigen Puzzles, bei dem die Teile oft winzig klein und schwer zu finden sind.

In der Vergangenheit haben Ärzte das allein gemacht. Heute gibt es jedoch einen neuen Assistenten: Künstliche Intelligenz (KI). Diese KI kann Tausende von Gesichtern analysieren und sagen: „Ich bin zu 90 % sicher, dass diese Person das Syndrom X hat."

Aber hier kommt das Problem: Die KI ist wie ein sehr selbstbewusster, aber manchmal verwirrter Assistent. Manchmal liegt sie richtig, manchmal aber auch falsch. Und wenn sie falsch liegt, kann sie den Arzt sogar in die Irre führen.

🔍 Die Frage der Studie: Hilft ein „Lichtschalter"?

Die Forscher wollten wissen: Wenn wir der KI nicht nur die Antwort geben, sondern ihr auch erklären, warum sie diese Antwort gibt, wird es dann besser?

Stellen Sie sich die KI wie einen dunklen Raum vor.

• Ohne Erklärung (KI-Only): Die KI sagt einfach: „Es ist Syndrom X." Das ist wie ein Lichtschalter, der einfach angeht. Man sieht das Ergebnis, weiß aber nicht, woher das Licht kommt.
• Mit Erklärung (XAI): Die KI sagt: „Es ist Syndrom X, und zwar weil ich hier auf der Nase und hier um die Augen herum etwas Besonderes gesehen habe." Das ist wie ein Lichtschalter, der gleichzeitig eine Taschenlampe mitbringt, die genau auf die verdächtigen Stellen im Gesicht scheint.

Die Wissenschaftler nannten diese Taschenlampe „Saliency Maps" (Hervorhebungen). Sie zeigen an, welche Teile des Gesichts die KI am meisten beachtet hat.

🎭 Das Experiment: 44 Experten im Test

Die Forscher haben 44 erfahrene Genetik-Ärzte eingeladen. Sie haben sie in zwei Gruppen geteilt:

1. Gruppe A sah nur die Gesichter und die Antwort der KI.
2. Gruppe B sah die Gesichter, die Antwort der KI und die Taschenlampe (die Hervorhebungen).

Dann bekamen sie 18 verschiedene Gesichter zu sehen und mussten entscheiden: Ist das eine Krankheit oder gesund?

📉 Was ist passiert? Die überraschenden Ergebnisse

Die Ergebnisse waren etwas ernüchternd, aber sehr wichtig:

1. Wenn die KI richtig lag:
Beide Gruppen haben sich verbessert. Wenn die KI sagte „Syndrom X" und es war wirklich Syndrom X, dann haben die Ärzte der KI geglaubt und ihre eigene Diagnose korrigiert. Die „Taschenlampe" (die Erklärung) hat hier nicht wirklich mehr gebracht als die reine Antwort.

2. Wenn die KI falsch lag:
Das war der kritische Moment. Die KI sagte: „Syndrom X", aber es war eigentlich Syndrom Y.

• Ohne Erklärung: Die Ärzte waren verwirrt, aber nicht extrem verunsichert.
• Mit Erklärung: Die Ärzte schauten sich die „Taschenlampe" an. Aber statt zu denken: „Ah, die KI hat einen Fehler gemacht, weil sie auf die falschen Stellen schaut", wurden sie oft noch verunsicherter. Die Erklärung half ihnen nicht, den Fehler zu erkennen. Im Gegenteil: Sie vertrauten der KI manchmal sogar blind, obwohl die Erklärung nicht sinnvoll war.

3. Die Meinung der Ärzte:
Die Ärzte fanden die reine Antwort der KI („Ich bin zu 90 % sicher") sehr hilfreich. Aber die „Taschenlampe" (die Hervorhebungen) fanden sie nicht hilfreich. Viele sagten sogar: „Das verwirrt mich nur" oder „Ich weiß nicht, was ich damit anfangen soll."

🧩 Die große Metapher: Der Navigator im Auto

Stellen Sie sich vor, Sie fahren ein Auto und haben einen Navigationsassistenten.

• Die reine KI sagt: „Biegen Sie rechts ab."
• Die KI mit Erklärung sagt: „Biegen Sie rechts ab, weil ich hier eine Straße gesehen habe, die wie eine Autobahn aussieht."

Wenn die Straße tatsächlich eine Autobahn ist, helfen beide.
Aber wenn die KI sich irrt und eine normale Straße für eine Autobahn hält, hilft Ihnen die Erklärung nicht weiter. Sie schauen sich die „Autobahn" an, erkennen aber vielleicht nicht sofort, dass es nur eine normale Straße ist. Sie vertrauen dem Assistenten trotzdem, weil er so selbstbewusst klingt.

💡 Das Fazit: Warum das wichtig ist

Die Studie zeigt uns eine wichtige Lektion für die Zukunft der Medizin:

Es reicht nicht, einer KI einfach zu sagen: „Hier ist mein Ergebnis, und hier ist der Grund." Wenn die Erklärung nicht intuitiv ist oder wenn die KI selbst unsicher ist, hilft das dem Arzt nicht. Manchmal macht eine schlechte Erklärung die Situation sogar schlimmer, weil sie dem Arzt das Gefühl gibt, er müsse der KI vertrauen, obwohl er es nicht sollte.

Die Botschaft: Damit KI Ärzte wirklich hilft, müssen wir nicht nur bessere KI bauen, sondern auch bessere Erklärungen finden, die so einfach und klar sind, dass ein Arzt sofort sagt: „Ah, jetzt verstehe ich, warum die KI das denkt – und ob sie recht hat."

Bis dahin ist die KI ein mächtiger Assistent, aber man muss ihm immer noch mit gesundem Menschenverstand begegnen und nicht blind auf seine „Taschenlampe" schauen.

Technische Zusammenfassung

Titel: Anwendung von Deep Learning und erklärbarer KI (XAI) zur Unterstützung medizinischer Entscheidungen bei der Gesichtsphänotypisierung genetischer Syndrome

1. Problemstellung und Hintergrund

Seltene genetische Erkrankungen betreffen zwar kollektiv viele Menschen, sind im Einzelfall jedoch selten und oft schwer zu diagnostizieren. Viele dieser Syndrome weisen charakteristische Gesichtsmerkmale (Dysmorphologien) auf, die für die Diagnose entscheidend sind.

• Herausforderung: Künstliche Intelligenz (KI), insbesondere Deep Learning (DL), kann zwar Gesichtsmerkmale analysieren und Differentialdiagnosen stellen, aber Studien deuten darauf hin, dass KI-Tools die diagnostische Entscheidungsfindung von Ärzten nicht automatisch verbessern.
• Lücke: Es fehlt an Verständnis darüber, wie medizinische Genetiker KI-Vorhersagen und insbesondere erklärbare KI (XAI) in ihre klinische Praxis integrieren. Die Frage ist, ob Visualisierungen wie Saliency Maps (Hervorhebungen relevanter Bildbereiche) das Vertrauen und die Genauigkeit der Ärzte erhöhen oder ob sie kognitive Last erzeugen und verwirren.

2. Methodik

Die Studie untersuchte den Einfluss von KI-Vorhersagen und XAI-Methoden auf die diagnostische Leistung von medizinischen Genetikern.

• Studiendesign: Ein kontrolliertes Survey-Experiment mit zwei Gruppen:
  • AI-only-Gruppe (n=23): Erhielt nur die Vorhersage-Wahrscheinlichkeit des KI-Modells.
  • XAI-unterstützte Gruppe (n=21): Erhielt die Vorhersage-Wahrscheinlichkeit sowie XAI-Erklärungen.
• Datenbasis: 18 Gesichtsimages (3 pro Syndrom + 3 gesunde Kontrollen) aus einem größeren Datensatz (3547 Bilder). Die Syndrome umfassten: 22q11.2-Deletionssyndrom, Angelman-Syndrom, Kabuki-Syndrom, Noonan-Syndrom und Williams-Syndrom. Die Bilder wurden so ausgewählt, dass sie sowohl korrekt als auch falsch vom KI-Modell klassifiziert wurden, um die Reaktion auf Fehler zu testen.
• KI-Modell: Ein ResNet-50-Klassifikator wurde trainiert, um die Wahrscheinlichkeit für eine von sechs Labels (5 Syndrome + "unbetroffen") zu berechnen.
• XAI-Methoden:
  • DeepLIFT: Erzeugte Saliency Maps zur visuellen Hervorhebung relevanter Bildbereiche.
  • Region-Relevance-Scores: Eine quantitative Zusammenfassung der Saliency Maps, die den Beitrag von drei spezifischen "Areas of Interest" (AOI) – Nase, Augen, Mund – zur Vorhersage darstellt (basierend auf vorherigen Erkenntnissen, dass Genetiker primär auf diese Bereiche achten).
• Ablauf: Teilnehmer klassifizierten die Bilder zunächst ohne KI, dann erneut mit den jeweiligen KI-Interventionen. Es wurden Genauigkeit, Vertrauenswürdigkeit (Confidence) und die wahrgenommene Nützlichkeit der Tools (Likert-Skala -2 bis +2) erfasst.
• Statistik: Es wurden T-Tests bzw. Mann-Whitney-U-Tests zur Vergleichbarkeit der Gruppen verwendet. Zudem wurden Mediationsanalysen durchgeführt, um zu verstehen, wie Vorhersagewahrscheinlichkeiten und XAI die Entscheidung der Ärzte beeinflussen, der KI zu folgen.

3. Wichtige Ergebnisse

• Einfluss der KI-Genauigkeit:

  • Wenn die KI korrekt klassifizierte, verbesserte sich die Genauigkeit der Ärzte in beiden Gruppen signifikant (ca. +0,20 Punkte).
  • Wenn die KI falsch klassifizierte, sank die Genauigkeit der Ärzte in beiden Gruppen signifikant (ca. -0,20 Punkte).
  • Fazit: Die KI-Intervention hatte einen starken, aber bidirektionalen Effekt: Sie half bei korrekten Vorhersagen, führte aber auch zu Fehlern bei falschen Vorhersagen.

• Wirkung von XAI (Saliency Maps & Scores):

  • Keine signifikante Leistungssteigerung: Die XAI-Gruppe zeigte im Vergleich zur AI-only-Gruppe keine signifikante Verbesserung der diagnostischen Genauigkeit oder des Vertrauens.
  • Wahrgenommene Nützlichkeit: Die Vorhersagewahrscheinlichkeiten wurden als nützlich bewertet (positiver Score). Im Gegensatz dazu wurden die XAI-Erklärungen (Saliency Maps und Region-Relevance-Scores) überwiegend als nicht hilfreich oder sogar hinderlich bewertet (negative Scores, z.B. -0,14 bis -0,19).
  • Mediationsanalyse: Die Entscheidung der Ärzte, der KI zu folgen, wurde primär durch die Vorhersagewahrscheinlichkeit und das eigene initiale Vertrauen beeinflusst. Die XAI-Komponenten hatten keinen signifikanten direkten oder indirekten Einfluss auf die Entscheidung, der KI zu folgen.

• Qualitative Rückmeldungen:

  • Viele Genetiker gaben an, die XAI-Tools nicht zu verstehen oder sie als kognitiv belastend zu empfinden.
  • Bei falschen KI-Vorhersagen führten die Erklärungen dazu, dass die Ärzte kritischer wurden, aber sie konnten diese Skepsis nicht in eine korrekte Diagnose umwandeln, da sie im Experiment keine zusätzlichen Informationen einholen konnten.

4. Hauptbeiträge und Erkenntnisse

1. Grenzen aktueller XAI-Methoden: Die Studie zeigt, dass gängige Saliency-Map-Techniken (wie DeepLIFT) und deren quantitative Zusammenfassungen (Region-Relevance-Scores) für medizinische Genetiker bei der Gesichtsdiagnostik nicht intuitiv genug sind, um die Entscheidungsfindung zu verbessern oder das Vertrauen in korrekte KI-Ergebnisse signifikant zu steigern.
2. Dominanz der Konfidenz-Wahrscheinlichkeit: Der numerische Wert der Vorhersagewahrscheinlichkeit (z. B. "89% Wahrscheinlichkeit für Syndrom X") hat einen stärkeren Einfluss auf das Verhalten der Ärzte als die visuelle Erklärung, warum das Modell zu diesem Ergebnis kam.
3. Risiko der Fehlinformation: KI-Tools können die Diagnosequalität verschlechtern, wenn das Modell falsch liegt und hohe Konfidenz zeigt ("Overconfidence"), was Ärzte dazu verleitet, ihre eigene korrekte Diagnose aufzugeben.
4. Klinische Relevanz: Die Ergebnisse unterstreichen, dass die bloße Hinzufügung von Erklärungen nicht ausreicht. Für eine erfolgreiche Human-AI-Kollaboration müssen Erklärungen besser an die klinische Denkweise und die spezifischen Merkmale (Phänotypen) angepasst werden.

5. Bedeutung und Ausblick

Die Studie liefert wichtige Erkenntnisse für die Entwicklung von Software als Medizinprodukt (SaMD) in der Genetik. Sie warnt davor, XAI-Tools unkritisch einzusetzen, ohne zu prüfen, ob sie tatsächlich von den Endnutzern verstanden und genutzt werden.

• Zukünftige Richtungen:
  • Entwicklung intuitiverer Erklärungsformen (z. B. kontrafaktische Erklärungen oder Vision-Language-Modelle), die spezifische klinische Merkmale (Human Phenotype Ontology) benennen, statt nur Bildbereiche zu markieren.
  • Untersuchung größerer Kohorten und verschiedener Bildtypen (z. B. Röntgen, Hautveränderungen).
  • Notwendigkeit, die "Black Box" nicht nur visuell, sondern semantisch für den Arzt zu öffnen, um Vertrauen und Akzeptanz zu erhöhen.

Zusammenfassend zeigt die Arbeit, dass zwar KI-Vorhersagen die Diagnose unterstützen können, die aktuellen Methoden der erklärbaren KI (Saliency Maps) jedoch noch nicht den gewünschten Mehrwert für medizinische Experten bieten und teilweise sogar als hinderlich empfunden werden.