Are Multimodal LLMs Ready for Clinical Dermatology? A Real-World Evaluation in Dermatology
Diese Studie zeigt, dass multimodale große Sprachmodelle zwar auf öffentlichen dermatologischen Benchmarks vielversprechend sind, ihre diagnostische Genauigkeit jedoch in realen klinischen Umgebungen erheblich nachlässt, was darauf hindeutet, dass die aktuellen Modelle für den Einsatz am Krankenbett noch nicht zuverlässig genug sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen neuen Assistenten ein, um einem Dermatologen (einem Hautarzt) zu helfen, Tausende von Patientenfotos und -notizen zu sichten. Sie möchten wissen, ob dieser Assistent intelligent genug ist, um ein Bild eines Hautausschlags zu betrachten, die kurze Notiz des Arztes dazu zu lesen und zu sagen: „Das sieht aus wie X, Y oder Z, und wir müssen diesen Patienten sofort sehen."
Dieser Artikel ist wie ein strenger „Bewerbungsgespräch" für fünf verschiedene KI-Assistenten (sogenannte Multimodale Large Language Models oder MLLMs), um zu prüfen, ob sie für diesen realen Job bereit sind.
Hier ist die Aufschlüsselung dessen, was die Forscher mit einfachen Analogien herausfanden:
1. Die „Übungsklausur" vs. der „Echte Job"
Das Setup:
Vor der Einstellung legten die KI-Assistenten eine „Übungsklausur" mit öffentlichen Datensätzen ab. Diese Datensätze sind wie perfekt inszenierte Fotoshootings. Die Fotos sind von hoher Qualität, mit speziellen medizinischen Kameras (Dermatoskopie) aufgenommen, zeigen nur einen klaren Hautbereich und haben keinen Hintergrundunrat. In dieser perfekten Umgebung schnitten die KI-Assistenten ziemlich gut ab. Der beste (GPT-4.1) lag bei etwa 42 % richtigen Antworten, und die Open-Source-Modelle bei rund 20–26 %.
Der Realitätscheck:
Dann gaben die Forscher ihnen den „Echte-Job"-Test. Dieser umfasste 5.811 tatsächliche Patientenfälle aus einem Krankenhaus.
- Die Fotos: Dies waren keine perfekten Studioaufnahmen. Sie wurden von normalen Ärzten oder Patienten mit Mobiltelefonen aufgenommen. Das Licht war schlecht, die Bildkomposition unordentlich, und es gab oft mehrere Hautausschläge oder Ablenkungen im Hintergrund (wie ein Krankenhausbett oder eine Hand, die das Telefon hält).
- Die Notizen: Die von den überweisenden Ärzten verfassten Notizen waren oft kurz, vage oder gaben manchmal sogar einen falschen Eindruck vom Problem.
Das Ergebnis:
Die Leistung der KI-Assistenten brach ein.
- Als sie sich nur die unordentlichen realen Fotos ansahen, sank die Genauigkeit des besten KI-Modells von ~42 % auf ~24 %.
- Die Open-Source-Modelle brachen noch stärker ein, von ~26 % auf nur 1,5 % bis 13 %.
- Die Analogie: Es ist wie ein Schüler, der bei einer Matheprüfung mit sauberen, gedruckten Zahlen eine „Sehr gut" erhält, aber kläglich scheitert, wenn er aufgefordert wird, dieselben Probleme in unleserlicher Handschrift auf einer Serviette zu lösen.
2. Die Falle des „Vertrauens auf die Notiz"
Die Forscher testeten, was passiert, wenn sie der KI die schriftliche Notiz des Arztes zusammen mit dem Foto geben.
- Die gute Nachricht: Wenn die Notizen hilfreich waren, wurde die KI besser. Es ist wie einem Detektiv einen hilfreichen Hinweis zu geben.
- Die schlechte Nachricht: Die KI war zu vertrauensselig. Wenn der überweisende Arzt eine Notiz schrieb mit „Ich denke, das ist ein Spinnenbiss", ignorierte die KI oft das Bild und stimmte einfach der Notiz zu, selbst wenn das Bild eindeutig etwas anderes zeigte.
- Die Gefahr: Wenn der überweisende Arzt falsch lag (was im echten Leben oft vorkommt), würde die KI die falsche Diagnose selbstbewusst wiederholen. In einigen Fällen machte eine irreführende Notiz die Leistung der KI schlechter, als wenn sie nur das Foto betrachtet hätte. Ein Modell (SkinGPT-4) war in 84 % der Fälle verwirrt, wenn die Notiz irreführend war.
3. Der „Triage"-Test (Wer braucht jetzt Hilfe?)
Da die KI Schwierigkeiten hatte, die genaue Krankheit zu benennen, stellten die Forscher eine einfachere Frage: „Ist der Zustand dieses Patienten schwerwiegend und dringend?" (Wie eine Triage-Schwester, die entscheidet, wer an die Reihe kommt).
- Das Ergebnis: Die KI war dabei okay, aber nicht großartig. Sie konnte etwa 60 % der schweren Fälle erkennen, wenn die Notizen gegeben wurden.
- Der Haken: Sie verpasste viele schwere Fälle, und ihre Fähigkeit, diese zu erkennen, hing vollständig von der Qualität der Notizen ab. Wenn die Notizen verwirrend waren, verpasste die KI die dringenden Fälle.
4. Wo haben sie versagt? (Die „Augen" vs. das „Gehirn")
Die Forscher baten menschliche Dermatologen, die Begründungen der KI zu bewerten. Sie fanden eine überraschende Wahrheit:
- Das „Gehirn" der KI (das Schlussfolgern) war in Ordnung. Die KI kannte medizinische Fakten und konnte Sätze formulieren, die professionell klangen.
- Die „Augen" der KI (die Bilderkennung) waren das Problem. Die KI scheiterte, weil sie die spezifischen visuellen Details des Hautausschlags nicht genau beschreiben konnte. Sie sagte allgemeine Dinge wie „da ist ein roter Fleck", anstatt die spezifische Form oder Textur zu bemerken, die eine Krankheit definiert.
- Die Analogie: Stellen Sie sich einen Schüler vor, der das gesamte Wörterbuch auswendig gelernt hat und einen perfekten Aufsatz schreiben kann, aber wenn ihm ein Bild einer Katze gezeigt wird, kann er Ihnen nicht sagen, dass sie Schnurrhaare oder spitze Ohren hat. Er kennt die Wörter für eine Katze, aber er kann die Katze nicht sehen.
Das Fazit
Die Studie kommt zu dem Schluss, dass diese KI-Modelle nicht bereit sind, allein in einer echten dermatologischen Praxis zu arbeiten.
- Benchmark-Leistung ist irreführend: Nur weil eine KI bei sauberen, perfekten Datensätzen gut abschneidet, bedeutet das nicht, dass sie die unordentliche Realität eines Krankenhauses bewältigen kann.
- Der Flaschenhals ist nicht das „Denken": Das Problem ist nicht, dass die KI nicht schlussfolgern kann; es ist, dass sie die Haut auf realen Fotos nicht genau „sehen" kann und sich leicht durch schlechte Notizen verwirren lässt.
- Sicherheitshinweis: Solange die KI nicht besser darin wird, unordentliche Fotos zu betrachten und irreführende Notizen zu ignorieren, kann ihr nicht vertraut werden, Entscheidungen zu treffen, ohne dass ein menschlicher Arzt über ihre Schulter schaut.
Kurz gesagt: Die KI ist ein intelligenter Schüler, der die schriftliche Prüfung bestanden hat, aber den praktischen Fahrtest nicht bestanden hat. Sie braucht mehr Training auf realen „Straßenverhältnissen", bevor sie das Auto fahren kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.