Evaluation of Medical Vision Language Models HuluMed and MedGemma, and general purpose chatbots Gemma 3, ChatGPT Plus, and Claude Pro on real previously unseen wound images
Diese Studie evaluiert sechs Vision-Language-Modelle anhand realer Wundbilder und stellt fest, dass Allzweck-Systeme wie ChatGPT und Claude medizinisch spezialisierte Modelle bei der klinischen Wundbeurteilung signifikant übertreffen, obwohl alle Modelle weiterhin erhebliche Einschränkungen hinsichtlich ihrer autonomen Zuverlässigkeit aufweisen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten eine Gruppe von sechs verschiedenen „digitalen Detektiven“. Ihr Job ist es, Fotos von 20 verschiedenen Arten von offenen Wunden (wie Schnitten, Geschwüren oder chirurgischen Stellen) zu betrachten und 12 spezifische Fragen dazu zu beantworten, wie zum Beispiel: „Ist diese infiziert?“, „Benötigen wir eine Operation?“ oder „Welchen Verband sollten wir verwenden?“
Die Forscher wollten sehen, welcher Detektiv am besten darin war, diese medizinischen Rätsel zu lösen. Sie ließen zwei Arten von Detektiven gegeneinander antreten:
- Die Generalisten: Berühmte, leistungsstarke KI-Chatbots (wie ChatGPT und Claude), die ein bisschen über alles wissen, einschließlich Medizin.
- Die Spezialisten: KI-Modelle, die speziell für Ärzte entwickelt wurden (wie HuluMed und MedGemma) und die nur mit medizinischen Lehrbüchern und Daten trainiert wurden.
Hier ist, was geschah, als sie den Test durchführten:
Die Rennergebnisse
Die Generalisten gewannen das Rennen mit einem riesigen Vorsprung.
- ChatGPT war der Spitzenreiter und beantwortete etwa 73 % der Fragen richtig.
- Claude kam auf Platz zwei mit etwa 62 %.
Die Spezialisten hatten erhebliche Schwierigkeiten.
- HuluMed (der beste der Spezialistengruppe) schaffte nur 40 % richtig.
- Die anderen medizinischen KIs (MedGemma und Gemma 3) schnitten noch schlechter ab, wobei eine von ihnen weniger als 18 % korrekt beantwortete.
Das „Warum“ hinter den Ergebnissen
Das Paper erklärt dieses überraschende Ergebnis mit einigen Kernpunkungen:
1. Der „Alleskönner“ vs. der „enge Experte“
Betrachten Sie die Generalisten-KIs als ein Schweizer Taschenmesser. Sie haben Millionen von verschiedenen Bildern und Gesprächen gesehen. Wenn sie eine Wunde betrachten, nutzen sie ihre massive, breite Erfahrung, um den Kontext zu erfassen.
Die Spezialisten-KIs sind wie ein Schraubendreher, der nur für eine ganz bestimmte Schraube entworfen wurde. Obwohl sie viel über medizinische Begriffe wissen, scheinen sie verwirrt zu zu sein, wenn sie ein unordentliches, reales Foto betrachten und entscheiden müssen, was zu tun ist. Das Paper legt nahe, dass das Training mit einer riesigen Vielfalt an Daten diesen Modellen hilft, das „große Ganze“ besser zu verstehen als ein Training, das nur auf medizinischen Daten basiert.
2. Sehen vs. Entscheiden
Die Detektive waren gut darin, Dinge zu sehen. Die meisten konnten korrekt identifizieren, ob eine Wunde rot aussah (infiziert) oder abgestorbenes Gewebe (Nekrose) aufwies.
Sie waren jedoch schlecht darin, zu entscheiden. Wenn gefragt wurde: „Sollten wir das herausschneiden?“ oder „Benötigen wir ein MRT?“, gaben die Spezialisten-KIs oft vage, zögerliche Antworten oder schlugen die falsche Prozedur vor.
- Analogie: Es ist wie ein Student, der einen Automotor perfekt beschreiben kann, aber versagt, wenn er gefragt wird, ob er das Auto tatsächlich ans Ziel fahren kann.
3. Das „Wawel-Problem“ (Das Problem des Unentschiedenseins)
Die Forscher gaben den KIs eine strenge Bewertungsregel: Sie müssen eine klare „Ja“- oder „Noch“-Antwort geben. Wenn Sie sagen: „Es könnte infiziert sein, aber vielleicht auch nicht“, erhalten Sie null Punkte.
Die Spezialisten-KIs liebten es zu „waweln“ (unentschieden zu bleiben). Sie sagten Dinge wie: „Es ist möglich, dass ein Eingriff erforderlich ist, abhängig von den klinischen Anzeichen.“ Dies klingt zwar vorsichtig und sicher, wurde im Test jedoch als falsch gewertet, weil es keine klare Entscheidung war. Die Generalisten-KIs waren direkter und entschlossener in ihren Antworten.
Das große Fazit
Das Paper kommt zu dem Schluss, dass derzeit die allgemeinen Chatbots besser sind als die medizin-spezifischen KIs, wenn man eine KI braucht, die ein Wundfoto betrachtet und einem Arzt hilft, einen Plan zu erstellen.
Es ist jedoch ein großer Warnhinweis an dieses Ergebnis angehängt. Das Paper sagt, dass diese KI-Tools noch nicht bereit sind, alleine zu arbeiten. Sie sind wie ein sehr kluger Praktikant, der einem Arzt helfen kann, seine Gedanken zu ordnen, aber er macht immer noch Fehler. Ärzte müssen die Arbeit der KI immer doppelt prüfen, bevor sie echte medizinische Entscheidungen treffen.
Kurz gesagt: Die KIs mit „allgemeinem Wissen“ sind derzeit besser darin, Wundrätsel zu lösen als die „Medizinstudien“-KIs, aber keine von beiden ist bereits gut genug, um einen menschlichen Arzt zu ersetzen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.