RheumBench: A Specialist-Validated Rubric-Based Benchmark for Evaluating Large Language Models in Rheumatology

In der modernen Klinik wenden sich Ärzte zunehmend an künstliche Intelligenz, um komplexe Symptome zu sortieren, Behandlungsoptionen abzuwägen und schwierige Entscheidungen zu treffen. Diese Werkzeuge, bekannt als große Sprachmodelle, sind leistungsstarke Computerprogramme, die auf riesigen Mengen von Text trainiert wurden, was es ihnen ermöglicht, menschliche Sprache zu verstehen und zu generieren. Sie können Krankenakten lesen, Fragen zu Krankheiten beantworten und nächste Schritte in der Patientenversorgung vorschlagen. Während diese Systeme das Versprechen einer schnelleren, zugänglicheren Unterstützung bieten, bergen sie auch erhebliche Risiken. Wenn ein Computerprogramm eine selbstbewusste, aber falsche Antwort gibt, könnte dies dazu führen, dass ein Patient die falsche Behandlung erhält oder eine kritische Diagnose übersehen wird. Das Feld der Rheumatologie, die sich mit Erkrankungen der Gelenke, Muskeln und des Immunsystems befasst, ist besonders komplex und umfasst hunderte verschiedene Bedingungen, die oft ähnlich aussehen. Da der Einsatz so hoch ist, benötigen Experten eine zuverlässige Methode, um zu testen, ob diese digitalen Assistenten tatsächlich sicher und genau sind, bevor sie ihnen das Vertrauen bei echten Patienten schenken.

Um diesem Bedarf gerecht zu werden, schuf ein Team von Forschern mehrerer deutscher Universitäten und medizinischer Zentren ein neues Testfeld namens RheumBench. Dies ist das erste spezialisierte Evaluationssystem, das speziell entwickelt wurde, um zu messen, wie gut künstliche Intelligenz in der Rheumatologie abschneidet. Die Forscher baten die Computer nicht einfach nur, Multiple-Choice-Fragen zu beantworten; stattdessen bauten sie ein strenges Framework auf der Grundlage realer klinischer Szenarien auf. Sie sammelten einhundert detaillierte Patientenfälle, die von siebzig diagnostischen Rätseln, bei denen das Ziel darin bestand, die richtige Krankheit zu identifizieren, bis hin zu dreißig Management-Situationen reichten, die Beratung zu Behandlung, Beratung und Nachsorge erforderten. Für jeden dieser Fälle erstellte ein Gremium aus Fachärzten für Rheumatologie einen detaillierten Bewertungsleitfaden, oder eine Rubrik. Dieser Leitfaden listete spezifische Handlungen auf, die ein guter Arzt unternehmen sollte, wie etwa das Anordnen eines bestimmten Tests oder das Verschreiben eines bestimmten Medikaments, sowie Handlungen, die vermieden werden sollten. Jeder Punkt im Leitfaden wurde nach seiner Wichtigkeit gewichtet, wobei einige Handlungen durch Korrektheit hohe Punkte erhielten und andere durch Gefährlichkeit oder Unangemessenheit Punkte verloren.

Die Forscher testeten daraufhin zehn verschiedene Systeme der künstlichen Intelligenz anhand dieser einhundert Fälle. Die Gruppe umfasste drei der fortschrittlichsten verfügbären allgemeinen Computermodelle, ein Open-Source-Modell und sechs Systeme, die speziell für den medizinischen Gebrauch entwickelt wurden, einschließlich zweier, die offiziell als Medizinprodukte zertifiziert sind, sowie eines, das speziell für die Rheumatologie gebaut wurde. Die Computer wurden gebeten, Antworten auf die Patientenfälle zu geben, und ihre Antworten wurden anhand der von Experten erstellten Rubriken bewertet. Um den massiven Umfang der Korrektur zu bewältigen, setzten die Forscher ein Panel aus drei anderen fortgeschrittenen Computermodellen ein, die als Richter fungierten und jede Antwort gegen den Bewertungsleitfaden prüften. Dieser Prozess generierte über fünfzigtausend einzelne Bewertungen, die dann mit den Urteilen menschlicher Rheumatologen verglichen wurden, um sicherzustellen, dass die Computer-Richter genau waren. Die Ergebnisse zeigten eine sehr hohe Übereinstimmung zwischen den menschlichen Experten und den Computer-Richtern, was die Methode validierte.

Die Ergebnisse offenbarten eine Landschaft erheblicher Leistungsunterschiede. Die fortschrittlichsten allgemeinen Computermodelle, die nicht für die Medizin spezialisiert sind, schnitten tatsächlich besser ab als die für den klinischen Einsatz konzipierten Systeme. Das am besten abschneidende System erreichte einen Wert von 54,0 %, was bedeutet, dass es die Expertenrichtlinien etwas mehr als die Hälfte der Zeit korrekt befolgte. Im Gegensatz dazu schnitt das speziell für die Rheumatologie entwickelte System mit 17,8 % am schlechtesten ab. Selbst die zertifizierten Medizinprodukte, die als medizinische Produkte reguliert sind, konnten die allgemeinen Modelle nicht konsistent übertreffen. Dies deutet darauf hin, dass ein spezialisierter Fokus oder eine offizielle medizinische Zertifizierung nicht automatisch garantiert, dass ein System der künstlichen Intelligenz bessere oder sicherere Ratschläge gibt. Die Studie fand auch heraus, dass die Art und Weise, wie eine Frage gestellt wurde, einen großen Unterschied machte. Wenn die Forscher detailliertere und gründlichere Prompts verwendeten, verbesserte sich die Leistung der meisten Systeme, wobei ein Modell einen Wert von 72,9 % erreichte. Doch selbst mit diesen Verbesserungen erreichte kein System eine Perfektion, die es erlauben würde, ohne menschliche Aufsicht zu operieren.

Die Sicherheit war ein zentrales Anliegen während des gesamten Testverfahrens. Die Forscher untersuchten Fehler, die schwere Schäden bei einem Patienten verursachen könnten. Sie fanden heraus, dass potenziell schwerwiegende Fehler in jedem der getesteten Systeme auftraten, einschließlich der zertifizierten Medizinprodukte. Die häufigste Art von Fehler war ein Auslassung, bei der der Computer eine notwendige Handlung versäumte, wie etwa das Anordnen eines entscheidenden Tests oder die Überweisung eines Patienten an einen Spezialisten. Während die Systeme im Allgemeinen gut darin waren, Handlungen zu vermeiden, die direkt Schaden anrichten würden, war ihr Versäumnis, bei Bedarf zu handeln, ein signifikantes Risiko. Darüber hinaus zeigten die Computer ein beunruhigendes Muster von Übervertrauen. Sie meldeten häufig ein hohes Maß an Gewissheit in ihren Antworten und behaupteten oft, sich zu mehr als neunzig Prozent sicher zu sein, selbst wenn ihre tatsächliche Leistung viel niedriger war. Diese Lücke zwischen der Sicherheit, die der Computer empfand, und der Richtigkeit seiner Antworten war bei allen Systemen vorhanden, was darauf hindeutet, dass Nutzer nicht auf die eigene Konfidenzbewertung des Computers vertrauen können, um die Qualität seines Rats zu beurteilen.

Die Studie kommt zu dem Schluss, dass die künstliche Intelligenz zwar Potenzial zur Unterstützung von Ärzten in der Rheumatologie besitzt, aktuelle Systeme jedoch noch nicht bereit sind, das menschliche Urteilsvermögen zu ersetzen. Die Tatsache, dass allgemeine Modelle oft besser abschnitten als spezialisierte medizinische Werkzeuge, stellt die Annahme infrage, dass medizinische Zertifizierung oder Nischentraining automatisch zu überlegener Sicherheit oder Genauigkeit führen. Die Forscher betonen, dass die menschliche Aufsicht unerlässlich bleibt, insbesondere da diese Systeme schwerwiegende Fehler machen können und oft nicht erkennen, wenn sie falsch liegen. Das RheumBench-Framework wird kontinuierlich mit weiteren Fällen und Szenarien aktualisiert, um Verbesserungen zu verfolgen und sicherzustellen, dass zukünftige Versionen dieser Werkzeuge sicherer für Patienten sind. Bis dahin sollte die Rolle des Computers als unterstützendes Werkzeug betrachtet werden, das eine sorgfältige Überprüfung durch einen geschulten Spezialisten erfordert, statt als autonomer Entscheidungsträger.