Comparative Performance of Large Language Models in Answering Guideline-Based Questions on Juvenile Idiopathic Arthritis: A Blinded Expert Evaluation

In der Welt der Kinderheilkunde gibt es eine Erkrankung namens juvenile idiopathische Arthritis. Es handelt sich dabei um eine Gruppe von Krankheiten, bei denen die Gelenke eines Kindes ohne ersichtlichen Grund geschwollen und schmerzhaft werden, was das Wachstum und die Bewegung beeinflussen kann. Da die Erkrankung in vielen verschiedenen Formen auftritt, müssen Ärzte sehr vorsichtig sein, um genau zu identifizieren, welche Art von Arthritis ein Kind hat, und die richtige Behandlung auszuwählen. Die Regeln für diese Entscheidungen sind in detaillierten Leitfäden festgehalten, die von medizinischen Experten erstellt wurden. Diese Leitfäden sagen den Ärzten, wann sie mit Medikamenten beginnen sollen, wie sie auf Nebenwirkungen achten und wie sie mit komplexen Situationen wie Infektionen oder Augenentzündungen umgehen sollen. Jahrelang waren diese Leitfäden die vertrauenswürdige Landkarte für Ärzte, aber ein neues Werkzeug ist am Horizont erschienen: große Sprachmodelle. Dies sind Computerprogramme, die auf riesigen Mengen an Text trainiert wurden und Fragen in flüssiger, menschenähnlicher Sprache beantworten können. Sie werden immer beliebter, um medizinische Informationen zu finden, aber niemand wusste, ob man ihnen trauen konnte, die strengen Regeln der pädiatrischen Arthritisversorgung zu befolgen, oder ob sie Fakten erfinden würden, die richtig klingen, aber eigentlich falsch sind.

Ein Forscherteam in der Türkei beschloss, diese Computerprogramme einem ernsthaften Test zu unterziehen. Sie wollten sehen, ob drei der fortschrittlichsten verfügbaren Modelle Fragen über juvenile idiopathische Arthritis so gut beantworten können wie ein menschlicher Experte. Dazu ließen sie die Computer keine Geschichten schreiben oder über Gefühle plaudern. Stattdessen gaben sie ihnen einundzwanzig spezifische Fragen, die auf den offiziellen medizinischen Leitfäden basieren. Einige Fragen fragten nach einfachen Fakten, wie etwa, wie man zwischen den verschiedenen Arten der Krankheit unterscheidet. Andere fragten nach Behandlungsplänen, zum Beispiel, welches Medikament einem Kind gegeben werden soll, das nicht besser wird. Die schwierigsten Fragen waren hypothetische Geschichten über Patienten, bei denen die Computer herausfinden mussten, was der beste nächste Schritt für ein bestimmtes Kind mit einer komplexen Vorgeschichte ist. Die Forscher baten drei verschiedene Computermodelle, jede einzelne Frage zu beantworten. Um sicherzustellen, dass der Test fair war, verwendeten sie neutrale Bezeichnungen, um die Namen der Computer zu verbergen, und mischten die Reihenfolge, in der die Antworten angezeigt wurden.

Fünf Expertenärzte, Spezialisten für Kindergelenkerkrankungen, lasen dann diese Antworten. Sie wussten nicht, welcher Computer welche Antwort geschrieben hatte. Sie bewerteten jede Antwort danach, wie genau sie im Vergleich zu den offiziellen Leitfäden war, wie nützlich sie in einer echten Arztpraxis wäre und wie gut die Gesamteantwort war. Die Ergebnisse zeigten einen klaren Unterschied zwischen den Maschinen. Ein Modell, das die Forscher GPT-5.6 Sol nannten, lieferte konsequent die besten Antworten. Es erzielte die höchsten Punktzahlen für Genauigkeit und für die Nützlichkeit für einen Arzt. Die anderen beiden Modelle, Gemini 3.1 Pro und Claude Opus 5, schnitten gut ab, blieben aber hinter dem Spitzenreiter zurück. In einigen Bereichen, wie etwa der Diagnose der Krankheit, war eines der schwächeren Modelle besser als das andere, aber in anderen Bereichen, wie den Behandlungsplänen, drehte sich die Reihenfolge um. Dies bewies, dass kein einzelner Computer in allem perfekt war und dass ihre Leistung je nach Art der gestellten Frage variierte.

Die Studie untersuchte auch, wie die Antworten geschrieben wurden. Eines der Modelle produzierte sehr lange Antworten und schrieb über die einundzwanzig Fragen hinweg tausende Wörter. Die Forscher hatten erwartet, dass längere Antworten besser sein könnten, aber die Ärzte stimmten dem nicht zu. Das Modell, das die meisten Wörter schrieb, erhielt nicht die höchsten Punktzahlen. Tatsächlich war das am besten bewertete Modell oft direkter. Die Ärzte bemerkten auch, dass die von allen Computern verwendete Sprache recht schwierig zu lesen war, geschrieben auf einem Niveau, das für einen typischen Erwachsenen ohne medizinischen Hintergrund schwer zu verstehen wäre. Dies deutet darauf hin, dass diese Werkzeuge zwar flüssigen Text generieren können, aber nicht immer wissen, wie sie komplexe medizinische Regeln für ein allgemeines Publikum vereinfachen.

Die wichtigste Erkenntnis dieser Forschung ist, dass diese Computerprogramme einen menschlichen Arzt nicht ersetzen können. Während sie Informationen abrufen und sie in eine kohärente Antwort organisieren können, verwischen sie manchmal die Grenze zwischen einer strengen Regel und einem bloßen Merkmal der Krankheit. Sie könnten eine Behandlungsoption vorschlagen, die zwar möglich, aber nicht die beste ist, oder sie könnten die Details der Klassifizierung einer Krankheit vertauschen. Die Forscher kamen zu dem Schluss, dass diese Werkzeuge nur unter der Aufsicht eines Spezialisten verwendet werden sollten, der die Fakten überprüfen kann. Die Studie zeigte, dass selbst das beste Computermodell einen menschlichen Experten benötigt, um seine Arbeit zu verifizieren, insbesondere wenn die Gesundheit eines Kindes auf dem Spiel steht. Die Technologie ist leistungsstark, bleibt aber in dem sensiblen Bereich der pädiatrischen Rheumatologie ein Werkzeug zur Unterstützung und kein eigenständiger Entscheidungsträger.