Large Language Models for Automated AGREE II Quality Appraisal of Sepsis Clinical Practice Guidelines: A Methodological Comparative Study

In der hochriskanten Welt der modernen Medizin werden lebensrettende Behandlungen oft durch klinische Praxisleitlinien geleitet. Dies sind keine unverbindlichen Vorschläge, sondern sorgfältig konstruierte Dokumente, die die besten verfügbaren wissenschaftlichen Erkenntnisse in klare Anweisungen für Ärzte synthetisieren. Sie sagen medizinischen Teams, wie sie komplexe Zustände wie Sepsis handhaben sollen – eine gefährliche Reaktion auf Infektionen, die Organe versagen lassen und tausende Menschenleben fordern kann. Die Qualität dieser Leitlinien variiert jedoch stark. Einige basieren auf rigorosen, transparenten Methoden, während andere an Tiefe oder Klarheit mangeln können. Um das Zuverlässige vom Unzuverlässigen zu unterscheiden, nutzen Experten ein spezielles Instrument namens AGREE II. Dieses Instrument fungiert wie eine detaillierte Checkliste, die dreiundzwanzig spezifische Fragen zur Struktur einer Leitlinie, zu deren Evidenz und zu ihrer praktischen Anwendbarkeit in der realen Welt stellt. Traditionell ist das Ausfüllen dieser Checkliste ein langsamer, teurer Prozess, der Teams von hochqualifizierten Spezialisten erfordert, die jedes Wort eines Dokuments lesen und dessen Vorzüge debattieren müssen. Da die Anzahl der veröffentlichten Leitlinien schneller wächst als die Zahl der verfügbaren Experten, um sie zu lesen, steht die medizinische Gemeinschaft vor einem Engpass: Wie lässt sich Qualität sicherstellen, ohne von der schieren Menge überwältigt zu werden?

Hier tritt die künstliche Intelligenz in die Geschichte ein, speziell eine neue Generation von Computerprogrammen, die als Large Language Models bekannt sind. Diese Systeme, die auf riesigen Textmengen trainiert wurden, haben die Fähigkeit gezeigt, komplexe Informationen zu lesen, zu verstehen und zusammenzufassen. Forscher fragten sich, ob diese digitalen Werkzeuge die schwere Arbeit der Bewertung medizinischer Leitlinien übernehmen könnten, indem sie als schneller, automatisierter erster Durchgang dienen, bevor ein menschlicher Experte eingreift. Ein Team von Wissenschaftlern unternahm den Versuch, diese Idee zu testen, indem sie sechs verschiedene Large Language Models einem Gremium aus menschlichen Experten gegenüberstellten. Sie baten die Computer nicht darum, die Antworten zu erraten; stattdessen fütterten sie sie mit dem Volltext von elf realen Leitlinien zur Behandlung von Sepsis und baten die Modelle, diese unter Verwendung derselben strengen AGREE II-Checkliste zu bewerten, die die Menschen bereits verwendet hatten. Das Ziel war es zu sehen, ob die Maschinen wie die Experten denken können oder ob sie über die Nuancen medizinischer Urteilskraft stolpern würden.

Die Ergebnisse zeigten eine Beziehung, die vielversprechend, aber weit davon entfernt, perfekt zu sein, ist. Die Computermodelle waren in der Lage, den menschlichen Experten in einem moderaten Maße zuzustimmen und die allgemeine Qualität der Dokumente zu erfassen. Sie ahmen jedoch nicht einfach das menschliche Denken nach, sondern entwickeln ihre eigenen, ganz eigenen Fehlermuster. Die auffälligste Erkenntnis war eine konsistente Verzerrung bei der Bewertung der „Anwendbarkeit“ einer Leitlinie. Dieser Abschnitt der Checkliste fragt, ob ein Dokument genügend praktische Ratschläge bietet, damit Ärzte es in einem geschäftigen Krankenhaus tatsächlich anwenden können, unter Berücksichtigung von Faktoren wie Kosten, Ausrüstung und lokalen Ressourcen. Die menschlichen Experten gaben diesen Abschnitten im Allgemeinen höhere Bewertungen, da sie die praktische Absicht hinter den Empfehlungen erkannten. Die Computermodelle hingegen vergaben für diese Abschnitte konsequent viel niedrigere Punktzahlen. Es scheint, dass die Maschinen nach expliziten, schrittweisen Anweisungen zur Implementierung einer Behandlung suchten und die Leitlinien dafür bestraften, dass sie diese nicht bereitstellten, selbst wenn die Leitlinien ansonsten fundiert waren. Sie schienen den subtilen, realen Kontext zu verpassen, den menschliche Ärzte instinktiv verstehen.

Im Gegenzug neigten die Modelle dazu, bei der Bewertung der „Entwicklungstiefe“ (rigor of development) zu großzügig zu sein. Dieser Teil der Checkliste untersucht, wie die Leitlinie erstellt wurde, und sucht nach Beweisen dafür, dass die Autoren strengen wissenschaftlichen Methoden gefolgt sind. Die Computer waren sehr gut darin, Schlüsselwörter wie „systematische Übersichtsarbeit“ oder „evidenzbasiert“ zu erkennen, und wenn sie diese Begriffe fanden, vergaben sie hohe Punktzahlen. Manchmal vergaben sie diese Punkte auch dann, wenn die menschlichen Experten das Gefühl hatten, dass die Methoden nicht so stark waren, wie die Sprache es suggerierte. Die Maschinen lasen die Oberfläche des Textes sehr gut, übersahen aber gelegentlich die tiefere Wahrheit darüber, wie die Arbeit tatsächlich durchgeführt wurde. Dies erzeugte eine seltsame Dynamik, in der die Computer zu streng bei den praktischen Teilen einer Leitlinie und zu nachsichtig bei den theoretischen Teilen waren.

Über die spezifischen Punktzahlen hinaus untersuchte die Studie auch die Geschwindigkeit und die Kosten der Nutzung dieser verschiedenen Modelle. Die Forscher maßen, wie lange jeder Computer brauchte, um eine Leitlinie zu lesen, und wie viel digitale „Energie“ er verbrauchte, um eine Antwort zu produzieren. Ein Modell, das von einer chinesischen Technologiefirma entwickelt wurde, stach als das effizienteste hervor. Es lieferte Punktzahlen, die gut mit den menschlichen Experten übereinstimmten, erledigte dies in nur fünfzehn Sekunden und verbrauchte die wenigsten digitalen Ressourcen. Ein anderes Modell eines großen amerikanischen Technologieunternehmens war etwas langsamer und teurer im Betrieb, zeigte aber die geringste Verzerrung, was bedeutete, dass seine Punktzahlen am nächsten am menschlichen Durchschnitt lagen, ohne zu weit in eine bestimmte Richtung zu tendieren. Die Studie fand heraus, dass ein größeres, leistungsfähigeres Modell für diese spezifische Aufgabe nicht unbedingt besser war; tatsächlich war das effizienteste Modell nicht dasjenige mit der größten Größe oder dem umfassendsten allgemeinen medizinischen Wissen. Dies deutet darauf hin, dass für diese Art von detaillierter, strukturierter Arbeit die Fähigkeit, einer spezifischen Regel zu folgen, wichtiger ist als die reine Größe.

Die Forscher kamen zu dem Schluss, dass diese Werkzeuge der künstlichen Intelligenz nicht bereit sind, menschliche Experten zu ersetzen. Wenn ein Krankenhaus sich allein auf einen Computer verlassen würde, um zu entscheiden, welche Leitlinien gut genug sind, könnten sie exzellente Dokumente ablehnen, nur weil die Maschine zu streng bezüglich praktischer Details war, oder sie könnten schwache Dokumente akzeptieren, weil die Maschine von eleganter Sprache getäuscht wurde. Stattdessen ist der beste Einsatz für diese Modelle ein Triage-System. Sie können hunderte von Leitlinien schnell scannen, die vielversprechend aussehenden markieren und diejenigen hervorheben, die einer genaueren Betrachtung bedürfen könnten. Dies würde es menschlichen Experten ermöglichen, ihre Zeit auf die schwierigsten Fälle zu konzentrieren, insbesondere auf jene Leitlinien, die sich genau an der Grenze zur Akzeptanz bewegen. Auf diese Weise fungiert die Technologie als ein leistungsstarker Assistent, der das Volumen und die Geschwindigkeit bewältigt, während das abschließende, nuancierte Urteil den Menschen überlässt, die die Realität der Patientenversorgung verstehen. Die Studie bestätigt, dass Maschinen zwar die Worte lesen können, sie aber immer noch Menschen brauchen, um die Bedeutung zu verstehen.