Zero-To-Few Shot Large Language Model Performance in Systematic Review and Meta-Analysis Automation: A Validation Study Across All Major Steps Of Five Published Systematic Reviews

In der Welt der medizinischen Forschung ist der vertrauenswürdigste Weg, um eine Frage zu beantworten, jede einzelne jemals zu diesem Thema geschriebene Studie zu sammeln, sie alle zu lesen und ihre Ergebnisse in einem klaren Gesamtbild zu vereinen. Dieser Prozess wird als systematischer Review bezeichnet. Er ist der Goldstandard für die Entscheidung darüber, welche Behandlungen wirken und welche nicht, und bildet das Rückgrat moderner klinischer Leitlinien. Die Erstellung dieser Reviews ist jedoch eine monumentale Aufgabe. Sie erfordert Teams von Forschern, die Monate oder sogar Jahre damit verbringen, Millionen von Artikeln zu durchsuchen, Abstracts zu lesen, um zu entscheiden, welche relevant sind, spezifische Zahlen aus den Volltexten zu extrahieren und die Qualität der Forschung zu prüfen, um sicherzustellen, dass sie vertrauenswürdig ist. Der Prozess ist so arbeitsintensiv, dass er Hunderttausende von Dollar kosten und die Ankunft lebensrettender Informationen für Ärzte und Patienten verzögern kann.

Kürzlich ist eine neue Art von Computerprogramm bekannt geworden, das als Large Language Model (großes Sprachmodell) bezeichnet wird. Dies sind Systeme, die auf riesigen Mengen menschlicher Texte trainiert wurden und Sprache in einer Weise lesen, verstehen und generieren können, die oft die menschliche Intelligenz nachahmt. Forscher haben begonnen, sich zu fragen, ob diese Werkzeuge die schwere Arbeit der Erstellung systematischer Reviews übernehmen könnten, indem sie eine monatelange Qualität in eine Angelegenheit von wenigen Stunden verwandeln. Die Hoffnung ist, dass diese Maschinen die repetitiven, datenintensiven Teile der Arbeit bewältigen könnten, wodurch menschliche Experten frei werden, damit sie sich auf die komplexen Entscheidungen konzentrieren können, die tiefes Urteilsvermögen erfordern. Aber damit dies geschieht, müssen die Maschinen genau genug sein, um mit den Leben von Patienten anvertraut zu werden.

Ein Team von Forschern der Université de Montréal und der McGill University ging vor, um diese Idee mit einem sehr praktischen Ansatz zu testen. Sie versuchten nicht, einen komplexen, vollautomatisierten Roboter zu bauen, der den gesamten Review-Prozess von Anfang bis Ende steuert. Stattdessen baten sie eine spezifische, fortgeschrittene Version eines Large Language Models, jeden Hauptschritt eines systematischen Reviews nacheinander auszuführen, wobei sie nur einfache Anweisungen und die Daten aus fünf zuvor veröffentlichten medizinischen Reviews verwendeten. Das Ziel war es zu sehen, ob ein Standardanwender ohne spezielle Ausbildung in künstlicher Intelligenz den Computer die Arbeit so gut ausführen lassen kann wie ein menschliches Team. Die Forscher konzentrierten sich auf fünf verschiedene Phasen: die Erstellung der Suchbegriffe, um Artikel zu finden, das Screening der Titel und Abstracts, um relevante Studien auszuwählen, die Extraktion spezifischer Datenpunkte aus den Volltexten, die Bewertung der Qualität und der potenziellen Verzerrung (Bias) der Studien und schließlich das Zusammenführen der Daten, um die Endergebnisse zu produzieren.

Die Ergebnisse zeigten eine Geschichte von überraschenden Stärken und klaren Einschränkungen. Wenn es darum ging, spezifische Zahlen und Fakten aus dem Text medizinischer Artikel herauszuziehen, war das Computermodell bemerkenswert gut. Tatsächlich übertraf es die ursprünglichen menschlichen Autoren, die die Reviews geschrieben hatten. Als die Forscher die extrahierten Daten des Computers mit einem neuen, hochgradig strengen Standard verglichen, der von Experten-Reviewern erstellt wurde, war die Maschine in 93 Prozent der Fälle korrekt. Sie war zudem schneller und benötigte nur Minuten für das, was Menschen Stunden kostete. Ähnlich verhielt es sich, wenn die Maschine gebeten wurde, die Qualität der Studien zu beurteilen und potenzielle Mängel oder Verzerrungen zu identifizieren; hier übertraf der Computer erneut die Menschen mit einer Genauigkeit von 83 Prozent. Die Forscher stellten fest, dass die Maschine, wenn sie bei der Qualitätsbeurteilung einen Fehler machte, dazu neigte, übervorsichtig zu sein, indem sie eine Studie als riskant einstufte, obwohl sie vielleicht sicher war – was oft ein sichereres Versehen ist, als ein echtes Problem zu übersehen.

Der Computer hatte jedoch erhebliche Schwierigkeiten mit den früheren Phasen des Prozesses, in denen er Urteile basierend auf unvollständigen Informationen fällen musste. Als der Computer gebeten wurde, die Suchstrings zu generieren – die spezifischen Wortlisten, die verwendet werden, um Artikel in medizinischen Datenbanken zu finden – fand er etwa 85 Prozent der relevanten Artikel, die Menschen gefunden hatten. Dies war ein ordentliches Ergebnis, bedeutete aber, dass er einen signifikanten Teil der Literatur übersah. Die Situation verschlechterte sich, als der Computer versuchte, die Volltexte der Artikel zu screenen, um zu entscheiden, welche in den endgültigen Review aufgenommen werden sollten. In diesem Schritt übersah das Modell mehr als die Hälfte der wichtigen Artikel, die die menschlichen Reviewer korrekt identifiziert hatten. Während der Computer sehr gut darin war zu wissen, was man nicht einschließen sollte, war er schlecht darin, die richtigen Dinge zu finden, die man behalten sollte. Dies deutet darauf hin, dass die Maschine zwar ein mächtiges Werkzeug zum Lesen und Organisieren von Daten sein kann, aber noch nicht bereit ist, die Menschen in den anfänglichen, kritischen Phasen der Entscheidung über die Relevanz von Forschung zu ersetzen.

Der letzte Schritt bestand darin, die Daten zu kombinieren, um die Gesamtergebnisse des Reviews zu berechnen. Hier lieferte der Computer Zahlen, die den Ergebnissen der Menschen sehr nahe kamen, wenn auch nicht immer identisch waren. Die Unterschiede waren geringfügig und beruhten wahrscheinlich darauf, wie die Maschine ambivalente Daten interpretierte oder kleinere Berechnungsschritte handhabte. Die Forscher fanden heraus, dass der Computer diese Ergebnisse in Sekunden generieren konnte, eine Aufgabe, die einen Menschen viel länger beschäftigt hätte. Dennoch hob die Studie hervor, dass es für den Computer sehr spezifische, detaillierte Anweisungen erforderte, wie er mit fehlenden Daten umzugehen habe und welche statistischen Methoden zu verwenden seien. Oh hne diese sorgfältige Anleitung konnten die Ergebnisse leicht von der Wahrheit abweichen.

Die Studie kommt zu dem Schluss, dass der Weg zur Automatisierung der medizinischen Forschung kein einzelner Sprung ist, sondern eine Serie von Schritten, bei denen unterschiedliche Werkzeuge für unterschiedliche Aufgaben benötigt werden. Für Aufgaben, die das Lesen und Extrahieren von Fakten beinhalten, wie das Ziehen von Daten aus Tabellen oder die Beurteilung der Studienqualität, sind diese Computermodelle bereits dem Menschen überlegen und können sofort eingesetzt werden, um die Arbeit zu beschleunigen. Aber für die subjektiveren Aufgaben, wie die Entscheidung, welche Artikel gesucht werden sollen oder welche Volltexte beibehalten werden sollen, sind die Maschinen noch nicht zuverlässig genug, um alleine zu arbeiten. Die Forscher schlagen vor, dass der effektivste Ansatz für Nicht-Experten ein Hybridmodell ist: Lassen Sie den Computer die schwere Arbeit der Datenextraktion und Qualitätsprüfungen übernehmen, während menschliche Experten im Prozess verbleiben, um die Suche zu leiten und die endgültigen Screening-Entscheidungen zu treffen. Diese Partnerschaft könnte die Zeit und die Kosten für die Erstellung medizinischer Evidenz drastisch reduzieren, ohne die Genauigkeit zu opfern, auf die Patienten angewiesen sind.