Cost-Efficient Large Language Model-Assisted Title­­ and Abstract Screening for Systematic Reviews: Method Evaluation and Validation

Jedes Jahr produziert die Welt eine erschlagende Flut an neuen wissenschaftlichen Arbeiten. In Bereichen, die von der Medizin bis zur Umweltgesundheit reichen, veröffentlichen Forscher mehr Studien als je zuvor und schaffen so eine Flut an Informationen, die kein einzelnes Team von Menschen in einem ganzen Leben lesen kann. Um dieses Chaos zu bewältigen, verlassen sich Wissenschaftler auf einen strengen Prozess, der als systematischer Review bezeichnet wird. Dies ist kein flüchtiger Blick auf die Literatur; es ist eine methodische Suche nach jeder einzelnen Studie, die eine spezifische Frage beantwortet, wie etwa, ob ein bestimmtes Chemikalie Schaden anrichtet oder ob ein neues Medikament besser wirkt als ein altes. Der erste und oft erschöpfendste Schritt dieser Suche ist das Screening. Forscher müssen die Titel und kurzen Zusammenfassungen von tausenden Artikeln lesen und sofort entscheiden, welche es wert sind, behalten zu werden, und welche weggeworfen werden sollten. Wenn eine relevante Studie in dieser Phase übersehen wird, könnte der gesamte Review fehlerhaft sein, was zu falschen Schlussfolgerungen über Gesundheit und Sicherheit führt. Jahrzehntelang war dies eine Aufgabe, die ausschließlich von menschlichen Augen erledigt wurde – ein langsamer, teurer und arbeitsintensiver Engpass, der lebenswichtige Antworten verzögert.

Ein Team von Forschern des Bundesamtes für Strahlenschutz in Deutschland hat nun einen neuen Weg getestet, um dieses Problem mithilfe künstlicher Intelligenz anzugehen. Sie untersuchten, ob große Sprachmodelle – fortschrittliche Computerprogramme, die in der Lage sind, menschliche Sprache zu verstehen und zu generieren – als erster Filter fungieren könnten, indem sie diese tausenden Titel und Abstracts lesen, um zu entscheiden, welche die Aufmerksamkeit eines Menschen verdienen. Das Ziel war nicht, die menschlichen Reviewer zu ersetzen, sondern als leistungsstarker Assistent zu agieren, der die schwere Arbeit erledigt, indem er die überwiegende Mehrheit der irrelevanten Arbeiten entfernt, während gleichzeitig garantiert wird, dass niemals versehentlich eine wichtige Studie weggeworfen wird. Die Forscher behandelten dies wie ein wissenschaftliches Experiment, indem sie dutzende verschiedene Wege entwickelten und testeten, wie man den Computer bittet, die Aufgabe zu erledigen, und dabei sorgfältig maßen, wie gut jede Methode funktionierte, bevor sie ihr echte Daten anvertrauten.

Das Team begann mit der Schaffung eines kontrollierten Testfeldes. Sie erstellten 100 synthetische Zusammenfassungen wissenschaftlicher Arbeiten, von denen die Hälfte so konzipiert war, dass sie die strengen Kriterien für den Einschluss erfüllte, und die andere Hälfte so, dass sie durchfiel. Mit diesem kleinen Satz probierten sie eine Vielzahl von Strategien aus. Einige Strategien baten den Computer um eine einfache Ja- oder Nein-Antwort. Andere baten ihn, die Entscheidung aufzuschlüten, indem er fünf spezifische Teile eines Studiendesigns separat bewertete: die beteiligten Personen, die Exposition oder Behandlung, die Vergleichsgruppe, das gemessene Ergebnis und den Typ der Studie. Sie testeten auch, ob es dem Computer helfen würde, einige Beispiele für gute und schlechte Arbeiten zu erhalten, bevor er neue Arbeiten beurteilt, und ob das Bitten des Computers, seine Begründung für jede Entscheidung zu erläutern, seine Genauigkeit verbessern würde. Sie führten diese Tests sowohl mit Open-Source-Modellen durch, die auf lokalen Computern laufen können, als auch mit proprietären Modellen großer Technologieunternehmen, wobei sie deren Geschwindigkeit, Kosten und Genauigkeit verglichen.

Nachdem sie die besten Ansätze eingegrenzt hatten, gingen die Forscher zu einer strengeren Phase über, in der sie ihre Top-Kandidaten an drei bereits von Experten abgeschlossenen, realen systematischen Reviews testeten. Diese Reviews konzentriierten sich auf die gesundheitlichen Auswirkungen von hochfrequenten elektromagnetischen Feldern, ein Thema, das das Forschungsteam gut kennt. Hier war die Aufgabe des Computers, die tausenden Titel und Abstracts aus den ursprünglichen Suchen zu sichten und zu entscheiden, welche die Menschen letztendlich ausgewählt hatten. Die Ergebnisse waren beeindruckend. Die erfolgreichsten Workflows waren in der Lage, nahezu jede einzelne Studie zu identifizieren, die die Menschen eingeschlossen hatten, wobei sie eine Sensitivitätsrate von über 96 Prozent erreichten. Das bedeutet, wenn 100 relevante Studien in einem Stapel von Tausenden versteckt wären, würde der Computer mindestens 96 davon finden. Gleichzeitig war das System in der Lage, die überwiegende Mehrheit der irrelevanten Arbeiten korrekt zu identifizieren und auszusortieren, wodurch die Anzahl der Datensätze, die ein Mensch lesen müsste, um mehr als 80 Prozent reduzierte.

Die Studie zeigte auch, dass die Größe des Computermodells weniger wichtig war als die Art und Weise, wie es angewiesen wurde, zu arbeiten. Die Forscher fanden heraus, dass der effektivste Ansatz nicht darin bestand, die größten und teuersten verfügbaren Modelle zu verwenden, sondern kleinere, kosteneffizientere Modelle einzusetzen, die durch eine spezifische Methode geleitet wurden. Diese Methode beinhaltete, das Modell anzuweisen, die fünf Schlüsselteile eines Studiendesigns einzeln zu betrachten und eine kurze Erklärung dafür abzugeben, warum es jeden Teil akzeptiert oder abgelehnt hat. Dieser schrittweise Prozess der Argumentation, kombiniert mit einigen Beispielen dafür, wie eine gute oder schlechte Studie aussieht, ermöglichte es selbst den kleineren, günstigeren Modellen, mit nahezu menschlicher Genauigkeit zu arbeiten. Die Forscher entdeckten, dass das Aufteilen der Aufgabe in fünf separate Fragen, die der Computer parallel beantworten sollte, die Genauigkeit tatsächlich verringerte, was darauf hindeutet, dass der Computer am besten arbeitet, wenn er das Gesamtbild gleichzeitig betrachtet, selbst wenn er die Einzelteile detailliert analysiert.

Als das Team seine leistungsstärksten Workflows auf acht völlig unterschiedliche systematische Reviews testete, die Themen von der Krebsforschung bis zur Arthritisbehandlung abdeckten, hielten die Ergebnisse stand. Das System fand konsistent fast alle relevanten Studien, während es das Rauschen herausfilterte. Die Kosten für den Betrieb dieses Prozesses waren bemerkenswert niedrig und beliefen sich auf etwa einen US-Dollar pro 1.000 gescreenter Datensätze. Dies deutet darauf hin, dass die Technologie nicht nur eine theoretische Möglichkeit, sondern ein praktisches Werkzeug ist, das von Forschungsteams mit begrenzten Budgets genutzt werden kann. Die Forscher merkten an, dass das System nicht perfekt ist; es hatte manchmal Schwierigkeiten mit Papieren, die nur sehr wenige Informationen enthielten, wie etwa solche, die nur einen Titel und keinen Abstract besaßen. In diesen Fällen markierte das System diese Arbeiten klugweise für eine menschliche Überprüfung, um sicherzustellen, dass nichts Wichtiges verloren geht.

Die Studie kommt zu dem Schluss, dass künstliche Intelligenz nun als hochzuverlässiger Partner im wissenschaftlichen Prozess dienen kann. Indem Forscher einen sorgfältig gestalteten Workflow nutzen, der den Computer anweist, die Kriterien Schritt für Schritt durchzugehen und seine Entscheidungen zu erklären, können sie den Zeit- und Arbeitsaufwand für die Literaturrecherche drastisch reduzieren. Dies bedeutet nicht, dass Menschen obsolet werden; vielmehr bedeutet es, dass sie ihre Energie auf die Arbeiten konzentrieren können, die wirklich zählen, in dem Wissen, dass der Computer die erste Durchmusterung bereits erledigt hat. Die Arbeit bietet einen klaren, transparenten Rahmen dafür, wie diese Technologie verantwortungsvoll eingesetzt werden kann, und bietet einen Weg für eine schnellere, effizientere Evidenzsynthese in einer Welt, in der das wissenschaftliche Wissen schneller wächst als je zuvor.