High Average Accuracy Coexists with Substantial Between-Setting Variability: A Systematic Review and Meta-analysis of Large Language Models for Data Extraction in Evidence Synthesis

Jedes Mal, wenn sich ein Forscherteam auf den Weg macht, eine medizinische Behandlung zu verstehen, muss es zuerst die Fakten aus Dutzenden, manchmal Hunderten von Einzelstudien sammeln. Dieser Prozess, bekannt als systematischer Review, ist das Fundament moderner medizinischer Evidenz. Er erfordert von Wissenschaftlern, dichte Berichte zu lesen und spezifische Zahlen zu extrahieren: Wie viele Patienten beteiligt waren, welche Dosierung sie erhielten und wie die Ergebnisse aussah. Wenn auch nur eine einzige Zahl falsch kopiert wird, kann sich die gesamte Schlussfolgerung des Reviews verschieben, was potenziell dazu führen kann, dass Ärzte die falsche Behandlung empfehlen. Jahrzehntelang wurde diese Arbeit von Menschenhand geleistet – eine langsame und akribische Aufgabe, bei der oft zwei Personen dasselbe Dokument unabhängig voneinader lesen, um Fehler abzufangen. Dies ist der Goldstandard für Genauigkeit, aber es ist auch unglaublich zeitaufwendig und teuer.

In den letzten Jahren ist ein neues Werkzeug in dieses Feld eingetreten: große Sprachmodelle (Large Language Models). Dies sind leistungsstarke Computerprogramme, die auf riesigen Mengen an Text trainiert wurden und in der Lage sind, eine wissenschaftliche Arbeit zu lesen und zu versuchen, dieselben Zahlen zu extrahieren, die ein Mensch finden würde. Die Hoffnung war, dass diese Systeme der künstlichen Intelligenz die schwere Arbeit abnehmen, den Prozess beschleunigen und menschliche Experten für komplexeres Denken freisetzen könnten. Doch während diese Werkzeuge immer gebräuchlicher werden, ist eine kritische Frage aufgetaucht: Können wir ihnen vertrauen, um so genau wie Menschen zu sein, und bleibt ihre Leistung konsistent, ungeachtet dessen, welche Art von Informationen sie finden sollen?

Eine neue Studie von Carlos Darcy Alves Bersot und seinen Kollegen wirft einen tiefen, statistischen Blick auf diese Frage. Sie fragten nicht einfach nur, ob die Maschinen funktionieren; sie sammelten alle verfügbaren Berichte, die diese Modelle gegen einen menschengemachten Standard getestet hatten, und kombinierten die Ergebnisse, um das Gesamtbild zu sehen. Was sie fanden, ist eine Geschichte von zwei sehr unterschiedlichen Realitäten, die nebeneinander existieren. Einerseits ist die durchschnittliche Leistung dieser Systeme der künstlichen Intelligenz überraschend hoch. Andererseits verbirgt dieser Durchschnitt eine chaotische Realität, in der die Leistung je nach spezifischer Aufgabe drastisch schwanken kann.

Die Forscher sammelten Daten aus sechsundvierzig verschiedenen Berichten, die fünfundvierzig unabhängige Untersuchungen repräsentierten. Sie konzentrierten sich speziell auf den Moment vor dem ersten Blick eines Menschen auf die Arbeit der Maschine. Sie wollten wissen: Wenn ein großes Sprachmodell gebeten wird, ein Stück Information zu extrahieren, wie oft liefert es beim ersten Versuch das richtige Ergebnis? Als sie die Ergebnisse aus acht Schlüsselstudien zusammenführten, die ihre strengen Kriterien erfüllten, war die Antwort ermutigend. Die Modelle lieferten etwa 86,4 Prozent der Zeit die richtige Antwort. Diese Zahl deutet darauf hin, dass diese Werkzeuge im allgemeinen Sinne durchaus fähig sind.

Doch die Geschichte endet nicht mit jener Durchschnittszahl. Die Forscher blickten tiefer und fanden heraus, dass dieser hohe Durchschnitt auf einem Fundament extremer Inkonsistenz aufgebaut war. Sie berechneten eine Spanne, die zeigt, welche Art von Leistung man in einer neuen, ungesehenen Situation erwarten könnte. Diese Spanne reichte von einem Tiefpunkt von 19,2 Prozent bis zu einem Hoch von 99,4 Prozent. Um dies in Perspektive zu setzen: Stellen Sie sich einen Schüler vor, der eine Prüfung ablegt und einen Durchschnitt von 86 Prozent erreicht. Wenn die Einzelnoten dieses Schülers von Durchfallen bis hin zur Perfektion reichen, würden Sie ihm nicht das Vertrauen schenken, ein Klassenzimmer zu betreten, um Arbeiten zu korrigieren. Dieselbe Logik gilt hier. Die Tatsache, dass der Durchschnitt hoch ist, garantiert nicht, dass die Maschine in einem spezifischen, realen Szenario gut abschneidet.

Die Studie zeigt, dass die Art der extrahierten Informationen einen massiven Unterschied macht. Wenn die Aufgabe einfache, klar formulierte Fakten beinhaltet, erbringen die Modelle eine sehr gute Leistung. Aber wenn die Aufgabe darin besteht, Zahlen zu finden, die in komplexen Tabellen vergraben sind, Texte zu interpretieren, die mehrdeutig sind, oder Daten zu extrahieren, die fehlen oder schlecht berichtet wurden, sinkt die Genauigkeit signifikant. In einem spezifischen Fall, in dem das Modell offene Informationen finden musste, die ein Abrufen von Details aus dem Gedächtnis statt eines bloßen Kopierens erforderten, stürzte die Genauigkeit auf nur 17 Prozent ab. Diese einzelne Studie mit ihrer sehr anderen Aufgabe zog den Gesamtdurchschnitt nach unten und weitete die Spanne der möglichen Ergebnisse aus. Als die Forscher diesen Ausreißer entfernten, um vergleichbarere, strukturierte Aufgaben zu betrachten, stieg die durchschnittliche Genauigkeit auf 91,2 Prozent, aber selbst dann konnte die Leistung von einem Setting zum anderen stark variieren.

Die Forscher untersuchten auch, wie diese Werkzeuge mit numerischen Daten umgehen, was der kritischste Teil eines medizinischen Reviews ist. Hier waren die Ergebnisse gemischt. In einigen hochstrukturierten Tests erreichten die Modelle eine nahezu perfekte Genauigkeit und lieferten 99 Prozent der Zahlen korrekt. In anderen Studien mit anderen Arten von Daten fiel die Genauigkeit auf etwa 63 Prozent ab. Diese Inkonsistenz bedeutet, dass ein Forscher nicht davon ausgehen kann, dass die Maschine, weil sie in einer Sache gut ist, auch in allem gut sein wird. Ein Modell, das exzellent darin ist, einen Medikamentennamen zu finden, könnte kläglich scheitern, wenn es darum geht, die genaue Anzahl der Patienten zu finden, die eine Nebenwirkung erlitten haben.

Ein weiterer entscheidender Befund betrifft den Arbeitsablauf. Viele Studien untersuchten, wie diese Werkzeuge abschneiden, wenn Menschen in den Prozess involviert sind, etwa wenn ein Mensch die Arbeit der Maschine überprüft oder wenn die Maschine als zweiter Leser fungiert. Diese durch Menschen unterstützten Arbeitsabläufe zeigen oft bessere Ergebnisse und sparen Zeit. Die Studie zieht jedoch eine klare Unterscheidung: Die Geschwindigkeit und Genauigkeit eines Menschen, der mit einer Maschine arbeitet, sind nicht dasselbe wie die Arbeit einer Maschine allein. Die Zeitersparnis, die in einigen Studien berichtet wurde, resultiert oft daraus, dass die Maschine den ersten Entwurf erstellt, aber der Mensch muss dennoch Zeit aufwenden, um die Arbeit zu verifizieren und zu korrigieren. Die Maschine eliminiert nicht die Notwendigkeit menschlicher Aufsicht; sie verändert lediglich die Art der Arbeit.

Die Forscher untersuchten auch die Qualität der von ihnen überprüften Studien und stellten fest, dass viele methodische Mängel aufwiesen. Einige Studien erklärten nicht klar, wie sie die Modelle testeten, oder sie verwendeten dieselben Daten sowohl zum Trainieren des Modells als auch zum Testen desselben, was die Ergebnisse besser erscheinen lassen kann, als sie tatsächlich sind. Aufgrund dieser Einschränkungen und der geringen Anzahl wirklich unabhängiger Studien können die Forscher nicht mit absoluter Sicherheit sagen, dass diese Werkzeuge in jeder zukünftigen Situation perfekt funktionieren werden. Die Evidenz legt nahe, dass diese Werkzeuge zwar leistungsstark sind, aber noch nicht zuverlässig genug, um menschliche Reviewer vollständig zu ersetzen.

Die Schlussfolgerung dieser Arbeit ist nicht, dass künstliche Intelligenz ein Fehlschlag ist, sondern dass sie ein Werkzeug ist, das eine sorgfältige Handhabung erfordert. Die hohe durchschnittliche Genauigkeit ist real, aber sie ist ein irreführender Maßstab, wenn sie aus dem Kontext gerissen wird. Sie sagt uns, dass die Technologie Potenzial hat, warnt uns aber auch, dass die Leistung fragil ist. Ein System, das gut für eine Art der Datenextraktion funktioniert, kann für eine andere völlig versagen. Die Forscher argumentieren, dass der beste Weg nach vorn nicht darin besteht, den Maschinen blind zu vertrauen, sondern sie als Teil einer risikoadaptierten Strategie einzusetzen. Für einfache, klare Aufgaben können sie mit Zuversicht eingesetzt werden. Für komplexe, numerische oder mehrdeutige Daten bleibt die menschliche Verifizierung essenziell.

Letztendlich verschiebt diese Studie die Konversation von „Kann die Maschine es tun?“ zu „Unter welchen Bedingungen kann die Maschine es tun?“. Die Antwort lautet: Die Maschine kann es gut tun, aber nur wenn die Bedingungen stimmen. Die hohe Durchschnittsbewertung ist ein Versprechen von Leistungsfähigkeit, aber die große Variabilität ist eine Warnung vor Unvorhersehbarkeit. Für die Wissenschaftler, die sich auf diese Reviews verlassen, um die medizinische Praxis zu leiten, ist die Lektion klar: Die Maschine ist ein hilfreicher Assistent, aber sie ist noch kein Ersatz für das sorgfältige, kritische Auge eines menschlichen Experten. Die Zukunft der Evidenzsynthese wird wahrscheinlich eine Partnerschaft sein, in der die Maschine das Volumen bewältigt und der Mensch die Validität sicherstellt, in dem Verständnis, dass die Leistung der Maschine niemals eine Garantie, sondern eine Variable ist, die ständig überprüft werden muss.