Accuracy and efficiency of using artificial intelligence for data extraction in systematic reviews. A noninferiority study within reviews

Diese Studie zeigt, dass die durch KI (Elicit) unterstützte Datenaextraktion in systematischen Übersichtsarbeiten im Vergleich zur rein menschlichen Extraktion nicht minderwertig in Bezug auf die Genauigkeit ist, aber signifikant schneller und kostengünstiger durchgeführt werden kann.

Das Wesentliche

Der große Wettkampf: Der menschliche Detektiv vs. der KI-Assistent

Stellen Sie sich vor, Sie müssen eine riesige Bibliothek durchsuchen, um die besten Rezepte für eine gesunde Ernährung zu finden. Aber es gibt ein Problem: Sie müssen aus 50 verschiedenen Kochbüchern (den wissenschaftlichen Studien) genau die gleichen Zutaten und Zubereitungsschritte herauskopieren.

Das ist wie eine riesige, langweilige und fehleranfällige Kopierarbeit. Normalerweise braucht man dafür zwei Menschen, die sich gegenseitig kontrollieren, damit niemand einen Tippfehler macht. Das kostet viel Zeit und Nerven.

Die Frage der Studie:
Kann ein neuer, super-schneller KI-Assistent (in diesem Fall ein Tool namens Elicit®) diese Arbeit genauso gut machen wie ein menschlicher Forscher, aber viel schneller und günstiger?

Um das herauszufinden, haben die Forscher einen großen Test durchgeführt. Sie haben zwei Teams gebildet, die beide die gleichen 50 Kochbücher durcharbeiten mussten:

1. Team Mensch: Zwei erfahrene Forscher, die alles manuell aus den Büchern abgeschrieben haben.
2. Team KI: Dieselben Forscher, aber diesmal half ihnen der KI-Assistent. Die KI las die Bücher, suchte die Informationen heraus und füllte die Liste vor. Die Forscher mussten nur noch prüfen, ob die KI richtig lag, und gegebenenfalls korrigieren.

Das Ergebnis: Ein Sieg für die Effizienz

Hier ist, was passiert ist, wenn man die beiden Teams vergleicht:

• Die Genauigkeit (Die Qualität der Arbeit):
  Stellen Sie sich vor, beide Teams haben einen Test geschrieben. Das Ergebnis war fast identisch! Der KI-Assistent war genau so gut wie der menschliche Forscher. Er hat nicht mehr Fehler gemacht.

  • Ein kleiner Bonus: Bei bestimmten Informationen (wie "Welche Zutaten wurden verwendet?") war die KI sogar ein winziges bisschen besser als der Mensch.
  • Die Metapher: Es ist so, als würde ein Roboter-Arzt die Diagnose stellen. Er ist nicht besser als ein erfahrener Arzt, aber er macht auch keine dummen Fehler.

• Die Geschwindigkeit (Wie schnell war es?):
  Hier hat die KI den Menschen mit Leichtigkeit geschlagen. Das KI-Team war im Durchschnitt 25 Minuten pro Buch schneller.

  • Die Metapher: Wenn der Mensch mit einem Eimer Wasser einen Pool füllt, pumpt die KI den Pool mit einem Hochdruckreiniger voll. Das spart enorm viel Zeit. Über 50 Bücher hinweg war das KI-Team fast 21 Stunden schneller als das menschliche Team!

• Die Kosten (Was hat es gekostet?):
  Da die KI so viel schneller war, mussten die Forscher weniger Zeit bezahlen. Plus, die Abo-Gebühr für die KI war gering im Vergleich zu den Stundenlöhnen für die manuelle Arbeit.

  • Das Ergebnis: Die KI-Methode war am Ende günstiger für die Forscher.

• Die Fehler (Was ist schiefgelaufen?):
  Beide Teams machten Fehler. Manchmal vergaß man eine Zahl, manchmal stand etwas falsch da.

  • Wichtig: Die KI hat keine "Halluzinationen" (also erfundene Fakten) produziert, die der Mensch nicht auch hätte machen können. Die Art und Schwere der Fehler waren bei beiden Teams gleich.

Was bedeutet das für die Zukunft?

Die Studie sagt uns: Wir können der KI trauen.

Es ist, als ob man einem neuen, sehr schnellen Praktikanten die Arbeit gibt, während der erfahrene Chef nur noch kurz drüberschaut. Der Praktikant (die KI) macht die schwere, langweilige Arbeit fast perfekt, und der Chef (der Mensch) spart Zeit für die wirklich wichtigen Dinge: das Verstehen der Ergebnisse und das Treffen von Entscheidungen.

Fazit:
Die KI ist kein Ersatz für den menschlichen Forscher, der das große Ganze versteht. Aber sie ist ein super-effizienter Werkzeugkasten. Sie kann die langweilige Kopierarbeit übernehmen, damit Menschen mehr Zeit haben, um die eigentlichen Fragen zu beantworten. Die Forscher schlagen vor, dass wir in Zukunft oft "Mensch + KI" zusammenarbeiten lassen sollten, um schneller und besser zu forschen.

Technische Zusammenfassung

Titel: Genauigkeit und Effizienz des Einsatzes von künstlicher Intelligenz zur Datenerhebung in systematischen Übersichten: Eine Nichtunterlegenheitsstudie innerhalb von Übersichten (SWAR)

Autoren: Daniel C.W. Lee et al.
Veröffentlicht: Preprint (medRxiv), Februar 2026

---

1. Problemstellung und Hintergrund

Systematische Übersichten sind essenziell für evidenzbasierte Gesundheitspolitik und Programmplanung. Der Prozess der Datenerhebung (Data Extraction) aus den eingeschlossenen Studien gilt jedoch als einer der zeitaufwendigsten und fehleranfälligsten Schritte, mit Fehlerraten von bis zu 50 %. Der aktuelle Goldstandard erfordert die unabhängige Datenerhebung durch zwei Autoren, gefolgt von einem Konsensprozess, was den Ressourcenbedarf erheblich erhöht.

Trotz des Potenzials von Generativer KI (GenAI), diesen Prozess zu automatisieren, fehlen robuste Evidenzdaten, die die Genauigkeit und Effizienz von KI-gestützten Tools im Vergleich zum rein menschlichen Prozess unter strengen methodischen Bedingungen belegen. Insbesondere die Frage, ob KI-gestützte Extraktion der menschlichen Extraktion in der Genauigkeit nicht unterlegen ist (Noninferiority), wurde bisher nicht ausreichend untersucht.

2. Methodik

Die Studie ist als zweiarmlige, parallele Nichtunterlegenheits-Studie innerhalb einer systematischen Übersichtsarbeit (SWAR) konzipiert.

• Studiendesign: Zwei Arme wurden verglichen:
  1. KI-gestützter Arm: Datenerhebung unter Verwendung des KI-Tools Elicit® (Pro-Abonnement mit "High-Accuracy-Mode").
  2. Menschlicher Arm: Datenerhebung ausschließlich durch menschliche Forscher (ohne KI-Unterstützung).
• Stichprobe: 50 randomisierte kontrollierte Studien (RCTs) zu schulbasierten Interventionen zur Prävention von Fettleibigkeit bei Kindern und Jugendlichen (aus einem bestehenden Cochrane-Review entnommen).
• Teilnehmer: Zwei erfahrene Forschungsassistenten (Master-Abschluss), die auf 50 Studien randomisiert wurden (jeder Teilnehmer extrahierte Daten für alle 50 Studien, jedoch in unterschiedlichen Armeen für verschiedene Teilmengen, um eine Kreuzung zu vermeiden).
• Datenerhebung: Es wurden 51 Variablen extrahiert, kategorisiert in sechs Gruppen (z. B. Methoden, Teilnehmer, Interventions- und Kontrollgruppen).
• Ergebnismaße:
  • Primäre Endpunkte: Genauigkeit (übereinstimmend mit einem unabhängigen, verblindeten Gutachter) und Zeit bis zum Abschluss (Time-to-Completion).
  • Sekundäre Endpunkte: Fehlertypen, Fehlerniveau und Kosten.
• Statistische Analyse:
  • Genauigkeit: Bewertet mit einer 3-Punkte-Rubrik (0=falsch, 1=teilweise richtig, 2=korrekt) und auf eine Skala von 0–100 standardisiert.
  • Nichtunterlegenheitsgrenze: Setzte bei 10 % Unterschied (entspricht einem Score-Unterschied von ca. 5–10 Punkten auf der 0–100-Skala).
  • Analyse: Gepaarte t-Tests für die Mittelwertunterschiede zwischen den Armen.

3. Wichtige Beiträge und Innovationen

• Erste Nichtunterlegenheits-SWAR: Dies ist die erste Studie, die die Genauigkeit von KI-gestützter Datenerhebung (speziell mit Elicit®) im Vergleich zum menschlichen Standard unter einem Nichtunterlegenheitsdesign rigoros testet.
• Verblindeter Goldstandard: Anstatt die menschliche Extraktion als alleinigen Referenzstandard zu nutzen, wurde die Genauigkeit durch einen unabhängigen, verblindeten Gutachter gegen die Original-PDFs überprüft, um Benchmark-Bias zu minimieren.
• Umfassende Kostenanalyse: Die Studie berücksichtigt nicht nur die Arbeitszeit, sondern auch Lizenzkosten, Prompt-Engineering und Vorbereitungsaufwand, um eine echte Wirtschaftlichkeitsbetrachtung anzustellen.
• Granulare Fehleranalyse: Unterscheidung zwischen Fehlertypen (z. B. "Halluzinationen", fehlende Daten) und Schweregrad (major, minor, inconsequential).

4. Ergebnisse

• Genauigkeit (Accuracy):
  • Es wurde keine signifikante Differenz in der Gesamtgenauigkeit festgestellt. Der mittlere Unterschied (MD) betrug 0,57 Punkte (95% CI: -1,29 bis 2,43) auf einer Skala von 0–100.
  • Die KI-gestützte Extraktion war der menschlichen Extraktion nicht unterlegen.
  • Subgruppenanalyse: Die KI war signifikant genauer bei Variablen, die "Interventions- und Kontrollgruppen" beschreiben (MD 4,75; 95% CI 2,13–7,38). Bei anderen Kategorien (Methoden, Teilnehmer, Datenanalyse) gab es keine signifikanten Unterschiede.
• Effizienz (Zeit):
  • Der KI-gestützte Arm war signifikant schneller. Die mittlere Zeitersparnis betrug 24,82 Minuten pro Studie (95% CI 18,80–30,84).
  • Ohne Vorbereitungszeit betrug die Ersparnis sogar 39,9 Minuten pro Studie.
• Fehleranalyse:
  • Die Fehlerraten waren ähnlich: KI (9,7 %) vs. Mensch (10,1 %).
  • Der häufigste Fehlertyp war "übersehene oder ausgelassene Daten" in beiden Gruppen.
  • Halluzinationen (False Data): Traten in beiden Gruppen extrem selten auf (je 1,0 %).
  • Der Schweregrad der Fehler (meist "minor errors") war in beiden Gruppen vergleichbar.
• Kosten:
  • Der KI-Arm war kostengünstiger (Gesamtkosten: 3.469 AUD vs. 3.651 AUD für den menschlichen Arm).
  • Die Einsparung von 181,98 AUD resultierte hauptsächlich aus der reduzierten Arbeitszeit der Forschungsassistenten, trotz der Kosten für das Elicit®-Abonnement.

5. Bedeutung und Schlussfolgerung

Die Studie liefert robuste Evidenz dafür, dass der Einsatz von KI-Tools wie Elicit® zur Unterstützung der Datenerhebung in systematischen Übersichten nicht unterlegen zur rein menschlichen Extraktion ist, wenn es um Genauigkeit geht. Gleichzeitig bietet sie erhebliche Vorteile in Bezug auf Effizienz (Zeitersparnis von ca. 25 Min./Studie) und Kosteneffektivität.

Implikationen für die Praxis:

• KI-gestützte Extraktion kann einen menschlichen Extraktor in zukünftigen Reviews ersetzen, ohne die Validität der Ergebnisse zu gefährden.
• Der Ansatz "Human-in-the-Loop" (Mensch überwacht KI) wird als praktikabler Weg empfohlen, um die Effizienzsteigerung mit notwendiger menschlicher Aufsicht zu kombinieren.
• Zukünftige Forschung sollte hybride Modelle untersuchen (z. B. zwei KI-gestützte Extraktoren oder KI-only mit menschlicher Validierung), um die Genauigkeit weiter zu optimieren, insbesondere bei komplexen Datenanalysen.

Limitationen:
Die Studie basierte auf bereits veröffentlichten Daten (Risiko von Datenkontamination, falls das KI-Modell darauf trainiert wurde) und nutzte relativ unerfahrene Extraktoren. Dennoch unterstreicht sie das transformative Potenzial von GenAI in der Evidenzsynthese.