Evaluating a Locally Deployed 20-Billion Parameter Large Language Model for Automated Abstract Screening in Systematic Reviews

Die Studie zeigt, dass ein lokal eingesetztes 20-Milliarden-Parameter-LLM mit sensibilitätssteigernder Prompt-Strategie die Abstract-Screening-Effizienz in systematischen Übersichten erheblich steigert, wobei die Genauigkeit je nach Fachgebiet variiert und eine Kombination mit menschlichen Prüfern empfohlen wird.

Das Wesentliche

Das große Problem: Der Berg an Papier

Stell dir vor, du musst einen riesigen Berg an Zeitungen durchwühlen, um nur die drei Artikel zu finden, die wirklich wichtig sind. Das ist genau das Problem bei systematischen Übersichtsarbeiten in der Medizin. Forscher müssen Tausende von wissenschaftlichen Zusammenfassungen (Abstracts) lesen, um herauszufinden, welche Studien für ihre Fragestellung relevant sind.

Normalerweise machen das zwei menschliche Experten. Sie lesen jeden Artikel einzeln. Wenn sie sich nicht einig sind, kommt ein dritter, erfahrener Richter, um zu entscheiden. Das ist extrem mühsam, dauert Wochen und kostet viel Geld. Oft sind die Studien schon veraltet, bis die Übersichtsarbeit fertig ist.

Die neue Idee: Ein digitaler Assistent im eigenen Keller

Hier kommt die Künstliche Intelligenz (KI) ins Spiel. Die Forscher haben eine spezielle KI (ein sogenanntes "Large Language Model" mit 20 Milliarden Parametern) getestet.

Der Clou an dieser Studie ist aber nicht nur die KI, sondern wo sie läuft:

• Cloud-Lösung (wie bei Google oder OpenAI): Du schickst die Daten ins Internet. Das ist schnell, aber viele Universitäten haben Angst, dass ihre sensiblen Patientendaten dort landen könnten.
• Lokale Lösung (wie in dieser Studie): Die KI läuft komplett auf einem Computer im eigenen Haus (lokal). Es ist, als würdest du einen riesigen Bibliothekar in dein eigenes Büro holen, statt ihn in ein fremdes Gebäude zu schicken. Niemand sieht deine Daten, und du hast die volle Kontrolle.

Die Strategie: "Im Zweifel für den Angeklagten"

Die Forscher haben der KI eine ganz spezielle Regel gegeben: "Wenn du dir unsicher bist, nimm den Artikel mit!"

Stell dir vor, du suchst nach Nadeln im Heuhaufen.

• Wenn du eine Nadel übersehst (falsch negativ), ist das schlimm, weil sie verloren geht.
• Wenn du ein Stück Stroh fälschlicherweise für eine Nadel hältst (falsch positiv), ist das nicht so schlimm. Du wirfst es später einfach weg, wenn du genauer hinschaust.

Die KI wurde also angewiesen, lieber 100 Stück Stroh mitzunehmen, als auch nur eine Nadel zu verpassen. Das nennt man "sensitivitätssteigernde Strategie".

Was ist passiert? (Die Ergebnisse)

Die Forscher haben die KI gegen menschliche Experten in drei verschiedenen Bereichen getestet:

1. Technik-Themen (z. B. KI in der Chirurgie): Hier war die KI unschlagbar. Sie fand 100 % der relevanten Studien. Sie war sogar besser als die Menschen!
2. Medizinische Datenbanken: Auch hier sehr gut (ca. 96 %).
3. Psychologische Themen (z. B. Stress bei Eltern): Hier wurde es schwieriger. Die KI fand nur ca. 86 % der Studien.

Warum der Unterschied?
Bei Technik geht es um harte Fakten: "Wurde eine Maschine benutzt? Ja/Nein." Das ist wie eine Checkliste.
Bei psychologischen Themen geht es um Gefühle und Nuancen: "War der Stress groß genug?" Das ist wie das Schmecken von Suppe – das ist subjektiv und schwer für eine Maschine zu beurteilen.

Der große Gewinner: Die Zusammenarbeit

Das Spannendste war, dass beide Seiten Fehler gemacht haben, aber oft bei anderen Artikeln.

• Die KI fand 11 wichtige Studien, die die Menschen übersehen hatten.
• Die Menschen fanden 13 wichtige Studien, die die KI übersehen hatte.

Es ist wie ein Zwei-Team-System: Ein Mensch und ein Roboter arbeiten zusammen. Wenn sie sich streiten, kommt der erfahrene Richter (der Experte) und entscheidet.

Das Ergebnis:

• Die KI war 4,7-mal schneller als die Menschen.
• Durch die lokale Installation waren die Daten sicher.
• Die Kombination aus Mensch und KI ist besser als jeder allein.

Das Fazit in einem Satz

Die Studie zeigt, dass man eine KI sicher im eigenen Haus betreiben kann, um als "zweiter Lese-Assistent" zu arbeiten. Sie ist super schnell und findet fast alles, besonders bei technischen Themen. Aber sie sollte die Menschen nicht ersetzen, sondern ergänzen – wie ein unschlagbares Team aus Mensch und Maschine, das gemeinsam den Berg an Papier durchsucht, damit niemand eine wichtige Entdeckung verpasst.

Technische Zusammenfassung

Technische Zusammenfassung: Evaluation eines lokal bereitgestellten 20-Milliarden-Parameter-LLM für die automatische Abstract-Screening in systematischen Übersichtsarbeiten

1. Problemstellung

Systematische Übersichtsarbeiten (Systematic Reviews, SRs) sind ein Grundpfeiler der evidenzbasierten Medizin, erfordern jedoch einen enormen manuellen Aufwand für das Screening von Abstracts. Der etablierte Cochrane-Standard verlangt mindestens zwei unabhängige Prüfer, was bei wachsenden Datenmengen (oft 5.000–10.000 Abstracts pro Review) zu langen Verzögerungen und Ressourcenengpässen führt.
Zwar bieten Cloud-basierte Large Language Models (LLMs) Potenzial zur Automatisierung, doch deren Einsatz wird durch Bedenken hinsichtlich Datenschutz, geistigem Eigentum und Reproduzierbarkeit in Forschungsumgebungen eingeschränkt. Zudem besteht die Gefahr, dass relevante Studien durch falsche Negativentscheidungen (False Negatives) unwiderruflich verloren gehen, wenn die KI zu streng filtert.

2. Methodik

Die Studie evaluierte die Leistung eines lokal bereitgestellten Open-Source-LLMs unter Verwendung einer sensibilitätsorientierten Prompting-Strategie.

• Modell & Infrastruktur: Es wurde das GPT-OSS:20B (ein 20-Milliarden-Parameter-Modell) lokal über das Ollama-Framework bereitgestellt. Dies gewährleistet, dass Daten die institutionelle Umgebung nie verlassen (Datenschutz) und eine vollständige Versionskontrolle möglich ist.
• Datensatz: Die Evaluation umfasste drei unabhängige systematische Übersichtsarbeiten mit insgesamt 16.646 Abstracts:
  1. KI-Anwendungen in der pädiatrischen chirurgischen Pathologie (n=3.350).
  2. LLM-Anwendungen in elektronischen Patientenakten (n=4.326).
  3. Elternstress und Pflegebelastung bei chirurgisch behandelten Kindern (n=8.970).
• Prompting-Strategie: Es wurde eine Sensibilitäts-Optimierung ("Sensitivity-Enhanced Prompting") angewendet. Der Prompt instruierte das Modell explizit: "Bei Unsicherheit, das Abstract für weitere Prüfung EINSCHLIESSEN" ("When in doubt, INCLUDE"). Dies basiert auf der Logik, dass ein False Negative (Übersehen einer relevanten Studie) schwerwiegender ist als ein False Positive (unnötige manuelle Prüfung eines irrelevanten Abstracts).
• Validierungsprozess:
  • Das Modell traf binäre Entscheidungen (Include/Exclude) basierend auf Titel, Abstract und Einschlusskriterien.
  • Blind-Adjudikation: Alle Fälle, in denen sich die Entscheidung des LLM und des menschlichen Prüfers widersprachen (discordant cases), wurden von einem senior Researcher blind adjudiziert (ohne zu wissen, welche Entscheidung von KI oder Mensch stammte). Dies ermöglichte die Identifizierung von Fehlern auf beiden Seiten.

3. Wichtige Ergebnisse

Nach der Experten-Adjudikation zeigten sich folgende Kennzahlen:

• Sensitivität (nach Adjudikation):
  • SR1 (Technologiefokus): 100 % (keine relevanten Studien übersehen).
  • SR2 (Technologiefokus): 95,7 %.
  • SR3 (Psychosoziales Thema): 85,7 %.
  • Gesamtsensitivität: 91,7 %.
• Menschliche Fehlererkennung: Das LLM identifizierte 11 relevante Studien, die von den ursprünglichen menschlichen Prüfern fälschlicherweise ausgeschlossen wurden (False Negatives der Menschen). Umgekehrt verpasste das LLM 13 relevante Studien, die von Menschen korrekt erkannt wurden.
• Effizienz: Das LLM benötigte für das Screening der 3.350 Abstracts in SR1 nur 5,58 Stunden im Vergleich zu 26 Stunden für menschliche Prüfer. Dies entspricht einer 4,7-fachen Steigerung der Geschwindigkeit (ca. 6 Sekunden pro Abstract).
• Spezifität: Die Spezifität variierte je nach Thema (97,9 % bei SR1, 88,7 % bei SR2, 99,99 % bei SR3), wobei die hohe Sensitivität zu einer höheren Anzahl an False Positives führte, die jedoch durch nachfolgendes Full-Text-Screening auffindbar sind.

4. Hauptbeiträge und Erkenntnisse

• Lokale Bereitstellung als Lösung: Die Studie demonstriert erfolgreich, dass Open-Source-Modelle lokal betrieben werden können, um Datenschutzbedenken zu umgehen, ohne auf die Leistungsfähigkeit moderner LLMs verzichten zu müssen.
• Komplementarität von Mensch und KI: Weder das LLM noch die menschlichen Prüfer waren fehlerfrei. Da sie oft unterschiedliche Fehler machten, ergänzen sie sich gegenseitig. Das LLM fing menschliche Übersehen auf, und Menschen fingen LLM-Fehler auf.
• Einfluss der Kriterien-Objektivität: Die Leistung des Modells hing stark vom Thema ab. Bei technischen, objektiv definierten Kriterien (SR1, SR2) war die Sensitivität extrem hoch. Bei subjektiveren, psychosozialen Kriterien (SR3) sank die Sensitivität, was auf die Notwendigkeit domänenspezifischer Validierung hinweist.
• Rolle der Adjudikation: Ohne die blinden Expertenentscheidungen wären die menschlichen Fehler (die das LLM korrigierte) nicht erkannt worden, was zu einer falschen Unterschätzung der KI-Leistung geführt hätte.

5. Signifikanz und Empfehlung

Die Studie kommt zu dem Schluss, dass lokal bereitgestellte LLMs mit sensibilitätsorientiertem Prompting ein vielversprechendes Werkzeug für das Abstract-Screening sind, insbesondere für technologiezentrierte Themen.

Empfehlung für die Praxis:
Anstatt menschliche Prüfer vollständig zu ersetzen, sollten LLMs als zweite Prüfer (Second Screeners) parallel zu menschlichen Prüfern eingesetzt werden.

• Workflow: Mensch prüft alle Abstracts, LLM prüft unabhängig.
• Konfliktlösung: Bei Diskrepanzen erfolgt eine Experten-Adjudikation.
• Vorteil: Dies behält die methodische Strenge des dualen Screenings bei, reduziert jedoch den Personalaufwand erheblich und minimiert das Risiko, relevante Studien zu übersehen.

Die Autoren betonen, dass eine vollständige Automatisierung derzeit noch nicht empfohlen wird, da die Sensitivität in subjektiven Domänen noch variiert und menschliche Aufsicht notwendig bleibt, um kritische False Negatives der KI abzufangen.