Validation of a two-stage automated screening pipeline for medical systematic reviews: a stratified concordance study with three independent human reviewers, using PABAK and Gwet's AC1

Technisches Resümee: Validierung einer zweistufigen automatisierten Screening-Pipeline für medizinische systematische Übersichtsarbeiten

Problemstellung
Systematische Übersichtsarbeiten (Systematic Reviews, SRs) stehen vor einem wachsenden Engpass beim Titel-Abstract-Screening aufgrund der exponentiellen Zunahme der biomedizinischen Literatur. Während Large Language Models (LLMs) einen potenziellen Weg zur Automatisierung bieten, wird deren Validierung in diesem Bereich häufig durch ungeeignete Metriken beeinträchtigt. Standardmaße wie Cohens Kappa sind unter den bei SRs typischen niedrigen Prävalenzen und unausgewogenen Klassenverteilungen mathematisch instabil. Darüber hinaus mangelt es bestehenden Validierungsstudien häufig an einer Kombination kritischer Designelemente: einer hybriden zweistufigen Pipeline (Regeln + LLM), einem Drei-Wege-Klassifizierungsschema einschließlich einer separat beprobten „unsicheren“ Klasse, geschichteter Stichprobenziehung sowie der Verwendung von prävalenzrobusten Übereinstimmungskoeffizienten (PABAK und Gwets AC1). Zudem wird die Gültigkeit von Vergleichen oft angezweifelt, wenn der Designer der Pipeline gleichzeitig als menschlicher Validator fungiert.

Methodik
Diese Studie präsentiert eine prospektive Übereinstimmungsstudie zur Validierung einer zweistufigen automatisierten Screening-Pipeline gegenüber drei unabhängigen menschlichen Reviewern im Kontext einer medizinischen systematischen Übersichtsarbeit (hohe Thrombozytenreaktivität unter Behandlung, Aspirinresistenz und Karotisplaque).

• Datensatz: 904 Datensätze, die aus mehreren Datenbanken (PubMed, Scopus, Europe PMC, OpenAlex, arXiv) abgerufen wurden.
• Pipeline-Architektur:
  • Stufe 1 (Regelbasiert): Ein Python-Skript verwendet PICO-basierte Keyword-Heuristiken (kein ML/LLM), um Datensätze in INCLUDE (EINSCHLUSS), EXCLUDE (AUSSCHLUSS) oder UNCERTAIN (UNSICHER) zu klassifizieren.
  • Stufe 2 (LLM-Adjudikation): Durch Stufe 1 als UNCERTAIN markierte Datensätze werden durch DeepSeek V4 Pro (Zero-Shot, Temperatur = 0) mittels eines festen Prompts verarbeitet, um sie in INCLUDE oder EXCLUDE aufzulösen.
• Validierungsdesign:
  • Stichprobenziehung: Eine geschichtete Stichprobe von 185 Datensätzen wurde gezogen: 50 aus jeder der drei Stufe-1-Strata (INCLUDE, EXCLUDE, UNCERTAIN) sowie 35 aus dem Stufe-2-LLM-Output.
  • Reviewer: Drei Ärzte beurteilten die Stichprobe unabhängig und blind gegenüber den automatisierten Labels:
    1. E.P. (Pipeline-Designer, mit dem Korpus vertraut).
    2. D.C. (Extern zum Projekt).
    3. P.P.B. (Extern zum Projekt).
  • Metriken: Die Studie nutzte Sensitivität, Spezifität, PABAK und Gwets AC1 (mit $q=3$), um Konkordanz zu messen. Sie berichtete zudem über Work Saved over Sampling (WSS) und Number Needed to Read (NNR) in Reaktion auf die redaktionelle Anleitung zur Evaluierung von ML/GenAI in SRs. Mehrheitslabels (2 von 3) wurden als ergänzendes Panel berechnet, ersetzten jedoch nicht die paarweisen Tabellen als primäre Referenz für die Sensitivität.

Wesentliche Beiträge
Die Arbeit behauptet, die erste Studie zu sein, die fünf spezifische methodische Dimensionen gleichzeitig kombiniert:

1. Eine Anwendung im medizinischen Bereich.
2. Eine hybride zweistufige Pipeline (Regeln + LLM).
3. Eine Drei-Wege-Klassifizierung mit einer separat beprobten unsicheren Klasse.
4. Geschichtete Stichprobenziehung mit drei unabhängigen menschlichen Reviewern.
5. Duale Berichterstattung von prävalenzrobusten Koeffizienten (PABAK und Gwets AC1) neben Arbeitsmetriken.

Die Studie adressiert explizit die Einschränkung „Designer-als-Validator“, indem sie zwei externe Reviewer einbezieht und die Analyse der primären Ausschlussentscheidung von der sekundären Feinklassifizierung der eingeschlossenen Datensätze trennt.

Ergebnisse

• Primäres Zielobjekt (Stufe 1 Automatischer Ausschluss): Die Pipeline zeigte eine nahezu perfekte Konkordanz mit den menschlichen Reviewern bei der Entscheidung zur automatischen Exklusion von Datensätzen.
  • Stufe 1-EXCLUDE-Stratum: Die Pipeline schloss 670/904 Datensätze (74,1 %) aus.
  • Übereinstimmung: PABAK und AC1 betrugen 1,000 gegenüber E.P. (48/48) und D.C. (50/50). Gegenüber P.P.B. betrug die Übereinstimmung PABAK = 0,940 / AC1 = 0,959 (48/50 EXCLUDE, 2 UNCERTAIN).
  • Menschliche Übereinstimmung: Die Inter-Human-Übereinstimmung war am höchsten zwischen den beiden externen Lesern (PABAK = 0,854) und niedriger, wenn E.P. involviert war, was auf einen potenziellen Vertrautheitseffekt hindeutet, obwohl dies keine gemessene Variable war.
• Sekundäres Zielobjekt (Feinklassifizierung/INCLUDE): Die Pipeline schnitt bei der Identifizierung von „INCLUDE“-Datensätzen schlecht ab.
  • Gesamtsensitivität: 0,800 gegenüber E.P., 0,500 gegenüber D.C. und 0,833 gegenüber Berti.
  • Falsch-Negative: Die Pipeline übersah von Menschen als INCLUDE identifizierte Datensätze, insbesondere in Stufe 2. Für die vier Datensätze, bei denen eine Mehrheit der Menschen auf „INCLUDE“ entschied, klassifizierte die Maschine diese als UNCERTAIN oder EXCLUDE (0/4 Recovery).
  • Leistung in Stufe 2: Die LLM-Adjudikation der 94 unsicheren Datensätze ergab 11 INCLUDE und 83 EXCLUDE, doch die Sensitivität gegenüber den menschlichen Labels blieb gering.
• Workload-Metriken: Der WSS von 74,1 % spiegelt den Anteil der durch den Stufe-1-Filter entfernten Datensätze wider, validiert durch das beprobte EXCLUDE-Stratum.

Bedeutung und Ansprüche
Die Arbeit definiert ihren Umfang und ihre Bedeutung bescheiden:

• Validierte Fähigkeit: Die Studie validiert die Stufe-1-automatische Ausschlussentscheidung als zuverlässige Methode, um etwa 74 % der Datensätze (die „offensichtlich themenfremden“ Arbeiten) aus einem systematischen Review-Workflow zu entfernen. Drei unabhängige Ärzte bestätigten diesen Ausschlussbereich.
• Unvalidierte Fähigkeit: Die Studie stellt explizit fest, dass die Feinklassifizierung von INCLUDE-Datensätzen nicht validiert ist. Auch Menschen zeigten eine geringe Übereinstimmung darüber, welche verbleibenden Datensätze „INCLUDE“ waren (die Schnittmenge aller drei Leser betrug nur einen Datensatz), und die Maschine konnte die wenigen Datensätze, bei denen sich die Menschen einig waren, nicht wiederfinden (0/4 Recovery).
• Methodische Implikation: Die Ergebnisse legen nahe, dass die Automatisierung zwar die Hauptaufgabe des Ausschlusses effektiv bewältigen kann, die verbleibende Aufgabe der Identifizierung relevanter Studien jedoch eine menschliche, domänenspezifische Aufgabe bleibt. Die Studie warnt davor, dass die Ergebnisse spezifisch für dieses PICO und diese Pipeline sind und nicht automatisch auf andere Themen generalisierbar sind.
• Metrik-Empfehlung: Die Autoren bekräftigen die Notwendigkeit, PABAK und Gwets AC1 gegenüber Cohens Kappa für die Validierung des Screenings in SRs zu verwenden, da letzterer eine Prävalenzinstabilität aufweist.

Zusammenfassend lässt sich sagen, dass die Arbeit etabliert, dass ein regelbasierter Filter in diesem spezifischen medizinischen Kontext in der Lage ist, den Großteil der Screening-Arbeitslast abzufangen, aber sie behauptet nicht, dass LLMs die menschliche Urteilskraft bei der kritischen Aufgabe der Identifizierung relevanter Studien derzeit ersetzen können.