Validation of a two-stage automated screening pipeline for medical systematic reviews: a stratified concordance study with three independent human reviewers, using PABAK and Gwet's AC1

Sintesi Tecnica: Validazione di una pipeline di screening automatizzato a due stadi per revisioni sistematiche mediche

Problema
Le revisioni sistematiche (SR) affrontano un crescente collo di bottiglia nello screening di titoli e abstract a causa dell'espansione esponenziale della letteratura biomedica. Sebbene i Large Language Models (LLM) offrano una potenziale via per l'automazione, la loro validazione in questo dominio è spesso compromessa da metriche inappropriate. Le misure standard come il kappa di Cohen sono matematicamente instabili sotto le distribuzioni di classe sbilanciate e a bassa prevalenza tipiche delle SR. Inoltre, gli studi di validazione esistenti mancano frequentemente di una combinazione di elementi critici di progettazione: una pipeline ibrida a due stadi (regole + LLM), uno schema di classificazione a tre vie che includa una classe "incerta" campionata separatamente, il campionamento stratificato e l'uso di coefficienti di accordo robusti alla prevalenza (PABAK e Gwet's AC1). Inoltre, la validità dei confronti è spesso messa in discussione quando il progettista della pipeline funge anche da validatore umano.

Metodologia
Questo studio presenta uno studio di accordo prospettico che valida una pipeline di screening automatizzato a due stadi rispetto a tre revisori umani indipendenti all'interno di un contesto di revisione sistematica medica (Alta reattività piastrinica sotto trattamento, resistenza all'aspirina e placca carotidea).

• Dataset: 9olo record recuperati da molteplici database (PubMed, Scopus, Europe PMC, OpenAlex, arXiv).
• Architettura della Pipeline:
  • Stadio 1 (Basato su regole): Uno script Python che utilizza euristiche di parole chiave derivate dal PICO (senza ML/LLM) classifica i record in INCLUDE (INCLUSO), EXCLUDE (ESCLUSO) o UNCERTAIN (INCERTO).
  • Stadio 2 (Adjudicazione LLM): I record etichettati come UNCERTAIN dallo Stadio 1 vengono elaborati da DeepSeek V4 Pro (zero-shot, temperatura = 0) tramite un prompt fisso per risolverli in INCLUDE o EXCLUDE.
• Design di Validazione:
  • Campionamento: Un campione stratificato di 185 record è stato estratto: 50 da ciascuno dei tre strati dello Stadio 1 (INCLUDE, EXCLUDE, UNCERTAIN) e 35 dallo stadio di output dell'LLM dello Stadio 2.
  • Revisori: Tre medici hanno giudicato il campione indipendentemente e senza conoscenza delle etichette automatizzate:
    1. E.P. (Progettista della pipeline, familiare con il corpus).
    2. D.C. (Esterno al progetto).
    3. P.P.B. (Esterno al progetto).
  • Metriche: Lo studio ha utilizzato sensibilità, specificità, PABAK e Gwet's AC1 (con $q=3$) per misurare la concordanza. Ha inoltre riportato il Lavoro Risparmiato sul Campionamento (WSS) e il Numero Necessario da Leggere (NNR) in risposta alla guida editoriale per la valutazione di ML/GenAI nelle SR. Le etichette di maggioranza (2 su 3) sono state calcolate come pannello supplementare ma non hanno sostituito le tabelle di coppia come riferimento primario per la sensibilità.

Contributi Chiave
L'articolo sostiene di essere il primo studio a combinare simultaneamente cinque specifiche dimensioni metodologiche:

1. Un'applicazione nel dominio medico.
2. Una pipeline ibrida a due stadi (regole + LLM).
3. Una classificazione a tre vie con una classe incerta campionata separatamente.
4. Campionamento stratificato con tre revisori umani indipendenti.
5. Doppia segnalazione di coefficienti robusti alla prevalenza (PABAK e Gwet's AC1) insieme alle metriche di carico di lavoro.

Lo studio affronta esplicitamente il limite del "progettista-come-validatore" includendo due revisori esterni e separando l'analisi della decisione primaria di esclusione dalla classificazione fine secondaria dei record inclusi.

Risultati

• Target Primario (Esclusione Automatica Stadio 1): La pipeline ha dimostrato una concordanza quasi perfetta con i revisori umani sulla decisione di escludere automaticamente i record.
  • Strato Stage 1-EXCLUDE: La pipeline ha escluso 670/904 record (74,1%).
  • Accordo: PABAK e AC1 erano 1,000 rispetto a E.P. (48/48) e D.C. (50/50). Rispetto a P.P.B., l'accordo era PABAK = 0,940 / AC1 = 0,959 (48/50 EXCLUDE, 2 UNCERTAIN).
  • Accordo Umano: L'accordo inter-umano era più alto tra i due lettori esterni (PABAK = 0,854) e più basso quando E.P. era coinvolto, suggerendo un potenziale effetto di familiarità, sebbene questa non fosse una variabile misurata.
• Target Secondario (Classificazione Fine/INCLUDE): La pipeline ha performato scarsamente nell'identificare i record "INCLUDE".
  • Sensibilità Complessiva: 0,800 vs E.P., 0,500 vs D.C., e 0,833 vs Berti.
  • Falsi Negativi: La pipeline ha mancato record identificati come INCLUDE dagli umani, particolarmente nello Stadio 2. Per i quattro record in cui la maggioranza degli umani concordava su "INCLUDE", la macchina li ha etichettati come UNCERTAIN o EXCLUDE (0/4 di recupero).
  • Performance Stadio 2: L'adjudicazione LLM dei 94 record incerti ha prodotto 11 INCLUDE e 83 EXCLUDE, ma la sensibilità rispetto alle etichette umane è rimasta bassa.
• Metriche di Carico di Lavoro: Il WSS del 74,1% riflette la proporzione di record rimossi dal filtro dello Stadio 1, validata dallo strato di campionamento EXCLUDE.

Significatività e Rivendicazioni
L'articolo definisce modestamente il proprio ambito e la propria significatività:

• Capacità Validata: Lo studio valida la decisione di esclusione automatica dello Stadio 1 come un metodo affidabile per rimuovere circa il 74% dei record (i documenti "ovviamente fuori tema") da un flusso di lavoro di revisione sistematica. Tre medici indipendenti hanno confermato questa porzione di esclusione.
• Capacità Non Validata: Lo studio dichiara esplicitamente che la classificazione fine dei record INCLUDE non è validata. Anche gli umani hanno mostrato un basso accordo su quali record residui fossero "INCLUDE" (l'intersezione tripla era di un solo record) e la macchina non è riuscita a recuperare i pochi record su cui gli umani concordavano come inclusi.
• Implicazione Metodologica: I risultati suggeriscono che, sebbene l'automazione possa gestire efficacemente la maggior parte del compito di esclusione, il compito residuo di identificare gli studi rilevanti rimane un compito umano, basato sull'esperienza del dominio. Lo studio avverte che i risultati sono specifici per questo PICO e questa pipeline e non si generalizzano automaticamente ad altri argomenti.
• Raccomandazione sulle Metriche: Gli autori rinforzano la necessità di utilizzare PABAK e Gwet's AC1 invece del kappa di Cohen per la validazione dello screening nelle SR a causa dell'instabilità della prevalenza.

In conclusione, l'articolo stabilisce che un filtro basato su regole può gestire in sicurezza la maggior parte del carico di lavoro di screening in questo specifico contesto medico, ma non afferma che gli LLM possano attualmente sostituire il giudizio umano per il compito critico di identificare studi rilevanti.