AISysRev -- LLM-based Tool for Title-abstract Screening

1. Il Problema

Le revisioni sistematiche (Systematic Reviews - SR) sono fondamentali per l'ingegneria del software e altri campi scientifici, ma il processo di selezione degli studi (screening di titoli e abstract) è estremamente laborioso e richiede in media 67 settimane per essere completato.

• Volume dei dati: Le fasi di screening possono coinvolgere migliaia di articoli (es. fino a 25.000), rendendo il compito manuale insostenibile.
• Limitazioni degli strumenti esistenti: Gli strumenti open-source attuali (come AIReview, ASReview) soffrono di limitazioni pratiche, come scarso supporto per fornitori di LLM multipli, documentazione carente o manutenzione interrotta. Gli strumenti commerciali (es. Elicit, Rayyan) sono spesso chiusi, limitando la trasparenza sui modelli, i parametri e le tecniche di prompting utilizzati.
• Sfide degli LLM: Sebbene i Large Language Models (LLM) abbiano dimostrato potenziale, la loro applicazione presenta sfide legate alla sensibilità del prompting, alla casualità delle risposte e alla necessità di intervento umano per gestire i casi ambigui.

2. Metodologia e Architettura del Tool

Gli autori hanno sviluppato AISysRev, un'applicazione web containerizzata open-source progettata per supportare lo screening di titoli e abstract utilizzando LLM.

Architettura Tecnica:

• Backend: Python, scelto per il suo supporto nativo alla programmazione asincrona (asyncio), l'integrazione con SDK LLM tramite Pydantic AI e un forte sistema di tipizzazione.
• Frontend: React.js per un'interfaccia utente reattiva e accessibile.
• Server Worker: Gestisce le funzionalità specifiche degli LLM, parallelizzando le chiamate per massimizzare la velocità.
• Database e Storage: Utilizza PostgreSQL per la persistenza dei dati, Redis per la cache in memoria (ottimizzando le operazioni I/O intensive come le chiamate API) e MinIO (compatibile con S3) per l'archiviazione degli oggetti.
• Deploy: L'intero sistema è eseguito in container Docker, permettendo un'implementazione locale o su cloud (AWS, Azure, Google Cloud) con scalabilità indipendente dei componenti.

Funzionalità Chiave:

• Input: Accetta file CSV contenenti titoli e abstract, generati da database bibliografici (es. Scopus).
• Supporto Multi-LLM: Consente l'uso di diversi provider (OpenRouter, OpenAI, Google, Anthropic, Meta, Mistral) e supporta modelli ospitati localmente tramite SDK compatibili con OpenAI.
• Tecniche di Prompting:
  • Zero-shot (ZS): Valutazione basata solo sui criteri di inclusione/esclusione.
  • Few-shot (FS): Migliora le prestazioni fornendo all'LLM esempi di decisioni già prese (inclusi/esclusi).
• Interfaccia "Human-in-the-Loop":
  • Offre una vista per lo screening manuale guidato dalle raccomandazioni degli LLM.
  • Visualizza le decisioni degli LLM come valori binari, ordinali (scala Likert) e probabilità, aiutando gli umani a identificare l'incertezza.
  • Permette di ordinare i documenti per probabilità di inclusione, facilitando le "Rapid Reviews".
• Output: I risultati vengono esportati in CSV, includendo metadata, decisioni binarie, punteggi ordinali e probabilità per ogni modello e criterio.

3. Risultati Sperimentali

Gli autori hanno condotto uno studio qualitativo di prova utilizzando 137 articoli relativi a una revisione sistematica precedente sulla "pressione temporale" nell'ingegneria del software. Sono stati utilizzati tre modelli: Google Gemini 2.5 Flash, Mistral Small 3.2-23B Instruct e OpenAI GPT-4.1 Mini.

Categorizzazione dei Risultati:
L'analisi ha rivelato quattro categorie distinte di documenti:

1. Easy Includes (6 casi): Articoli chiaramente pertinenti. Gli LLM li hanno classificati con altissima accuratezza.
2. Boundary Includes (7 casi): Articoli in contesto SE ma con ambiguità sulla presenza di prove empiriche sulla pressione temporale. Gli LLM tendono a commettere errori qui, spesso escludendo erroneamente documenti che contengono riferimenti impliciti.
3. Boundary Excludes (17 casi): Articoli legati all'ingegneria del software dove la pressione temporale è menzionata solo come sfondo o motivazione, non come oggetto di studio empirico. Gli LLM spesso li classificano erroneamente come pertinenti a causa della presenza della parola chiave nel contesto sbagliato.
4. Clear Excludes (107 casi): Articoli non pertinenti (es. medicina, aviazione). Sia gli umani che gli LLM li escludono correttamente.

Prestazioni:

• Velocità: Il tool parallelizza le chiamate LLM, raggiungendo una velocità di screening tra 100 e 300 articoli al minuto, a seconda del modello e dell'host.
• Affidabilità: I casi "Boundary" (inclusi ed esclusi) evidenziano che gli LLM non possono sostituire il giudizio umano, ma sono eccellenti per filtrare i casi "facili" (Easy Includes/Excludes), riducendo drasticamente il carico di lavoro.

4. Contributi Chiave

1. Strumento Open-Source Trasparente: AISysRev offre una trasparenza totale su modelli, parametri e tecniche di prompting, a differenza delle soluzioni commerciali chiuse.
2. Flessibilità e Scalabilità: Supporta nativamente modelli locali e cloud, permette la configurazione fine dei parametri (temperature, top_p) e gestisce carichi elevati tramite parallelizzazione.
3. Approccio Ibrido (Human-in-the-Loop): Progetta l'interfaccia per integrare l'LLM come assistente decisionale, fornendo punteggi di incertezza che guidano l'operatore umano verso i casi critici.
4. Infrastruttura di Ricerca: Fornisce una base solida per valutare le prestazioni di screening su larga scala e sviluppare linee guida per l'uso degli LLM nelle revisioni sistematiche.

5. Significato e Impatto

Il lavoro dimostra che, sebbene gli LLM non possano ancora sostituire completamente il giudizio umano nelle revisioni sistematiche a causa degli errori sui casi ambigui, possono ridurre significativamente il carico di lavoro filtrando la maggior parte dei documenti irrilevanti o ovvi.
AISysRev colma il divario tra ricerca accademica e strumenti pratici, offrendo un'alternativa flessibile e trasparente agli strumenti commerciali. La sua capacità di accelerare lo screening (fino a 300 articoli/minuto) è cruciale per le "Rapid Reviews" e per la gestione di grandi volumi di letteratura scientifica, permettendo ai ricercatori di concentrarsi sui casi limite che richiedono vera intelligenza critica. Il tool è disponibile open-source su GitHub, promuovendo la riproducibilità e lo sviluppo collaborativo.