CheckSupport: A Local LLM-Powered Tool for Automated Manuscript Submission Checklist Selection and Completion

Riepilogo Tecnico: CheckSupport

Enunciato del Problema
La trasparenza e la standardizzazione della rendicontazione sono fondamentali per la riproducibilità della ricerca scientifica, tuttavia l'aderenza alle linee guida di rendicontazione (ad esempio CONSORT, PRISMA, STARD) rimane incoerente. Le principali barriere sono lo sforzo manuale sostanziale e l'esperienza di dominio richiesti per identificare la checklist appropriata per uno studio specifico e per compilarla con precisione. Le soluzioni automatizzate esistenti spesso si affidano a Modelli Linguistici di grandi dimensioni (LLM) basati su cloud, sollevando preoccupazioni significative riguardo alla privacy dei dati, ai costi, alla riproducibilità e all'accessibilità a lungo termine. Inoltre, le attuali applicazioni degli LLM nella scienza si concentrano spesso sulla sintesi generativa di testi, che potrebbe non allinearsi con la necessità di un'estrazione fedele e basata su evidenze nella rendicontazione scientifica.

Metodologia
Gli autori presentano CheckSupport, uno strumento a riga di comando open-source e distribuibile localmente progettato per automatizzare la selezione e il completamento delle checklist. Il sistema opera interamente offline utilizzando il framework Ollama, garantendo che i dati del manoscritto non lascino mai l'hardware locale dell'utente.

• Architettura e Flusso di Lavoro: Il sistema segue una pipeline modulare: ingestione del manoscritto (PDF/DOCX/Testo) $\rightarrow$ identificazione della checklist $\rightarrow$ analisi della checklist $\rightarrow$ estrazione dei contenuti $\rightarrow$ generazione del rapporto. Supporta sia le linee guida standardizzate sia le checklist personalizzate definite dall'utente.
• Strategia di Prompting a Stadi: Piuttosto che utilizzare gli LLM come generatori a forma libera, CheckSupport li tratta come componenti di inferenza vincolati. Il processo è scomposto in quattro stadi sequenziali:
  1. Raccomandazione della Checklist: Un compito di classificazione one-shot a etichetta singola in cui il modello seleziona una checklist da un elenco fisso basandosi su un estratto troncato del manoscritto (primi 2.000 caratteri).
  2. Preprocessing e Generazione di Linee Guida: Il modello inferisce linee guida generali e specifiche per sezione su quali informazioni cercare, utilizzando una temperatura più elevata (0,7) per elicitarre consigli descrittivi.
  3. Estrazione del Testo a Livello di Sezione: Il sistema estrae le porzioni rilevanti del manoscritto per ciascuna sezione della checklist utilizzando finestre fisse di 5.000 caratteri.
  4. Generazione della Risposta a Livello di Voce: Per ogni voce della checklist, il modello genera una risposta basata sul testo della voce, sulle istruzioni analizzate e sul contenuto della sezione precedentemente estratto.
• Controlli di Inferenza: Per dare priorità all'accuratezza e alla riproducibilità, il sistema utilizza temperature basse per la classificazione (0,2) e l'estrazione (0,3–0,5), impiega finestre di contesto fisse per evitare la dipendenza da modelli a contesto esteso e impone vincoli rigorosi sull'output. Consente e incoraggia esplicitamente risposte "nulle" quando le informazioni sono assenti per prevenire le allucinazioni.
• Configurazione del Modello: Il sistema è agnostico rispetto al modello ma predefinisce modelli addestrati su istruzioni come Llama 3.1, capaci di essere eseguiti su hardware consumer con sola CPU.

Contributi Chiave

• Framework di Esecuzione Locale: CheckSupport fornisce un'alternativa completamente locale e rispettosa della privacy agli strumenti di IA basati su cloud, affrontando le preoccupazioni sulla sicurezza dei dati in ambienti di ricerca sensibili.
• Approccio di Inferenza Strutturata: Il documento introduce una metodologia di prompting a stadi che scompone compiti complessi di rendicontazione in passaggi di inferenza vincolati, dando priorità all'estrazione fedele rispetto alla fluidità generativa.
• Implementazione Open-Source: Lo strumento è rilasciato come software open-source, consentendo trasparenza, audit e adattamento a vari standard di rendicontazione.
• Dual-Funzionalità: Automatizza sia la selezione della corretta linea guida di rendicontazione sia il completamento basato su evidenze di tale linea guida.

Risultati
Valutato su un corpus di 100 manoscritti sottoposti a revisione paritaria (indicizzati come "IA in radiologia" dal 2025), CheckSupport ha dimostrato le seguenti prestazioni su hardware con sola CPU:

• Raccomandazione della Checklist: Ha raggiunto un'accuratezza complessiva del 90%. Le prestazioni sono variate per categoria: 86,7% per studi complessi di "Tipo A" (nuove strutture/fine-tuning di LLM), 100% per studi di "Tipo B" (applicazioni pratiche) e 80% per manoscritti in cui nessuna checklist era applicabile.
• Completamento della Checklist: Ha raggiunto un'accuratezza complessiva del 88% a livello di voce. L'accuratezza è stata più alta per i manoscritti di "Tipo B" (93,3%) rispetto a quelli di "Tipo A" (80,0%).
• Tempo di Esecuzione: Il tempo medio reale per manoscritto è stato di 12,5 secondi, includendo sia la raccomandazione sia il completamento completo.
• Analisi degli Errori: Gli errori sono derivati principalmente da un linguaggio ambiguo del manoscritto, da una rendicontazione incompleta nel testo sorgente o da informazioni cadute al di fuori delle finestre di contesto delimitate. Significativamente, il sistema non ha prodotto alcun caso di contenuto non supportato o fabbricato, segnalando con successo le informazioni mancanti come risposte nulle.

Significato e Affermazioni
Gli autori posizionano CheckSupport non come uno strumento per la generazione di contenuti scientifici, ma come infrastruttura per la governance della ricerca. Il documento afferma che, spostando l'onere della conformità alle checklist dallo sforzo manuale all'automazione assistita e strutturata, il sistema supporta una rendicontazione scientifica più trasparente e riproducibile.

Le affermazioni chiave riguardanti il significato includono:

• Riformulazione dell'Utilità degli LLM: Il lavoro dimostra che gli LLM possono essere utilizzati efficacemente per il supporto metodologico e l'estrazione rigorosa piuttosto che per la generazione narrativa.
• Privacy e Fiducia: Operando localmente, il sistema affronta le crescenti preoccupazioni riguardo alla perdita di dati e alle dipendenze proprietarie, promuovendo la fiducia istituzionale.
• Umano nel Ciclo: Gli autori sottolineano che il sistema è progettato per potenziare, non sostituire, la supervisione umana. Rende esplicite le lacune nella rendicontazione piuttosto che riempirle implicitamente, permettendo a ricercatori e revisori di concentrarsi sulle aree che richiedono giudizio esperto.
• Cambiamento Culturale: Lo strumento mira ad abbassare la barriera al completamento delle checklist, potenzialmente riducendo l'affaticamento dei revisori e incoraggiando la visione delle linee guida di rendicontazione come componenti integrali del processo di ricerca piuttosto che come obblighi amministrativi.