Toward Automatic Filling of Case Report Forms: A Case Study on Data from an Italian Emergency Department

Titolo: Verso il Riempimento Automatico dei Case Report Form: Uno Studio di Caso su Dati di un Pronto Soccorso Italiano

1. Il Problema

I Case Report Form (CRF) sono strumenti fondamentali nella ricerca clinica per raccogliere dati strutturati sui pazienti, garantendo interoperabilità, riproducibilità e rigore scientifico. Sebbene la transizione dai formati cartacei a quelli elettronici abbia migliorato l'usabilità, la fase di compilazione manuale dei CRF a partire da note cliniche non strutturate rimane un collo di bottiglia.
L'obiettivo è automatizzare questo processo utilizzando tecnologie di elaborazione del linguaggio naturale (NLP), in particolare i Large Language Models (LLM). Tuttavia, l'avanzamento in questo campo è limitato da una grave carenza di dataset annotati specifici per il task di riempimento dei CRF, specialmente in contesti reali e in lingua italiana. Le soluzioni esistenti si basano spesso su corrispondenze di parole chiave o su dati generati semi-automaticamente da documenti scientifici, non riflettendo la complessità e le sfumature delle note cliniche reali.

2. Metodologia

Gli autori hanno sviluppato un approccio basato su tre pilastri principali: la creazione di un nuovo dataset, la definizione del task e la valutazione tramite un modello LLM.

• Dataset (SGB-CRF):

  • Origine: 290 note cliniche raccolte presso il Pronto Soccorso dell'Ospedale San Giovanni Bosco di Torino (Italia), relative a pazienti adulti tra il 2021 e il 2023.
  • Tipologia: Le note provengono da 7 categorie (anamnesi, triage, infermieristica, visite specialistiche, referti medici, diagnostica, dimissioni).
  • Annotazione: Le note sono state annotate da clinici utilizzando il software Label Studio. Ogni annotazione include gli offset del testo, il frammento di testo e il valore assegnato a un item specifico del CRF.
  • Schema CRF: Il form contiene 134 item divisi in 7 gruppi (Anamnesi, Esame Obiettivo, Risultati Diagnostici, Laboratorio, Imaging, Trattamento, Diagnosi Finale). Ogni item ha un insieme chiuso di valori permessi (es. sì/no, valori ordinali, misurazioni) e include sempre la categoria "unknown" (non noto) come risposta valida se l'informazione non è presente nella nota.
  • Privacy: I dati sono stati anonimizzati rimuovendo tutti gli identificatori diretti. Non è possibile collegare diverse note dello stesso paziente per motivi di privacy.

• Definizione del Task:

  • Il compito è il riempimento automatico dei 134 item del CRF partendo da una singola nota clinica in italiano.
  • Il modello deve operare in un setting cross-linguale: input in italiano, output in inglese (i nomi degli item e i valori permessi sono in inglese).
  • Se non ci sono prove sufficienti nella nota, la risposta corretta è "unknown".

• Setup Sperimentale:

  • Modello: È stato utilizzato LLaMA-3-8B Instruct in un setting zero-shot (senza addestramento specifico sul dataset).
  • Prompting: Ogni item del CRF viene interrogato indipendentemente con un prompt strutturato in quattro parti: ruolo di sistema, introduzione al gruppo di item, istruzioni specifiche con lista valori permessi e la nota clinica completa.
  • Metriche: Valutazione basata su Exact Match. Sono stati calcolati il Micro-F1 (accuratezza globale) e il Macro-F1 (media delle prestazioni su tutti i valori, per bilanciare la classe maggioritaria "unknown").

3. Contributi Chiave

1. Nuova Risorse Annotata: Introduzione del primo dataset pubblico disponibile per il task di riempimento dei CRF derivato direttamente da dati ospedalieri reali in lingua italiana.
2. Analisi del Dominio: Una caratterizzazione dettagliata del dataset che evidenzia la sparsità dei dati (in media solo 5.7 item annotati per nota su 134 totali) e lo sbilanciamento tra le categorie cliniche (es. anamnesi ed esame obiettivo dominano rispetto a laboratorio e imaging).
3. Benchmark Pilota: Dimostrazione della fattibilità dell'uso di LLM open-source per questo task, fornendo una baseline per futuri studi.

4. Risultati

Gli esperimenti pilota con LLaMA-3-8B hanno prodotto i seguenti risultati (confrontati con una baseline che assegna sempre il valore più frequente, ovvero "unknown"):

• Micro-F1:
  • Baseline: 0.963 (altissima perché la maggior parte dei campi è "unknown").
  • LLaMA-3: 0.920 (leggermente inferiore, poiché il modello tenta di estrarre informazioni specifiche).
• Macro-F1:
  • Baseline: 0.353 (fallisce nel recuperare valori informativi ma rari).
  • LLaMA-3: 0.548 (miglioramento significativo, dimostrando capacità di predire valori non banali).
• Analisi degli Errori:
  • Il modello identifica correttamente il valore "unknown" nel 90.42% dei casi.
  • Tuttavia, recupera solo l'1.57% dei valori "non unknown" (quelli clinicamente informativi).
  • Il modello mostra un comportamento "cauto": tende a favorire la risposta "unknown" per evitare errori, il che riduce il recall sui valori specifici.
  • Il modello rispetta rigorosamente lo schema, scegliendo solo valori predefiniti.

5. Significato e Conclusioni

Il lavoro dimostra che il riempimento automatico dei CRF da note cliniche italiane è fattibile in setting zero-shot utilizzando LLM moderni. Tuttavia, i risultati evidenziano due sfide critiche:

1. Squilibrio dei Dati: La natura sparsa dei dati reali (molti campi vuoti) rende le metriche di accuratezza globale ingannevoli; è necessario focalizzarsi sul recupero dei valori informativi (Macro-F1).
2. Bias del Modello: I LLM tendono a essere eccessivamente conservativi, preferendo risposte "unknown" per evitare allucinazioni. Per l'uso clinico reale, sarà necessario sviluppare strategie per correggere questo bias e migliorare la precisione sui valori specifici.

In conclusione, il dataset rilasciato fornisce una base solida e realistica per la ricerca futura, spingendo verso soluzioni LLM dedicate che possano soddisfare i rigorosi requisiti di qualità richiesti in ambito clinico, superando le attuali limitazioni degli strumenti "out-of-the-box".