Retrieval-Augmented Generation Based Nurse Observation Extraction

Titolo

Team MKC at MEDIQA-SYNUR 2026: Estrazione di Osservazioni Cliniche dalle Detrazioni Infermieristiche basata su Retrieval-Augmented Generation (RAG)

1. Il Problema

Nel settore sanitario, la documentazione clinica rappresenta un carico di lavoro significativo per gli infermieri, che spesso dettano osservazioni verbali complesse e non strutturate. La trascrizione e l'interpretazione manuale di queste detrazioni per estrarre fatti clinici specifici (come sintomi, segni vitali o interventi) sono processi lenti e soggetti a errori.
Sebbene i Large Language Models (LLM) abbiano mostrato capacità promettenti, l'addestramento di modelli specifici richiede grandi quantità di dati annotati di alta qualità, la cui acquisizione è ostacolata da preoccupazioni sulla privacy e dall'alto costo dell'annotazione esperta. Inoltre, i modelli generici possono fallire nella precisione terminologica o nella coerenza strutturale necessaria per la documentazione medica.

2. Metodologia

Gli autori propongono una pipeline automatizzata basata su Retrieval-Augmented Generation (RAG) che evita il fine-tuning pesante del modello, affidandosi invece all'apprendimento contestuale (in-context learning). Il sistema è composto da quattro fasi principali:

A. Segmentazione delle Detrazioni Infermieristiche

Le trascrizioni grezze sono spesso lunghe e contengono discorsi continui. Utilizzando un LLM, il testo viene suddiviso in segmenti contigui basati su "fatti clinici" distinti (es. nuovi sintomi, nuovi segni vitali).

• Regola: I segmenti devono preservare l'ordine originale e non essere parafrasati, mantenendo il testo il più vicino possibile alla trascrizione verbale.

B. Arricchimento dell'Ontologia

Per garantire la precisione terminologica, il sistema non utilizza direttamente i nomi delle osservazioni cliniche (es. "Stato di carico"), ma genera descrizioni semplici e accessibili per ciascun elemento dell'ontologia medica. Questo aiuta il modello a comprendere il contesto semantico senza ricorrere a gergo tecnico eccessivo.

C. Doppio Meccanismo di Recupero (Dual-Retrieval)

Il cuore della metodologia è un sistema di recupero ibrido che fornisce al LLM due tipi di contesto prima della generazione:

1. Recupero basato su Ontologia: Vengono recuperati gli schemi (schema) medici più rilevanti per il segmento corrente. Il sistema utilizza un approccio ibrido combinando BlueBERT (addestrato su dati biomedici) e TF-IDF per selezionare i 10 schemi più pertinenti (nome, descrizione ed enumeraizone dei valori).
2. Recupero Few-Shot (Esempi): Vengono recuperati segmenti simili dal set di dati di addestramento, insieme alle loro osservazioni "gold-standard". Questo fornisce esempi di come mappare il testo grezzo alle strutture di output richieste. Anche qui viene usato un metodo ibrido (BlueBERT + BM25) per recuperare i 15 esempi più simili.

D. Generazione delle Osservazioni

Il LLM riceve il segmento di trascrizione, gli schemi recuperati dall'ontologia e gli esempi few-shot. Il prompt istruisce il modello a estrarre solo le informazioni che corrispondono agli schemi forniti e a restituire l'output in un formato JSON strutturato, rispettando rigorosamente le enumeraizone dei valori (es. "Moderato" invece di "un po' di respiro corto").

3. Contributi Chiave

• Pipeline senza Fine-Tuning: Dimostrano che è possibile ottenere prestazioni elevate nell'estrazione di informazioni cliniche complesse senza addestrare nuovi modelli, utilizzando invece una strategia RAG sofisticata.
• Meccanismo di Recupero Ibrido: L'integrazione di un recupero basato su ontologia (per la precisione terminologica) e un recupero semantico few-shot (per l'apprendimento dei pattern di estrazione) supera i limiti degli approcci monolitici.
• Gestione della Coerenza del Modello: Hanno osservato che utilizzare lo stesso modello LLM sia per la segmentazione che per la generazione (in questo caso GPT-5-mini) migliora l'allineamento con gli esempi recuperati, ottimizzando i risultati.

4. Risultati Sperimentali

Il sistema è stato valutato sul dataset MEDIQA-SYNUR (test set).

• Prestazioni: Il modello ha raggiunto un F1-score di 0.796.
• Configurazione Ottimale: La combinazione migliore è stata ottenuta utilizzando GPT-5.1 come generatore di osservazioni e GPT-5-mini come segmentatore, con 15 esempi few-shot.
• Analisi di Ablazione:
  • L'uso combinato di schemi (ontologia) ed esempi few-shot ha superato significativamente l'uso degli esempi da soli (F1 0.829 vs 0.739 sul set di sviluppo).
  • BlueBERT si è dimostrato il modello di recupero più efficace per la ricerca degli schemi, superando ClinicalBERT e PubMedBERT.
• Precisione e Recall: La configurazione finale ha mostrato un buon equilibrio tra precisione (0.786) e recall (0.807).

5. Significato e Implicazioni

Questo lavoro è significativo perché offre una soluzione scalabile ed efficiente per automatizzare la documentazione infermieristica, riducendo il carico cognitivo e temporale del personale sanitario.

• Affidabilità: L'approccio RAG garantisce che le estrazioni siano ancorate a evidenze recuperate (ontologia ed esempi reali), riducendo le allucinazioni tipiche dei LLM generici.
• Adattabilità: La metodologia è indipendente dal modello di base, permettendo di sfruttare i progressi futuri nei LLM senza dover ri-addestrare l'intero sistema.
• Impatto Clinico: Automatizzando l'interpretazione delle interazioni con i pazienti, il sistema può contribuire a creare cartelle cliniche più complete e strutturate, facilitando la ricerca e il monitoraggio dei pazienti.

In conclusione, Team MKC ha dimostrato che un approccio ibrido di recupero e generazione, privo di addestramento specifico, può raggiungere prestazioni state-of-the-art in compiti di estrazione di informazioni cliniche complesse.