Riepilogo Tecnico: MasonNLP a MEDIQA-SYNUR 2026

Definizione del Problema

Il documento affronta la sfida di convertire trascrizioni conversazionali tra infermiere e pazienti in osservazioni cliniche strutturate e aderenti a uno schema. Sebbene la documentazione clinica sia vitale per la continuità delle cure, impone un carico significativo ai clinici, che dedicano tempo sostanziale alle attività relative alla cartella clinica elettronica (EHR) anziché alle cure dirette ai pazienti. Il compito specifico, MEDIQA-SYNUR, richiede ai sistemi di estrarre osservazioni clinicamente salienti dalle trascrizioni e normalizzarle in uno schema predefinito di 193 concetti di osservazione. Tale schema include vincoli rigorosi sui tipi di valore (numerico, stringa, selezione singola, selezione multipla) e requisiti di validità enumerati per i valori categorici. La difficoltà risiede nel vasto e eterogeneo spazio di output e nella necessità che il modello eviti di allucinare nomi di concetti o violare i vincoli di tipo, che sono modalità di fallimento comuni nei grandi modelli linguistici (LLM) in condizioni di schema rigoroso.

Metodologia

Gli autori propongono una pipeline modulare di generazione aumentata per il recupero (RAG) progettata per condizionare gli output degli LLM sia su esempi recuperati sia su vincoli di schema. Il sistema è composto dai seguenti componenti:

1. Corpus di Recupero e Base di Conoscenza:

   • Il set di addestramento funge da unico corpus di recupero.
   • Ogni istanza di addestramento è rappresentata da due viste testuali: la trascrizione originale e un "riassunto del nome del concetto" derivato mappando gli ID dei concetti in etichetta dorata (gold-label) sui loro nomi nello schema.
   • Gli embedding sono generati utilizzando Sentence-Transformers all-MiniLM-L6-v2 per il backbone Llama-4 e OpenAI text-embedding-3-large per il backbone GPT-5.2.

2. Recupero degli Esempi (RAG):

   • Un pool di candidati viene recuperato tramite similarità coseno sugli embedding delle trascrizioni.
   • Il pool viene riordinato utilizzando un punteggio ponderato che combina la similarità della trascrizione ($w_t=0.70$), la similarità del riassunto del nome del concetto ($w_c=0.25$) e la sovrapposizione lessicale tramite similarità di Jaccard ($w_l=0.05$).
   • Gli esempi top-$k$ (variando $k \in \{3, 5, 10, 20, 30, 50\}$) vengono inseriti nel prompt come dimostrazioni few-shot, accoppiando la trascrizione dell'esempio con il suo output JSON in etichetta dorata.

3. Vincoli di Schema:
   Lo studio confronta due strategie di prompting per condizionare l'LLM sullo schema $S$:

   • Prompting con Schema Completo: Il modello riceve l'elenco completo dei 193 concetti, inclusi identificatori, nomi, tipi di valore e valori categorici ammissibili.
   • Prompting con Schema Candidato Potato: Un insieme di candidati per istanza $C(x)$ viene costruito valutando i concetti in base a corrispondenze lessicali con la trascrizione, similarità semantica con i nomi dei concetti ed espansione tramite recupero (aggiungendo i concetti trovati negli esempi recuperati). Questo limita lo spazio di output a un sottoinsieme compatto di concetti rilevanti.

4. Inferenza e Post-elaborazione:

   • All'LLM viene istruito di outputtare solo una lista JSON di coppie (id, v).
   • Espansione Deterministica: Per prevenire l'allucinazione di nomi o tipi, il sistema post-elabora l'output cercando il name e il value_type canonici per ogni id previsto dallo schema.
   • Validazione dello Schema: Le previsioni sono validate contro lo schema; gli ID sconosciuti vengono scartati e i valori sono normalizzati (ad esempio, convertendo le stringhe numeriche in float, imponendo liste enumerate per i tipi categorici).

5. Revisione di Secondo Passaggio:
   Una fase di affinamento in cui un LLM revisore esamina la trascrizione originale, lo schema e la previsione del primo passaggio. Viene istruito a rimuovere elementi non supportati, correggere problemi di adesione allo schema e aggiungere solo osservazioni mancanti chiaramente supportate.

La pipeline è stata valutata utilizzando due backbone LLM: Llama-4-Scout-17B-16E-Instruct (pesi aperti) e GPT-5.2 (pesi chiusi).

Risultati Chiave

Gli esperimenti, riassunti nella Tabella 2 del documento, producono le seguenti metriche di performance (punteggi F1):

• Configurazione Migliore: Le prestazioni più elevate sono state ottenute utilizzando GPT-5.2 con prompting Schema Completo, RAG (con $k=30$ esempi) e Revisione di Secondo Passaggio, risultando in un punteggio F1 del 80,36%.
• Impatto del RAG: L'aumento tramite recupero ha migliorato costantemente le prestazioni in entrambi i modelli e le configurazioni di schema, riducendo i falsi negativi e rafforzando la struttura JSON attesa e la normalizzazione dei valori.
• Interazione con lo Schema:
  • Llama-4 (Pesi aperti): Ha ottenuto le prestazioni migliori con lo Schema Candidato Potato (F1 73,20% con RAG). La riduzione dello spazio di output ha aiutato il modello più piccolo ad aderire ai vincoli e a concentrarsi sui concetti rilevanti.
  • GPT-5.2 (Pesi chiusi): Ha ottenuto le prestazioni migliori con lo Schema Completo (F1 80,27% con RAG). Il modello più grande ha beneficiato del contesto completo per disambiguare i concetti correlati, mentre la potatura ha portato a un calo della precisione (un "bias simile a una lista di controllo" che incoraggia l'estrazione eccessiva).
• Revisione di Secondo Passaggio: Ha fornito guadagni aggiuntivi modesti (ad esempio, +0,09 F1 per GPT-5.2), principalmente correggendo errori residui di adesione allo schema e di normalizzazione piuttosto che alterando significativamente la copertura dell'estrazione.

Analisi degli Errori

L'analisi degli errori (Tabelle 3 e 4) rivela che la maggior parte degli errori non sono disaccordi di valore quasi corretti, bensì:

• Falsi Positivi (608 istanze): L'81,9% sono state previsioni di concetti spurie (ID non presenti nella verità fondamentale). I concetti sovrastimati includevano "Diagnosi secondaria" e "Identificazione del paziente", che erano clinicamente plausibili ma raramente annotati nello standard dorato.
• Falsi Negativi (485 istanze): Il 78,8% sono stati concetti completamente mancati.
• Problemi Sistematici: Una porzione significativa di errori è derivata da discrepanze a livello di rappresentazione, come zeri iniziali negli ID dei concetti (ad esempio, "03" vs "3") e differenze di codifica nei token categorici (ad esempio, unità di temperatura). Questi problemi evidenziano la fragilità del confronto rigoroso di stringhe in schemi eterogenei.

Significato e Contributi

Il documento rivendica tre contributi principali nel campo dell'Estrazione di Informazioni Cliniche (IE):

1. Vincolo di Schema Consapevole del Modello: Lo studio dimostra che la strategia ottimale per vincolare gli output degli LLM non è universale, ma dipende dalla scala e dall'architettura del modello. Gli schemi candidati potati sono vantaggiosi per i modelli più piccoli a pesi aperti per ridurre lo spazio decisionale, mentre i modelli più grandi a pesi chiusi beneficiano del contesto dello schema completo per sfruttare le loro capacità di ragionamento.
2. Interazione tra RAG e Schema: Il lavoro fornisce evidenze sistemiche che la Generazione Aumentata per il Recupero migliora costantemente l'estrazione vincolata allo schema, ma la sua efficacia è modulata da come lo schema viene presentato al modello.
3. Raffinamento vs. Componente Principale: Gli autori mostrano che la revisione di secondo passaggio produce miglioramenti modesti correggendo errori di normalizzazione residui, ma non sostituisce i meccanismi fondamentali del RAG e dei vincoli di schema. È meglio utilizzata come fase finale di affinamento.

Complessivamente, i risultati suggeriscono che un'estrazione efficace di osservazioni vincolata allo schema richiede una strategia che selezioni congiuntamente approcci di recupero e vincoli di schema adattati alle capacità specifiche dell'LLM sottostante.