Evaluation and LLM-Guided Learning of ICD Coding Rationales

Questo lavoro valuta la fedeltà e la plausibilità delle giustificazioni nella codifica ICD, introduce un nuovo dataset annotato su MIMIC-IV e dimostra che l'uso di giustificazioni generate da LLM come segnali di supervisione distale, potenziati da esempi few-shot, migliora significativamente la qualità delle giustificazioni sia nei modelli teacher che in quelli studenti.

L'essenziale

Immagina di essere un medico o un amministratore ospedaliero. Ogni giorno, i medici scrivono lunghe storie sui pazienti: "Il paziente ha il dolore al petto, la pressione alta e assume il Plavix". Per far funzionare il sistema sanitario, fatturare le assicurazioni e tenere traccia delle malattie, queste storie devono essere trasformate in codici standardizzati (come l'ICD-10). È come tradurre un romanzo complesso in un elenco di sigle tecniche.

Fino a poco tempo fa, questo lavoro veniva fatto da umani, ma è lento, costoso e soggetto a errori. Quindi, abbiamo creato l'Intelligenza Artificiale (AI) per farlo al posto nostro. Ma c'è un grosso problema: l'AI è come una "scatola nera". Ti dice il codice giusto (es. "Diabete di tipo 2"), ma non ti dice perché l'ha scelto. Se un medico non capisce il ragionamento dell'AI, non si fida e non la usa.

Questo articolo è come un'indagine per capire come rendere l'AI più trasparente e affidabile. Ecco i punti chiave spiegati con metafore semplici:

1. Il Problema: L'AI che non parla

I vecchi metodi per spiegare l'AI guardavano solo dove l'AI "guardava" (come se puntasse un dito su alcune parole). Ma spesso, quel "dito" puntava su parole a caso o non spiegava davvero il ragionamento umano. Inoltre, mancava un manuale di istruzioni aggiornato: i vecchi dati di addestramento erano come mappe di strade che non esistono più (usavano vecchi codici medici obsoleti).

2. La Soluzione: Una Nuova Mappa e un Nuovo Tutor

Gli autori hanno fatto due cose fondamentali:

• Hanno creato una nuova "Mappa d'Oro" (Dataset): Hanno preso 150 storie di pazienti reali (dal database MIMIC-IV) e hanno chiesto a medici esperti di evidenziare manualmente le frasi che giustificavano ogni codice. È come avere un libro di soluzioni con le spiegazioni scritte a mano da un professore, invece di indovinare.
• Hanno assunto un "Tutor Intelligente" (LLM): Hanno usato un'intelligenza artificiale molto avanzata (come Gemini) per leggere le storie e scrivere le spiegazioni. Si sono resi conto che questo "Tutor AI" scriveva spiegazioni molto più simili a quelle umane rispetto ai vecchi metodi.

3. La Sfida: Fiducia vs. Plausibilità

Per valutare se una spiegazione è buona, hanno usato due criteri:

• Fedeltà (Faithfulness): Se togliamo le parole spiegate dall'AI, l'AI cambia ancora idea? Se sì, la spiegazione è fedele al suo ragionamento interno. È come dire: "Se non guardassi questa prova, cambieresti la tua decisione?".
• Plausibilità (Plausibility): Una spiegazione umana la trova convincente? È come chiedere a un giudice: "Questa prova sembra logica per te?".

4. Il Risultato Sorprendente: L'AI che insegna all'AI

Hanno scoperto che:

• Le vecchie AI (quelle che usano solo l'attenzione) facevano spiegazioni terribili, quasi inutili per un umano.
• Il "Tutor AI" (Gemini) scriveva spiegazioni fantastiche, molto simili a quelle umane.
• Il trucco magico: Hanno usato le spiegazioni scritte dal "Tutor AI" per addestrare un'AI più piccola e veloce (lo "Studente"). È come se un maestro di scuola scrivesse gli appunti perfetti e poi insegnasse a un assistente a fare lo stesso lavoro.

5. Il Segreto: I Piccoli Esempi (Few-Shot)

C'è stato un miglioramento incredibile quando hanno dato al "Tutor AI" alcuni esempi di spiegazioni scritte da umani reali prima di fargli scrivere le altre. È come se, prima di scrivere un saggio, ti dessi tre esempi di saggi perfetti da leggere. Il risultato? Le spiegazioni sono diventate ancora più precise e umane.

In Sintesi

Questo studio ci dice che per rendere l'AI affidabile in medicina non basta farla diventare brava a indovinare i codici. Dobbiamo insegnarle a spiegare il suo pensiero in modo che un medico possa dire: "Ah, ok, l'hai scelto perché hai letto questa frase specifica, ha senso!".

Hanno dimostrato che usando un'AI potente come "tutor" e dandole qualche esempio umano, possiamo creare sistemi che non solo lavorano velocemente, ma che sono anche trasparenti, onesti e facili da capire per gli esseri umani. È un passo enorme verso un futuro in cui medici e computer collaborano come veri partner.

Sommario tecnico

1. Il Problema

La codifica ICD (Classificazione Internazionale delle Malattie) è il processo di mappatura del testo non strutturato delle Cartelle Cliniche Elettroniche (EHR) in codici standardizzati. Sebbene i modelli di Deep Learning abbiano migliorato l'accuratezza della codifica, la loro mancanza di spiegabilità (explainability) rappresenta un ostacolo critico per l'adozione clinica, poiché minaccia la fiducia e la trasparenza necessarie per le decisioni mediche.

Le ricerche esistenti affrontano l'esplicabilità principalmente attraverso:

• Ragionamenti basati sull'attenzione: Estrazione di snippet di testo tramite pesi di attenzione, spesso valutati qualitativamente da medici.
• Limitazioni dei dataset: L'unico dataset esistente con annotazioni di ragionamento (MDACE) è basato su MIMIC-III e ICD-9, sistemi obsoleti. Inoltre, MDACE presenta uno spostamento della distribuzione dei codi (distribution shift) significativo rispetto ai dati originali e annotazioni di ragionamento molto scarse (spesso un solo ragionamento per codice).
• Mancanza di metodi di apprendimento: Non esistono approcci dedicati addestrati specificamente per generare ragionamenti plausibili, a causa della scarsità di dati supervisionati di alta qualità.

2. Metodologia

Gli autori propongono un approccio completo che include la creazione di un nuovo dataset, una valutazione sistematica e nuovi metodi di apprendimento guidati da LLM.

A. Costruzione del Dataset RD-IV-10

È stato creato un nuovo dataset di ragionamenti (RD-IV-10) basato su MIMIC-IV e il sistema di codifica ICD-10 aggiornato.

• Annotazione: Professionisti medici hanno annotato 150 documenti, identificando ragionamenti a più livelli di granularità (parole, frasi, paragrafi) che supportano l'assegnazione dei codici.
• Qualità: Rispetto a MDACE, RD-IV-10 offre una distribuzione dei codici molto più fedele all'originale (93.15% di sovrapposizione vs 37.00% in MDACE) e una ricchezza di annotazioni superiore (media di 35.94 ragionamenti per documento contro 14.10).

B. Valutazione dell'Esplicabilità

L'esplicabilità è stata valutata lungo due dimensioni fondamentali:

1. Fedeltà (Faithfulness): Quanto i ragionamenti estratti riflettono il ragionamento interno del modello. Misurata tramite Sufficiency (mantenendo solo i ragionamenti) e Comprehensiveness (rimuovendo i ragionamenti).
2. Plausibilità (Plausibility): Quanto i ragionamenti appaiono convincenti agli esperti umani. Misurata confrontando i ragionamenti generati dal modello con le annotazioni umane (RD-IV-10) utilizzando metriche di corrispondenza esatta e indipendente dalla posizione (Token e Span Match).

Sono stati confrontati tre tipi di ragionamenti:

• Entità (Entity-level): Derivati dal linking di entità (SNOMED CT).
• LLM-Generati: Estratti da Large Language Models (Gemini 2-Flash, Gemini 1.5-Pro, LLaMA-3.3) tramite prompt.
• Generati dal Modello: Basati sui pesi di attenzione di modelli di codifica (CAML, LAAT, PLM-ICD).

C. Apprendimento Guidato da LLM (LLM-Guided Learning)

Sfruttando l'alta plausibilità dei ragionamenti generati dagli LLM, gli autori hanno proposto due approcci per l'apprendimento:

1. Apprendimento Multi-Obiettivo: Integrazione di una funzione di perdita aggiuntiva che allinea i pesi di attenzione del modello di codifica con le maschere binarie dei ragionamenti generati dall'LLM (distant supervision).
2. Formulazione NER (Named Entity Recognition): Trattamento del compito come un problema di riconoscimento di entità, dove i ragionamenti sono le "entità" e i codici ICD sono le "classi". Questo unifica estrazione del ragionamento e classificazione in un unico task.
3. Prompting Few-Shot: Utilizzo di esempi umani annotati dal dataset RD-IV-10 per migliorare la qualità dei ragionamenti generati dall'LLM (teacher) e, di conseguenza, i modelli studenti.

3. Risultati Chiave

Valutazione dei Modelli Esistenti

• Fedeltà: I modelli basati su Transformer (PLM-ICD) mostrano una fedeltà superiore rispetto a CAML e LAAT, mantenendo buone prestazioni anche rimuovendo gran parte del testo (robustezza).
• Plausibilità:
  • I ragionamenti generati dai modelli di codifica (basati su attenzione) hanno una plausibilità estremamente bassa (F1 < 1%), indicando che non allineano con le spiegazioni umane.
  • Le entità linkate hanno prestazioni intermedie ma soffrono di disallineamenti nei sistemi di codifica.
  • Gli LLM (in particolare Gemini 2-Flash) ottengono le prestazioni migliori in termini di plausibilità, superando significativamente i modelli tradizionali.

Apprendimento Guidato da LLM

• Multi-Obiettivo: Migliora leggermente la plausibilità (+1% F1) senza degradare l'accuratezza della codifica.
• Approccio NER: Dimostra il miglior compromesso. Sebbene l'accuratezza di codifica sia inferiore rispetto a PLM-ICD (a causa dell'ottimizzazione focalizzata sull'estrazione), raggiunge la più alta plausibilità a livello di span, superando persino il modello "insegnante" (Gemini 2-Flash). Questo suggerisce che la formulazione NER è più efficace nell'imparare i pattern delle entità cliniche.
• Impatto del Few-Shot Prompting: L'inserimento di pochi esempi umani annotati nei prompt degli LLM ha portato a miglioramenti sostanziali nella plausibilità dei ragionamenti generati (aumento medio del ~40-50% nelle metriche F1). Questo miglioramento si è tradotto direttamente in un apprendimento più efficace per i modelli NER supervisionati.

4. Contributi Principali

1. Nuovo Dataset (RD-IV-10): La prima risorsa di ragionamenti annotati specificamente per la codifica ICD basata su MIMIC-IV e ICD-10, con annotazioni ricche e multi-granulari.
2. Valutazione Comparativa Sistematica: La prima analisi che confronta fedeltà e plausibilità tra ragionamenti basati su entità, LLM e modelli di attenzione, evidenziando il fallimento dei metodi basati solo sull'attenzione.
3. Metodi di Apprendimento Innovativi: Proposta di approcci di apprendimento guidati da LLM (Multi-Obiettivo e NER) che utilizzano i ragionamenti degli LLM come segnali di supervisione debole.
4. Dimostrazione del Few-Shot: Evidenza empirica che l'uso di pochi esempi umani nei prompt migliora sia la generazione che l'apprendimento dei ragionamenti.

5. Significato e Impatto

Questo lavoro colma un divario critico nella ricerca sulla codifica clinica automatizzata:

• Affidabilità Clinica: Fornisce un metodo per generare spiegazioni che i medici possono effettivamente comprendere e fidarsi, spostando il focus da metriche interne (attenzione) a metriche umane (plausibilità).
• Superamento della Scarsità di Dati: Dimostra come gli LLM, guidati da un piccolo set di dati annotati (few-shot), possano generare segnali di supervisione di alta qualità per addestrare modelli specializzati, aggirando il collo di bottiglia dell'annotazione manuale su larga scala.
• Standard Futuro: Il dataset RD-IV-10 e le metodologie proposte offrono una base solida per lo sviluppo futuro di sistemi di IA spiegabili (XAI) in ambito sanitario, promuovendo l'adozione sicura dell'AI nei flussi di lavoro clinici.