💬 NLP

Bridging the Version Gap: Multi-version Training Improves ICD Code Prediction, Especially for Rare Codes

Questo articolo dimostra che l'addestramento di un modello di attenzione modificato per etichetta su una combinazione di dati ICD-9 e ICD-10 migliora significativamente le prestazioni di previsione dei codici ICD-10, in particolare per i codici rari, colmando efficacemente le lacune tra le versioni e affrontando il problema della coda lunga con un minor numero di parametri.

Autori originali: Jinghui Liu, Anthony Nguyen

Pubblicato 2026-05-19

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Jinghui Liu, Anthony Nguyen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Grande Problema: Un Bersaglio Mobile e una Coda Lunga

Immagina di dover organizzare una massiccia biblioteca di cartelle cliniche. Per farlo, devi assegnare a ogni paziente un "tag" specifico (un codice ICD) che descriva la sua malattia. In questo lavoro ci sono due enormi grattacapi:

Il Dizionario Cambia Costantemente: Il dizionario ufficiale dei tag medici (chiamato ICD) viene aggiornato continuamente. A volte, un tag del vecchio dizionario (ICD-9) non corrisponde perfettamente a un tag del nuovo dizionario (ICD-10). È come cercare di imparare una nuova lingua mentre i tuoi vecchi libri di testo sono ancora sullo scaffale. La maggior parte dei programmi informatici è addestrata a parlare solo una "versione" della lingua, quindi quando le regole cambiano, si confondono.
Il Problema della "Coda Lunga": La maggior parte dei pazienti ha condizioni comuni (come l'influenza o la pressione alta), che sono facili da etichettare. Ma ci sono migliaia di malattie rare che colpiscono solo una manciata di persone. Nel mondo dei dati, queste sono la "coda lunga". Poiché ci sono così pochi esempi di queste malattie rare, i modelli informatici faticano a impararle, spesso ignorandole completamente.

La Soluzione: Mescolare Vecchi e Nuovi Libri

I ricercatori si sono posti una domanda semplice: E se insegnassimo al computer utilizzando sia le vecchie cartelle cliniche (ICD-9) sia quelle nuove (ICD-10) allo stesso tempo?

Di solito, si pensa che mescolare queste due cose sarebbe un disastro perché i tag non corrispondono perfettamente (solo circa il 24% dei vecchi tag ha una corrispondenza diretta nel nuovo sistema). È come cercare di insegnare a uno studente a parlare inglese mescolandoci alcune parole francesi; ci si aspetterebbe che si confonda.

Tuttavia, i ricercatori hanno costruito un modello speciale chiamato DUALLAAT e hanno provato esattamente questo. Gli hanno somministrato un "frullato" composto da:

Vecchie cartelle da MIMIC-III (ICD-9)
Cartelle più recenti da MIMIC-IV (ICD-9)
Cartelle più recenti da MIMIC-IV (ICD-10)

Cosa è Successo? (I Risultati)

I risultati sono stati sorprendentemente buoni, agendo come una "salsa segreta" per il modello informatico:

Il Boost per le Malattie Rare: La vittoria più grande è stata per le malattie rare (la "coda lunga"). Aggiungendo i vecchi dati, la capacità del modello di individuare rari codici ICD-10 è aumentata del 27%. È come se le vecchie cartelle contenessero indizi nascosti sui concetti delle malattie, anche se i nomi specifici dei tag erano diversi. Il modello ha imparato il significato della malattia, non solo l'etichetta.
Il Boost per le Malattie Comuni: Il modello è diventato anche migliore nella gestione delle malattie comuni, migliorando la sua accuratezza complessiva senza bisogno di diventare più complesso.
Efficienza: Invece di aver bisogno di tre modelli diversi (uno per ogni versione del dataset), ne hanno avuto bisogno di uno solo per gestirli tutti. Questo ha risparmiato una quantità enorme di memoria informatica e tempo di addestramento. È come avere un traduttore universale invece di aver bisogno di un dizionario diverso per ogni paese che visiti.

Il "Perché" (L'Ingrediente Segreto)

Il documento suggerisce che il successo non è derivato dalla perfetta corrispondenza dei tag. Piuttosto, è derivato dal significato clinico condiviso.

Pensala in questo modo: anche se la parola per "attacco di cuore" è cambiata da "Infarto Miocardico" nel vecchio libro a "Infarto Miocardico Acuto" nel nuovo libro, la descrizione dei sintomi del paziente nelle note è rimasta simile. Leggendo sia le vecchie che le nuove note, il modello ha imparato a riconoscere la storia della malattia, rendendolo molto più intelligente di un modello che avesse letto solo le nuove note.

Riassunto

Il documento dimostra che non è necessario buttare via i vecchi dati medici quando i sistemi vengono aggiornati. Mescolando vecchi e nuovi registri, è possibile addestrare un singolo modello informatico più intelligente, che è migliore nell'individuare malattie rare e non si rompe quando il sistema di codifica cambia. Trasforma i dati "obsoleti" in uno strumento di addestramento prezioso.

Enunciato del Problema

Il paper affronta due sfide critiche nella codifica automatizzata della Classificazione Internazionale delle Malattie (ICD):

Evoluzione delle Versioni: I sistemi ICD subiscono aggiornamenti continui (ad esempio, da ICD-9 a ICD-10, e il futuro ICD-11). I modelli addestrati su una versione specifica con uno spazio di etichette fisso faticano a gestire questi cambiamenti, portando a disallineamenti nella distribuzione dei dati quando vengono adottate nuove versioni.
Distribuzione a Coda Lunga: Le distribuzioni dei codici ICD sono fortemente sbilanciate. In dataset come MIMIC-IV, i codici rari (che appaiono meno di 10 volte) costituiscono circa il 70% dell'insieme totale dei codici (18.000 su 26.000 codici). I modelli attuali spesso performano male su questi codici rari a causa di campioni di addestramento insufficienti, creando un collo di bottiglia per sistemi robusti e implementabili.

Una domanda chiave rimane inesplorata: è fattibile combinare dati annotati in diverse versioni ICD (ad esempio, mescolando ICD-9 e ICD-10) per addestrare un singolo modello indipendente dalla versione, o il disallineamento terminologico introduce rumore che danneggia le prestazioni?

Metodologia

Gli autori propongono un approccio di addestramento multi-versione utilizzando un modello Label-Wise Attention (LWA) modificato denominato DUALLAAT (Dual Label-wise Attention).

Architettura del Modello:
- Doppi Encoder: A differenza dei modelli LWA standard che codificano solo le note cliniche, DUALLAAT impiega due encoder di testo: uno per le note cliniche e uno separato per le descrizioni dei codici ICD.
- Embedding dei Codici: Invece di utilizzare embedding fissi per i codici, il modello genera embedding dei codici dinamicamente dalle descrizioni testuali dei codici ICD. Ciò permette al modello di elaborare codici da diverse versioni (ICD-9 o ICD-10) purché forniti come stringhe di testo.
- Meccanismo di Attenzione: Il modello utilizza un'attenzione specifica per l'etichetta per allineare i token rilevanti nella nota clinica con la specifica descrizione del codice, producendo una matrice di probabilità per $N$ note e $C$ codici.
- Varianti: Gli autori hanno testato due configurazioni di encoder: DUALLAATcnn (utilizzando una CNN di base) e DUALLAAT (utilizzando un RNN/GRU).
Strategia dei Dati:
- Dataset: Lo studio ha utilizzato tre dataset derivati da MIMIC: MIMIC-III (ICD-9), MIMIC-IV (ICD-9) e MIMIC-IV (ICD-10).
- Espansione dello Spazio delle Etichette: Gli autori hanno riestratto tutti i codici da MIMIC per includere i codici rari (frequenza < 10), espandendo lo spazio delle etichette ICD-10 da 8.000 (frequenti) a 26.000 (insieme completo).
- Procedura di Addestramento: I set di addestramento da tutti e tre i dataset sono stati aggregati. Per gestire l'addestramento in batch con versioni miste, gli autori hanno implementato un campionatore che garantisce che ogni batch contenga solo una versione ICD (o ICD-9 o ICD-10), mescolando i batch di versioni diverse durante il processo di addestramento. Ciò stabilizza la dimensione dello spazio delle etichette esponendo contemporaneamente il modello a dati multi-versione.
Baseline:
- PLM-ICD: Una baseline solida che utilizza BERT in dominio con finestre scorrevoli e LWA.
- CoRelation: Un modello che utilizza grafi bipartiti per modellare le relazioni tra i codici.
- CAML & LAAT: Precedenti modelli LWA basati su CNN e RNN.

Risultati Chiave

Gli esperimenti hanno dimostrato che mescolare dati ICD-9 nell'addestramento ICD-10 produce miglioramenti significativi, in particolare per i codici rari.

Prestazioni sui Codici Rari (ICD-10):
- L'aggiunta di dati ICD-9 al set di addestramento ha portato a un aumento relativo del 27,4% della Micro F1 per 18.000 codici ICD-10 rari (migliorando da 8,4 a 10,7) rispetto all'addestramento su soli dati ICD-10.
- Questo miglioramento è stato ottenuto con un modello significativamente più piccolo (37M di parametri per DUALLAAT contro 137M per PLM-ICD).
Prestazioni sui Codici Frequenti:
- Per i 8.000 codici ICD-10 frequenti, l'addestramento multi-versione ha migliorato il punteggio Macro F1 di circa il 7% (da 27,9 a 29,9).
- Il DUALLAAT addestrato in modo misto ha raggiunto prestazioni comparabili o superiori a PLM-ICD e CoRelation su insiemi di codici completi, con punteggi Macro F1 notevolmente più alti (11,2 contro 6,3 per CoRelation), indicando una migliore robustezza lungo la coda lunga.
Efficienza:
- Efficienza dei Parametri: Un singolo modello DUALLAAT addestrato su dati misti può gestire più versioni ICD, mentre sarebbero necessari modelli PLM-ICD separati per ciascuna versione.
- Tempo di Addestramento: Il DUALLAAT su dati misti ha convergito in circa 18 ore (57 ore per l'intero dataset misto), significativamente più velocemente delle 95 ore richieste per addestrare tre modelli PLM-ICD separati per i tre benchmark.

Significato e Affermazioni

Il paper afferma che la combinazione di dataset multi-versione crea un effetto sinergico per la codifica ICD, sfidando l'assunzione che i disallineamenti di versione introducano necessariamente rumore dannoso.

Semantica Condivisa sovrapposizione Diretta: Gli autori notano che solo circa il 24,3% dei codici ICD-9 ha corrispondenze esatte in ICD-10. I guadagni di prestazioni osservati suggeriscono che i benefici derivano dall'apprendimento di semantica clinica condivisa tra le versioni piuttosto che dalla sovrapposizione diretta delle etichette.
Utilizzo dei Dati Legacy: Lo studio dimostra che i record dei pazienti legacy (ad esempio, ICD-9) possono essere sfruttati efficacemente per addestrare modelli più robusti per i sistemi attuali (ICD-10), risolvendo potenzialmente i problemi di avvio a freddo per le future versioni (ICD-11).
Dati vs. Architettura: I risultati suggeriscono che migliorare la diversità dei dati di addestramento (tramite il mescolamento multi-versione) può essere tanto impattante quanto i miglioramenti architetturali, che sono stati il focus principale della letteratura recente.
Implementazione Pratica: L'approccio offre una soluzione più efficiente per contesti a risorse limitate riducendo il numero di parametri del modello richiesti e il tempo di addestramento, mantenendo al contempo elevate prestazioni su diverse versioni ICD.

Gli autori concludono che, sebbene il loro studio sia limitato ai dataset MIMIC e all'ICD-CM in inglese, i principi dell'addestramento multi-versione offrono una direzione promettente per scalare la ricerca sulla codifica ICD e gestire le modifiche continue del sistema.