Managing Map Cardinality in Automatic Disease Classification Mapping: Balancing Precision, Recall and Coverage

Sintesi Tecnica: Gestione della Cardinalità delle Mappe nella Classificazione Automatica delle Malattie

Definizione del Problema
La mappatura automatica dei sistemi di classificazione delle malattie, come la Classificazione Internazionale delle Malazioni (ICD), è fondamentale per l'integrazione dei dati sanitari e l'analisi longitudinale. Tuttavia, gli esistenti metodi basati su embedding si concentrano principalmente su mappature uno-a-uno, fallendo nel gestire scenari complessi uno-a-molti in cui un singolo codice sorgente corrisponde semanticamente a più codici target. Le attuali strategie di selezione per gestire la cardinalità — specificamente quelle basate su soglia (threshold) e sui top-K — soffrono di intrinseci compromessi tra precisione, richiamo (recall) e copertura della mappatura (la proporzione di codici sorgente con almeno una mappatura).

• I metodi basati su soglia privilegiano la precisione a scapito del richiamo e della copertura; soglie elevate producono una bassa copertura, lasciando molti codici sorgente non mappati.
• I metodi Top-K garantiscono un'alta copertura e un alto richiamo, ma sacrificano la precisione imponendo un numero fisso di corrispondenze, introducendo spesso significativi falsi positivi (ad esempio, generando $K-1$ falsi positivi per mappature valide uno-a-uno).

Questi limiti creano un collo di bottiglia per la validazione manuale, dove gli esperti di terminologia devono o setacciare un eccesso di falsi positivi o mappare manualmente ampi vuoti di dati non mappati.

Metodologia
Gli autori propongono un nuovo framework di blocking-and-matching (bloccaggio e corrispondenza), ispirato alle pipeline di risoluzione delle entità, per generare automaticamente mappature tra diverse versioni ICD (ad es., ICD-9-CM $\leftrightarrow$ ICD-10-CM e ICD-10-AM $\leftrightarrow$ ICD-11). L'approccio opera in due fasi distinte:

1. Fase di Blocking (Generazione dei Candidati):
   Inveve di valutare tutte le possibili coppie, il metodo genera un set ridotto di codici target candidati per ogni codice sorgente. Gli autori introducono una strategia di selezione ibrida che combina:

   • Selezione Top-K: Recupera i primi $K$ codici target in base alla similarità degli embedding.
   • Espansione della Mappatura Bidirezionale (BiMaps): Costruisce mappature uno-a-uno in entrambe le direzioni (Sorgente $\to$ Target e Target $\to$ Sorgente) e le aggrega.
     L'unione di questi set forma il "blocco" dei candidati. Questo approccio ibrido mira a massimizzare il richiamo (mantenendo i veri match) minimizzando al contempo la dimensione del blocco per evitare il fenomeno "lost in the middle" nei Large Language Models (LLM), dove un contesto eccessivo degrada le prestazioni.

2. Fase di Matching (Selezione tramite LLM):
   Il compito di matching viene riformulato come una Domanda a Scelta Multipla (MCQ). Per ogni codice sorgente e il suo blocco di candidati, viene costruito un prompt che istruisce un Large Language Model (specificamente Qwen3-8B) nell'identificare tutti i codoli target semanticamente equivalenti. A differenza della tradizionale Entity Resolution che spesso seleziona un singolo match, questo approccio consente all'LLM di selezionare zero, uno o più opzioni, affrontando direttamente la sfida della cardinalità uno-a-molti.

Contributi Chiave

1. Framework Innovativo: Introduzione di una pipeline di blocking-and-matching che integra la generazione di candidati basata su embedding con la selezione guidata da LLM per la mappatura ICD.
2. Mitigazione dei Compromessi: Il metodo affronta il trade-off precisione-richiamo-copertura inerente ai metodi di selezione, fornendo un'alta precisione pur mantenendo un richiamo comparabile e un'ampia copertura di mappatura.
3. Strategia di Blocking Ibrida: Sviluppo di una strategia Top-K + BiMaps che bilancia l'efficienza computazionale con la conservazione delle coppie di candidati valide.
4. Validazione Empirica: Dimostrazione di prestazioni equilibrate attraverso molteplici coppie di versioni ICD e tre capitoli specifici di malattie (Digestivo, Infettivo/Parassitario e Respiratorio).

Risultati
Lo studio ha valutato il metodo proposto rispetto ai baseline di soglia ($\lambda=0.85$) e top-K ($K=5$) attraverso quattro compiti di mappatura.

• Precisione: Il framework di blocking-and-matching ha raggiunto la precisione più elevata in quasi tutti i compiti (variando da 0,47 a 0,71), rappresentando un miglioramento di 2–3,5 volte rispetto al baseline Top-K e un miglioramento di 5–35 punti percentuali rispetto a BiMaps nella maggior parte dei casi.
• Richiamo (Recall): Il framework ha mantenuto un richiamo competitivo (0,53–0,85), comparabile ai baseline ad alto richiamo di BiMaps e Top-K, senza le penalità di precisione associate alla selezione indiscriminata Top-K.
• Copertura: Il metodo ha raggiunto una copertura di mappatura quasi perfetta (MC $\ge$ 0,98), assicurando che quasi ogni codice sorgente ricevesse almeno una mappatura candidata, superando così i limiti di copertura dei metodi basati su soglia.
• F1-Score: Il framework ha ottenuto i punteggi F1 più elevati (0,53–0,77) in 11 dei 12 compiti di mappatura, dimostrando un equilibrio superiore tra precisione e richiamo.

Significatività e Rivendicazioni
L'articolo sostiene che il framework proposto offre una soluzione robusta e "training-free" per la mappatura automatica della classificazione delle malattie. Sfruttando la conoscenza medica di uso generale incorporata negli LLM pre-addestrati tramite zero-shot prompting, il metodo evita la necessità di fine-tuning specifici per il compito o di dati di mappatura etichettati.

Gli autori sottolineano che, sebbene l'approccio basato su LLM introduca un carico computazionale (ad es., ~43 ore per i dataset valutati), questo è un investimento iniziale giustificabile rispetto alla natura laboriosa e lunga della mappatura manuale, che spesso richiede grandi team di esperti e finanziamenti significativi. Il metodo è particolarmente significativo per le grandi transizioni di versione ICD (che avvengono infrequente), dove la creazione di tabelle di mappatura di alta qualità e riutilizzabili è essenziale per l'interoperabilità dei dati sanitari a valle. L'approccio riduce efficacementamente il carico di lavoro manuale per gli esperti di terminologia filtrando i candidati irrilevanti (alta precisione) garantendo al contempo che nessuna mappatura valida venga persa (alta copertura).