💻 computer science

A Multi-Criteria Decision Framework for Aggregating Ranked ICD-10 Code Suggestions from Large Language Models

Questo studio dimostra che l'applicazione di metodi di aggregazione dei ranghi della Multi-Criteria Decision Analysis, in particolare il Borda Count e il Reciprocal Rank Fusion, per combinare gli output di molteplici Large Language Models migliora significativamente l'accuratezza e la stabilità della codifica clinica automatizzata ICD-10 rispetto all'utilizzo di singoli modelli o di semplici schemi di voto.

Autori originali: Ricardo da Silva Santos, Murilo Gleysson Gazzola, Paulo Marcelino Figueira, Adriana Gomes Luz, Rodolfo de Carvalho Pacagnella, Cristiano Torezzan

Pubblicato 2026-08-13

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Ricardo da Silva Santos, Murilo Gleysson Gazzola, Paulo Marcelino Figueira, Adriana Gomes Luz, Rodolfo de Carvalho Pacagnella, Cristiano Torezzan

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di risolvere un puzzle gigante e disordinoso dove i pezzi sono diagnosi mediche. Nel mondo dell'assistenza sanitaria, ogni storia del paziente deve essere tradotta in un codice specifico, come un linguaggio segreto chiamato ICD-10, affinché gli ospedali possano monitorare le malattie e ricevere i pagamenti. Ma questo linguaggio è enorme, complicato e pieno di regole truccate. Recentemente, programmi per computer super intelligenti chiamati Large Language Models (LLM) hanno imparato a indovinare questi codici leggendo gli appunti dei medici. Pensa a questi modelli come a una squadra di detective brillanti ma leggermente diversi. Ogni detective esamina lo stesso fascio di casi e propone la propria lista di sospettati (i codici), classificandoli da "più probabile" a "meno probabile". Il problema è che, a volte, il Detective A pensa che il Sospettato X sia il colpevole, mentre il Detective B è convinto che sia il Sospettato Y. Se ascolti solo un detective, potresti sbagliare. È qui che entra in gioco un campo chiamato Multi-Criteria Decision Analysis. È fondamentalmente l'arte di prendere molte opinioni diverse e mescolarle insieme per trovare la singola risposta migliore, un po' come un giuria che combina le testimonianze per raggiungere un verdetto. La grande domanda è: come si mescolano queste liste di sospettati in modo che il gruppo finale sia più intelligente di qualsiasi singolo detective da solo?

Questo articolo affronta esattamente quella domanda, trattando ogni modello di IA come un separato "votante" in un'elezione grandiosa per i codici medici corretti. I ricercatori hanno preso 1.117 note mediche reali relative all'ostetricia (legate alla gravidanza) scritte in portoghese brasiliano e hanno chiesto a cinque diversi e potenti modelli di IA di generare una lista classificata di possibili codici per ogni nota. Inveve di scegliere il vincitore da un solo modello, hanno testato tre modi diversi per combinare tutte le liste in un'unica lista di "consenso". Hanno provato un metodo semplice chiamato "Plurality Voting" (dove il codice che appare in cima alla maggior parte delle liste vince), un metodo più dettagliato chiamato "Borda Count" (dove un codice riceve punti in base a quanto alto appare in ogni lista, non solo nel primo posto), e un metodo chiamato "Reciprocal Rank Fusion" (che dà una spinta significativa ai codici che appaiono vicino alla cima, ma conta comunque quelli più in basso).

I risultati sono stati piuttosto chiari e sorprendenti nella loro semplicità. Il team ha scoperto che combinare i modelli ha quasi sempre funzionato meglio che fidarsi del singolo miglior modello da solo. Nello specifico, il metodo "Borda Count" è stato il protagonista della scena. Quando i ricercatori hanno esaminato i primi 3 suggerimenti (un numero che hanno trovato essere il punto di equilibrio ideale tra accuratezza e copertura), il metodo Borda Count ha migliorato l'accuratezza complessiva di circa il 20% a livello di categoria ampia e di quasi il 19% a livello di codice specifico rispetto al miglior IA individuale. Ciò suggerisce che ascoltare la "folla" di modelli di IA, specialmente prestando attenzione a dove un codice appare nella lista di tutti, crea una decisione molto più affidabile rispetto al fare affidamento su un singolo esperto.

Tuttavia, l'articolo anche esclude alcune possibilità. Ha scoperto che il metodo più semplice, il "Plurality Voting" (contare solo chi è al #1), non funzionava bene quanto i metodi più sfumati che guardavano l'intera classifica. Ha anche dimostrato che non si possono semplicemente aggiungere suggerimenti alla lista all'infinito. Sebbene aggiungere più codici aiuti a catturare più diagnosi vere (recall), alla fine trascina verso il basso l'accuratezza perché si iniziano a includere troppi errori (precision). Lo studio suggerisce che il "numero d'oro" è 3; andare oltre di più, la qualità della decisione inizia a scendere. Inoltre, gli autori notano che semplicemente dare più peso ai modelli "più forti" non ha aiutato molto; la combinazione non pesata e semplice di tutti i modelli era altrettanto buona di quelle pesate e complesse.

In breve, l'articolo suggerisce che per la codifica clinica la strategia migliore non è trovare il modello di IA perfetto, ma lasciare che alcuni diversi modelli votino, usando un sistema che rispetti le loro classifiche complete. Questo approccio offre un modo pratico e robusto per migliorare il processo decisionale medico senza dover riaddestrare i modelli o sbirciare dentro le loro "scatole nere". Le scoperte si basano su dati reali e test statistici con intervalli di confidenza, dimostrando che questo metodo è un modo stabile ed efficace per gestire la realtà disordinata della codifica medica.

Sintesi Tecnica: Un framework decisionale multicriterio per l'aggregazione di suggerimenti di codici ICD-10 classificati da Large Language Models

Formulazione del Problema
La codifica clinica automatizzata utilizzando la Classificazione Internazionale delle Malattie, decima revisione (ICD-10), rimane una sfida complessa a causa della natura gerarchica della tassonomia e della variabilità della terminologia medica. Sebbene i Large Language Models (LLM) abbiano dimostrato la capacità di generare liste classificate di codici candidati ICD-10 da testi clinici non strutturati, i singoli modelli spesso esibiscono instabilità e affidabilità limitata quando utilizzati isolatamente. Diversi modelli possono produrre classifiche contrastanti per la stessa nota clinica a causa delle variazioni nei dati di addestramento e nelle architetture.

Questo studio affronta il problema decisionale di come aggregare questi output disparati e classificati in un unico consenso affidabile. Gli autori formulano l'assegnazione dei codici ICD-10 come un problema di Analisi Decisionale Multi-Criterio (MCDA), in cui ogni LLM funge da agente decisionale indipendente che fornisce un ordinamento di preferenza su codici candidati. La sfida principale consiste nel determinare la strategia di aggregazione ottimale e il numero di codici con la posizione più alta ( $k$ ) da selezionare per bilanciare precisione e richiamo in un contesto di supporto decisionale pratico.

Metodologia
La ricerca utilizza un dataset di 1.117 note cliniche ostetriche in portoghese brasiliano, ciascuna annotata con codici ICD-10 di riferimento (ground-truth). Lo studio impiega cinque distinti LLM (GPT-4o, DeepSeek-V3, Maritalk Sabiá-3.1, Gemini 1.5 Flash e GPT-4o-Mini) come agenti decisionali. Questi modelli generano liste classificate di codici candidati per ogni documento.

Lo studio valuta tre metodi classici di aggregazione di classifiche provenienti dalla teoria del voto e dalla MCDA:

Voto di Maggioranza (Plurality Voting): Un approccio "first-past-the-post" in cui un codice riceve un voto solo se appare nella top- $k$ della classifica di un modello, indipendentemente dalla sua specifica posizione all'interno di tale intervallo.
Conteggio di Borda (Borda Count): Una regola di punteggio posizionale in cui un codice alla posizione $r$ in una lista di $n$ candidati riceve $(n - r + 1)$ punti. Questo metodo sfrutta l'intera struttura della classifica piuttosto che la sola presenza nella top- $k$ .
Fusione del Rango Reciproco (Reciprocal Rank Fusion - RRF): Un metodo che assegna pesi basati sul reciproco della posizione in classifica ( $1 / (k_0 + r)$ ), smussando i contributi degli elementi in posizioni inferiori e dando priorità a quelli in cima alla classifica.

Le prestazioni sono valutate utilizzando i punteggi Micro-Precision, Micro-Recall e Micro-F1 a due livelli di granularità: il livello di categoria a 3 caratteri e il livello di codice completo ("leaf code"). La robustezza è valutata tramite campionamento bootstrap con intervalli di confidenza al 95%. Lo studio analizza specificamente l'impatto della variazione di $k$ (il numero di codici selezionati) da 1 a 10.

Contributi Principali
Il documento apporta tre contributi primari:

Formalizzazione: Formalizza l'assegnazione dei codici ICD-10 da molteplici modelli predittivi come un problema decisionale multi-criterio basato su alternative classificate.
Valutazione Empirica: Fornisce una valutazione completa dei metodi di aggregazione delle classifiche (Plurality, Borda, RRF) attraverso diversi livelli di granularità del codice in un contesto clinico non inglese (portoghese brasiliano).
Implicazioni Pratiche: Dimostra che strategie di aggregazione semplici e interpretabili possono migliorare la coerenza decisionale senza richiedere il riaddestramento dei modelli o l'accesso ai parametri interni proprietari dei modelli.

Risultati
I risultati empirici indicano che i metodi di aggregazione basati sulla classifica superano costantemente il miglior modello individuale. Le scoperte chiave includono:

$k$ Ottimale: Le prestazioni mostrano un comportamento non monotono rispetto a $k$ . Sebbene l'aumento di $k$ migliori inizialmente il richiamo (recall), esso finisce per degradare la precisione. Il bilanciamento ottimale per tutti i metodi è stato individuato a $k=3$ .
Superiorità del Conteggio di Borda: Il metodo Borda Count ha ottenuto le prestazioni più elevate in entrambi i livelli di valutazione. A $k=3$ , ha raggiunto un punteggio Micro-F1 di 0,4807 al livello di 3 caratteri (un guadagno relativo del 20,4% rispetto al miglior modello individuale, GPT-4o-Mini) e di 0,2112 al livello di codice completo (un guadagno del 19,0% rispetto a DeepSeek-V3).
Confronto tra Metodi: I metodi che incorporano l'intera informazione della classifica (Borda e RRF) hanno superato costantemente gli schemi di voto semplici (Plurality). Tuttavia, le strategie di aggregazione pesata non hanno prodotto miglioramenti statisticamente significativi rispetto ai metodi non pesati in questo specifico contesto.
Robustezza: I miglioramenti osservati con l'aggregazione sono stati coerenti attraverso gli intervalli di confidenza bootstrap, indicando una robustezza statistica.

Significatività e Rivendicazioni
Gli autori affermano che questo studio dimostra come l'aggregazione delle classifiche fornisca un approccio fondato ed efficace per combinare molteplici agenti decisionali imperfetti in compiti di codifica clinica. Le conclusioni suggeriscono che:

Affidabilità dell'Ensemble: L'aggregazione degli output di molteplici LLM crea un sistema di supporto decisionale più robusto rispetto all'utilizzo di un singolo modello, particolarmente in scenari multi-label complessi.
Interpretabilità: Strategie di aggregazione semplici come il Borda Count possono migliorare significativamente la qualità delle decisioni senza il costo computazionale o la complessità del fine-tuning dei modelli o dell'accesso ai parametri interni dei modelli.
Idoneità per l'Uomo nel Ciclo (Human-in-the-Loop): Le classifiche di consenso risultanti sono ben adatte ai flussi di lavoro "human-in-the-loop", dove una lista breve e di alta qualità di codici candidati (ad esempio, i primi 3) può essere revisionata e validata efficientemente da esperti di codifica, migliorando così sia l'accuratezza che l'efficienza nell'amministrazione sanitaria.

Lo studio riconosce i limiti, incluso l'uso di un singolo ambito clinico (ostetricia) e il focus sul prompting zero-shot, suggerendo che i lavori futuri dovrebbero esplorare l'aggregazione adattiva, la ponderazione basata sull'affidabilità e domini clinici più ampi.

Sintesi Tecnica: Un framework decisionale multicriterio per l'aggregazione di suggerimenti di codici ICD-10 classificati da Large Language Models

Articoli simili