Riepilogo Tecnico: Embedding Allineati al Compito per il Recupero di Codici Clinici

Definizione del Problema

La codifica clinica è un compito di recupero semantico fine-grained ad alto rischio, dove brevi menzioni cliniche devono essere mappate su codici ICD-10/CIE-10 specifici. A differenza della ricerca semantica generica, questo compito richiede di distinguere tra condizioni clinicamente simili che differiscono solo per sottili qualificatori come gravità, localizzazione anatomica, lateralità, temporalità o eziologia. Ad esempio, i codici per "Brucellosi dovuta a Brucella suis" e "Brucellosi dovuta a Brucella melitensis" sono semanticamente vicini ma rappresentano codici distinti e non intercambiabili.

Il settore affronta quattro limitazioni primarie:

1. Bias Linguistico: La maggior parte dei modelli di embedding pubblici (es. BioBERT, ClinicalBERT) e delle risorse biomediche sono ottimizzati per l'inglese, lasciando spagnolo e altre lingue cliniche sotto-rappresentati.
2. Mismatch di Granularità: Gli encoder general-purpose catturano una generica correlazione semantica ma non riescono a apprendere i confini decisionali fini richiesti per l'assegnazione di codici specifici.
3. Scarsità di Dati: I dati clinici annotati manualmente sono costosi e scarsi, particolarmente in contesti multilingue dove i vocabolari di codifica locali e i livelli di granularità variano.
4. Disallineamento Architetturale: I sistemi di recupero a due stadi spesso soffrono di disallineamento; un bi-encoder ad alto richiamo (recall) può fallire nel recuperare il codice corretto, o un reranker potrebbe non essere in grado di ordinare i candidati clinicamente adiacenti se il recupero iniziale è scarso.

Metodologia

Gli autori propongono un'architettura di recupero neurale a due stadi addestrata su una supervisione sintetica di alta qualità e allineata al compito, generata da un Large Language Model (LLM) di frontiera.

1. Generazione di Dati Sintetici

Invece di fare affidamento su una debole supervisione su scala web, gli autori hanno utilizzato Google DeepMind Gemini 2.5 Flash Pro per agire come un "tutor" per uno spazio di etichette controllato. L'LLM ha generato due dataset distinti radicati nella gerarchia ICD-10:

• Dataset A (Addestramento Bi-Encoder): 19.502 esempi sintetici in sei lingue (inglese, spagnolo, catalano, italiano, portoghese, francese). Ogni esempio include una query clinica, coppie positive (parafresi/descrizioni canoniche), negativi difficili (hard negatives - codici semanticamente adiacenti all'interno dello stesso capitolo) e negativi morbidi (soft negatives - capitoli non correlati). Questo design costringe il modello a imparare distinzioni fini.
• Dataset B (Addestramento Cross-Encoder): 10.628 gruppi listwise ancorati a menzioni cliniche reali in spagnolo (da CodiESP). Ogni gruppo contiene una query, un elemento positivo e fino a nove negativi difficili campionati per adiacenza lessicale ed embedding.

2. Architettura del Modello

Il sistema segue un paradigma di recupero e ri-ordinamento (retrieve-and-rerank):

• Bi-Encoder (Stadio 1): Inizializzato da PlanTL-GOB-ES/bsc-bio-ehr-es (un modello BERT biomedico spagnolo). È sottoposto a fine-tuning utilizzando MultipleNegativesRankingLoss sul Dataset A. Proietta query e candidati in uno spazio vettoriale condiviso per un recupero efficiente dei top-k.
• Cross-Encoder (Stadio 2): Inizializzato dal checkpoint del bi-encoder sottoposto a fine-tuning. Elabora congiuntamente le coppie query-candidato per produrre un punteggio di rilevanza preciso. È addestrato sul Dataset B utilizzando un obiettivo di cross-entropy softmax listwise con negativi difficili.

3. Configurazione della Valutazione

Il sistema è stato valutato su due dataset clinici spagnoli non utilizzati in fase di addestramento (held-out):

• CodiESP v4: 3.664 coppie menzione-codice (benchmark primario).
• DISTEMIST: 1.224 menzioni di malattie (benchmark secondario per la generalizzazione).

Le prestazioni sono state misurate rispetto ai baseline lessicali (BM25) e a sentence-transformers standard (MiniLM-L6-v2, BioBERT-ST, MPNet-v2) utilizzando F1, MAP@10, Precision e Recall a livello di codice esatto, categoria (3 caratteri) e capitolo.

Risultati Chiave

Il sistema proposto ha superato significativamente tutti i baseline pubblici e i precedenti risultati allo stato dell'arte sul benchmark CodiESP.

• Prestazioni su CodiESP v4:
  • TietAI Cross-Encoder: Ha raggiunto F1 = 0.709 (codice esatto) e MAP@10 = 0.747.
  • Confronto: Ciò rappresenta un miglioramento di 48,4 punti percentuali rispetto al miglior encoder pubblico (MiniLM-L6-v2, F1=0.225) e un miglioramento di 51,6 punti rispetto al baseline in-domain inglese S-BioBERT (F1=0.193).
  • Gerarchia: Al livello di categoria, il sistema ha raggiunto F1 = 0.823 e MAP@10 = 0.851.
• Prestazioni su DISTEMIST:
  • Il sistema ha raggiunto F1 = 0.776 (codice esatto) e MAP@10 = 0.812, confermando che i risultati si generalizzano a un corpus diverso.
• Fallimenti dei Baseline: Controintuitivamente, modelli più grandi (MPNet-v2) e il pre-addestramento biomedico specifico per l'inglese (S-BioBERT) hanno performato peggio di modelli più piccoli e general-purpose (MiniLM-L6-v2) e del sistema proposto allineato al compito. Ciò suggerisce che il pre-addestramento biomedico generico non si trasferisce bene alla codifica clinica in spagnolo senza un allineamento specifico al compito.

Contributi e Significato

Il paper apporta tre contributi primari:

1. Ricetta Riproducibile: Documenta un metodo per addestrare recuperatori ICD a due stadi utilizzando una supervisione multilingue generata da LLM, dimostrando che dati sintetici di alta qualità possono compensare la mancanza di grandi corpora clinici annotati.
2. Curatela dei Dati sopra la Scala del Modello: I risultati indicano che la supervisione allineata al compito e la copertura linguistica sono più critiche della scala del modello o del pre-addestramento biomedico generico. Gli autori sostengono che dataset sintetici accuratamente curati (circa 19,5k coppie per il bi-encoder e 10,6k gruppi per il cross-encoder) possono abilitare sistemi compatti ed efficaci senza un addestramento su scala web.
3. Ruolo del Reranking: Lo studio quantifica la necessità del reranking tramite cross-encoder per risolvere le distinzioni a livello di qualificatore (es. lateralità, gravità) comuni nell'ICD-10. Mentre il bi-encoder fornisce un forte richiamo (MAP@10 ~0.69 a livello di categoria), il cross-encoder è essenziale per calibrare l'ordinamento top-1.

Conclusione e Lavori Futuri

Gli autori concludono che per il recupero medico specializzato, la curatela dei dati è il vincolo determinante, non la dimensione del modello. La loro pipeline raggiunge un F1 di 0.709 su CodiESP, superando i migliori risultati del compito condiviso CodiESP 2020 (F1=0.687), nonostante l'uso di un bi-encoder addestrato esclusivamente su dati sintetici fuori campione.

Il paper suggerisce un'architettura di produzione composta da un bi-encoder universale e curato per la generazione di candidati, accoppiato con cross-encoder specifici per lingua o specialità per il reranking. Il lavoro futuro proposto include:

• Valutazione multilingue per isolare gli effetti linguistici (testando italiano, portoghese e catalano).
• Scalare il corpus sintetico di un ordine di grandezza per coprire combinazioni di qualificatori rari.
• Sostituire il cross-encoder con un agente di codifica basato su LLM che operi sulla shortlist del bi-encoder.

Gli autori mantengono una posizione modesta, osservando che i dati sintetici non sono un sostituto della valutazione clinica reale e che gli esempi generati potrebbero mancare del rumore tipico delle note del mondo reale. Tuttavia, affermano che i loro risultati dimostrano la fattibilità di approcci a piccoli dati e allineati al compito per la ricerca semantica clinica.