Sintesi Tecnica: RASC+ – Adjudicazione di LLM con Vincolo di Recupero per l'Autore di Set di Valori Clinici

Definizione del Problema

I set di valori clinici definiscono la terminologia standardizzata (ad es., SNOMED-CT, ICD-10-CM, RxNorm) necessaria per la misurazione della qualità elettronica, il fenotipizzazione e il supporto alle decisioni cliniche. L'autore di questi set non è un compito di generazione di testo standard; richiede la selezione di un sottoinsieme preciso da un universo terminologico massiccio e controllato da versioni.

Il benchmark Retrieval-Augmented Set Completion (RASC) ha dimostrato precedentemente che la generazione diretta tramite Large Language Model (LLM) zero-shot è inadatta a questo compito. Gli LLM faticano a memorizzare i vasti sistemi di codifica versionati e generano frequentemente codici assenti dal corpus autoritativo del Value Set Authority Center (VSAC). L'approccio RASC originale inquadrava il problema come un processo in due fasi: il recupero di set di valori simili preesistenti per formare un pool di candidati, e successivamente la classificazione dei candidati. Tuttavia, la pipeline originale, basata su embedding SAPBert e un cross-encoder, ha raggiunto un macro F1 di soli 0,298 sull'intero set di test, con cali significativi delle prestazioni sui publisher out-of-distribution (OOD).

Metodologia

Questo lavoro propone RASC+, un'ottimizzazione a stadi della formulazione "retrieve-then-select" (recupera e seleziona). Gli autori scompongono il problema in due obiettivi distinti:

1. Fase 1 (Costruzione del Pool di Candidati): Massimizzare il richiamo (esporre il maggior numero possibile di codici reali) anche a costo della precisione, garantendo che il "tetto di richiamo" sia elevato.
2. Fase 2 (Adjudicazione dei Candidati): Massimizzare la precisione selezionando il sottoinsieme corretto dal pool espanso, preservando il vincolo di sicurezza secondo cui tutti gli output devono originare dal pool di candidati verificabile.

Fase 1: Costruzione del Pool Potenziata

Gli autori sostituiscono il recuperatore di titoli SAPBert originale con una pipeline più robusta:

• Recupero Semantico: Utilizza Qwen3-Embedding-0.6B per recuperare i $K=15$ vicini più prossimi dei set di valori (aumentati da $K=10$) basandosi sulla similarità del coseno degli embedding dei titoli normalizzati.
• Espansione Consapevole del Vocabolario: Per catturare codici strutturalmente vicini ai semi recuperati ma assenti nei set sorgente, il sistema espande il pool utilizzando grafi specifici per vocabolario:
  • ICD-10-CM: Collegamenti tra figlio e fratello (child/sibling links).
  • RxNorm & SNOMED-CT: Collegamenti tra vicini di relazione (relation-neighbor links).
  • Vincoli: L'espansione è limitata (massimo 3 nuovi codici per seme, 60 per vocabolario) per mantenere la verificabilità del pool.
• Recupero di Salvataggio tramite Display del Codice: Per affrontare le discrepanze di formulazione tra i titoli target e i titoli del corpus di addestramento (un fallimento critico per i publisher OOD), il sistema indicizza le stringhe di display dei codici tramite BM25. I primi 10 match per vocabolario vengono aggiunti come semi, seguiti dallo stesso processo di espansione basato su grafo.

Il pool di candidati finale ($C_v$) è l'unione dei codici derivati dalla sorgente, dei codici espansi per vocabolario e dei codici di salvataggio tramite display.

Fase 2: Adjudicazione Vincolata

Due selettori sono valutati sullo stesso pool espanso:

1. Cross-Encoder SAPBert: L'originale classificatore RASC applicato al pool espanso senza riaddestramento o ricalibrazione delle soglie. Serve come controllo conservativo per testare se un pool più ampio migliori da solo le prestazioni.
2. Adjudicazione GPT-5: Un LLM vincolato che riceve i metadati del set di valori target e il pool di candidati. Gli è severamente vietato generare nuovi codici; deve restituire una lista JSON di ID candidati tratti dal pool fornito.
   • Cecità (Blinding): Il prompt esclude OID, nomi di publisher e label della verità fondamentale (ground truth) per prevenire la memorizzazione o la fuga di informazioni (leakage).
   • Frammentazione (Chunking): Per i pool che superano i 1.200 candidati, il pool viene suddiviso in chunk deterministici. Il modello elabora ogni chunk indipendentemente e le predizioni finali sono l'unione degli ID selezionati.

Contributi Chiave

1. Elevazione del Tetto di Richiamo: Gli autori dimostrano che l'ottimizzazione del recupero e dell'espansione eleva significativamente il tetto di richiamo. Sul set di test completo, il richiamo del pool di candidati è aumentato dal baseline RASC originale di 0,553 a 0,730. Per i publisher non visti (OOD), il richiamo è migliorato da 0,543 a 0,655.
2. Superiorità dell'Adjudicazione: Lo studio mostra che un LLM vincolato (GPT-5) può filtrare efficacemente il pool più ampio e rumoroso dove i cross-encoder tradizionali falliscono. Sostituire SAPBert con GPT-5 sul pool espanso ha aumentato il macro F1 del test completo da 0,287 a 0,549.
3. Robustezza OOD: L'approccio migliora significativamente la generalizzazione verso publisher non visti. Sui publisher OOD, GPT-5 ha raggiunto un macro F1 di 0,533, rispetto allo 0,233 di SAPBert sullo stesso pool.

Risultati

Il documento riporta i seguenti indicatori chiave sul split di test di 3.744 set di valori:

Metrica	RASC Originale (SAPBert)	Pool Espanso + SAPBert	Pool Espanso + GPT-5
Richiamo Pool (Full Test)	0,553	0,730	0,730
Macro F1 (Full Test)	0,298	0,287	0,549
Macro F1 (OOD)	0,233*	0,233	0,533
Macro Precision (OOD)	-	0,229	0,642
Macro Recall (OOD)	-	0,415	0,564

*Nota: Il F1 OOD originale di RASC è inferito dal testo come baseline per il confronto, sebbene la specifica suddivisione OOD per l'originale SAPBert non sia stata esplicitamente dettagliata nel manoscritto originale; il paper confronta il nuovo risultato SAPBert sul pool espanso con il risultato del full-test originale.

I risultati indicano che, sebbene il pool espanso introduca più falsi positivi (abbassando la precisione del solo recupero), l'adjudicatore GPT-5 riesce a filtrarli pur mantenendo un'alta frazione di veri positivi. Il "richiamo del pool ristretto" (la frazione di codici veri nel pool che vengono selezionati) per GPT-5 è 0,757, indicando che il modello perde alcuni codici recuperabili ma performa significativamente meglio del cross-encoder.

Significato e Rivendicazioni

Il paper sostiene che l'adjudicazione tramite LLM con vincolo di recupero sia un paradigma superiore per l'autore di set di valori clinici rispetto alla generazione non vincolata o ai cross-encoder statici.

• Sicurezza e Verificabilità: Vincolando l'LLM alla selezione esclusivamente da un pool di candidati recuperato, il sistema preserva la proprietà di "sicurezza ancorata al corpus". Impedisce la generazione di codici non validi o allucinati, un requisito critico per le applicazioni cliniche.
• Decomposizione dei Compiti: Il lavoro valida l'ipotesi che separare il richiamo (costruzione del pool) dalla precisione (adjudicazione) permetta un'ottimizzazione specializzata. Un pool ad alto richiamo fornisce il "tetto" necessario per le prestazioni, che un LLM forte può poi navigare più efficacementamente di un classificatore tradizionale.
• Ruolo di Supporto alle Decisioni: Gli autori posizionano il sistema come uno strumento di supporto alle decisioni piuttosto che come un autore autonomo. Riduce il carico di revisione umana presentando un set di candidati classificati e ricchi di provenienza, pur riconoscendo che i curatori umani devono comunque validare le scelte di modellazione specifiche dello stewardship e le potenziali omissioni nella terminologia sorgente.

Il paper conclude che il benchmark RASC serve come banco di prova rigoroso per questi sistemi e che la combinazione di strategie di recupero ad alto richiamo con la selezione vincolata tramite LLM offre una strada promettente per l'autore di set di valori clinici.