Sintesi Tecnica: GuideSkill

Definizione del Problema

La diagnosi clinica è un processo multistadio che richiede la sintesi delle informazioni del paziente, la generazione di diagnosi differenziali e l'applicazione di soglie basate sull'evidenza per supportare o confutare i candidati. Sebbene le Linee Guida per la Pratica Clinica (CPG) codifichino i criteri diagnostici necessari e la logica condizionale, i Large Language Models (LLM) tipicamente non riescono a eseguire correttamente tali regole. Gli approcci attuali spesso si affidano al recupero del testo delle linee guida (RAG) o all'assorbimento delle linee guida tramite addestramento, ma questi metodi non garantiscono che le valutazioni a livello di criterio siano applicate con rigore a casi specifici di pazienti. Inoltre, i sistemi esistenti faticano a gestire diagnosi al di fuori del corpus iniziale delle linee guida o a combinare la generazione flessibile di candidati con l'applicazione esplicita di regole specifiche per ogni malattia senza aggiornare i parametri del modello.

Metodologia

Il documento introduce GuideSkill, uno strato di ragionamento esterno che trasforma le CPG da riferimenti passivi in una libreria evolvibile di abilità diagnostiche eseguibili e specifiche per malattia. Il framework opera in tre fasi:

1. Formulazione del Task

Dato un caso paziente $x$, il sistema predice una diagnosi finale $d^*$. Il processo prevede:

• Generazione dei Candidati: Un LLM genera un set classificato di diagnosi differenziali $C(x)$.
• Esecuzione dell'Abilità (Skill Execution): Per ogni candidato $d$, un'abilità eseguibile corrispondente $g_d$ viene recuperata da una libreria ed eseguita sul caso paziente per produrre un punteggio di evidenza $s_{skill}(x, d)$.
• Fusione: Il punteggio finale $S(x, d)$ è una combinazione ponderata del punteggio di classificazione dell'LLM $s_{LLM}(x, d)$ e del punteggio di evidenza basato sull'abilità:
  $$S(x, d) = \alpha s_{LLM}(x, d) + (1 - \alpha) s_{skill}(x, d)$$
  dove $\alpha \in [0, 1]$ bilancia i due segnali.

2. Inizializzazione dell'Abilità (GuideSkill-Zero)

Questa fase costruisce la libreria iniziale delle abilità partendo da linee guida cliniche curate:

• Curatela: I documenti grezzi delle linee guida vengono filtrati e curati per rimuovere rumore e contenuti non azionabili.
• Estrazione e Compilazione: Le raccomandazioni vengono estratte, raggruppate per categoria ICD-10 e compilate da un LLM in funzioni Python eseguibili.
• Logica di Punteggio: Ogni abilità mappa le caratteristiche del paziente in uno dei quattro livelli di supporto (Confermato, Fortemente Suggestivo, Compatibile, Non Supportato), normalizzato in un punteggio nell'intervallo $[0, 1]$. Le evidenze contraddittorie possono declassare il livello di supporto.

3. Evoluzione dell'Abilità (GuideSkill-Evo)

Per affrontare il limite per cui le linee guida coprono solo un insieme finito di diagnosi, la libreria viene evoluta utilizzando casi clinici etichettati:

• Generazione della Razionale: Per i casi di addestramento, l'LLM genera razionali diagnostici che riassumono l'evidenza a supporto della diagnosi di verità fondamentale (ground-truth).
• Distillazione e Ottimizzazione: Le razionali per la stessa diagnosi vengono aggregate per distillare nuove regole specifiche per la malattia. Queste regole vengono utilizzate per ottimizzare le abilità esistenti (se la diagnosi è già coperta) o per generare nuove abilità (se la diagnosi è assente dalla libreria iniziale).
• Risultato: Questo processo espande la copertura della libreria e affina le regole decisionali per allinearle meglio alle presentazioni eterogenee del mondo reale senza modificare i parametri del backbone dell'LLM.

4. Inferenza

Durante l'inferenza, l'LLM propone una diagnosi differenziale. GuideSkill recupera le abilità rilevanti, estrae le caratteristiche specifiche richieste da ciascuna abilità dal racconto del paziente, esegue le abilità per ottenere i punteggi di evidenza e fonde questi punteggi con la classificazione dell'LLM per determinare la previsione finale.

Contributi Chiave

1. Esecuzione di Abilità Agentiche: Il documento formula il ragionamento diagnostico basato sulle linee guida come l'esecuzione di abilità agentiche, sviluppando una pipeline che compila le raccomandazioni CPG in scorer ordinali eseguibili indicizzati per malattia.
2. Evoluzione Condizionata al Caso: Introduce un meccanismo per raffinare le abilità coperte e aggiungere diagnosi precedentemente non coperte utilizzando casi etichettati, espandendo l'ambito della libreria al di fuori dei parametri dell'LLM.
3. Valutazione Completa: Gli autori valutano l'approccio attraverso quattro benchmark di ragionamento diagnostico eterogenei e quattro backbone di LLM distinti (proprietary e open-weight), separando i contributi dell'inizializzazione delle linee guida dai guadagni ottenuti tramite l'evoluzione.

Risultati

La valutazione abbraccia quattro benchmark (MedCaseReasoning, ER-Reason, MIMIC-CDM-FI, MedThink-Bench) e quattro backbone (GPT-5.4, Claude-Sonnet-4.6, MedGemma-27B, Qwen3.5-9B).

• Guadagni di Performance: GuideSkill-Zero supera costantemente il RAG delle linee guida in tutti i backbone. GuideSkill-Evo raggiunge la massima accuratezza media macro per ogni backbone, migliorando rispetto all'inferenza diretta di una media del 18,49% rispetto al baseline più forte.
• Copertura: L'evoluzione aumenta la copertura delle abilità gold-label dal 56,5% (GuideSkill-Zero) al 99,5% (GuideSkill-Evo), colmando efficacementamente le lacune nel corpus iniziale delle linee guida.
• Generalizzazione: Su MedThink-Bench, un benchmark escluso dal set di addestramento dell'evoluzione, GuideSkill-Evo raggiunge l'accuratezza migliore o pari alla migliore su tutti i backbone, dimostrando la trasferibilità a dati non visti.
• Confronto con Metodi Basati su Addestramento: Su Qwen3.5-9B, GuideSkill-Evo supera i più forti baseline di aggiornamento dei parametri (inclusi fine-tuning con linee guida, casi e apprendimento per rinforzo) dell'11,16% senza aggiornare il backbone.
• Validità Clinica: La valutazione esperta di 10 abilità (5 inizializzate da linee guida, 5 derivate da casi) ha indicato che il 95,2% delle regole iniziali era coerente con le linee guida, e 9/10 delle abilità finali sono state accettate con solo piccole revisioni. Il $\kappa$ quadratico pesato complessivo tra i giudizi dei clinici e gli output delle abilità era 0,60.

Significato

Il documento sostiene che GuideSkill dimostra la fattibilità delle abilità eseguibili esterne come meccanismo agnostico rispetto al modello per il ragionamento clinico. Esternalizzando la logica diagnostica, il sistema permette:

• Riutilizzabilità: La stessa logica diagnostica può essere ispezionata, aggiornata e riutilizzata attraverso diversi backbone di LLM.
• Trasparenza: La logica decisionale è esplicita e interpretabile, a differenza dei pesi opachi dei modelli sottoposti a fine-tuning.
• Estensibilità: La libreria può essere ampliata con nuove diagnosi e regole raffinate utilizzando casi etichettati senza il costo computazionale o i requisiti di dati del retraining del modello backbone.

Gli autori concludono che, sebbene sia necessaria una validazione clinica più ampia prima del deployment clinico, i risultati supportano l'uso di abilità eseguibili per combinare procedure derivate dalle linee guida con pattern diagnostici derivati dai casi, offrendo un'alternativa robusta ai metodi di aggiornamento dei parametri per migliorare l'accuratezza e la copertura diagnostica.