From Guidelines to Guarantees: A Graph-Based Evaluation Harness for Domain-Specific Evaluation of LLMs

1. Il Problema: Il Divario nella Valutazione dei Modelli Linguistici

La valutazione rigorosa dei modelli linguistici (LLM) in domini specifici, come la medicina, affronta una sfida critica: il divario distributivo tra i testi specifici dell'applicazione e i dataset di benchmark esistenti.

• Limiti dei dataset statici: Le attuali valutazioni mediche si basano su dataset curati manualmente (es. esami di abilitazione, libri di testo). Questi sono costosi da produrre, hanno una copertura incompleta delle linee guida specifiche e sono vulnerabili alla contaminazione dei dati (i modelli potrebbero aver visto le domande durante l'addestramento).
• Necessità di garanzie: Per un'adeguata misurazione delle prestazioni in contesti a risorse limitate (come i paesi in via di sviluppo), è necessario un sistema che garantisca una copertura completa delle relazioni cliniche, resistenza alla contaminazione e validità intrinseca, adattandosi all'evoluzione delle linee guida.

2. Metodologia: Un Harness di Valutazione Basato su Grafi

Gli autori propongono un framework che trasforma le linee guida cliniche strutturate (in questo caso, il manuale OMS IMCI per la gestione delle malattie infantili) in un grafo della conoscenza interrogabile, da cui vengono istanziate dinamicamente le query di valutazione.

A. Costruzione del Grafo

Il manuale IMCI (80 pagine con flussi decisionali) viene convertito in un grafo diretto con:

• Nodi (200+): Cinque tipi di entità: Condizione (31), Sintomo (79), Trattamento (84), Follow-up (15) e Gravità (4).
• Archi (300+): Quattro tipi di relazioni: INDICATES (Sintomo → Condizione), TREAT (Condizione → Trattamento), FOLLOW (Condizione → Follow-up), TRIAGE (Condizione → Gravità).
• Validazione Esperta: A causa della complessità della logica condizionale visiva nei flussi OMS (che i parser PDF e gli LLM non riescono a estrarre fedelmente), il grafo è stato curato manualmente da un medico esperto con 15 anni di esperienza clinica e formazione pediatrica specializzata. Questo garantisce che la verità di base (ground truth) sia clinicamente valida.

B. Istanza Dinamica delle Query (Domande)

Invece di un dataset statico, il sistema genera domande a scelta multipla (MCQA) al momento della valutazione tramite traversamento del grafo:

1. Template: Vengono utilizzati 4 template per ciascuno dei 5 tipi di relazioni (es. "Quale sintomo presenta un bambino di X anni con la condizione Y?").
2. Generazione Variabile: L'età del paziente viene generata casualmente entro i range validi per la condizione.
3. Campionamento dei Distrattori: Gli elementi di distrazione (risposte errate) sono selezionati in modo da essere clinicamente plausibili per la fascia d'età specifica, garantendo validità clinica e variabilità.

C. Resistenza alla Contaminazione

Il framework affronta due rischi di contaminazione:

• Contaminazione della forma superficiale: Ridotta grazie alla generazione casuale di età, distrattori e template, rendendo improbabile che la domanda esatta appaia nei dati di addestramento.
• Contaminazione a livello di relazione: Poiché le query sono generate dinamicamente da una rappresentazione strutturata aggiornabile, il sistema può valutare modelli su linee guida modificate o aggiornate post-allenamento, verificando se il modello ha appreso il ragionamento clinico generale o ha solo memorizzato relazioni specifiche.

3. Contributi Chiave

1. Garanzie di Valutazione: Introduzione di un harness che garantisce copertura completa, resistenza alla contaminazione e validità ereditata dalla struttura del grafo.
2. Trasformazione Guideline-Grafo: Un metodo per convertire linee guida cliniche strutturate in grafi di conoscenza per valutazioni sistematiche.
3. Valutazione Dinamica: Sostituzione dei dataset statici con l'istanza di query "on-demand".
4. Rilevamento di Debolezze Sistemiche: Dimostrazione empirica che questo approccio rivela lacune nel ragionamento clinico che i benchmark aggregati nascondono.

4. Risultati Sperimentali

Lo studio ha valutato 5 modelli (3 chiusi: Claude Sonnet 4.6, o4-mini, GPT-5.2; 2 aperti: GPT-OSS-20B, MedGemma-4B) su 432 domande generate.

• Prestazioni Generali: I modelli frontier chiusi hanno ottenuto un'accuratezza complessiva del 66-68%, superando i modelli open-weight (57% e 50%).
• Analisi per Tipo di Domanda:
  • Punti di forza: Tutti i modelli eccellono nel riconoscimento dei sintomi (Symptom → Condition, 64-82%).
  • Punti di debolezza: Le prestazioni crollano sui protocolli di trattamento e sulle decisioni di gestione clinica (Condition → Treatment, Condition → Follow-up), dove l'accuratezza scende significativamente (es. MedGemma-4B al 41-45%).
• Impatto dei Template: È stata osservata una varianza significativa nelle prestazioni in base alla formulazione della domanda (template). Alcuni template hanno portato a un'accuratezza del 14%, altri al 90%, sottolineando l'importanza di utilizzare molteplici varianti per una stima robusta.
• Scala del Modello: Il modello fine-tuned specificamente per la medicina (MedGemma-4B) ha sottoperformato rispetto ai modelli più grandi, suggerendo che la capacità di ragionamento generale e la scala del modello dominano in questo contesto rispetto alla specializzazione verticale.

5. Significato e Implicazioni

• Infrastruttura Scalabile: Il framework sposta il carico di lavoro dalla creazione manuale di ogni singola domanda alla costruzione iniziale del grafo. Una volta creato, il grafo permette di generare infinite varianti di valutazione man mano che le linee guida evolvono, senza ulteriore sforzo esperto.
• Separazione dei Ruoli: Il sistema chiarisce le responsabilità: l'esperto di dominio valida il grafo (verità clinica), l'operatore tecnico gestisce la pipeline di generazione, e gli sviluppatori del modello ricevono i risultati senza accesso al grafo sottostante (garantendo accountability).
• Estensibilità: Sebbene testato su IMCI, il metodo è applicabile a qualsiasi guida clinica con logica decisionale strutturata (es. malaria, HIV, tubercolosi) e persino a domini non medici come normative legali o standard tecnici.
• Limiti: La qualità dipende interamente dall'accuratezza della curazione manuale del grafo. Inoltre, il formato MCQA non cattura la complessità del ragionamento clinico reale (diagnosi differenziale con informazioni incomplete) e non include elementi visivi presenti nei manuali originali.

In conclusione, questo lavoro offre una fondazione scalabile per l'infrastruttura di valutazione, passando da benchmark statici e vulnerabili a valutazioni dinamiche, garantite e allineate con l'evoluzione della conoscenza medica.