T2D-Bench: Evidence-Gated Evaluation of LLM Outputs for Type 2 Diabetes Using a Multi-Layer Clinical-Lifestyle Knowledge Graph

Sintesi Tecnica di T2D-Bench: Valutazione dell'Output di LLM Mediante il Controllo delle Evidenze per il Diabete di Tipo 2

Problematica
Sebbene i Large Language Models (LLM) dimostrino la capacità di generare raccomandazioni clinicamente fluenti per il Diabete di Tipo 2 (T2D), essi spesso non riescono a soddisfare i vincoli deterministici delle linee guida o a giustificare esplicitamente le affermazioni glicemiche legate allo stile di vita. Gli attuali metodi di valutazione si affidano spesso alla somiglianza lessicale, al giudizio soggettivo degli esperti o alla plausibilità superficiale, che possono non rilevare errori critici come l'omissione di soglie, la mancata rilevazione di controindicazioni o affermazioni meccanicistiche non supportate. In contesti sanitari ad alta criticità, questi output "plausibili ma non fondati" pongono rischi significativi. Nello specifico, manca un framework in grado di testare se gli output degli LLM siano esplicitamente supportati da evidenze autorevoli e che possa gestire scenari di pazienti complessi e multifattoriali senza inventare silenziosamente passaggi meccanicistici mancanti.

Metodologia
Gli autori introducono T2D-Bench, un benchmark riproducibile e un framework di valutazione basato sul controllo delle evidenze, progettato per testare se gli output degli LLM focalizzati sul diabete soddisfino i requisiti di evidenza clinica e meccanicistica computabili. La metodologia consiste in tre componenti principali:

1. Grafo della Conoscenza (KG) Clinico-Lifestyle Multi-livello:
   Il framework è costruito su un grafo di proprietà diretto e tipizzato ($G$) con 2,1 milioni di nodi e 495.000 archi, strutturato in tre livelli:

   • Livello 1 (Spina Biomedica): Derivato da UMLS, DrugBank e SIDER, fornisce identificatori normalizzati, tipizzazione semantica e strutture di farmacovigilanza (es. interazioni farmaco-farmaco, effetti avversi).
   • Livello 2 (Logica delle Linee Guida Computabile): Codifica affermazioni selezionate dagli Standard of Care dell'American Diabetes Association (ADA, 2026) come primitive verificabili da una macchina. Questo include nodi "Rule" collegati a nodi "Threshold" (operatore, valore, unità) per supportare la verifica deterministica dei criteri diagnostici (es. HbA1c) e dei vincoli dipendenti dalle condizioni (es. controindicazioni per la metformina basate sull'eGFR).
   • Livello 3 (Contesto Lifestyle e Ponte Meccanicistico): Integra dati sullo stile di vita (USDA, FooDB, Compendium of Physical Activities, Sleep Domain Ontology) e li collega alla fisiologia glicemica tramite un "ponte meccanicistico" esplicito. Questo ponte mappa i profili di stile di vita (es. sonno breve) su meccanismi (es. elevazione del cortisolo) e successivamente su effetti di laboratorio (es. aumento del glucosio a digiuno), utilizzando archi tipizzati (es. CAUSALLY_INCREASES) con metadati di provenienza.

2. Vignette Strutturate del Benchmark:
   Il benchmark comprende 100 vignette strutturate in formato JSONL che coprono quattro famiglie di scenari: conformità alle soglie diagnostiche, sicurezza dei farmaci sotto vincoli di comorbidità, effetti dello stile di vita a fattore singolo e conflitti dello stile di vita multifattoriali. Ogni vignetta è accoppiata a una specifica "gold" che definisce gli identificatori obbligatori (must-trigger identifiers):

   • ID delle Regole (Livello 2) per la conformità alle linee guida.
   • Token del Ponte/Meccanismo (Livello 3) per l'attribuzione meccanicistica.
     Un "segmento del benchmark" compatto ($G_{bench}$) contenente 15.792 nodi viene estratto per una verifica rapida e deterministica.

3. Controllo delle Evidenze e Revisione Vincolata:
   Il flusso di lavoro di valutazione prevede un verificatore deterministico che controlla se l'output di un LLM contenga tutti gli identificatori "gold" richiesti per una specifica vignetta.

   • Baseline: Il modello genera una risposta senza verifica.
   • Controllo delle Evidenze (Evidence-Gated): Se l'output manca degli identificatori richiesti, il sistema attiva un ciclo di revisione vincolata. Il modello viene istruito per rivedere la propria risposta affinché incorpori esplicitamente gli identificatori di evidenza mancanti come una "Traccia di Evidenza" (Evidence Trace). Questo ciclo continua finché l'output non supera la verifica o finché non viene esaurito il budget di revisione.

Contributi Chiave

1. Grafo della Conoscenza Multi-livello: Sviluppo di un grafo della conoscenza per il T2D consapevole della provenienza che connette concetti biomedici, logica delle linee guida computabile e contesto dello stile di vita attraverso un esplicito ponte meccanicistico.
2. Benchmark T2D-Bench: Introduzione di un benchmark di 100 vignette accoppiate a identificatori di evidenza predefiniti per testare se gli output degli LLM soddisfino requisiti clinici e meccanicistici computabili, andando oltre la plausibilità superficiale.
3. Framework di Valutazione con Controllo delle Evidenze: Un sistema che rileva omissioni non supportate e utilizza la revisione vincolata per raggiungere la conformità ai livelli del verificatore rispetto ai percorsi di evidenza definiti dal benchmark.

Risultati
Il framework è stato valutato su GPT-4o-mini e GPT-4o utilizzando la decodifica deterministica (temperatura=0):

• Performance Baseline: Senza il controllo delle evidenze, GPT-4o-mini ha soddisfatto tutti gli identificatori richiesti nel 65% dei casi, e GPT-4o nel 67%.
• Stratificazione degli Scenari:
  • Linee Guida Deterministiche: Entrambi i modelli hanno raggiunto il 100% di conformità nelle vignette sulle soglie diagnostiche e sulla sicurezza dei farmaci in ambito renale.
  • Lifestyle e Meccanismi: Le performance sono diminuite significativamente negli scenari legati allo stile di vita. Nei casi di stile di vita a fattore singolo, la conformità era del 35–39%. Crucialmente, nei conflitti di stile di vita multifattoriali (scenari avversari), la conformità baseline è stata dello 0% per entrambi i modelli; essi hanno prodotto narrazioni clinicamente plausibili che omettevano i richiesti identificatori del ponte meccanicistico.
• Impatto del Controllo delle Evidenze: Applicando il controllo delle evidenze e la revisione vincolata, entrambi i modelli hanno raggiunto il 100% di conformità al percorso di evidenza su tutti i 100 vignette. Il tasso di intervento è stato del 35% complessivamente, concentrato interamente negli scenari di stile di vita e di conflitto.

Significatività e Rivendicazioni
Il paper sostiene che T2D-Bench dimostra che l'output clinicamente plausibile non deve essere equiparato a un output fondato sulle evidenze. La significatività primaria risiede nel rendere le omissioni nascoste — specificamente le attribuzioni meccanicistiche non supportate in contesti multifattoriali — esplicite, misurabili e correggibili.

Gli autori sottolineano che il Controllo delle Evidenze funge da livello di verifica piuttosto che da sostituto del ragionamento clinico. Il suo ruolo è quello di imporre tracce di evidenza esplicite allineate al grafo quando gli output di base sono vulnerabili a affermazioni non supportate. Lo studio conclude che i vincoli di evidenza computabile possono efficacementmente intercettare e correggere gli output degli LLM focalizzati sul diabete, fornendo un modello riproducibile per valutare se gli output degli LLM clinicamente plausibili siano esplicitamente supportati da percorsi di evidenza computabili. Gli autori notano con modestia che la conformità al percorso di evidenza è una metrica operativa legata al benchmark e non sostituisce la validazione clinica prospettica.