Clinical Reasoning Graphs: Structured Evaluation of LLM Diagnostic Reasoning Reveals Competence Without Consistency

Sintesi Tecnica: Grafi del Ragionamento Clinico: Una Valutazione Strutturata del Ragionamento Diagnostico degli LLM Rivela Competenza Senza Coerenza

Definizione del Problema
Sebbene i moderni modelli linguistici di grandi dimensioni (LLM) raggiungano un'accuratezza diagnostica del 60–70% su benchmark clinici complessi, le metriche di accuratezza da sole non riescono a distinguere tra un ragionamento stabile e clinicamente fondato e un approssimativo abbinamento di pattern (pattern matching). Le tracce di ragionamento clinico (spiegazioni in testo libero) sono attualmente non strutturate, il che le rende difficili da sottoporre ad audit, confrontare tra i casi o valutare oltre la semplice correttezza della risposta finale. La domanda centrale affrontata è se gli LLM utilizzino "schemi diagnostici" — rappresentazioni mentali riutilizzabili che collegano presentazioni cliniche a ipotesi e caratteristiche discriminanti, similmente ai medici esperti — o se seguano percorsi di ragionamento non correlati che convergono semplicemente su risposte finali simili.

Metodologia
Lo studio introduce i Grafi del Ragionamento Clinico, una rappresentazione strutturata del ragionamento diagnostico, e applica una rigorosa pipeline di valutazione a 750 tracce diagnostiche generate da cinque contemporanei LLM (GPT-5.4, GPT-5.2, Claude Opus 4.5, Claude Sonnet 4.5 e Gemini 3 Pro) su 50 casi del New England Journal of Medicine (NEJM) Clinicopathological Conference (CPC).

1. Ontologia e Struttura del Grafo: Un'ontologia basata sul dominio definisce lo schema del grafo con 5 tipi di nodi (caratteristiche cliniche, diagnosi, qualificatori semantici, caratteristiche discriminanti, riferimenti all'evidenza) e 7 tipi di archi (supporto evidenziale, evidenza contraria, discriminazione, riflessione innescata e aggiornamenti post-riflessione: promozione, demozione, invariato).
2. Pipeline di Estrazione: Una pipeline automatizzata converte le tracce di testo libero non strutturate in grafi diretti validati. L'estrazione ha raggiunto un tasso di successo del 100% (750/750 tracce), con una media di 47,0 nodi e 58,7 archi per grafo. La fedeltà è stata verificata tramite revisione medica (precisione degli archi del 98,4%, richiamo del 94,8%) e controlli di robustezza tra gli estrattori.
3. Disegno Sperimentale: I casi sono stati raggruppati in 20 gruppi clinici basati sull'apparato organico e sull'embedding semantico. Sono state testate tre condizioni di prompting: baseline, avversaria (argomentare contro la diagnosi principale) e riflessione strutturata (rappresentazione del problema a fasi e stress testing).
4. Metriche di Similarità: È stata utilizzata una metrica di similarità composita a 5 componenti per confrontare i grafi:
   • Sovrapposizione delle caratteristiche (Jaccard)
   • Sovrapposizione delle diagnosi (Jaccard)
   • Similarità dei motivi (distribuzione delle triplette di tipo di arco)
   • Sovrapposizione dei qualificatori (Jaccard)
   • Profondità del ragionamento (rapporto di archi discriminanti)
   • Ipotesi: I grafi di casi clinicamente simili (all'interno del cluster) dovrebbero esibire una similarità maggiore rispetto a quelli di casi dissimili (tra i cluster), indicando il riutilizzo di schemi.

Risultati Chiave

1. Assenza di Coerenza su Scala di Schema: In 15 confronti modello-condizione, le similarità compostite intra-cluster e inter-cluster sono risultate statisticamente indistinguibili (aggregate: 0,475 vs. 0,472). Nessun confronto è sopravvissuto alla correzione di Bonferroni. La similarità intra-cluster osservata sotto riflessione strutturata (0,456) non ha superato il livello del rumore (0,466), suggerendo che la similarità tra i casi sia guidata dalla forma condivisa del grafo piuttosto che dal contenuto clinico condiviso.
2. Dissociazione tra Accuratezza e Struttura: La similarità del grafo è stata quasi identica per coppie di modelli che erano entrambi corretti (0,488) rispetto a quelli che erano entrambi errati (0,484). Ciò indica che l'accuratezza diagnostica e la struttura del ragionamento catturano dimensioni ortogonali del comportamento del modello; un'alta accuratezza non implica una struttura di ragionamento coerente sottostante.
3. Analisi delle Componenti: La metrica composita è risultata dominata dalla struttura (i componenti di motivo e profondità hanno rappresentato circa l'89% del valore). Isolando il "canale del contenuto" (sovrapposizione di caratteristiche, diagnosi e qualificatori), la similarità intra-cluster è stata marginalmente superiore a quella inter-cluster (0,0021 vs. 0,0006). Sebbene statisticamente rilevabile, questo segnale si colloca al livello del rumore e rappresenta solo lo 0,5% del tetto di test-retest del canale del contenuto, confermando che non si tratta di un segnale su scala di schema.
4. Effetto della Riflessione Strutturata: Il prompting di riflessione strutturata ha aumentato la quantità di struttura discriminante all'interno delle singole tracce (più archi di ragionamento di Fase 2), ma non è riuscito ad aumentare la coerenza tra i casi. Ha diversificato le strutture dei grafi invece di standardizzarle.

Significatività e Rivendicazioni
L'articolo sostiene che vi sia la prova che la competenza diagnostica e la coerenza della struttura del ragionamento sono dissociabili negli attuali LLM.

• Implicazioni per la Valutazione: L'accuratezza della risposta finale è insufficiente per valutare l'IA clinica. I modelli possono raggiungere diagnosi corrette senza impiegare modelli di ragionamento riutilizzabili e simili a quelli esperti. Lo studio sostiene la necessità di una "valutazione a livello di processo" che valuti come le conclusioni vengono generate e riviste, non solo le conclusioni stesse.
• Fiducia e Affidabilità: La coerenza apparente delle tracce di ragionamento degli LLM non deve essere equiparata all'affidabilità. La similarità nei grafi di ragionamento tra i casi è spesso governata dalla forma del grafo e dalle convenzioni di punteggio piuttosto che dal contenuto clinico. Pertanto, "il ragionamento sembra coerente" non è, di per sé, prova di un ragionamento clinico riutilizzabile.
• Contributo Metodologico: Gli autori rilasciano l'ontologia, la pipeline di estrazione, il protocollo di validazione e i grafi di ragionamento estratti come risorse per consentire la valutazione strutturata del ragionamento clinico degli LLM, convertendo artefatti opachi in testo libero in oggetti ispezionabili e confrontabili.

Gli autori rimangono modesti nelle loro rivendicazioni, inquadrando i risultati come prova contro la rilevabilità della coerenza dello schema diagnostico secondo la metrica specifica utilizzata, piuttosto che come prova dell'assenza di una struttura organizzativa latente. Notano che stabilire quest'ultima richiederebbe rappresentazioni con maggiore affidabilità e basi di consenso tra i clinici umani.