VeriLLMed: Interactive Visual Debugging of Medical Large Language Models with Knowledge Graphs

Riassunto Tecnico: VeriLLMed

1. Il Problema (Problem Statement)

Nonostante il potenziale dei Large Language Models (LLM) nella diagnosi medica, il loro impiego clinico è ostacolato dalla mancanza di affidabilità nel processo di ragionamento. Il debugging di questi modelli presenta tre sfide principali:

• Mancanza di competenza medica: Gli sviluppatori di modelli spesso non hanno le conoscenze cliniche necessarie per interpretare perché un ragionamento sia errato.
• Difficoltà di prioritizzazione: I modelli falliscono su una vasta gamma di casi; senza strumenti adeguati, è impossibile decidere quali errori richiedano un'ispezione prioritaria.
• Analisi frammentata (Instance-centric): Le pratiche attuali si concentrano su singoli casi isolati, rendendo difficile identificare pattern di errore ricorrenti e strutturali che caratterizzano le debolezze del modello.

2. Metodologia (Methodology)

Gli autori propongono VeriLLMed, un sistema di visual analytics che integra grafi di conoscenza biomedica (Bio-KG) per trasformare il ragionamento testuale non strutturato in percorsi strutturati confrontabili.

Il processo si articola in quattro fasi principali:

1. Costruzione dei percorsi di ragionamento: Il sistema estrae entità mediche (malattie, sintomi) dalle risposte del modello e dalle domande, allineandole a un Bio-KG (nello specifico, l'iBKH). Vengono creati due tipi di percorsi: i percorsi osservati (generati dal modello) e i percorsi di riferimento (derivati dal grafo di conoscenza tramite algoritmi di ricerca del cammino minimo).
2. Tassonomia degli errori basata sulla struttura: Invece di analizzare solo l'esito finale, VeriLLMed identifica tre tipi di errori strutturali confrontando i percorsi:
   • Relation Errors: Il modello stabilisce una connessione tra due entità che non è supportata dal Bio-KG (transizione medica non valida).
   • Branch Errors: Il modello segue un percorso che, pur essendo valido nel grafo, devia verso concetti che non portano alla diagnosi corretta.
   • Missing Errors: Il modello omette entità chiave presenti nel percorso di riferimento che sono essenziali per la diagnosi.
3. Estrazione di pattern ricorrenti: Il sistema espande gli errori locali in "famiglie di errori" utilizzando la vicinanza semantica nel grafo e l'assistenza di un LLM per riassumere le differenze semantiche tra il ragionamento errato e quello corretto.
4. Interfaccia di Visual Analytics: Il sistema offre una navigazione multi-livello:
   • Dataset Overview: Panoramica statistica degli errori.
   • Projection View: Localizzazione spaziale degli errori nel dominio medico tramite embedding (t-SNE).
   • Path View: Ispezione dei vicinati di ragionamento tramite glifi strutturati.
   • Error View: Confronto tramite diagrammi di Sankey tra percorsi errati e corretti.
   • Detail/Instance View: Validazione su singoli casi clinici.

3. Contributi Chiave (Key Contributions)

• Framework di Debugging basato su KG: Un metodo per mappare il ragionamento testuale in uno spazio concettuale strutturato per l'audit medico.
• Tassonomia degli Errori di Ragionamento: Una classificazione formale (Relation, Branch, Missing) che permette di categorizzare i fallimenti logici dei modelli.
• Sistema VeriLLMed: Un'interfaccia interattiva che permette di passare da una visione globale (statistiche di errore) a una visione locale (singolo caso clinico) in modo coordinato.
• Workflow di Validazione: Un approccio che permette di trasformare l'ispezione visiva in ipotesi di miglioramento (es. tramite prompt engineering).

4. Risultati (Results)

Il sistema è stato validato attraverso casi studio con esperti e interviste:

• Identificazione di Bias: Gli esperti hanno utilizzato VeriLLMed per identificare bias sistematici, come la tendenza del modello a collegare sintomi dermatologici solo a malattie della pelle, ignorando possibili cause sistemiche (es. malattie autoimmuni).
• Efficacia del Debugging: Attraverso l'uso di few-shot prompting basato sui pattern scoperti con VeriLLMed, gli esperti sono riusciti a correggere i casi errati analizzati, aumentando l'accuratezza del benchmark (es. da un'accuratezza del 81.5% a oltre l'84-85% sui casi target).
• Usabilità: Gli esperti hanno confermato che il sistema riduce la necessità di ispezione manuale ripetitiva e fornisce un supporto fondamentale per interpretare errori complessi senza una profonda conoscenza medica iniziale.

5. Significatività (Significance)

VeriLLMed rappresenta un passo fondamentale verso lo sviluppo di LLM medici più sicuri e trasparenti. Spostando l'attenzione dal semplice "risultato corretto/errato" al "processo di ragionamento strutturato", il sistema fornisce agli sviluppatori strumenti azionabili per migliorare la logica clinica dei modelli, rendendo il debugging un processo scientifico e guidato dai dati piuttosto che un'ispezione casuale di testi.