Domain-Specific Knowledge Graphs in RAG-Enhanced Healthcare LLMs

Sintesi Tecnica: Knowledge Graph Specifici di Dominio in LLM per l'Ambito Sanitario Potenziati da RAG

Problematica
I Large Language Models (LLM) eccellono nella generazione di testi fluidi, ma spesso faticano con il ragionamento affidabile e specifico di dominio in ambito sanitario, allucinando frequentemente fatti o fabbricando citazioni. Sebbene la Retrieval-Augmented Generation (RAG) sia una soluzione standard per ancorare gli LLM a conoscenze esterne, i sistemi RAG convenzionali che recuperano passaggi di testo libero possono introdurre informazioni irrilevanti o contraddittorie, degradando le prestazioni su domande biomediche complesse e multi-hop. Questa ricerca indaga se Knowledge Graph (KG) strutturati e specifici di dominio, derivati dalla letteratura biomedica, possano migliorare le prestazioni della RAG in modo più efficace rispetto al testo non strutturato o a unioni di grafi più ampie e indiscriminate. Nello specifico, lo studio affronta la tensione tra la costruzione di grafi ristretti, focalizzati su una singola patologia, e grafi più ampi e cross-dominio, e come queste scelte di progettazione interagiscano con i parametri del modello e le temperature di decoding.

Metodologia
Gli autori hanno costruito una pipeline per valutare l'impatto dell'ambito del KG sulle prestazioni degli LLM per l'ambito sanitario, utilizzando la malattia di Alzheimer (AD) e il Diabete Mellito di Tipo 2 (T2DM) come banco di prova.

1. Costruzione del Knowledge Graph:

   • Fonte dei Dati: Gli abstract di PubMed sono stati filtrati e classificati in base alla rilevanza causale, fenotipica e dei biomarcatori.
   • Pipeline: Gli autori hanno utilizzato e migliorato la pipeline CoDe-KG, sostituendo il suo backbone di coreferenza con Qwen 32B per potenziare l'estrazione delle relazioni. Ciò ha migliorato la risoluzione della coreferenza (l'F1 è passato dal 58% al 61%), garantendo nodi più puliti e link causali più utilizzabili.
   • Grafi Creati: Sono stati costruiti tre distinti KG:
     • G1: Focalizzato su T2DM.
     • G2: Focalizzato su AD.
     • G3: Combinato AD+T2DM.
   • Elaborazione: Le triple sono state pulite, normalizzate (canonicalizzando i nomi delle entità) e filtrate per trattenere solo le relazioni causali chiare.

2. Design dei Probe (Saggi):
   Sono stati creati due set di probe per testare diverse capacità di ragionamento:

   • Probe 1: 100 domande a scelta multipla derivate da G3 (il dominio unito), testando il ragionamento single-hop, multi-hop e fill-in-the-blank (FITB) sull'intersezione AD-T2DM.
   • Probe 2: Domande derivate dall'intersezione di G1 e G2 ($G1 \cap G2$), mirate specificamente a fatti per i quali esiste evidenza in entrambi i domini di malattia (ad esempio, meccanismi condivisi come la segnalazione dell'insulina e la neuroinfiammazione).

3. Configurazione Sperimentale:

   • Modelli: Sono stati testati sette LLM istruiti (instruction-tuned) di varie dimensioni, che vanno da piccoli (Mistral-7B, Mixtral-8x7B) a grandi (Llama-3.3-70B, Qwen-2.5-32B, GPT-OSS-20B e Anthropic Claude-3-Haiku).
   • Configurazioni di Recupero: Sono stati confrontati sei sorgenti di recupero: No-RAG, G1, G2, G1+G2, G3 e G1+G2+G3.
   • Iperparametri: Gli esperimenti sono stati eseguiti su tre temperature di decoding (0, 0.2, 0.5) per valutare la stabilità.
   • Metriche: Le prestazioni sono state misurate utilizzando Macro-F1, Micro-F1 e Accuratezza, con test di significatività statistica tramite t-test di Welch e correzione di Holm-Bonferroni.

Contributi Chiave

• Valutazione Empirica dell'Ambito del KG: Lo studio fornisce un confronto sistematico tra KG stretti, specifici per malattia, e KG ampi, uniti, in un contesto RAG sanitario.
• Miglioramento della Pipeline: Gli autori hanno dimostrato che l'aggiornamento del componente di risoluzione della coreferenza della pipeline CoDe-KG (usando Qwen 32B) produce un'estrazione del grafo di qualità superiore.
• Generazione dei Probe: La creazione di probe specializzati (unito vs intersezione) consente un'analisi granulare di come l'ambito del recupero si allinei ai requisiti del compito.
• Interazione con la Dimensione del Modello: La ricerca evidenzia comportamenti distinti tra modelli piccoli e grandi quando esposti al recupero strutturato, sfidando l'assunto che la RAG benefici sempre tutti i modelli indipendentemente dalla loro dimensione.

Risultati

1. L'allineamento dell'ambito è decisivo: Il reperimento più significativo è che l'ambito del recupero deve corrispondere all'ambito della query.

   • Probe 1 (Dominio Unito): Le unioni indiscriminate (G1+G2+G3) hanno spesso introdotto elementi di distrazione, riducendo l'accuratezza. Per i modelli grandi (es. Llama-3.3-70B), l'aggiunta di KG esterni ha spesso degradato le prestazioni rispetto alla baseline No-RAG, suggerendo che forti priorità parametriche vengano disturbate da un contesto rumoroso.
   • Probe 2 (Intersezione): Il recupero preciso e con ambito corrispondente (in particolare G2, il grafo focalizzato su AD) ha prodotto i guadagni più consistenti. Per i modelli più piccoli (Mistral-7B, Mixtral-8x7B), G2 ha migliorato significativamente i punteggi F1 (ad esempio, Mixtral-8x7B è passato da 0.80 a 0.89 su Probe 1 con G2).
   • Impatto Negativo della Ampiezza: Le unioni ampie (G1+G2+G3) hanno frequentemente introdotto "distrattori" — fatti rilevanti per una malattia ma non per la specifica query — portando a una minore precisione e accuratezza, specialmente per i modelli di medie dimensioni.

2. La Capacità del Modello Conta:

   • Modelli Grandi: Spesso eguagliano o superano le prestazioni della KG-RAG rispetto a una baseline No-RAG, indicando che possiedono già una conoscenza parametrica sufficiente per questi compiti. Sono anche più suscettibili ai distrattori "near-miss" nei grafi ampi.
   • Modelli Piccoli/Medi: Hanno beneficiato maggiormente di un recupero pulito e ben circoscritto (specificamente G2), utilizzando la conoscenza strutturata per colmare le lacune nei loro dati di addestramento interni.

3. Sensibilità alla Temperatura: La temperatura di decoding ha giocato un ruolo secondario. L'aumento della temperatura da 0 a 0.5 ha raramente migliorato le prestazioni e spesso ha ridotto il macro-F1, in particolare per il Probe 1 e i grafi non-G1. Una temperatura di 0 è stata identificata come il default più sicuro per la stabilità.

4. Frontier vs Baseline: I modelli frontier (Gemini 2.5 Pro, ChatGPT 5) hanno raggiunto prestazioni vicine al tetto massimo su Probe 1 (98-99%), ma hanno mostrato un calo notevole su Probe 2, più complesso, evidenziando la capacità del probe di discriminare la profondità del ragionamento.

Significatività e Rivendicazioni
Il paper conclude che una KG-RAG basata sulla precisione e sull'allineamento dell'ambito è preferibile alle unioni basate sulla ampiezza nelle applicazioni sanitarie. Gli autori sostengono che semplicemente aggregare più knowledge graph non garantisce risposte migliori; al contrario, spesso introduce rumore che confonde l'LLM.

• Linee Guida Pratiche: Lo studio delinea che i team dovrebbero selezionare i grafi che corrispondono alla distribuzione specifica delle loro domande (ad esempio, usando G2 per le query di intersezione) e implementare ranker/filtri per declassare i passaggi fuori tema.
• Dimensione del Modello: La severità del recupero dovrebbe essere adattata alla dimensione del modello; i modelli piccoli necessitano di passaggi puliti e altamente rilevanti, mentre i modelli grandi richiedono un filtraggio più stretto per evitare di essere tratti in inganno da distrattori plausibili ma irrilevanti.
• Limitazioni: Gli autori notano con modestia che le loro scoperte sono specifiche per T2DM e AD, si basano su abstract di PubMed e che il processo di costruzione del KG (normalizzazione delle entità, filtraggio delle relazioni) determina direttamente la qualità dei risultati. Riconoscono inoltre che lo studio non ha esplorato strategie di recupero avanzate come il recupero ibrido lessicale-neurale o il reranking dinamico, che potrebbero mitigare ulteriormente i problemi dei distrattori nei grafi uniti.

In definitiva, la ricerca dimostola che per gli LLM sanitari, la qualità e la rilevanza del contesto recuperato sono più critiche della quantità di fatti recuperati.