Sintesi Tecnica: MedJudgeRAG

Definizione del Problema

Nel contesto del Question Answering a Scelta Multipla (MCQA) in ambito medico, la Retrieval-Augmented Generation (RAG) ha lo scopo di integrare la conoscenza parametrica dei Large Language Models (LLM) con informazioni esterne di dominio. Tuttavia, gli approcci RAG "vanilla", che predispongono indiscriminatamente i documenti recuperati all'input, spesso degradano le prestazioni del modello. Tale degradazione avviene perché:

1. Evidenza Dispersa: Le risposte corrette spesso dipendono da prove frammentate in più documenti, che la RAG vanilla non riesce a connettere strutturalmente.
2. Mancanza di Verifica: Il modello manca di un meccanismo per giudicare sistematicamente se le informazioni recuperate costituiscano un'evidenza sufficiente per specifiche opzioni di risposta.
3. Processo Decisionale Mancante: Non esiste un processo decisionale intermedio esplicito per colmare il divario tra l'evidenza recuperata e la selezione della risposta finale, portando a una precisione nel ragionamento che può scendere al di sotto di quella dei modelli basati esclusivamente sulla conoscenza parametrica.

Metodologia: MedJudgeRAG

Gli autori propongono MedJudgeRAG, un framework progettato per strutturare i documenti recuperati in un Grafo di Conoscenza Dinamico (KG) e per eseguire un giudizio dell'evidenza per singola opzione. Il sistema opera attraverso una pipeline di apprendimento supervisionato (SFT) che coinvolge un modello insegnante (teacher) e un modello studente (student).

1. Costruzione del Grafo di Conoscenza Dinamico

Invece di fornire testo grezzo, il modello estrae un KG strutturato dai documenti recuperati ($D$) basandosi sulla domanda ($q$) e sulle opzioni ($O$).

• Schema: Il KG consiste in tuple di Entità (Nome, Tipo, Descrizione, Evidenza) e tuple di Relazione (Sorgente, Tipo di Relazione, Target, Descrizione, Evidenza).
• Vincoli: I tipi di entità si allineano a 15 Gruppi Semantici del Unified Medical Language System (UMLS). Le relazioni sono adattate dall'UMLS.
• Principi di Generazione:
  • Discriminativa: Viene estratta solo l'informazione che distingue le opzioni.
  • Fondata sui Documenti: Tutte le entità e le relazioni devono essere supportate dai documenti recuperati per prevenire allucinazioni.
  • Tracciabilità dell'Evidenza: Ogni elemento cita gli indici dei documenti sorgente.
  • Grafo Vuoto Consentito: Se i documenti sono irrilevanti, il modello può generare un KG vuoto per evitare rumore.

2. Giudizio dell'Evidenza per Singola Opzione

Dopo la generazione del KG, il modello esegue una sequenza di ragionamento strutturato ($r$) composta da tre fasi:

• Generazione del Verdetto: Per ogni opzione, il modello assegna un verdetto: SUPPORTED (supportata: esiste evidenza diretta), CONTRADICTED (contraddetta: l'evidenza prova l'erroneità) o INSUFFICIENT (insufficiente: l'evidenza è carente). Questo avviene in modalità "evidence-first", richiedendo al modello di citare documenti specifici o elementi del KG prima di impegnarsi in un verdetto.
• Selezione della Strategia: In base alla combinazione dei verdeti, il modello seleziona una strategia di ragionamento:
  • Grounded (Fondata): Se un'opzione è SUPPORTED, viene selezionata come risposta.
  • Eliminazione: Se nessuna opzione è supportata ma alcune sono CONTRADICTED, il modello elimina le opzioni errate e ragiona sulle rimanenti utilizzando la conoscenza parametrica.
  • Parametrica: Se tutte le opzioni sono INSUFFICIENT, il modello ritorna alla propria conoscenza parametrica interna.
• Risposta Finale: La risposta viene prodotta in base alla strategia selezionata.

3. Strategia di Addestramento

• Configurazione Teacher-Student: Un modello LM insegnante (GPT-5.1) genera tracce di ragionamento strutturate (KG + Verdeti + Decisione + Risposta) partendo da $(q, O, D)$ senza accesso alla risposta corretta (gold answer) durante la generazione. Queste tracce fungono da target per l'SFT del modello studente (Mistral-7B o Llama-3-8B).
• Funzione di Perdita Pesata: L'addestramento utilizza una funzione di perdita cross-entropy pesata. Il peso della perdita per il segmento KG ($\lambda_g$) è regolabile, mentre il peso del segmento di ragionamento è fisso a 1. Ciò consente al modello di dare priorità all'apprendimento della strategia di ragionamento rispetto alla perfetta ricostruzione della forma superficiale del KG.
• Modalità di Decoding:
  • Esplicita: Il modello genera il KG, poi la traccia di ragionamento.
  • Implicita: Il modello salta la generazione esplicita del KG e produce direttamente la traccia di ragionamento, condizionata dalla rappresentazione interna del KG.

Risultati Chiave

Gli esperimenti sono stati condotti sui benchmark MedQA e MedMCQA utilizzando backbone Mistral-7B e Llama-3-8B, con impostazioni di recupero identiche (top-5 documenti da PubMed/libri di testo tramite Contriever).

• Performance vs. RAG Vanilla: La RAG vanilla ha costantemente degradato le prestazioni rispetto alla baseline parametrica (ad esempio, Llama-3 è sceso di circa 10.8pp su MedQA). MedJudgeRAG ha invertito questa tendenza, superando la RAG Vanilla fino a +17.1pp (Llama su MedQA) e +11.7pp (Llama su MedMCQA).
• Performance vs. Parametrica: MedJudgeRAG ha costantemente superato la baseline parametrica, dimostrando un'integrazione efficace della conoscenza esterna.
• Decoding Esplicito vs. Implicito:
  • Il decoding implicito (saltando l'output esplicito del KG) ha generalmente prodotto un'accuratezza superiore e significativamente meno output "Invalid" (dove il modello non riusciva a selezionare una risposta) rispetto al decoding esplicito.
  • Per Llama-3, il decoding implicito è stato superiore in entrambi i benchmark.
• Ablazione sulla Perdita KG ($\lambda_g$):
  • Impostare $\lambda_g = 0.0$ (nessuna perdita diretta sui token del KG) ha spesso prodotto la migliore accuratezza della risposta.
  • Aumentare $\lambda_g$ (forzando il modello a ricostruire il KG) non ha migliorato linearmente l'accuratezza della risposta e talvolta l'ha degradata a causa del mismatch degli obiettivi e dei vincoli del budget di token.
  • Ciò suggerisce che il KG funzioni meglio come segnale di supervisione condizionato dal grafo durante l'addestramento piuttosto che come output esplicito richiesto durante l'inferenza.

Significato e Rivendicazioni

Il paper sostiene che MedJudgeRAG affronti i limiti fondamentali della RAG vanilla nelle MCQA mediche introducendo un processo di ragionamento strutturato. I suoi principali contributi sono:

1. Innovazione del Framework: Propone un metodo per strutturare l'evidenza dispersa in un KG dinamico e per eseguire un giudizio dell'evidenza per singola opzione, superando la degradazione delle prestazioni osservata nella RAG standard.
2. Intuizione sull'Addestramento: Attraverso studi di ablazione, gli autori rivelano che il KG dinamico funziona in modo più efficace come segnale di supervisione strutturale durante l'addestramento piuttosto che come output esplicito durante l'inferenza. Il modello impara a ragionare condizionatamente alla struttura del grafo senza necessariamente dover generare il grafo esplicitamente, bilanciando il compromesso tra guida strutturale ed efficienza di inferenza.
3. Robustezza: Il framework dimostra che, con la corretta strategia di ragionamento (giudizio ed eliminazione), i documenti recuperati possono potenziare anziché ostacolare le prestazioni degli LLM in domini medici complessi.

Gli autori sottolineano che il miglioramento non deriva dall'apprendimento di nuove conoscenze di dominio, ma dall'apprendimento della costruzione dinamica della conoscenza e di una strategia di ragionamento adattata alle domande a scelta multipla.