MedJudgeRAG: Option-Wise Evidence Judgment with Dynamic Knowledge Graphs for Medical MCQA

Technische Samenvatting: MedJudgeRAG

Probleemstelling

In medische meerkeuzevragen (Medical Multiple-Choice Question Answering, MCQA) is Retrieval-Augmented Generation (RAG) bedoeld om de parametrische kennis van Large Language Models (LLMs) aan te vullen met externe domeininformatie. Echter, "vanilla" RAG-benaderingen, die opgehaalde documenten ongefilterd aan de input toevoegen, verslechteren vaak de prestaties van het model. Deze degradatie komt voort uit:

1. Verspreide Bewijsvoering: Correcte antwoorden leunen vaak op bewijs dat gefragmenteerd is over meerdere documenten, wat vanilla RAG niet structureel kan verbinden.
2. Gebrek aan Verificatie: Het model mist een mechanisme om systematisch te beoordelen of de opgehaalde informatie voldoende bewijs vormt voor specifieke antwoordopties.
3. Ontbrekende Besluitvormingsproces: Er is geen expliciet tussenliggend besluitvormingsproces om de opgehaalde bewijsvoering en de uiteindelijke antwoordselectie te overbruggen, wat leidt tot een redeneernauwkeurigheid die lager kan liggen dan die van modellen die uitsluitend op parametrische kennis vertrouwen.

Methodologie: MedJudgeRAG

De auteurs stellen MedJudgeRAG voor, een framework dat ontworpen is om opgehaalde documenten te structureren in een Dynamische Kennisgraaf (KG) en een optie-gewijze bewijsbeoordeling uit te voeren. Het systeem werkt via een supervised fine-tuning (SFT) pijplijn bestaande uit een teacher-model en een student-model.

1. Constructie van de Dynamische Kennisgraaf

In plaats van ruwe tekst te voeden, extraheert het model een gestructureerde KG uit de opgehaalde documenten ($D$) op basis van de vraag ($q$) en de opties ($O$).

• Schema: De KG bestaat uit Entiteit-tuples (Naam, Type, Beschrijving, Bewijs) en Relatie-tuples (Bron, Relatietype, Doel, Beschrijving, Bewijs).
• Constraints: Entiteitstypen zijn afgestemd op 15 Unified Medical Language System (UMLS) Semantische Groepen. Relaties zijn aangepast van UMLS.
• Generatieprincipes:
  • Discriminatief: Alleen informatie die de opties onderscheidt, wordt geëxtraheerd.
  • Document-gegrond: Alle entiteiten en relaties moeten worden ondersteund door de opgehaalde documenten om hallucinaties te voorkomen.
  • Bewijs-gevolgd: Elk element citeert de indices van de brondocumenten.
  • Lege graaf toegestaan: Als documenten irrelevant zijn, kan het model een lege KG produceren om ruis te voorkomen.

2. Optie-gewijze Bewijsbeoordeling

Na de KG-generatie voert het model een gestructureerd redeneersequentie ($r$) uit bestaande uit drie stadia:

• Verdict Generatie: Voor elke optie wijst het model een verdict toe: SUPPORTED (direct bewijs aanwezig), CONTRADICTED (bewijs bewijst onjuistheid), of INSUFFICIENT (bewijs ontbreekt). Dit gebeurt op een "evidence-first" wijze, waarbij het model vereist dat het specifieke documenten of KG-elementen citeert voordat het een verdict velt.
• Strategiekeuze: Op basis van de combinatie van verdicts selecteert het model een redeneerstrategie:
  • Grounded: Als een optie SUPPORTED is, wordt deze als het antwoord gekozen.
  • Eliminatie: Als geen enkele optie SUPPORTED is maar sommige CONTRADICTED zijn, elimineert het model de onjuiste opties en redeneert het verder over de resterende opties met behulp van parametrische kennis.
  • Parametrisch: Als alle opties INSUFFICIENT zijn, valt het model terug op zijn interne parametrische kennis.
• Eindantwoord: Het antwoord wordt geproduceerd op basis van de gekozen strategie.

3. Trainingsstrategie

• Teacher-Student Setup: Een teacher LM (GPT-5.1) genereert gestructureerde redeneersporen (KG + Verdicts + Decision + Answer) vanuit $(q, O, D)$ zonder toegang te hebben tot het gouden antwoord tijdens de generatie. Deze sporen dienen als SFT-doelen voor het student LM (Mistral-7B of Llama-3-8B).
• Gewogen Loss-functie: De training maakt gebruik van een gewogen cross-entropy loss. De loss-weging voor het KG-segment ($\lambda_g$) is aanpasbaar, terwijl de weging van het redeneersegment vast staat op 1. Dit stelt het model in staat om prioriteit te geven aan het leren van de redeneerstrategie boven perfecte oppervlaktevorm-reconstructie van de KG.
• Decoding Modi:
  • Expliciet: Het model genereert de KG, en vervolgens het redeneerspoor.
  • Impliciet: Het model slaat de expliciete KG-generatie over en geeft direct het redeneerspoor weer, geconditioneerd op de interne representatie van de KG.

Belangrijkste Resultaten

Experimenten werden uitgevoerd op de MedQA en MedMCQA benchmarks met Mistral-7B en Llama-3-8B backbones, met identieke retrieval-instellingen (top-5 documenten uit PubMed/leerboeken via Contriever).

• Prestaties vs. Vanilla RAG: Vanilla RAG verslechterde de prestaties consequent vergeleken met de parametrische baseline (bijv. Llama-3 daalde met ~10,8pp op MedQA). MedJudgeRAG draaide deze trend om en presteerde tot +17,1pp beter dan Vanilla RAG (Llama op MedQA) en +11,7pp (Llama op MedMCQA).
• Prestaties vs. Parametrisch: MedJudgeRAG presteerde consequent beter dan de parametrische baseline, wat duidt op een succesvolle integratie van externe kennis.
• Expliciet vs. Impliciet Decoderen:
  • Impliciet decoderen (het overslaan van de expliciete KG-output) leverde over het algemeen een hogere nauwkeurigheid op en aanzienlijk minder "Ongeldige" outputs (waarbij het model faalde om een antwoord te selecteren) vergeleken met Expliciet decoderen.
  • Voor Llama-3 was Impliciet decoderen superieur op beide benchmarks.
• Ablatie op KG Loss ($\lambda_g$):
  • Het instellen van $\lambda_g = 0.0$ (geen directe loss op KG-tokens) leverde vaak de beste antwoordnauwkeurigheid op.
  • Het verhogen van $\lambda_g$ (het dwingen van het model om de KG te reconstrueren) leidde niet lineair tot een verbetering van de antwoordnauwkeurigheid en verslechterde deze soms door een mismatch in doelstellingen en beperkingen in het aantal tokens.
  • Dit suggereert dat de KG beter dient als structurele training-time supervisie-signaal dan als een vereiste expliciete output tijdens de inferentie.

Betekenis en Claims

Het artikel claimt dat MedJudgeRAG de kernbeperkingen van vanilla RAG in medische MCQA aanpakt door een gestructureerd redeneerproces te introduceren. De primaire bijdragen zijn:

1. Framework Innovatie: Het stelt een methode voor om verspreide bewijsvoering te structureren in een dynamische KG en een optie-gewijze bewijsbeoordeling uit te voeren, waarmee de prestatiedegradatie die wordt gezien bij standaard RAG wordt overwonnen.
2. Trainingsinzicht: Door middel van ablatie-studies onthullen de auteurs dat de dynamische KG het meest effectief functioneert als een structureel supervisie-signaal tijdens de training in plaats van als een expliciete output tijdens de inferentie. Het model leert te redeneren geconditioneerd op de grafische structuur zonder noodzakelijkerwijs de grafiek expliciet te genereren, wat een balans vindt tussen structurele begeleiding en inferentie-efficiëntie.
3. Robuustheid: Het framework demonstreert dat met de juiste redeneerstrategie (beoordeling en eliminatie), opgehaalde documenten de prestaties van LLM's in complexe medische domeinen kunnen verbeteren in plaats van ze te hinderen.

De auteurs benadrukken dat de verbetering niet voortkomt uit het leren van nieuwe domeinkennis, maar uit het leren van dynamische kennisconstructie en een redeneerstrategie die is afgestemd op meerkeuzevragen.