Technische Samenvatting: MKG-RAG-Bench

Probleemstelling

Retrieval-augmented generation (RAG) heeft de feitelijke onderbouwing van large language models (LLM's) verbeterd, maar bestaande benaderingen vertrouwen voornamelijk op ongestructureerde tekstuele corpora. Hoewel kennisgraaf-gebaseerde RAG (KG-RAG) problemen met ruis en fragmentatie aanpakt door gebruik te maken van gestructureerde data, zijn huidige methoden grotendeels beperkt tot tekstuele kennisgrafen. Deze beperking belemmert de toepasbaarheid in realistische scenario's waar cruciale informatie wordt overgebracht via afbeeldingen, grafieken en tabellen.

De specifieke uitdaging die in dit werk wordt aangepakt, is Multimodale KG-RAG (MKG-RAG), die gestructureerde kennis over meerdere modaliteiten integreert. Echter, het vakgebied mist een toegewijde benchmark om deze setting te evalueren. Bestaande benchmarks voor multimodale RAG (M-RAG) halen informatie uit ongestructureerde corpora, terwijl KG-RAG benchmarks zich richten op tekstuele grafen. Geen van beide vangt de unieke uitdagingen van MKG-RAG, specifiek:

1. Heterogene Retrieval: Queries en doel-triplets kunnen verschillende combinaties van modaliteiten bevatten (bijv. tekst-only queries die visueel bewijs vereisen, of multimodale queries die tekstuele relaties vereisen).
2. Cross-modale Alignment: Relevantie vereist vaak redeneren over modaliteiten en grafictopologie heen, in plaats van eenvoudige oppervlakkige matching.
3. Benchmark Nut: Bestaande multimodale kennisgrafen bevatten vaak triplets met een lage bruikbaarheid of generieke inhoud, wat leidt tot ambigue queries en de werkelijke bijdrage van retrieval-mechanismen vertroebelt.

Een voorlopige analyse in het paper toont aan dat het naïef combineren van bestaande multimodale kennisgrafen (bijv. MedMKG) met downstream-taken resulteert in een prestatieverslechtering vergeleken met RAG-vrije baselines, voornamelijk door de retrieval van taakonrelevante kennis en de afwezigheid van taalkritische kennis.

Methodologie

De auteurs stellen MKG-RAG-Bench voor, een cross-domein benchmark die expliciet is ontworpen om retrieval en generatie in MKG-RAG te evalueren. De benchmark wordt geconstrueerd met behulp van een geprincipeerde, LLM-gebaseerde curatiepipeline bestaande uit drie stadia:

1. LLM-gebaseerde Utility Filtering: Een LLM beoordeelt triplets uit bron-kennisgrafen (MarKG voor algemene domeinen en MedMKG voor medische domeinen) om data met een lage bruikbaarheid te filteren. Triplets die generieke vragen opleveren of geen externe bewijsvoering vereisen, worden verwijderd om ervoor te zorgen dat queries goed gegrond zijn en retrieval noodzakelijk is.
2. Gecontroleerde Volledigheids Simulatie: Om queries te creëren met exacte supervisie, simuleert de pipeline incompleetheid door componenten van de behouden triplets te maskeren.
   • Relatie Masking: De relatie wordt verborgen, wat inferentie vereist vanuit de head- en tail-entiteiten.
   • Tail Masking: De tail-entiteit wordt verborgen, wat inferentie vereist vanuit de head-entiteit en de relatie.
   • De head-entiteit wordt behouden als een semantische anker om multimodale grounding te faciliteren.
3. Hybride Vraag Synthese: Een LLM (GPT-5) synthetiseert natuurlijke taalvragen uit de gemaskeerde triplets in twee modi:
   • Text-only: Voor tekstuele kennis, waarbij vragen worden gegenereerd die expliciet mikken op de ontbrekende component.
   • Image-grounded: Voor triplets met visuele entiteiten wordt de afbeelding aan de LLM verstrekt en wordt de entiteit aangeduid als [Image] om visuele grounding af te dwingen en triviale lexicale matching te voorkomen.

De resulterende dataset bevat uitgelijnde query-triplet paren voor de evaluatie van retrieval en vraag-antwoord paren voor de evaluatie van generatie. De benchmark beslaat vijf specifieke evaluatie-instellingen (S1–S5) die variëren naar query-modaliteit (text-only vs. multimodal) en de scope van de kandidaat-triplets (text-only vs. multimodal vs. alle).

Het evaluatiekader test vier categorieën retrievers in een training-vrije setting:

• Text-only retrievers (behandelen triplets als platte tekst).
• Fusion-gebaseerde multimodale retrievers (gedeelde representatieruimte).
• Captioning-gebaseerde retrievers (omzetten van afbeeldingen naar tekst).
• Reranking-gebaseerde retrievers (multi-stage filtering).

Belangrijkste Bijdragen

1. Identificatie van een Onderzoeksgat: Het werk benadrukt dat retrieval in MKG-RAG onderbelicht is en onvoldoende wordt geëvalueerd in huidig multimodaal RAG-onderzoek.
2. Eerste Cross-Domain MKG-RAG Benchmark: De introductie van MKG-RAG-Bench, bestaande uit twee multimodale kennisgrafen en bijbehorende QA-datasets, wat systematische evaluatie van zowel retrieval-kwaliteit als downstream-generatie mogelijk maakt.
3. Geprincipeerde Curatiepipeline: Een nieuwe pipeline die LLM's gebruikt om uitdagingen in heterogene retrieval, multimodale alignment en benchmark-nut aan te pakken door kennis met een lage bruikbaarheid te filteren en structureel gegronde queries te genereren.
4. Verenigd Evaluatiekader: Uitgebreide experimenten over diverse multimodale instellingen die de cruciale rol van effectieve retrieval aantonen voor de end-to-end MKG-RAG prestaties.

Resultaten

Uitgebreide experimenten zijn uitgevoerd op de MKG-RAG-Bench-G (algemeen) en MKG-RAG-Bench-M (medisch) datasets met behulp van representatieve retriever-architecturen. De belangrijkste bevindingen zijn:

• Retrieval Moeilijkheidsgraad: Effectieve multimodale retrieval blijft een aanzienlijke uitdaging. In het medische domein (MedMKG) presteerden multimodale retrievers (Fusion, Reranking) aanzienlijk beter dan text-only en captioning-gebaseerde retrievers in multimodale settings, maar de prestaties varieerden drastisch op basis van modaliteits-alignment.
• Impact van Modaliteit:
  • In het algemene domein behaalden Fusion-gebaseerde retrievers de hoogste NDCG@K en Recall@K (bijv. ~62% Recall@100 voor multimodale queries met multimodale triplets), waarmee ze de text-only en captioning-benaderingen overtrof.
  • In het medische domein toonden Reranking-gebaseerde retrievers superieure prestaties in complexe multimodale settings (bijv. ~51% Recall@100 voor multimodale queries met alle triplets), wat suggereert dat multi-stage pipelines effectief zijn voor het afhandelen van ruis of complexe medische data.
• Retrieval Bepaalt Generatie: Het paper stelt vast dat de kwaliteit van de retrieval de uitkomsten van de generatie sterk bepaalt. Slechte retrieval leidt tot de injectie van ruis of de afwezigheid van cruciale feiten, wat de uiteindelijke antwoordkwaliteit verslechtert.
• Baseline Vergelijking: In voorlopige studies met bestaande grafen zonder curatie, presteerden RAG-vrije modellen vaak beter dan retrieval-augmented modellen, wat de noodzaak onderstreept van de gecureerde, hoogwaardige dataset die MKG-RAG-Bench biedt.

Betekenis

Het paper claimt dat MKG-RAG-Bench een geprincipeerde fundering biedt voor het diagnosticeren van de huidige beperkingen van multimodale kennisgrafen-systemen. Door retrieval te isoleren als een primaire evaluatietarget, stelt de benchmark onderzoekers in staat om:

• Verbeteringen te onderscheiden die voortkomen uit effectieve retrieval versus die van generatieve priors.
• Systematisch diverse modaliteitsconfiguraties te dekken om de realiteit te reflecteren.
• De ontwikkeling van krachtigere retrievers te bevorderen die specifiek zijn ontworpen voor gestructureerde, multimodale kennis.

Het werk stelt dat zonder een dergelijke benchmark, de werkelijke capaciteiten en beperkingen van MKG-RAG-systemen verborgen blijven door misalignement tussen kennisbronnen, retrieval-doelstellingen en evaluatiemetrieken.