mKG-RAG: Leveraging Multimodal Knowledge Graphs in Retrieval-Augmented Generation for Knowledge-intensive VQA

1. Probleemstelling

Kennisintensief Visueel Vragenbeantwoorden (VQA) vereist dat modellen vragen beantwoorden die afhankelijk zijn van externe, encyclopedische of lange-staartfeiten die niet aanwezig zijn in de trainingsdata of de directe visuele input. Hoewel Multimodale Grootte Taalmodellen (MLLM's) uitstekend presteren in gezond verstand-redenering, worstelen ze met specifieke feitelijke queries, vaak door hallucinaties te genereren of weigering om te antwoorden.

Huidige Retrieval-Augmented Generation (RAG)-benaderingen proberen dit op te lossen door externe documenten op te halen. Echter, bestaande methoden lijden aan drie kritieke beperkingen:

1. Gestructureerde Ruis: Ze vertrouwen op ongestructureerde tekstbrokken of alinea's, wat irrelevante context en "ruis" introduceert, waardoor het voor MLLM's moeilijk wordt om sleutelfeiten te isoleren.
2. Gebrek aan Structurele Relaties: Ze negeren de logische verbindingen tussen kennis-elementen, wat de mogelijkheid van het model beperkt om multi-hop redenering uit te voeren.
3. Modale Kloof: De meeste RAG-systemen gebruiken unimodale retrievers (alleen tekst of alleen visueel) of slagen er niet in visuele en tekstuele bewijzen effectief af te stemmen, wat leidt tot suboptimale ophaling in multimodale scenario's.

2. Methodologie: mKG-RAG

De auteurs stellen mKG-RAG voor, een raamwerk dat Multimodale Kennisgrafieken (KG's) integreert in de RAG-pijplijn. Het raamwerk bestaat uit twee hoofdfasen:

A. Constructie van Multimodale Kennisgrafieken

In plaats van bestaande KG's te gebruiken (die specifieke of lange-staartkennis missen), bouwt mKG-RAG dynamische, hoogwaardige KG's op vanuit ongestructureerde multimodale documenten (bijvoorbeeld Wikipedia-pagina's met tekst en afbeeldingen).

• Tekstuele Grafiekextractie: Gebruikt een MLLM om entiteiten en relaties uit tekstsegmenten te extraheren, waarmee een tekstuele subgraaf ($G_t$) wordt gevormd.
• Visuele Grafiekextractie: Gebruikt Scene Graph Generation (SGG)-technieken om objecten en hun ruimtelijke/semantische relaties binnen afbeeldingen te detecteren, waarmee een visuele subgraaf ($G_v$) wordt gevormd.
• Multimodale Grafiekaggregatie: Een kerninnovatie waarbij een MLLM fungeert als een Vision-Text Matcher. Het stemt entiteiten en relaties uit $G_t$ en $G_v$ op elkaar af op basis van semantische consistentie.
  • Mechanisme: De MLLM ontvangt de afbeelding, de tekstuele grafiek (als natuurlijke taal) en de visuele grafiek (als object-ID's, categorieën en bounding boxes). Het geeft gepaarde paren uit, waarbij visuele attributen (bounding boxes, objectcategorieën) effectief aan tekstuele entiteiten worden gekoppeld.
  • Resultaat: Een geünificeerde multimodale KG waarbij knopen en randen zowel tekstuele beschrijvingen als visuele grounding bezitten.

B. Twee-staps Multimodale Ophaling

Om de rekenkosten van het doorzoeken van grote grafieken te beheersen, hanteert mKG-RAG een twee-staps ophalingsstrategie:

1. Grofkorrelige Documentophaling:
   • Gebruikt een Query-aware Multimodal Retriever (QM-Retriever) om vectorzoekopdrachten uit te voeren over het volledige documentcorpus.
   • De QM-Retriever is getraind om multimodale queries (Afbeelding + Vraag) af te stemmen op bewijs (Afbeelding + Tekst). Het bevat een "Question Converter" die interrogatieve vragen omzet in declaratieve uitspraken in de latente ruimte om beter overeen te komen met bewijstekst.
   • Deze fase verkleint de zoekruimte tot de top-$K$ kandidaat-documenten.
2. Meerkorrelige Grafiekophaling:
   • Construeert een query-specifieke subgraaf door de offline KG's van de kandidaat-documenten te samenvoegen.
   • Entiteit/Relatie Ophaling: Haalt specifieke knopen en randen op op basis van inbeddingsimilariteit met de query.
   • Subgraafuitbreiding: Voert een $l$-hop buur-doorzoek (Breadth-First Search) uit op de opgehaalde subgraaf om contextuele verbindingen te vangen, maar neemt alleen buren op die een similariteitsdrempel overschrijden om ruis te voorkomen.

C. Antwoordgeneratie

De uiteindelijke context die aan de MLLM wordt gevoerd, omvat de originele afbeelding, de vraag, de opgehaalde gestructureerde grafiekelementen (die een kennisoverzicht bieden) en de bijbehorende tekstbrokken (die details bieden).

3. Belangrijkste Bijdragen

1. Multimodale KG-verrijkte RAG: Het eerste raamwerk dat specifiek geconstrueerde multimodale KG's integreert in RAG voor kennisintensief VQA, waardoor structurele relaties en cross-modale aanwijzingen worden vastgelegd.
2. Nieuwe Constructiepijplijn: Een methode om ongestructureerde multimodale documenten te destilleren tot gestructureerde KG's met behulp van MLLM-gedreven extractie en vision-text matching, waarmee semantische consistentie over modaliteiten wordt gewaarborgd.
3. Twee-staps Ophaling & QM-Retriever: Een twee-staps ophalingsparadigma (Document $\to$ Grafiek) en een gespecialiseerde Query-aware Multimodal Retriever die is getraind met contrastief leren en doelen voor vraagherformulering om de modale kloof te overbruggen.
4. State-of-the-Art Prestaties: De aanpak presteert aanzienlijk beter dan bestaande baselines op standaard benchmarks.

4. Experimentele Resultaten

De methode werd geëvalueerd op twee benchmarks: E-VQA (5.8K samples) en InfoSeek (73K validatiesamples).

• Prestaties:
  • E-VQA: Bereikte 36.3% nauwkeurigheid (All set), waarmee de vorige beste (ReflectiVA*) met een aanzienlijke marge werd overtroffen.
  • InfoSeek: Bereikte 40.5% nauwkeurigheid (All set), waarmee een nieuwe state-of-the-art werd vastgesteld.
  • Verbetering: In vergelijking met zero-shot MLLM's verbeterde mKG-RAG de nauwkeurigheid met meer dan 20% op E-VQA en 31% op InfoSeek.
• Ophalingsefficiëntie: De QM-Retriever bereikte gemiddelde Recall-verbeteringen van 9.9% (E-VQA) en 7.0% (InfoSeek) ten opzichte van de beste unimodale/cross-modale baselines (zoals CLIP).
• Ablatiestudies:
  • Het verwijderen van de QM-Retriever (in plaats daarvan CLIP gebruiken) liet de nauwkeurigheid met ongeveer 4-5% dalen.
  • Het vervangen van grafiekophaling door ophaling op basis van brokken liet de nauwkeurigheid met ongeveer 8% dalen.
  • Subgraafuitbreiding leverde een extra winst van ongeveer 1.3% op.
• Generalisatie: Het raamwerk toonde consistente prestatiewinsten (gemiddeld +9.4%) over verschillende MLLM-architecturen (Phi3V, LLaMA-3.2, Qwen2.5-VL, enz.), ongeacht de parametergrootte.
• Efficiëntie: Ondanks de complexe pijplijn is de zware KG-constructie offline. Online inferentie voegt slechts een 1.14x rekenkosten toe ten opzichte van zero-shot generatie, terwijl het een 1.37x nauwkeurigheidsverbetering levert ten opzichte van naïeve RAG.

5. Betekenis

Dit artikel adresseert een kritieke bottleneck in multimodale AI: het onvermogen van huidige modellen om te redeneren over gestructureerde, externe kennis wanneer visuele en tekstuele aanwijzingen met elkaar verweven zijn. Door over te stappen van ongestructureerde tekstophaling naar gestructureerde multimodale grafiekophaling, doet mKG-RAG het volgende:

• Vermindert Hallucinatie: Biedt precieze, gestructureerde bewijzen die de MLLM leiden.
• Versterkt Redenering: De grafiekstructuur modelleert relaties expliciet, wat helpt bij multi-hop redenering (bijvoorbeeld het verbinden van een object in een afbeelding met een specifiek feit in een document).
• Overbrugt Modaliteiten: De QM-Retriever en vision-text matching zorgen ervoor dat visuele en tekstuele bewijzen coherent worden opgehaald en afgestemd, in plaats van ze als aparte silo's te behandelen.

Het werk demonstreert dat het integreren van gestructureerde kennisrepresentaties (KG's) met generatieve modellen een superieur paradigma is voor kennisintensieve taken in vergelijking met traditionele RAG, en de weg effent voor betrouwbaardere en feitelijke multimodale AI-systemen.