Mario: Multimodal Graph Reasoning with Large Language Models

Mario is een unificerend framework dat grote taalmodellen in staat stelt om effectief te redeneren over multimodale grafen door middel van een graf-geconditioneerde VLM voor kruismodale consistentie en een modaal-adaptieve instructie-tuning-mechanisme dat de meest informatieve modale configuraties selecteert, wat leidt tot superieure prestaties in vergelijking met bestaande modellen.

De kern

Stel je voor dat je een enorme bibliotheek hebt, maar in plaats van alleen boeken, heeft elke schakel in de rekken ook een foto. Soms beschrijft de tekst het boek perfect, maar soms is de foto van iets heel anders, of is de tekst vaag en helpt de foto juist.

De meeste slimme computers (zoals Large Language Models of LLM's) zijn gewend om naar één boek en één foto tegelijk te kijken, alsof ze losse postjes zijn. Ze zien niet dat deze boeken en foto's allemaal met elkaar verbonden zijn in een groot netwerk.

De onderzoekers van deze paper hebben een nieuwe manier bedacht om dit netwerk te begrijpen. Ze noemen hun uitvinding Mario. Hier is hoe het werkt, vertaald naar alledaagse taal:

Het Probleem: Twee Struikelblokken

Mario probeert twee grote problemen op te lossen die andere systemen vaak missen:

1. De "Verkeerde Vertaling" (Slechte consistentie):
   Stel je voor dat je een foto van een rode auto ziet, maar de tekst erbij zegt "een blauwe fiets". Als je computer probeert deze twee te combineren zonder hulp, raakt hij in de war. In de echte wereld zijn tekst en foto's vaak niet perfect op elkaar afgestemd. Mario leert de computer om te kijken naar de buren in het netwerk. Als de tekst van de rode auto raar klinkt, kijkt Mario naar de buren (andere auto's) om te zien wat ze zeggen, en zo wordt de betekenis duidelijk.

2. De "Eén-grootte-voor-iedereen" Fout (Heterogene voorkeur):
   Stel je voor dat je een klas hebt. Voor sommige leerlingen werkt alleen het lezen van een tekstboek het beste. Voor anderen werkt alleen een filmpje. En weer anderen hebben een combinatie nodig.
   De meeste systemen gebruiken voor iedereen hetzelfde "recept" (bijvoorbeeld: lees altijd de tekst én bekijk altijd de foto). Mario is slimmer: hij heeft een slimme portier die voor elk individueel item in het netwerk kijkt en zegt: "Voor dit item is de foto het belangrijkst, de tekst is ruis. Laat me alleen de foto zien." Of andersom.

Hoe werkt Mario? (De Twee Stappen)

Mario werkt in twee fases, net als het trainen van een nieuwe medewerker:

Fase 1: De "Netwerk-Vertaler" (GVLM)
Eerst leert Mario hoe hij de losse stukjes tekst en foto's moet samenvoegen, maar dan met een speciale bril: de netwerkbril.

• De analogie: Stel je voor dat je een groep mensen hebt die in een kring staan. Iedereen fluistert iets in het oor van zijn buren. Mario gebruikt deze fluisterpartijen (de structuur van het netwerk) om de tekst en de foto van een persoon met elkaar te laten "praten". Zo weten ze wat ze werkelijk bedoelen, zelfs als ze eerst verward waren. Ze worden een perfect team.

Fase 2: De "Slimme Portier" (MAPR)
Nu de tekst en foto's goed samensmelten, moet Mario beslissen hoe hij deze informatie aan de grote slimme computer (de LLM) geeft.

• De analogie: Mario heeft een portier die bij de ingang staat. Voor elke vraag die de computer moet beantwoorden, kijkt de portier naar de vraag en de persoon erachter.
  • Is het een vraag over een schilderij? Dan laat hij alleen de foto door.
  • Is het een vraag over een gedicht? Dan laat hij alleen de tekst door.
  • Is het een vraag over een auto? Dan geeft hij zowel foto als tekst door.
    De portier leert dit door te kijken wat het beste werkt. Hij zorgt ervoor dat de computer nooit verward wordt door onnodige informatie.

Waarom is dit cool?

In de tests heeft Mario het veel beter gedaan dan de beste systemen die er nu zijn.

• Beter leren: Hij leert sneller omdat hij niet verward raakt door slechte combinaties van tekst en foto.
• Slimmer redeneren: Hij kan vragen beantwoorden over dingen die hij nog nooit heeft gezien (zero-shot), omdat hij begrijpt hoe de structuur van het netwerk werkt.
• Efficiënt: Hij verspillen geen tijd aan het lezen van informatie die niet helpt.

Samenvattend

Mario is als een super-organiserende bibliothecaris die niet alleen naar de boeken en foto's kijkt, maar ook weet wie met wie bevriend is. Hij weet precies welk boekje of welke foto hij aan de lezer moet geven om het beste antwoord te krijgen, en hij zorgt ervoor dat de tekst en de foto's altijd met elkaar "in gesprek" zijn voordat ze worden gebruikt.

Het resultaat? Een systeem dat multimodale (tekst + beeld) netwerken begrijpt zoals een mens dat zou doen: door context, verbanden en de juiste focus te gebruiken.

Technische samenvatting

Titel: Mario: Multimodaal Grafisch Redeneren met Grote Taalmodellen

Auteurs: Yuanfu Sun, Kang Li, Pengkang Guo, Jiajin Liu, Qiaoyu Tan (NYU Shanghai, NYU, Tsinghua University, EPFL).

---

1. Het Probleem

Bestaande methoden voor multimodaal redeneren met Grote Taalmodellen (LLMs) behandelen multimodale data (tekst en afbeeldingen) vaak als geïsoleerde paren, waarbij de structurele relaties tussen entiteiten worden genegeerd. In de echte wereld vormen multimodale data echter vaak Multimodale Grafen (MMGs), waarbij knopen tekstuele en visuele attributen hebben en randen structurele cues bieden.

De auteurs identificeren twee fundamentele uitdagingen bij het toepassen van LLMs op MMGs:

1. Zwakke cross-modale consistentie (C1): In realistische MMGs zijn de tekst en afbeelding van een knoop niet altijd semantisch perfect op elkaar afgestemd. De tekst kan kort of ruisachtig zijn, en de afbeelding kan onvolledige informatie bevatten. Bestaande methoden die VLMs (Vision-Language Models) en grafmodellen los van elkaar gebruiken, versterken deze inconsistenties.
2. Heterogene modale voorkeur (C2): Niet alle knopen in een graf zijn even informatief voor alle modaliteiten. Sommige knopen zijn tekst-dominant, andere visueel-dominant, en weer andere vereisen een combinatie. Bestaande GraphLLM-methoden gebruiken vaak één vast prompt-template voor alle knopen, wat leidt tot suboptimale prestaties omdat ze niet dynamisch kunnen kiezen welke modale informatie het meest relevant is voor een specifieke knoop en zijn omgeving.

---

2. Methodologie: Het Mario Framework

Mario is een unificerend framework dat bestaat uit twee innovatieve stadia om de bovengenoemde uitdagingen aan te pakken.

Fase 1: Graf-geconditioneerd Vision-Language Model (GVLM)

Het doel van deze fase is het creëren van een gemeenschappelijke latent ruimte waar tekst en afbeeldingen van dezelfde knoop semantisch dicht bij elkaar liggen, terwijl de grafstructuur wordt behouden.

• Dual-Tower Architectuur: Er worden twee aparte encoders gebruikt (één voor tekst, één voor afbeelding), gebaseerd op pretrained VLMs (zoals CLIP).
• Topology-Aware Multimodal Mixer: Een Transformer-gebaseerde module die grafstructuur injecteert in de token-embeddings. Deze module gebruikt een Graph-Aware Position Bias (gebaseerd op kortste pad-afstanden) om de [CLS] tokens van alle knopen te laten "attenderen" op hun buren.
• Reinjection: De structuur-bewuste representaties worden teruggevoerd in de token-stroom om de knoop-representaties iteratief te verfijnen.
• Cross-Modal Contrastive Learning: Er wordt een bidirectionele InfoNCE-verliesfunctie toegepast om de tekst- en afbeelding-embeddings van dezelfde knoop dichter bij elkaar te brengen, terwijl embeddings van verschillende knopen worden gescheiden. Dit zorgt voor een structuur-bewuste uitlijning.

Fase 2: Modality-Adaptive Graph Instruction Tuning

Deze fase richt zich op het dynamisch selecteren van de beste modale input voor de LLM per knoop.

• Prompt Template Bank: Er worden drie soorten prompts gegenereerd voor elke knoop:
  1. Alleen tekst (Text-only).
  2. Alleen afbeelding (Image-only).
  3. Multimodaal (Text+Image).
     Elk prompt bevat de eigenschappen van de knoop en zijn 1-hop en 2-hop buren.
• Modality-Adaptive Prompt Router (MAPR): Een lichtgewicht MLP-router die, gebaseerd op de gealigneerde features van de knoop en zijn omgeving, een waarschijnlijkheidsverdeling berekent over welke van de drie templates het meest informatief is.
• Training: De router wordt getraind met een combinatie van een prestatie-gewogen verlies (waarbij templates met lagere fouten meer gewicht krijgen) en een KL-divergentie regularisatie. Hierdoor leert de LLM om te vertrouwen op de meest betrouwbare modale signalen en ruis te negeren.
• Inference: Tijdens inferentie kiest de router hard de beste template (deze met de hoogste waarschijnlijkheid), waardoor er geen extra rekentijd ontstaat ten opzichte van een enkel-template systeem.

---

3. Belangrijkste Bijdragen

1. Nieuw Onderzoeksveld: Mario is een van de eerste werken dat systematisch LLM-redenering op Multimodale Grafen onderzoekt en de specifieke uitdagingen van cross-modale inconsistentie en heterogene modale voorkeur adresseert.
2. GVLM Paradigma: Introductie van een graf-geconditioneerd Vision-Language Model dat tekst en afbeeldingen uitlijnt onder leiding van de graftopologie, wat resulteert in symmetrische en structuur-bewuste knooprepresentaties.
3. Adaptieve Prompting: Doorbraak in het verlaten van vaste templates door Modality-Adaptive Graph Instruction Tuning. Dit stelt het systeem in staat om per knoop dynamisch de meest informatieve modale configuratie te selecteren.
4. State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat Mario superieur presteert in vergelijking met bestaande grafmodellen en multimodale LLMs, zowel in overwachte (supervised) als zero-shot scenario's.

---

4. Resultaten

Het model is getest op diverse MMG-benchmarks (o.a. Amazon Movies, CDs, Arts, Reddit).

• Supervised Learning: Mario overtreft consistent de state-of-the-art baselines (zoals GCN, GAT, GraphGPT, MLaGA) in zowel knoopclassificatie als linkpredictie.
  • Bijvoorbeeld: Op de 'CDs'-dataset verbeterde Mario de nauwkeurigheid van de beste baseline (56.45%) naar 63.43%.
• Zero-Shot Transfer: Mario toont uitzonderlijke generalisatievermogen. Bij het transferen van het 'Toys'-dataset naar het 'Movies'-dataset (zonder hertraining op de doeldata), behaalde Mario 1.64x hogere nauwkeurigheid dan de beste baseline.
• Efficiëntie: Ondanks dat elke epoch iets langer duurt door het evalueren van meerdere templates tijdens training, convergeert Mario sneller (in minder epochs) dan single-template baselines, wat resulteert in een vergelijkbare totale trainingstijd.
• Ablatie Studies:
  • De GVLM-component (Fase 1) levert een significante verbetering op ten opzichte van standaard GNNs of MLPs voor het uitlijnen van features.
  • De adaptieve router (Fase 2) is cruciaal; het gebruik van een vaste template leidt tot aanzienlijk lagere prestaties.
  • Het model is robuust voor verschillende LLM-achtergronden (LLaMA2, LLaMA3, FLAN-T5).

---

5. Significantie

Mario markeert een belangrijke stap voorwaarts in het veld van multimodaal redeneren. Het paper demonstreert dat:

1. Structuur essentieel is: Het simpelweg combineren van tekst en afbeelding is niet genoeg; de grafstructuur moet actief worden gebruikt om de consistentie tussen modaliteiten te verbeteren.
2. Adaptiviteit nodig is: Een "one-size-fits-all" aanpak voor prompts werkt niet in multimodale grafen. Het vermogen om per knoop te bepalen welke modale informatie het meest waardevol is, is cruciaal voor nauwkeurige redenering.
3. LLMs als redenaars: LLMs kunnen effectief worden ingezet voor complexe grafische taken als ze worden voorzien van goed gealigneerde, structuur-bewuste multimodale features en een dynamische prompting-strategie.

De code en datasets worden openbaar beschikbaar gesteld, wat de basis legt voor toekomstig onderzoek in multimodaal grafisch redeneren.