CoGR-MoE: Concept-Guided Expert Routing with Consistent Selection and Flexible Reasoning for Visual Question Answering

Probleemstelling

Visual Question Answering (VQA) vereist dat modellen het juiste antwoord kiezen op basis van visuele en tekstuele bewijsvoering. Recentelijk zijn Mixture-of-Experts (MoE) architecturen geïntegreerd in vision-language modellen om verschillende visuele of tekstuele patronen te specialiseren. Er zijn echter twee fundamentele uitdagingen bij het bestaande MoE-routingsmechanisme:

1. Instabiele Routing: Bestaande methoden kunnen leiden tot inconsistente expert-selectie voor vragen die hetzelfde antwoord vereisen maar anders geformuleerd zijn. Dit ondermijnt de betrouwbaarheid van het model.
2. Te Stabiele Routing (Gebrek aan Flexibiliteit): Om stabiliteit te bereiken, worden sommige methoden te star. Ze selecteren steeds dezelfde set experts voor een bepaald vraagtype, wat de flexibiliteit op het niveau van individuele antwoordopties beperkt. Hierdoor kan het model moeite hebben om de specifieke bewijslast voor elke kandidaat-optie te onderscheiden, wat leidt tot fouten in vergelijkende redenering.

Het doel van CoGR-MoE is om de balans te vinden tussen consistente routing (voor stabiliteit) en flexibele expert-gebruik (voor fijne discriminatie tussen antwoordopties).

Methodologie: CoGR-MoE

CoGR-MoE (Concept-Guided Routing MoE) introduceert een framework dat semantische informatie van antwoordopties gebruikt om het routingproces te sturen en experts dynamisch te herwegen. Het proces verloopt in drie hoofdfasen:

1. Generatie van Semantische Cues

Voor elke antwoordoptie genereert een Large Language Model (LLM) positieve en negatieve semantische cues:

• Positieve cues: Visuele attributen die moeten aanwezig zijn voor een optie om correct te zijn.
• Negatieve cues: Visuele attributen die niet aanwezig mogen zijn.
• Onzekerheidsmeting: Er wordt een "agreement score" (hoe goed de cues overeenkomen met de afbeelding) en een "variance score" (hoe stabiel de cues zijn bij parafraseren) berekend. Hieruit wordt een onzekerheidswaarde ($unc$) afgeleid. Hoge onzekerheid leidt tot het regenereren van cues.

2. Concept-Gestuurde Expert Routing (Training)

Om de routing te stabiliseren zonder flexibiliteit te verliezen, wordt een "semantische richting" ($s_a$) gegenereerd voor het juiste antwoord door het verschil tussen de embeddings van positieve en negatieve cues te nemen.

• Teacher Router (Router T): Deze router injecteert de semantische richting $s_a$ in de gating logits. Dit zorgt ervoor dat de Top-K experts die worden geselecteerd, consistent zijn met de semantische richting van het juiste antwoord.
• Student Router (Router S): Tijdens de inferentie (en training) gebruikt de studentrouter alleen de input (afbeelding + vraag) zonder de expliciete cues.
• Distillatie: Een KL-divergentie-verlies ($L_{distill}$) zorgt ervoor dat de Student Router het gedrag van de Teacher Router nabootst. Hierdoor leert het model tijdens de inferentie experts te selecteren op basis van de juiste semantische richting, zonder dat er externe cues nodig zijn.

3. Optie-bewuste Expert Herweging (Option-Aware Reweighting)

Nadat de Top-K experts zijn geselecteerd (die voor alle opties gedeeld worden), wordt de bijdrage van deze experts dynamisch aangepast per antwoordoptie:

• Elke optie $j$ heeft zijn eigen semantische vector $s_j$ (gebaseerd op zijn eigen cues).
• Deze vector wordt gebruikt om de gewichten van de gedeelde experts te herschalen ($g_{i,j}$). Experts die relevanter zijn voor een specifieke optie krijgen een hogere weging.
• Dit resulteert in een unieke, optie-specifieke representatie ($\tilde{h}_j$) voor elke kandidaat, zelfs als ze dezelfde experts gebruiken.

4. Trainingsdoel

Het totale trainingsverlies bestaat uit drie componenten:

1. Hoofdverlies ($L_{main}$): Cross-entropy verlies, waarbij opties met hogere onzekerheid ($unc$) minder gewicht krijgen in de gradiëntupdate.
2. Contrastief Verlies ($L_{contrast}$): Dit duwt de representatie van het juiste antwoord dichter bij de positieve cues en weg van de negatieve cues, terwijl onjuiste opties worden weggeduwd van de positieve cues.
3. Distillatieverlies ($L_{distill}$): Zorgt voor consistente routing tussen Teacher en Student.

Belangrijkste Bijdragen

1. CoGR-MoE Framework: Een nieuw MoE-architectuur dat routing stabiliseert door semantische informatie van het juiste antwoord in te injecteren, terwijl het tegelijkertijd de flexibiliteit behoudt.
2. Optie-bewuste Herweging: Een mechanisme dat experts dynamisch herschikt op basis van de inhoud van elke antwoordoptie. Dit verbetert de discriminatie op optieniveau zonder de gevestigde rollen van de experts te verstoren.
3. Uitgebreide Validatie: Experimenten tonen aan dat de methode robuust is en leidt tot interpreteerbaardere expert-gebruikspatronen.

Resultaten

CoGR-MoE is getest op twee benchmarks: VMCBench (een unificatie van 20 VQA-datasets) en MRAG-Bench (vision-centric met annotaties voor verschillende scenario's).

• Prestaties: CoGR-MoE behaalde de hoogste algehele nauwkeurigheid op beide backbones (MOE-LLaVA en Qwen3-VL).
  • Op MOE-LLaVA: 63.25% (vs. 62.76% voor de beste concurrent MoME).
  • Op Qwen3-VL: 68.96% (vs. 66.78% voor MoME).
• Specifieke Verbeteringen: De methode presteerde uitstekend op taken die perspectief en transformaties vereisen (bijv. ruimtelijke transformaties, gedeeltelijke zichtbaarheid), waar andere methoden vaak falen door gebrek aan fijne discriminatie.
• Ablatie Studies:
  • Het verwijderen van de semantische richting ($s_a$) of de distillatie ($L_{distill}$) leidde tot de grootste daling in prestaties, wat aantoont dat consistente routing essentieel is.
  • Het verwijderen van de onzekerheidsweging ($unc$) had een negatief effect op complexe datasets, maar soms een positief effect op zeer gestructureerde datasets (zoals ScienceQA), wat aangeeft dat onzekerheidsweging cruciaal is voor ruwe of ambiguïteitsrijke data.
• Routing Analyse: CoGR-MoE toonde een "sharper" (scherper) en stabielere routing aan dan baselines. Experts werden consistenter toegewezen aan semantisch vergelijkbare vragen, wat de interpretatie van het model verbetert.

Betekenis en Toekomstperspectief

CoGR-MoE lost een fundamenteel dilemma op in MoE-modellen voor multimodaal redeneren: hoe zorg je voor stabiliteit in de expert-selectie zonder de noodzakelijke flexibiliteit voor het onderscheiden van specifieke antwoordopties te verliezen?

• Innovatie: Door concepten (via LLM-generatie) te gebruiken als een "semantische anker" voor routing, maar deze te laten vervagen tijdens de inferentie via distillatie, combineert het model de beste van twee werelden.
• Beperkingen: De methode is afhankelijk van LLM-generatie voor training (extra rekenkosten) en is beperkt tot meerkeuzevragen. De prestaties op zeer complexe cross-modale interacties (zoals in de "Others" categorie) zijn nog beperkt, omdat de routing voornamelijk op semantische richting en niet op fijne interactiepatronen is gebaseerd.
• Toekomst: Verdere onderzoek richt zich op het uitbreiden van het routingmechanisme om complexere cross-modale patronen en taakcomplexiteiten beter te kunnen hanteren, en het toepassen van deze principes op open-ended generatie taken.

Kortom, CoGR-MoE biedt een robuust en interpreteerbaar kader voor het verbeteren van visueel-taalredenering door de synergie tussen stabiele routing en dynamische expert-gebruik te maximaliseren.