Seeing but Not Thinking: Routing Distraction in Multimodal Mixture-of-Experts

Titel: Seeing but Not Thinking: Routing Distraction in Multimodal Mixture-of-Experts

1. Het Probleem: "Zien maar niet Denken"

De auteurs identificeren een verontrustend fenomeen in multimodale Mixture-of-Experts (MoE) modellen, genaamd "Seeing but Not Thinking".

• Observatie: Modellen kunnen beeldinhoud (zoals tekst en cijfers in een wiskundig probleem) nauwkeurig waarnemen en extraheren, maar falen vervolgens in het redeneren over die informatie.
• Vergelijking: Wanneer exact hetzelfde probleem wordt gepresenteerd als pure tekst, lost het model het probleem correct op.
• Kernvraag: Waarom falen deze modellen in het redeneren wanneer de input visueel is, zelfs als de perceptie (waarneming) correct is?
• Aangetoond: Door experimenten met de MATH500-dataset (waarbij tekstproblemen als hoge-resolutie afbeeldingen worden gerenderd), tonen de auteurs aan dat 68-73% van de fouten bij visuele input voortkomt uit redeneerfouten, en niet uit perceptie- of leesfouten.

2. Methodologie en Analyse

De auteurs doorlopen een systematische analyse om de oorzaak te vinden, bestaande uit drie fasen:

A. Verificatie van Cross-Modale Semantische Deling

• Hypothese: Misschien slagen visuele en tekstuele representaties er niet in om zich te aligneren in de semantische ruimte.
• Experiment: Ze voeren een "concept intervention" uit waarbij ze de verborgen staten (hidden states) van een beeldtoken manipuleren met die van een teksttoken.
• Resultaat: Ze vinden een omgekeerde U-vormig patroon over de lagen heen. In de middelste lagen (waar semantische deling optreedt) is de interventie succesvol (>90%). Dit bewijst dat semantische alignering niet de enige oorzaak is; de modellen begrijpen de betekenis wel, maar falen in de verwerking.

B. Analyse van Expert Specialisatie per Laag

• De auteurs onderzoeken hoe experts (de gespecialiseerde sub-netwerken in een MoE) over de lagen van het model zijn verdeeld.
• Vindst: Er is een duidelijke laagsgewijze scheiding:
  • Visuele experts: Actief in vroege lagen (voor visuele encoding) en late lagen (voor modale output).
  • Domein-experts (bijv. wiskunde/redeneren): Geconcentreerd in de middelste lagen.
• Probleem: Bij visuele input treedt er in deze kritieke middelste lagen een significante routing-divergentie op ten opzichte van tekstuele input. Het routeringsmechanisme kiest andere experts dan nodig voor redenering.

C. De "Routing Distraction" Hypothese

• Op basis van bovenstaande bevindingen stellen de auteurs de Routing Distraction-hypothese:
  • Bij het verwerken van visuele input faalt het routeringsmechanisme om de taakrelevante domein-experts (voor redeneren) voldoende te activeren in de middelste lagen.
  • In plaats daarvan wordt de berekening geleid naar minder geschikte experts (vaak visuele experts), waardoor het redeneervermogen niet volledig wordt benut, ondanks dat de perceptie correct is.

3. Oplossing: Routing-Guided Intervention

Om deze hypothese te valideren en het probleem op te lossen, ontwikkelen de auteurs een interventiestrategie:

• Identificatie van Domein-Experts: Ze vergelijken activatiefrequenties op domeinspecifieke data (bijv. wiskundeproblemen) versus algemene data om te bepalen welke experts verantwoordelijk zijn voor redeneren.
• Interventie: Tijdens de inferentie worden de routeringsgewichten (logits) van deze geïdentificeerde domein-experts kunstmatig verhoogd.
  • Soft Intervention: Voegt een modale boost toe aan de logits van domein-experts (behoudt flexibiliteit).
  • Hard Intervention: Forceert domein-experts naar de maximale waarde (kan riskant zijn bij Top-1 routing).

4. Resultaten

De methode werd getest op drie multimodale MoE-modellen (Qwen3-VL, Kimi-VL, Llama4-Scout) over zes benchmarks, waaronder zowel semantisch equivalente scenario's (tekst als afbeelding) als natuurlijke visuele scenario's (complexe diagrammen).

• Consistente Verbetering: De "Soft Intervention" leidde tot consistente prestatieverbeteringen over alle modellen en benchmarks.
• Prestatie: De verbeteringen reikten tot +3,17% op complexe visuele redeneertaken (bijv. MathVerse).
• Validatie van Hypothese:
  • De verbetering bevestigt dat het probleem ligt in de selectie van experts en niet in de perceptie.
  • Robuustheid: De geïdentificeerde experts zijn robuust; zelfs als de tekstreferentie niet perfect is (bijv. ontbreekt ruimtelijke informatie), helpt het activeren van de juiste cognitieve eenheden het model om visuele informatie beter te integreren.
  • Specificiteit: De interventie werkt alleen als de referentie-data overeenkomt met het domein (bijv. wiskunde-experts helpen bij wiskunde, niet bij algemene taal).

5. Belangrijkste Bijdragen

1. Fenomenologische Karakterisering: Systematische kwantificering van het "Seeing but Not Thinking"-fenomeen, waarbij wordt aangetoond dat redeneerfouten de dominante oorzaak zijn bij visuele input.
2. Mechanistisch Inzicht: Ontdekking van de Routing Distraction als de onderliggende oorzaak, gekenmerkt door een laagsgewijze scheiding tussen visuele en domein-experts en een routeringsdivergentie in de middelste lagen.
3. Praktische Interventie: Een effectieve, routing-geleide methode die het probleem verhelpt zonder het model opnieuw te hoeven trainen, met bewezen verbeteringen op meerdere state-of-the-art modellen.

6. Betekenis en Toekomst

Dit werk biedt een fundamenteel inzicht in hoe multimodale MoE-modellen informatie verwerken. Het toont aan dat het probleem niet per se ligt in het "niet begrijpen" van beelden, maar in het niet correct toewijzen van rekenkracht aan de juiste denkprocessen tijdens de inferentie. De voorgestelde methode biedt een praktische weg om de redeneercapaciteit van bestaande modellen te verbeteren, wat essentieel is voor de ontwikkeling van betrouwbare AI-systemen voor complexe visuele taken.

Beperkingen: De methode lost geen perceptie-fouten op (als het model de tekst in het beeld niet kan lezen, helpt het niet) en vereist nog steeds handmatige configuratie van de referentie-data voor domein-identificatie.