Information Router for Mitigating Modality Dominance in Vision-Language Models

Titel: Information Router for Mitigating Modality Dominance in Vision-Language Models

Auteurs: Seulgi Kim, Mohit Prabhushankar, Ghassan AlRegib (Georgia Institute of Technology)

1. Het Probleem: Modality Dominance (Modaal Dominantie)

Vision-Language Models (VLM's) presteren uitstekend op veel benchmarks, maar lijden vaak onder modale dominantie. Dit is een fenomeen waarbij het model onevenredig afhankelijk wordt van één modale (meestal tekst) en de andere modale (visueel) negeert, zelfs wanneer visuele bewijslast essentieel is voor het juiste antwoord.

• Aanleiding: Bestaande methoden proberen dit probleem op te lossen door de attentie-allokatie van het model te sturen (bijv. door de attention weights te manipuleren).
• De beperking: Deze aanpak gaat er impliciet van uit dat alle input-modaliën al voldoende informatie bevatten. In de realiteit verschillen modaliën echter sterk in informatiedichtheid en signaal-ruisverhouding. Bijvoorbeeld, visuele tokens kunnen vaag of schaars zijn door beperkte perspectieven, terwijl teksttokens vaak dicht en semantisch expliciet zijn.
• De kern: Het simpelweg aanpassen van de aandacht lost het onderliggende gebrek aan informatie niet op. Als een modale ruisachtig of informatieloos is, kan het model er niet op vertrouwen, ongeacht hoe de aandacht wordt verdeeld.

2. Methodologie: MOIR (Multi-modal Information Router)

De auteurs stellen MOIR voor, een methode op het niveau van informatie-inhoud die de informatie-dispariteit voordat de fusie plaatsvindt, expliciet vermindert. MOIR werkt tussen de modale-specifieke encoders en de LLM-decoder.

Het proces van MOIR:

1. Identificatie van minder informatieve tokens:
   • MOIR analyseert de token-representaties van elke modale.
   • Het gebruikt Singular Value Decomposition (SVD) op de token-sequenties om de bijdrage van elk kanaal (dimensie) aan de belangrijkste componenten van de representatie te meten.
   • Kanalen met een lage "informativiteits-score" worden geïdentificeerd als minder informatief (vaak veroorzaakt door ruis of redundantie).
2. Selectieve Informatie-Routering:
   • In plaats van alleen de aandacht te verplaatsen, routeert MOIR complementaire informatie van de sterkere modale naar de minder informatieve kanalen van de zwakkere modale.
   • Dit gebeurt via een leerbaar routeringsmechanisme (met parameters $\alpha$) dat bepaalt hoeveel informatie er wordt ingebracht.
   • Het doel is om "informatie-dichte" token-representaties te creëren voordat deze de LLM-decoder bereiken.
3. Integratie:
   • De gerouteerde tokens worden samengevoegd en doorgegeven aan de LLM. Hierdoor kan het model zijn afhankelijkheid van de modaliën natuurlijk aanpassen op basis van de beschikbare informatie, in plaats van op basis van een vooringenomen aandachtspatroon.

3. Belangrijkste Bijdragen

1. Nieuwe Benadering: MOIR is een fusiemethode die informatie expliciet uitwisselt voordat de fusie plaatsvindt, in plaats van alleen de aandacht te sturen.
2. Herdefinitie van Dominantie: De auteurs tonen aan dat het veranderen van modaalgebruik zonder rekening te houden met de "evidentiële status" (informatieve kwaliteit) van elke modale onbetrouwbaar kan zijn, vooral bij ruis. MOIR lost de oorzaak op door de informatie-inhoud te verbeteren.
3. Empirisch Bewijs: Uitgebreide experimenten tonen aan dat MOIR consistent leidt tot een meer gebalanceerde bijdrage van de modaliën en de robuustheid verbetert, zelfs onder degradatie van een modale.

4. Experimentele Resultaten

De auteurs hebben MOIR getest op drie benchmarks: ScienceQA en VizWiz (beeld-tekst) en MMBench-Video (video-audio-tekst), met verschillende modelbackbones (LLaVA-1.5, Qwen2.5-VL).

• Downstream Prestaties: MOIR behoudt of verbetert de nauwkeurigheid (Accuracy) op alle benchmarks. De verbeteringen zijn het grootst bij taken die sterke visuele gronding vereisen (zoals VizWiz en MMBench-Video).
• Balans en Dominantie:
  • MDI (Modality Dominance Index) en AEI (Attention Efficiency Index): MOIR verlaagt deze waarden aanzienlijk, wat aangeeft dat het model minder afhankelijk is van één modale en de aandacht beter verdeelt.
  • Informatiedichtheid: Er is een toename in de effectieve rang (Rank $\Delta$) van zowel beeld- als teksttoken-representaties, wat betekent dat de tokens rijker aan informatie zijn geworden door de uitwisseling.
• Robuustheid: In een test waarbij afbeeldingen in VizWiz werden vervangen door ruis (Gaussian noise), bleef het baseline-model vaak dezelfde foutieve antwoorden geven (onverschillig voor visuele input). MOIR toonde echter een veel lagere "unchanged rate", wat aantoont dat het model gevoeliger is geworden voor visuele input en minder leunt op taalkundige vooroordelen.
• Kwalitatieve Resultaten: Op video-taken vermijdt MOIR hallucinaties en generieke antwoorden. Het levert in plaats daarvan antwoorden die gebaseerd zijn op waarneembare gebeurtenissen in de video (bijv. het correct identificeren van een plugin in een video).

5. Significatie en Conclusie

Dit paper biedt een fundamentele verschuiving in hoe we modale dominantie benaderen. In plaats van te proberen het model te dwingen om naar de juiste modale te kijken (via attentie-sturing), verbetert MOIR de kwaliteit van de input zelf door informatie-dispariteit weg te werken.

• Conclusie: Het expliciet manipuleren van cross-modale informatie is een effectieve en complementaire strategie om modale dominantie te mitigeren.
• Impact: Voor het bouwen van betrouwbare multi-modale systemen is het cruciaal om niet alleen de modelarchitectuur of trainingsdynamiek aan te passen, maar ook in te grijpen op het niveau van de informatie-inhoud van de tokens. Dit zorgt voor systemen die beter presteren in realistische scenario's waar data imperfect of ongelijk verdeeld is.