Query-based Cross-Modal Projector Bolstering Mamba Multimodal LLM

Technische Samenvatting: Query-gebaseerde Cross-modale Projector ter Versterking van Mamba Multimodale LLM

Probleemstelling
Multimodale Large Language Models (MLLM's) vertrouwen momenteel sterk op Transformer-architecturen, die lijden onder kwadratische computationele en geheugencomplexiteit in relatie tot de lengte van de inputsequentie. Deze bottleneck beperkt de schaalbaarheid van MLLM's en legt een onhoudbare computationele last op. Hoewel de Selective Scan Structured State-Space Model (Mamba) een veelbelovend alternatief biedt met lineaire complexiteit en efficiënte inferentie, blijft de toepassing ervan op multimodale modellering onderbelicht. Specifiek worden pogingen om Mamba in MLLM's te integreren geconfronteerd met twee primaire uitdagingen: (1) de noodzaak om handmatig heuristische 2D-scansordes (bijv. bidirectioneel of kruisrichtingsgewijs) te ontwerpen om beeldkenmerken om te zetten in 1D-sequenties, en (2) het gebrek aan flexibiliteit bij het downsamplen van de lengte van visuele tokens, wat vaak resulteert in excessieve sequentielengtes die de efficiëntievoordelen van Mamba tenietdoen.

Methodologie
De auteurs stellen Querying Mamba voor, een nieuwe architectuur die een query-gebaseerde cross-modale projector introduceert om pre-trained vision encoders en Mamba-gebaseerde LLM's te overbruggen. De methodologie is gestructureerd rond drie kerncomponenten:

1. Q-Mamba Projector Architectuur:

   • De projector maakt gebruik van een stapel Q-Mamba blokken, die elk een Mamba-laag, een cross-attention mechanisme en een feedforward netwerk bevatten.
   • Leerbare Queries: In plaats van ruwe beeldtokens direct te verwerken, gebruikt het model een set leerbare query-embeddings. Deze queries interageren met visuele kenmerken van een bevroren, pre-trained vision encoder (SigLIP) via cross-attention.
   • Causal Prior: Een unidirectionele Mamba-laag wordt toegepast op de queries om causale afhankelijkheden te introduceren, waardoor de geprojecteerde sequentie compatibel is met de sequentiële verwerking van de LLM.
   • Local Attention Mask: Het cross-attention mechanisme maakt gebruik van een lokale attention mask, waarbij elke query uitsluitend aandacht besteedt aan een specifieke subset van keys, wat gerichte extractie uit afzonderlijke visuele componenten faciliteert.

2. Visuele Token Compressie en Alignment:

   • De projector comprimeert dynamisch 2D visuele informatie naar een 1D causale token-sequentie.
   • Door het aantal leerbare queries aan te passen, kan het model de lengte van de visuele feature-sequentie effectief downsamplen, wat de computationele last op de LLM-backbone vermindert zonder dat handmatige scanordes nodig zijn.

3. Multimodale Mamba LLM Training:

   • Het systeem integreert een pre-trained Mamba LLM (2.8B parameters) met de vision encoder via de Q-Mamba projector.
   • De training volgt een tweestaps-paradigma:
     • Fase 1 (Alignment): De projector wordt uitgelijnd met de bevroren LLM met behulp van een gefilterde dataset voor visuele instructie-opvolging (CC3M).
     • Fase 2 (End-to-End Fine-tuning): Zowel de projector als de LLM worden gefinetuned op een gecombineerde dataset (LLaVA v1.5, LVIS-Instruct-4V, LRV-Instruct) om de visuele-taal integratie te verbeteren en hallucinaties te mitigeren.

Belangrijkste Bijdragen

• Querying Mamba: De introductie van een Mamba-gebaseerde multimodale connector die gebruikmaakt van cross-attention en leerbare queries om de lengte van visuele tokens adaptief te downsamplen, waardoor de noodzaak voor handmatig ontworpen 2D-scanordes vervalt.
• Architecturale Exploratie: Een systematische onderzoek naar de componenten van de multimodale connector, inclusincluding het gebruik van bidirectionele Mamba voor preprocessing, feedforward netwerken voor kanaalmixing, en optimale query-sequentielengtes.
• Uitgebreide Evaluatie: Uitgebreide benchmarking van de voorgestelde MLLM over zes diverse visuele taalbegrips-taken, waarbij verbeteringen in zowel prestaties als throughput worden aangetoond vergeleken met bestaande Mamba-gebaseerde MLLM's.

Experimentele Resultaten
Het voorgestelde model werd geëvalueerd op zes benchmarks: VQAv2, GQA, VizWiz, VQAT, POPE, en MMBench.

• Prestaties: Het model met 729 leerbare queries behaalde de hoogste algehele prestaties en overtrof de state-of-the-art Mamba-gebaseerde modellen (Cobra en VL-Mamba) op de meeste metrieken. Zo behaalde het bijvoorbeeld een score van 75,62 op VQAv2 en 58,33 op GQA.
• Query Lengte Analyse: Het verhogen van het aantal queries van 128 naar 256 leverde substantiële winst op. Verdere verhogingen naar 512 en 729 vertoonden echter afnemende meeropbrengsten. Opvallend genoeg vertoonden metrieken voor VizWiz (onbeantwoorde vragen) en POPE (hallucinatie) een inverse relatie met de query-grootte, wat suggereert dat excessieve queries extra data kunnen introduceren die besluitvorming bemoeilijken.
• Throughput: Het vermogen tot dynamische downsampling verminderde de computationele last aanzienlijk. Het voorgestelde model bereikte snellere trainingstijden (5,52 sec/iter) en inferentietijden (0,095 sec/iter) vergeleken met Cobra (7,62/0,129) en VL-Mamba (7,26/0,152).
• Ablatie Studies:
  • Attention Mechanisme: Lokale attention presteerde aanzienlijk beter dan globale attention.
  • Pre-training: Het gebruik van gewichten van een getrainde VL-Mamba voor de bidirectionele connector verbeterde de prestaties ten opzichte van training vanaf nul.
  • Scan Order: Interessant genoeg, hoewel het model werd getraind met bidirectionele scanning, leidde inferentie met enkel een forward scan niet tot degradatie van de prestaties en verbeterde het in sommige gevallen zelfs de prestaties.

Betekenis en Claims
Het artikel beweert dat de voorgestelde query-gebaseerde cross-modale projector de efficiëntie van Mamba voor visuele taalmodellering effectief versterkt. Door visuele tokens te comprimeren op basis van de inputcontext via cross-attention, elimineert de architectuur de afhankelijkheid van handmatig ontworpen 2D-scanordes, een beperking in eerdere Mamba-gebaseerde visuele encoders. De auteurs stellen dat deze aanpak zowel de prestaties als de throughput van Mamba-gebaseerde MLLM's verbetert, wat een schaalbare oplossing biedt voor multimodale taken.

Beperkingen
De auteurs erkennen verschillende beperkingen:

• Dataset Beperkingen: De trainings- en fine-tuning datasets (LLaVA-LLVIS, LLaVA-1.5) zijn kleiner dan die doorgaans worden gebruikt voor grote taalmodellen, wat de generalisatie mogelijk beperkt.
• Trainingsduur: Het model werd slechts één epoch per fase getraind, terwijl vergelijkbare modellen vaak twee gebruiken, wat de robuustheid kan beïnvloeden.
• Mamba "Vergeten": De sequentiële aard van de verborgen toestanden (hidden states) van Mamba kan leiden tot problemen met het vergeten van informatie bij lange inputs, vergelijkbaar met RNN's.
• Toekomstig Werk: De auteurs suggereren dat uitgebreidere pre-training van Q-Mamba (inclusief contrastief leren) en initialisatie met compacte Mamba LLM-gewichten de prestaties verder kunnen verbeteren. Ze merken ook op dat er een inherente bias en hallucinatie aanwezig kan zijn in grote taalmodellen.