Query-based Cross-Modal Projector Bolstering Mamba Multimodal LLM

Technisches Resümee: Abfragebasierter cross-modaler Projektor zur Stärkung von Mamba-Multimodal-LLMs

Problemstellung
Multimodale Large Language Models (MLLMs) verlassen sich derzeit stark auf Transformer-Architekturen, die eine quadratische Rechen- und Speicherkomplexität in Bezug auf die Eingabesequenzlänge aufweisen. Dieser Flaschenhals begrenzt die Skalierbarkeit von MLLMs und verursacht einen unhaltbaren Rechenaufwand. Während das Selective Scan Structured State-Space Model (Mamba) eine vielversprechende Alternative mit linearer Komplexität und effizienter Inferenz bietet, bleibt seine Anwendung auf die multimodale Modellierung untererforscht. Speziell stehen bestehende Versuche, Mamba in MLLMs zu integrieren, vor zwei primären Herausforderungen: (1) der Notwendigkeit, manuell heuristische 2D-Scan-Ordnungen (z. B. bidirektional oder kreuzweise) zu entwerfen, um Bildmerkmale in 1D-Sequenzen umzuwandeln, und (2) dem Mangel an Flexibilität beim Downsampling der visuellen Token-Längen, was oft zu übermäßigen Sequenzlängen führt, die die Effizienzvorteile von Mamba zunichtemachen.

Methodik
Die Autoren schlagen Querying Mamba vor, eine neuartige Architektur, die einen abfragebasierten cross-modalen Projektor einführt, um vortrainierte Vision-Encoder und Mamba-basierte LLMs zu verbinden. Die Methodik gliedert sich in drei Kernkomponenten:

1. Q-Mamba Projektor-Architektur:

   • Der Projektor verwendet einen Stapel von Q-Mamba-Blöcken, die jeweils aus einer Mamba-Schicht, einem Cross-Attention-Mechanismus und einem Feedforward-Netzwerk bestehen.
   • Lernbare Abfragen (Queries): Anstatt rohe Bild-Tokens direkt zu verarbeiten, verwendet das Modell eine Menge lernbarer Query-Embeddings. Diese interagieren über Cross-Attention mit den visuellen Merkmalen eines eingefrorenen, vortrainierten Vision-Encoders (SigLIP).
   • Kausaler Prior: Eine unirektionale Mamba-Schicht wird auf die Queries angewendet, um kausale Abhängigkeiten einzuführen, wodurch sichergestellt wird, dass die projizierte Sequenz mit der sequentiellen Verarbeitung des LLMs kompatibel ist.
   • Lokaler Attention-Mask: Der Cross-Attention-Mechanismus verwendet eine lokale Attention-Mask, bei der jede Query ausschließlich auf eine spezifische Teilmenge von Keys aufmerksam ist, was eine fokussierte Extraktion aus distinkten visuellen Komponenten ermöglicht.

2. Visuelle Token-Kompression und Ausrichtung:

   • Der Projektor komprimiert 2D-visuelle Informationen dynamisch in eine 1D-kausale Token-Sequenz.
   • Durch Anpassung der Anzahl der lernbaren Queries kann das Modell die Länge der visuellen Feature-Sequenz effektiv downsamplen, was die Rechenlast auf das LLM-Backbone reduziert, ohne dass manuell definierte Scan-Ordnungen erforderlich sind.

3. Multimodales Mamba-LLM-Training:

   • Das System integriert ein vortrainiertes Mamba-LLM (2,8 Milliarden Parameter) mit dem Vision-Encoder über den Q-Mamba-Projektor.
   • Das Training folgt einem zweistufigen Paradigma:
     • Stufe 1 (Ausrichtung): Der Projektor wird mit dem eingefrorenen LLM unter Verwendung eines gefilterten visuellen Instruktions-Folge-Datensatzes (CC3M) ausgerichtet.
     • Stufe 2 (End-to-End Fine-tuning): Sowohl der Projektor als auch das LLM werden auf einem kombinierten Datensatz (LLaVA v1.5, LVIS-Instruct-4V, LRV-Instruct) feinjustiert, um die Vision-Language-Integration zu verbessern und Halluzinationen zu minimieren.

Wesentliche Beiträge

• Querying Mamba: Die Einführung eines Mamba-basierten multimodalen Konnektors, der Cross-Attention und lernbare Queries nutzt, um die Länge der visuellen Token adaptiv zu downsamplen, wodurch die Abhängigkeit von manuell entworfenen 2D-Scan-Ordnungen entfällt.
• Architektonische Untersuchung: Eine systematische Untersuchung der Komponenten des multimodalen Konnektors, einschließlich der Verwendung von bidirektionalem Mamba für die Vorverarbeitung, Feedforward-Netzwerken für das Channel-Mixing und der optimalen Query-Sequenzlängen.
• Umfassende Evaluierung: Ein extensives Benchmarking des vorgeschlagenen MLLM über sechs diverse Vision-Language-Verständnisaufgaben hinweg, das Verbesserungen sowohl in der Performance als auch im Durchsatz im Vergleich zu bestehenden Mamba-basierten MLLMs zeigt.

Experimentelle Ergebnisse
Das vorgeschlagene Modell wurde auf sechs Benchmarks evaluiert: VQAv2, GQA, VizWiz, VQAT, POPE und MMBench.

• Performance: Das Modell mit 729 lernbaren Queries erreichte die höchste Gesamtleistung und übertraf die State-of-the-Art Mamba-basierten Modelle (Cobra und VL-Mamba) in den meisten Metriken. Beispielsweise erreichte es einen Score von 75,62 bei VQAv2 und 58,33 bei GQA.
• Analyse der Query-Länge: Eine Erhöhung der Query-Anzahl von 128 auf 256 brachte erhebliche Gewinne. Weitere Steigerungen auf 512 und 729 zeigten jedoch abnehmende Grenzerträge. Bemerkenswerterweise wiesen die Metriken für VizWiz (unbeantwortbare Fragen) und POPE (Halluzination) eine inverse Beziehung zur Query-Größe auf, was darauf hindeutet, dass übermäßige Queries extrinsische Daten einführen können, die die Entscheidungsfindung erschweren.
• Durchsatz: Die dynamische Downsampling-Fähigkeit reduzierte die Rechenlast signifikant. Das vorgeschlagene Modell erreichte schnellere Trainingszeiten (5,52 Sek./Iter) und Inferenzzeiten (0,095 Sek./Iter) im Vergleich zu Cobra (7,62/0,129) und VL-Mamba (7,26/0,152).
• Ablationsstudien:
  • Attention-Mechanismus: Lokale Attention übertraf die globale Attention deutlich.
  • Pre-training: Die Nutzung von Gewichten eines trainierten VL-Mamba für den bidirektionalen Konnektor verbesserte die Performance gegenüber einem Training von Grund auf.
  • Scan-Ordnung: Interessanterweise führte die Inferenz unter Verwendung eines reinen Forward-Scans, obwohl das Modell mit bidirektionalem Scanning trainiert wurde, nicht zu einer Verschlechterung der Performance und verbesserte sie in einigen Fällen sogar.

Bedeutung und Behauptungen
Das Paper behauptet, dass der vorgeschlagene abfragebasierte cross-modale Projektor die Effizienz von Mamba für die Vision-Language-Modellierung effektiv stärkt. Durch die Kompression visueller Tokens basierend auf dem Input-Kontext durch Cross-Attention eliminiert die Architektur die Abhängigkeit von manuell entworfenen 2D-Scan-Ordnungen, eine Limitation früherer Mamba-basierter Vision-Encoder. Die Autoren behaupten, dass dieser Ansatz sowohl die Performance als auch den Durchsatz von Mamba-basierten MLLMs erhöht und somit eine skalierbare Lösung für multimodale Aufgaben bietet.

Limitierungen
Die Autoren räumen mehrere Limitierungen ein:

• Datensatz-Beschränkungen: Die Trainings- und Fine-tuning-Datensätze (LLaVA-LLVIS, LLaVA-1.5) sind kleiner als die, die typischerweise für große Sprachmodelle verwendet werden, was die Generalisierung potenziell einschränkt.
• Trainingsdauer: Das Modell wurde pro Stufe nur für einen Epochen trainiert, während vergleichbare Modelle oft zwei verwenden, was die Robustheit beeinflussen kann.
• Mamba "Vergessen": Die sequentielle Natur der Mamba-Hidden-States kann zu Vergessen-Problemen bei langen Inputs führen, ähnlich wie bei RNNs.
• Zukünftige Arbeit: Die Autoren schlagen vor, dass ein extensiveres Pre-training von Q-Mamba (einschließlich kontrastivem Lernen) und eine Initialisierung mit kompakten Mamba-LLM-Gewichten die Performance weiter verbessern könnten. Sie merken zudem an, dass Bias und Halluzinationen, die in großen Sprachmodellen inhärent sind, bestehen bleiben.