Do VLMs Need Vision Transformers? Evaluating State Space Models as Vision Encoders

Die Studie zeigt, dass State Space Models (SSM) als visuelle Encoder in Vision-Language-Modellen eine leistungsfähige und effizientere Alternative zu herkömmlichen Vision Transformern darstellen, insbesondere da sie bei kompakterer Architektur vergleichbare oder bessere Ergebnisse erzielen und durch gezielte Stabilisierungsstrategien noch robuster werden können.

Das Wesentliche

Stell dir vor, ein Large Vision-Language Model (VLM) ist wie ein sehr kluger, aber blinder Übersetzer. Er kann fließend sprechen (der "Sprachteil"), aber er sieht die Welt nicht selbst. Um ihn sehen zu lassen, hängt man ihm eine Kamera um den Hals (den "Visuellen Encoder").

Bisher hat man fast immer dieselbe Art von Kamera benutzt: eine Transformer-Kamera (wie ein ViT). Sie ist sehr mächtig, aber sie ist auch schwer, teuer und manchmal etwas ungenau, wenn es darum geht, wo genau etwas im Bild ist.

Die Autoren dieser Studie fragen sich nun: "Müssen wir wirklich diese teuren Transformer-Kameras benutzen? Gibt es nicht eine bessere, leichtere Alternative?"

Die Antwort, die sie gefunden haben, ist ein neuer Kameratyp namens State Space Model (SSM), konkret VMamba.

Hier ist die Erklärung der Studie in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Der große Vergleich: Die Kamera-Tausch-Party

Stell dir vor, du hast einen sehr klugen Sprachassistenten (den LLM). Du willst testen, welche Kamera am besten zu ihm passt.

• Die alten Kameras (Transformer/ViT): Sie schauen sich ein Bild an und zerlegen es in viele kleine Puzzleteile. Sie sind sehr gut darin, zu erkennen, was auf dem Bild ist (z. B. "Das ist ein Hund"). Aber wenn man sie fragt, wo genau der Hund steht, werden sie manchmal etwas ungenau oder verwirrt.
• Die neue Kamera (SSM/VMamba): Diese Kamera denkt anders. Statt das Bild wie ein riesiges Puzzle zu betrachten, scannt sie es wie ein Leser, der Zeile für Zeile durch einen Text geht, aber in alle Richtungen (hoch, runter, links, rechts). Sie behält den räumlichen Zusammenhang viel besser im Kopf.

Das Ergebnis: Als die Forscher die Kameras in einem kontrollierten Test (gleiche Trainingsdaten, gleiche Größe) austauschten, war die VMamba-Kamera oft die beste. Sie war nicht nur genauso gut beim Beschreiben von Bildern (VQA), sondern übertraf die anderen deutlich, wenn es darum ging, Objekte im Bild zu lokalisieren (z. B. "Zeig mir den Ball").

2. Das Missverständnis: "Größer ist nicht immer besser"

Ein häufiger Irrglaube ist: "Wenn die Kamera auf dem Standard-Test (ImageNet) eine hohe Punktzahl hat, ist sie automatisch die beste für den Sprachassistenten."

• Die Analogie: Stell dir vor, du hast einen Schüler, der den besten Abschluss in "Objekt-Erkennung" macht. Das bedeutet aber nicht, dass er auch der beste "Raum-Versteher" ist.
• Die Erkenntnis der Studie: Die Forscher fanden heraus, dass eine sehr große Kamera mit einer perfekten Note auf dem Standard-Test oft schlechter im Sprachmodell abschneidet als eine kleinere, spezialisierte Kamera. Warum? Weil die großen Kameras oft nur das "WAS" lernen (das ist ein Hund), aber das "WO" (wo ist der Hund?) vernachlässigen. Die VMamba-Kamera hingegen behält das "WO" auch bei kleineren Größen im Gedächtnis.

3. Das Problem mit der "Kollaps"-Kamera

Es gab ein seltsames Phänomen: Wenn man Kameras, die für das Erkennen von vielen Objekten trainiert wurden (wie bei der Jagd nach Objekten in einem Bild), direkt in den Sprachassistenten steckte, brach die Leistung manchmal komplett zusammen.

• Die Analogie: Stell dir vor, du gibst einem Übersetzer eine Kamera, die so viele Details auf einmal liefert, dass er überfordert ist. Er sieht zwar alles, kann aber nichts mehr verstehen. Das nennt die Studie "Lokalisierungs-Kollaps".
• Die Lösung: Die Forscher haben zwei einfache Tricks gefunden, um das zu reparieren:
  1. Den "Dolmetscher" stärken: Der kleine Teil, der die Bilder in Sprache übersetzt (der Connector), war zu schwach. Wenn man ihn stärker macht, funktioniert es wieder.
  2. Das Format ändern: Manche Kameras liefen besser, wenn man die Bilder in ein quadratisches Format zwang, statt sie in einem schmalen, langen Streifen zu zeigen. Das half dem Sprachmodell, die räumlichen Hinweise besser zu verstehen.

4. Warum ist das wichtig? (Die "Effizienz"-Botschaft)

Bisher dachte man, man brauche riesige, schwere Kameras, um gute Ergebnisse zu erzielen.

• Die Erkenntnis: Die VMamba-Kamera ist wie ein sportlicher Kleinwagen. Sie ist viel kleiner und verbraucht weniger Energie als die riesigen Limousinen (die großen Transformer), fährt aber in diesem speziellen Rennen (Sprachmodelle mit Bildverständnis) genauso schnell oder sogar schneller.

Zusammenfassung für den Alltag

Die Studie sagt im Grunde:

1. Nein, wir brauchen keine riesigen Transformer-Kameras mehr. Es gibt eine schlankere, effizientere Alternative (SSM/VMamba), die oft besser funktioniert.
2. Ortung ist wichtig. Wenn ein KI-Modell verstehen soll, wo Dinge sind, hilft eine Kamera, die den Raum besser "fühlt" (wie VMamba), mehr als eine, die nur das Objekt erkennt.
3. Man muss die Kamera richtig anschließen. Manchmal liegt das Problem nicht an der Kamera selbst, sondern daran, wie sie mit dem Sprachmodell verbunden ist. Mit ein paar kleinen Einstellungen (stärkere Verbindung, quadratische Bilder) kann man die Leistung enorm steigern.

Fazit: Die Zukunft der Bild-KI könnte nicht in noch größeren, schwereren Modellen liegen, sondern in schlankeren, intelligenteren Architekturen, die den Raum besser verstehen – und das mit weniger Rechenaufwand.

Technische Zusammenfassung

1. Problemstellung

Große Vision-Language-Modelle (VLMs) nutzen derzeit fast ausschließlich Transformer-basierte Vision-Encoder (wie ViT, MaxViT) als visuelle Rückgrat-Architektur. Diese Encoder werden typischerweise eingefroren (frozen), und ihre Bildmerkmale werden über einen leichten Connector in den Embedding-Raum eines Large Language Models (LLM) projiziert.

Es gibt jedoch zwei Hauptprobleme, die diese Arbeit adressiert:

• Architekturelle Monotonie: Es fehlt an kontrollierten Vergleichen, die isolieren, ob die Wahl des Vision-Backbones (z. B. Transformer vs. State Space Models) die Leistung bestimmt, oder ob Unterschiede nur auf Trainingspipelines, Auflösungen oder Tokenisierung zurückzuführen sind.
• Räumliche Grounding-Fähigkeiten: VLMs benötigen oft präzise räumliche Informationen, um Objekte zu lokalisieren (Grounding). Transformer basieren auf globaler Self-Attention, was die räumliche Struktur manchmal verwässern kann. State Space Models (SSMs), insbesondere solche mit 2D-Scans (wie VMamba), versprechen eine bessere Erhaltung räumlicher Details bei geringerer Rechenkomplexität.

Die zentrale Forschungsfrage lautet: Können SSM-basierte Vision-Backbones eine starke Alternative zu Transformer-basierten Encodern in VLMs sein, insbesondere bei Aufgaben, die räumliches Verständnis erfordern?

2. Methodik

Die Autoren führen eine streng kontrollierte Evaluierung durch, um den Einfluss der Vision-Architektur isoliert zu betrachten.

• Experimentelles Setup:

  • Modell: Ein LLaVA-artiges VLM-Architektur mit einem eingefrorenen Vision-Encoder, einem Connector (MLP) und einem Vicuna-7B LLM.
  • Kontrolle: Der Connector und das LLM werden während des Trainings aktualisiert, der Vision-Encoder bleibt eingefroren. Alle Hyperparameter, Daten (665k Instruction-Tuning-Beispiele) und Trainingspipelines sind über alle Experimente identisch.
  • Backbones: Es werden verschiedene Familien verglichen:
    • Transformer: ViT, MaxViT.
    • Hybrid: MambaVision (Mamba + Attention).
    • Reine SSMs: VMamba (basierend auf dem 2D-Selective-Scan-Design).
  • Vergleichsbedingungen:
    1. Matched Setting: Alle Modelle werden mit IN1K (ImageNet-1K) bei 224x224 Auflösung initialisiert und auf die gleiche Anzahl von visuellen Tokens (L=196) heruntergebrochen, um Architekturunterschiede zu isolieren.
    2. Dense-Task Adaptation: Modelle werden zusätzlich für Detektion (COCO) oder Segmentierung (ADE20K) feinabgestimmt, um den Einfluss von dichten Vor-Trainingszielen zu testen.
    3. Stabilisierung: Bei Auftreten von „Localization Collapse" (plötzlicher Leistungsabfall) werden Strategien wie vergrößerte Connector-Kapazität und Anpassung der Eingabegeometrie (quadratisch vs. rechteckig) getestet.

• Evaluation:

  • VQA: VQA-v2, GQA, VizWiz, TextVQA, POPE, TallyQA.
  • Grounding/Localization: RefCOCO, RefCOCO+, RefCOCOg, OCID-Ref.

3. Wichtige Beiträge

1. Kontrollierter Backbone-Swap: Der erste systematische Vergleich von SSM- (VMamba) und Transformer-Backbones in einem VLM unter strikt gleichen Trainingsbedingungen.
2. Nachweis der Überlegenheit von SSMs: Empirische Belege, dass VMamba unter matched Bedingungen die beste Gesamtperformance erzielt und insbesondere bei Grounding-Aufgaben Transformer-Modelle (ViT, MaxViT) deutlich schlägt.
3. Diagnose von Fehlermodi: Identifikation, dass ImageNet-Genauigkeit und naive Skalierung keine verlässlichen Indikatoren für VLM-Leistung sind. Entdeckung des Phänomens „Localization Collapse" bei bestimmten hochauflösenden Detektions-Adaptationen.
4. Stabilisierungsstrategien: Entwicklung und Validierung von architekturagnostischen Lösungen (stärkerer Connector, quadratische Eingabegeometrie), die das Collapse-Problem beheben und die Leistung wiederherstellen.
5. Neues Design-Paradigma: Eine faktorisierte Sichtweise auf VLMs, die Backbone-Architektur, Vor-Trainingsziel und Vision-Language-Schnittstelle als entscheidende Faktoren hervorhebt.

4. Ergebnisse

• Matched IN1K/224 Setting:

  • VMamba (insbesondere die T- und S-Varianten) erzielt die beste Gesamtperformance.
  • VMamba übertrifft ViT und MaxViT konsistent bei allen Grounding-Benchmarks (RefCOCO etc.).
  • Interessanterweise führt bei ViT und MaxViT eine höhere ImageNet-Genauigkeit oft zu schlechterer VLM-Leistung (insbesondere bei der Lokalisierung), während VMamba bei Skalierung zunächst profitiert, bevor es bei sehr großen Modellen ebenfalls nachlässt.

• Dense-Task Adaptation (Detektion/Segmentierung):

  • Die Anpassung an dichte Aufgaben (Detektion/Segmentierung) verbessert die Leistung sowohl bei Transformer- als auch bei SSM-Modellen.
  • Localization Collapse: Bestimmte Konfigurationen (z. B. ViTDet-L/H oder VMamba-T/B bei rechteckigen, hochauflösenden Eingaben) zeigen einen drastischen Leistungsabfall bei der Lokalisierung.
  • Ursache: Dies liegt nicht an schlechten visuellen Features, sondern an einer Instabilität der Schnittstelle zwischen Vision-Encoder und LLM (Übertragungs- oder Nutzungsengpass).

• Stabilisierung:

  • Durch Erhöhung der Connector-Kapazität (3-Layer MLP statt 2-Layer) und/oder Umstellung auf quadratische Eingabegeometrie (512x512) kann der „Collapse" vollständig behoben werden.
  • Stabilisierte VMamba-Modelle übertreffen selbst große Transformer-Modelle bei der Lokalisierung und bleiben bei VQA konkurrenzfähig, oft bei deutlich geringerer Modellgröße.

• Effizienz:

  • VMamba bietet ein besseres Verhältnis von Leistung zu Effizienz als vergleichbare ViT-Modelle.
  • Im Gegensatz zu sehr großen Detektions-Backbones (wie ViTDet-H) stößt VMamba bei hohen Auflösungen später an Speicherlimits.

5. Bedeutung und Fazit

Das Paper widerlegt die Annahme, dass Transformer-basierte Vision-Encoder die einzige oder beste Wahl für VLMs sind. Es zeigt, dass State Space Models (insbesondere VMamba) eine überlegene Alternative darstellen, da sie durch ihre inhärente 2D-Struktur (Multi-Directional Scans) räumliche Informationen besser erhalten als reine Self-Attention-Mechanismen.

Die Arbeit liefert wichtige praktische Erkenntnisse:

1. Architektur ist entscheidend: Die Wahl des Backbones beeinflusst die räumliche Grounding-Fähigkeit massiv.
2. Vor-Trainingsziel: Dichte Ziele (Detektion/Segmentierung) sind vorteilhaft, müssen aber sorgfältig in die VLM-Schnittstelle integriert werden.
3. Schnittstellen-Stabilität: Die Leistung eines VLMs hängt stark von der Stabilität der Vision-Language-Schnittstelle ab (Connector-Kapazität, Eingabegeometrie).

Zusammenfassend etabliert diese Studie SSM-basierte Vision-Encoder als vielversprechende, skalierbare und leistungsfähige Alternative für die nächste Generation von Vision-Language-Modellen, insbesondere für Anwendungen, die ein tiefes räumliches Verständnis erfordern.