💻 computer science

Vision Non-Causal Trapezoidal Mamba: Eliminating Directional Scanning in Vision SSMs with Second-Order Dynamics

Das Papier stellt das Vision Non-Causal Trapezoidal Mamba (VNCT) vor, ein nicht-kausales Zustandsraummodell zweiter Ordnung, das das richtungsgebundene Token-Scanning eliminiert, um orientierungsrobuste Repräsentationen und eine überlegene Leistung bei verschiedenen Vision-Aufgaben zu erreichen und gleichzeitig eine geringe Inferenzlatenz beizubehalten.

Ursprüngliche Autoren: Anvitha Ramachandran, Dhruv Parikh, Haoyang Fan, Rajgopal Kannan, Viktor Prasanna

Veröffentlicht 2026-07-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Anvitha Ramachandran, Dhruv Parikh, Haoyang Fan, Rajgopal Kannan, Viktor Prasanna

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein riesiges, komplexes Puzzle aus tausenden winzigen Bildteilen (Token) zu verstehen. Lange Zeit fungierten Computer-Vision-Modelle wie eine sehr strenge, einseitige Straße. Sie mussten die Teile in einer bestimmten Reihenfolge betrachten: von links nach rechts, von oben nach unten oder in einem anderen festen Pfad. Dies wird als gerichtetes Scannen bezeichnet. Es ist wie das Lesen eines Buches, bei dem man nicht voraussehen oder zurückblättern kann; man muss jedes Wort in einer Zeile lesen, bevor man zur nächsten übergeht.

Das Paper stellt ein neues Modell namens Vision Non-Causal Trapezoidal Mamba (VNCT) vor. Seine wichtigste Erkenntnis ist, dass diese strikte „Einbahnstraßen“-Regel eigentlich nicht notwendig ist, um gut zu sehen. Tatsächlich macht das Abschaffen dieser Regel das Modell schneller und intelligenter.

Der alte Weg vs. der neue Weg

Betrachten Sie die alten Modelle (wie viele Vision Transformer oder frühere „Mamba“-Modelle) als ein Team von Detektiven, die durch einen Museumsraum gehen müssen, indem sie in einer Einreihe hintereinander laufen. Sie können nur das Gemälde betrachten, das direkt vor ihnen liegt, und dann das nächste, und so weiter. Wenn sie ein Detail auf der linken Seite verpassen, weil sie auf die rechte Seite fokussiert waren, bemerken sie es vielleicht erst, wenn sie wieder zurückkehren, was zusätzliche Zeit kostet. Dies erzeugt einen Bias; das Modell gewöhnt sich daran, in eine bestimmte Richtung zu schauen.

VNCT wirft das Regelbuch über Bord. Anstatt in einer Schlange zu laufen, lässt es jedes einzelne Bildteil gleichzeitig mit jedem anderen kommunizieren – alles auf einmal in einem einzigen Durchgang. Es ist wie das Einschalten eines riesigen, sofortigen Scheinwerfers, der den gesamten Museumsraum gleichzeitig beleuchtet. Jeder Detektiv kann jedes Gemälde sofort sehen, ohne auf seinen Zug zu warten. Das Paper zeigt, dass dieser „Alles-auf-einmal“-Ansatz die seltsamen Verzerrungen eliminiert, die durch das Gehen in einer Schlange entstehen.

Das Geheimrezept: Dynamik zweiter Ordnung

Aber wie spricht es so schnell mit allen, ohne verwirrt zu werden? Die Autoren verwenden einen cleveren mathematischen Trick namens Dynamik zweiter Ordnung (speziell „trapezförmige“ Dynamik).

Stellen Sie sich vor, Sie versuchen, die Temperatur eines Raumes zu erraten.

Erste Ordnung (der alte Weg): Sie prüfen das Thermometer einmal und raten basierend auf diesem einzelnen Messwert.
Zweite Ordnung (VNCTs Weg): Sie prüfen das Thermometer, aber Sie schauen auch darauf, wie schnell sich die Temperatur gerade eben verändert hat. Sie nehmen einen Durchschnitt aus dem „Jetzt“ und dem „Kurz davor“.

Diese „trapezförmige“ Methode (das Mitteln der Start- und Endpunkte eines Schritts) verleiht dem Modell ein reicheres, detaillierteres Verständnis des Bildes. Das Paper legt nahe, dass diese zusätzliche Ebene an Detailtiefe dem Modell hilft, Formen und Grenzen viel besser zu verstehen als die einfacheren, einstufigen Methoden, die bisherige Modelle verwendeten.

Was das Paper ausschließt

Das Paper argumentiert explizit gegen die Idee, dass Vision-Modelle gerichtetes Scannen benötigen, um gut zu funktionieren. Viele bisherige Modelle versuchten, das „Einbahnstraßen“-Problem zu lösen, indem sie komplexere Pfade hinzufügten (wie das Gehen in einer Zickzack- oder Spiralform), aber die Autoren zeigen, dass man den Pfad gar nicht erst reparieren muss – man muss den Pfad einfach komplett entfernen. Sie schließen die Notwendigkeit von sequenziellem Scannen für eine leistungsstarke Vision aus.

Die Ergebnisse: Schneller, stärker und robuster

Die Autoren haben ihr Modell bei mehreren großen Herausforderungen gemessen, und die Ergebnisse waren sehr eindeutig:

Geschwindigkeit: Da es nicht darauf warten muss, dass sich eine Schlange bildet, ist VNCT schneller. Auf einem einzelnen Bild dauerte es für die „Micro“-Version 5,25 Millisekunden und für die „Tiny“-Version 7,31 Millisekunden, um eine Vorhersage zu treffen. Dies ist schneller als das vorherige nicht-kausale Modell (VSSD), das jeweils 5,80 ms und 8,01 ms benötigte.
Genauigkeit: Es erreichte bessere Werte in Standardtests. Im ImageNet-1K-Test erreichte die „Tiny“-Version eine Genauigkeit von 84,2 % und schlug damit das bisher beste nicht-kausale Modell (VSSD-Tiny), das 83,7 % erreichte.
Drehung und Spiegelung: Eine der coolsten Erkenntnisse betrifft die „Orientierungsrobustheit“. Wenn man ein Bild auf den Kopf stellt oder dreht, werden die alten Modelle etwas verwirrt und ihre Genauigkeit sinkt. VNCT ist damit viel entspannter. Wenn das Bild rotiert oder gespiegelt wurde, betrug der durchschnittliche Genauigkeitsverlust nur 0,3 %, im Vergleich zu 0,9 % bei VSSD und 1,6 % beim Modell mit gerichtetem Scannen. Dies deutet darauf hin, dass das Modell das Objekt als Ganzes sieht, nicht nur als eine Sequenz von Pixeln.
Grenzen: Beim Zeichnen der Umrisse von Objekten (wie etwa die Trennung eines Autos von der Straße) war VNCT schärfer. Es verbesserte die „Boundary IoU“ (einen Score dafür, wie gut die Kanten übereinstimmen) auf dem Cityscapes-Datensatz um bis zu 3,7 Punkte im Vergleich zu VSSD.

Das Fazit

Das Paper schlägt nicht nur vor, dass dies funktionieren könnte; es hat es über Klassifizierungs-, Objekterkennungs- und Segmentierungsaufgaben hinweg gemessen. Die Autoren kommen zu dem Schluss, dass die „Einbahnstraße“ des gerichteten Scannens ein Artefakt des Versuchs ist, Sequenzmodelle auf Bilder zu erzwingen, und dass ein zweiter Ordnung folgender, nicht-kausaler Ansatz ein einfacherer, effizienterer und robusterer Weg ist, um Vision-KI aufzubauen. Sie haben nicht nur das alte System angepasst; sie haben die Verkehrsregeln komplett ersetzt – und die Autos fahren schneller und fahren gerader.

Technisches Resümee: Vision Non-Causal Trapezoidal Mamba (VNCT)

1. Problemstellung

State Space Models (SSMs) haben sich als effiziente Alternativen zu Vision Transformern (ViTs) etabliert, um weitreichende Abhängigkeiten mit linearer Zeitkomplexität zu modellieren. Die meisten bestehenden Vision-SSMs (z. B. ViM, VMamba) erben jedoch das gerichtete Token-Scanning aus der kausalen Sequenzmodellierung. Um 1D-SSMs auf 2D-Bilder anzuwenden, müssen Token entlang vordefinierter Pfade (horizontal, vertikal oder mehrdimensional) serialisiert werden.

Die Autoren identifizieren drei kritische Einschränkungen dieses Ansatzes:

Räumlicher Bias (Spatial Bias): Das gerichtete Scanning erzwingt eine künstliche Traversierungsreihenfolge, die der visuellen Natur von Daten nicht inhärent ist, was zu orientierungssensitiven Merkmalsinteraktionen führt.
Ineffizienz: Die Aggregation bidirektionalen Kontextes erfordert oft mehrere Scan-Durchläufe, was die Inferenzlatenz erhöht.
Fehlende Übereinstimmung (Misalignment): Visuelle Szenen sind nicht-kausal; räumliche Beziehungen existieren unabhängig von der Token-Reihenfolge.

Obwohl neuere Arbeiten wie Vision State Space Duality (VSSD) eine nicht-kausale Aggregation einführten, bleibt diese auf Modelle erster Ordnung beschränkt. Die Arbeit stellt die Frage, ob gerichtetes Scanning für leistungsstarke Vision-SSMs notwendig ist oder lediglich ein Artefakt der Anpassung von Sequenzmodellen an Bilder darstellt.

2. Methodik: Vision Non-Causal Trapezoidal Mamba (VNCT)

Die Autoren schlagen VNCT vor, ein hierarchisches Vision-Backbone, das auf einer nicht-kausalen Zustandsraumformulierung zweiter Ordnung basiert. Die zentrale Innovation ist die NC-M3 (Non-Causal Mamba-3) Schicht.

2.1. Kernmechanismus: NC-M3

Die NC-M3-Schicht reformuliert die exponentiell-trapezförmige Dynamik von Mamba-3 zu einem globalen, nicht-kausalen Aggregationsoperator.

Dynamik zweiter Ordnung: Im Gegensatz zu Standard-SSMs, die eine Zustandsaktualisierung in einem Schritt verwenden, nutzt Mamba-3 eine trapezförmige Quadraturregel, welche die Integration über beide Endpunkte (links und rechts) mittelt. Dies wird ausgedrückt als:
$h_t = \alpha_t h_{t-1} + \beta_t x_{t-1} + \gamma_t x_t$
wobei $\beta$ und $\gamma$ die Beobachtungen am linken und rechten Endpunkt gewichten.
Nicht-kausaler Lift (Non-Causal Lift): Die Autoren transformieren diese kausale Rekurrenz in einen permutationsinvarianten Operator. Anstatt einer sequentiellen Zustandsfortpflanzung ersetzen sie die kausale, untere Dreiecksmatrix durch einen vollständig dichten, normalisierten Interaktionskern.
Globale Aggregation: Die Interaktion wird über globale hinreichende Statistiken berechnet. Für ein Output-Token $i$ $i$ wird der Zustand aus einer globalen Summe aller Input-Token $j$ $j$ abgeleitet, gewichtet durch datenabhängige Parameter ( $\alpha, \beta, \gamma$ $α, β, γ$ ), die in einen Interaktionsraum projiziert werden.
- Die Aggregationsregel ist faktorisiert, um die Konstruktion einer $L \times L$ Interaktionsmatrix zu vermeiden, wodurch die lineare Zeitkomplexität ( $O(L)$ ) beibehalten wird.
- Dies ermöglicht es allen Bild-Tokens, in einem einzelnen Durchgang zu interagieren, ohne dass ein gerichtetes Scanning erforderlich ist.

2.2. Architektonische Komponenten

Low-Rank MIMO-Parametrisierung: VNCT integriert eine Low-Rank Multi-Input Multi-Output (MIMO) Mechanik, um räumliche und kanalweise Interaktionen effizient gemeinsam zu modellieren.
2D Rotary Positional Encoding (RoPE): Da die Aggregation ordnungsunabhängig ist, wird die räumliche Information via 2D-RoPE injiziert, das auf die Source- und Query-Projektionen angewendet wird, um die relative räumliche Verschiebung zu kodieren.
Hierarchisches Backbone: Das Modell folgt einer vierstufigen Architektur (ähnlich wie Swin oder ConvNeXt) mit progressiver Downsampling-Rate. Die Stufen 1–3 nutzen NC-M3-Blöcke, während Stufe 4 Multi-Head Self-Attention (MHSA) auf der Feature-Map mit der niedrigsten Auflösung verwendet, um den globalen Kontext zu erfassen, wo die quadratischen Kosten vernachlässigbar sind.
Lokale Wahrnehmung: Eine Local Perception Unit (LPU) mittels Depth-wise Convolutions injiziert lokalen räumlichen Inductive Bias vor der globalen Aggregation.

3. Zentrale Beiträge

NC-M3 Schicht: Eine nicht-kausale Zustandsraumschicht zweiter Ordnung, die gerichtetes Scanning eliminiert und somit Interaktionen zwischen allen Bild-Tokens in einem einzigen Durchgang ermöglicht.
VNCT Backbone: Ein hierarchisches Vision-Backbone, das second-order nicht-kausale Dynamik mit Low-Rank MIMO-Parametrisierung kombiniert.
Empirische Validierung: Nachweis, dass die Eliminierung des gerichteten Scannings die Inferenzlatenz, die Orientierungsrobustheit und die Grenzerhaltung verbessert und sowohl gerichtete-scanning SSMs als auch erstordnung-nicht-kausale SSMs konsistent übertrifft.

4. Experimentelle Ergebnisse

Die Autoren evaluierten VNCT auf ImageNet-1K (Klassifizierung), COCO (Objekterkennung und Instanzsegmentierung) und ADE20K (semantische Segmentierung).

Klassifizierung (ImageNet-1K): VNCT erreicht die State-of-the-Art Top-1 Genauigkeit über Micro, Tiny, Small und Base Skalen hinweg.
- Beispiel: VNCT-Tiny erreicht 84,2% Top-1 Genauigkeit und übertrifft damit VSSD-T (83,7%) und VMamba-T (82,5%).
- Effizienz: VNCT zeigt eine geringere Single-Image Inferenzlatenz als VSSD bei den Skalen Micro, Tiny und Small.
Dichte Prädiktion (COCO & ADE20K):
- Detektion/Segmentierung: VNCT-T übertrifft alle Baselines in Box AP und Mask AP auf COCO, mit signifikanten Gewinnen bei AP75 (was auf verbesserte Lokalisationspräzision hindeutet).
- Semantische Segmentierung: VNCT erreicht das höchste mIoU auf ADE20K über alle Modellskalen hinweg (z. B. erreicht VNCT-S 50,1% mIoU gegenüber 49,2% für VSSD-S).
Grenzerhaltung (Boundary Preservation): VNCT verbessert die Boundary IoU (BIoU) signifikant.
- Auf ADE20K verbessert VNCT-T die BIoU um +2,3 Punkte gegenüber VSSD-T.
- Auf Cityscapes beträgt die Verbesserung +3,7 Punkte.
- Qualitative Analysen zeigen, dass VNCT vollständigere und geometrisch genauere Konturen erzeugt.
Orientierungsrobustheit: VNCT weist eine überlegene Robustheit gegenüber geometrischen Transformationen (Spiegelungen und Rotationen) ohne Retraining auf.
- Auf ImageNet-1K zeigt VNCT-T einen durchschnittlichen Genauigkeitsabfall von nur 0,3% über vier Transformationen hinweg, verglichen mit 0,9% für VSSD-T und 1,6% für VMamba-T.
Rezeptives Feld (Receptive Field Analysis): Die Visualisierung des effektiven rezeptiven Feldes (ERF) zeigt, dass VNCT ein glattes, symmetrisches und global einheitliches rezeptives Feld erzeugt, im Gegensatz zu den gerichteten Artefakten von VMamba oder der unregelmäßigen Abdeckung von VSSD.

5. Bedeutung und Behauptungen

Die Arbeit argumentet, dass gerichtetes Scanning für leistungsstarke Vision-SSMs unnötig ist. Die Autoren behaupten, dass die Einschränkungen bisheriger Vision-SSMs eher auf dem kausalen gerichteten Scan als auf der State-Space-Modellierung selbst beruhen.

Durch die Ersetzung des kausalen Scannings durch nicht-kausale Zustandsraummodellierung zweiter Ordnung bietet VNCT eine einfache, effiziente und robuste Alternative für die visuelle Erkennung. Die Ergebnisse legen nahe, dass:

Globale nicht-kausale Aggregation kombiniert mit Dynamiken zweiter Ordnung stärkere räumliche Repräsentationen für Aufgaben der dichten Prädiktion liefert.
Die Entfernung des Richtungs-Bias zu robusteren Merkmalen hinsichtlich der Orientierung und besserer Grenzerhaltung führt.
Leistungsstarke Vision-Backbones ohne den Rechenaufwand mehrerer Scan-Durchläufe oder die quadratische Komplexität voller Attention-Mechanismen (außer in der finalen Stufe) erreicht werden können.

Die Autoren kommen zu dem Schluss, dass dieser Ansatz die nicht-kausale, höherwertige Zustandsraum-Operator-Technik als vielversprechende Richtung für zukünftige Vision-Backbones motiviert.