💻 computer science

Can Graphs Help Vision SSMs See Better?

Das Papier stellt GraphScan vor, einen grapheninduzierten dynamischen Scanning-Operator, der Vision State Space Models verbessert, indem er die geometrische Serialisierung durch feature-konditioniertes semantisches Routing ersetzt und dabei state-of-the-art-Leistung bei verschiedenen Vision-Aufgaben bei gleichzeitiger Beibehaltung einer linearen rechnerischen Skalierung erzielt.

Ursprüngliche Autoren: Dhruv Parikh, Anvitha Ramachandran, Haoyang Fan, Mustafa Munir, Rajgopal Kannan, Viktor Prasanna

Veröffentlicht 2026-05-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Dhruv Parikh, Anvitha Ramachandran, Haoyang Fan, Mustafa Munir, Rajgopal Kannan, Viktor Prasanna

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein komplexes Bild zu verstehen, wie etwa ein Gemälde einer belebten Stadtstraße. Sie verfügen über ein sehr schnelles, effizientes Gehirn (genannt Vision State Space Model oder Vision SSM), das hervorragend darin ist, Informationen linear zu verarbeiten, Stück für Stück.

Allerdings gibt es ein Problem: Das Bild ist zweidimensional (es hat Höhe und Breite), doch Ihr Gehirn versteht nur eine eindimensionale Liste (wie einen Satz). Um das Bild passend zu machen, müssen Sie es in eine lange Reihe winziger Quadrate (Tokens) flachdrücken, ähnlich wie man einen Teppich abrollt.

Der alte Weg: Das „Rasenmähen"-Problem

Traditionell verwendeten Forscher ein festes Abtastmuster, um das Bild in eine Linie zu verwandeln.

Der Raster-Scan: Stellen Sie sich einen Rasenmäher vor, der über eine Wiese hin und her fährt. Er bewegt sich von links nach rechts, rutscht eine Zeile nach unten, fährt dann von rechts nach links und so weiter.
Das Problem: In einem Bild können zwei Quadrate, die direkt nebeneinander liegen, in der „gemähten" Linie weit voneinander entfernt sein. Wenn Sie auf ein Katzenohr und dessen Nase schauen, könnte ein fester Scanner sie in der Liste meilenweit auseinanderlegen. Das Gehirn muss lange warten, um sie zu verbinden, oder es verpasst die Verbindung ganz, weil es nur einem starren Pfad folgt.

Einige neuere Methoden versuchten, dies zu beheben, indem sie den Pfad deformierten. Stellen Sie sich vor, der Rasenmäherfahrer wird clever und sagt: „Hey, dieses Grasstück sieht aus wie eine Blume, also springe ich hierhin, um es zuerst zu schneiden." Dies nennt man koordinatenversetzte Abtastung. Es ist besser, aber es geht immer noch hauptsächlich um Geometrie (Bewegung zu einer neuen Koordinate) und nicht um Bedeutung (Verstehen, was das Stück tatsächlich ist).

Die neue Idee: GraphScan (Der „intelligente Nachbarschaft"-Ansatz)

Die Autoren dieses Papiers stellten eine einfache Frage: „Was wäre, wenn wir den Quadraten erlauben, bevor wir das Bild dem Gehirn zuführen, mit ihren Nachbarn basierend darauf, wie sie aussehen, zu sprechen, und nicht nur basierend darauf, wo sie sind?"

Sie führten GraphScan ein. So funktioniert es mit einer einfachen Analogie:

Das Nachbarschaftstreffen: Anstatt nur einen Rasenmäher zu bewegen, stellt sich vor, jedes Quadrat im Bild hält ein kleines Nachbarschaftstreffen ab.
Semantischer Chat: Jedes Quadrat betrachtet die Quadrate, die sich unmittelbar darum befinden. Statt nur zu sagen: „Du bist links von mir", fragen sie: „Sehen wir ähnlich aus? Gehören wir zum selben Objekt?"
- Wenn ein Quadrat Teil eines „Hundefells" ist, verbindet es sich stark mit anderen „Fell"-Quadraten in der Nähe, selbst wenn die Geometrie kompliziert ist.
- Wenn ein Quadrat Teil des „Himmels" ist, verbindet es sich mit anderen „Himmel"-Quadraten.
Die Nachricht: Das Quadrat sammelt die besten Informationen aus diesem Chat, mischt sie zusammen und aktualisiert seine eigene „Meinung" darüber, was es ist.
Die Übergabe: Jetzt, da jedes Quadrat ein besseres, fundierteres Verständnis seiner lokalen Nachbarschaft hat, wird es an das schnelle Gehirn (das Vision SSM) übergeben, um in der langen Linie verarbeitet zu werden.

Warum das eine große Sache ist

Das Papier behauptet, dass diese einfache Änderung die KI viel besser „sehen" lässt.

Es ist kein Ersatz: Sie ersetzten das schnelle Gehirn nicht durch eine langsame, komplizierte Graphenmaschine. Sie fügten lediglich einen „Vorbereitungsschritt" direkt hinzu, bevor das Gehirn zu arbeiten beginnt.
Es ist lokal und intelligent: Es betrachtet nicht das gesamte Bild auf einmal (was langsam wäre). Es betrachtet nur eine kleine, begrenzte Nachbarschaft (wie ein 3x3- oder 5x5-Raster), entscheidet aber wen es anhört, basierend auf dem Inhalt (Semantik) und nicht nur der Rasterposition.
Das Ergebnis: Als sie diesen neuen „GraphScan-Mamba" an Standardaufgaben testeten, wie zum Beispiel:
- Bilderkennung (ImageNet): Es erzielte höhere Punktzahlen als frühere Modelle.
- Objekterkennung (COCO Detection): Es fand Autos, Menschen und Tiere genauer.
- Szensegmentierung (ADE20K): Es färbte die exakte Form von Objekten besser aus.

Das Fazit

Das Papier kommt zu dem Schluss, dass wir das Abtasten eines Bildes nicht nur als geometrisches Rätsel betrachten sollten (Wie ordne ich diese Kacheln in einer Linie an?). Stattdessen sollten wir es als ein Problem des semantischen Routings behandeln (Wie lasse ich diese Kacheln Informationen darüber austauschen, was sie sind, bevor sie organisiert werden?).

Indem wir es den Bildpatches erlauben, mit ihren Nachbarn zu „plaudern", um ein besseres lokales Verständnis aufzubauen, erhält das Vision SSM eine viel klarere, bedeutungsvollere Liste zur Verarbeitung, was zu intelligenterer und genauerer Computervision führt.

Technische Zusammenfassung: GraphScan für Vision State Space Models

1. Problemstellung

Vision State Space Models (SSMs), insbesondere solche, die auf der Mamba-Architektur basieren, bieten eine effiziente Modellierung über große Entfernungen mit linearer Komplexität. Ihre Leistung hängt jedoch kritisch davon ab, wie zweidimensionale visuelle Merkmalskarten in eindimensionale Token-Sequenzen zur Verarbeitung serialisiert werden.

Bestehende Scan-Operatoren in Vision SSMs fallen im Allgemeinen in zwei Kategorien:

Feste geometrische Durchläufe: Vordefinierte Pfade (z. B. Raster, bidirektional, fraktal), die das 2D-Gitter in eine 1D-Sequenz serialisieren. Diese setzen das Modell festen Ordnungen aus, die möglicherweise nicht mit dem semantischen Inhalt übereinstimmen.
Dynamische koordinatenbasierte Scans: Methoden, die Verschiebungen oder Abtaststellen vorhersagen und Token durch Interpolation (z. B. bilineare Interpolation) umleiten. Obwohl adaptiv, passen diese primär an, wo basierend auf der Geometrie abgetastet wird, statt explizit zu modellieren, welche lokalen Patches basierend auf semantischer Relevanz vor der globalen Mischung Informationen austauschen sollten.

Die Autoren identifizieren eine Lücke: Aktuelle Mechanismen passen Pfade oder Abtastkoordinaten an, modellieren jedoch keine lokalen semantischen Nachbarschaften explizit, um Token zu konditionieren, bevor sie in den selektiven State-Space-Mischer gelangen. Die zentrale Frage lautet, ob graphbasiertes Routing Vision SSMs helfen kann, „besser zu sehen", indem es semantische Verbindungen vor der globalen Propagation herstellt.

2. Methodik: GraphScan

Die Arbeit stellt GraphScan vor, einen graph-induzierten dynamischen Scan-Operator, der dem selektiven SSM vorausgeht. Im Gegensatz zu Methoden, die das SSM durch ein Graph Neural Network (GNN) ersetzen, fungiert GraphScan als leichter, input-adaptiver Konditionierer, der Token mit lokalem semantischem Kontext anreichert.

Kernmechanismus

Für jeden Token $x_i$ in der Merkmalskarte:

Lokaler Graphaufbau: Um die Gitterkoordinate des Tokens wird eine räumlich begrenzte lokale Kandidatenmenge $S_r(i)$ mit einem festen Radius $r$ definiert.
Feature-konditionierte Affinitäten: Anstelle geometrischer Interpolation berechnet GraphScan attention-ähnliche Affinitäten zwischen dem Query-Token und seinen Nachbarn basierend auf Feature-Ähnlichkeit und relativer Positionsverzerrung.
- Projektionen für Query, Key und Value werden berechnet: $q_i, k_j, v_j$ .
- Affinitätswerte $s_{ij}$ werden unter Verwendung von Skalarprodukten und einer lernbaren relativen Positionsverzerrung $b_{rel}(g_j - g_i)$ berechnet.
- Softmax-Normierung ergibt Gewichte $\alpha_{ij}$ .
Ein-Schritt-Nachrichtenweitergabe: Der Ausgabe-Token $x'_i$ wird durch Aggregation von Value-Features aus der semantischen Nachbarschaft und Hinzufügen einer Residualverbindung erzeugt:
$x'_i = x_i + \left( \sum_{j \in S_r(i)} \alpha_{ij} v_j \right) W_o$
Dies ersetzt die isolierte Patch-Repräsentation durch eine semantische Mischung naher visueller Evidenz.

Integration in das Backbone

GraphScan wird als Pre-SSM-Routing-Schicht in ein hierarchisches Vision-Mamba-Backbone (GraphScan-Mamba) integriert.

Architektur: Das Backbone folgt einem Standard-Design mit vier Stufen mit überlappenden konvolutionalen Stämmen und stufenweiser Downsampling.
Platzierung: Innerhalb jedes Blocks ist der Ablauf: Depthwise Conv (Fest Lokal) $\to$ GraphScan (Gelernt Lokal) $\to$ Selektives SSM (Global).
Adaptivität: Der Graphradius $r$ nimmt mit der Stufentiefe zu (z. B. $r=1$ in frühen Stufen, $r=3$ in späteren Stufen), wodurch das rezeptive Feld von lokal auf effektiv global wächst, während die lineare Skalierung beibehalten wird.

Theoretische Implikationen

Die Autoren analysieren GraphScan als sparsen, input-adaptiven Konditionierer. Durch die Modifikation der Token-Sequenz von $X$ zu $X'$ vor dem SSM beeinflusst GraphScan das SSM auf zwei Arten:

Value-Injektion: Es ändert die Werte, die in den rekurrenten Zustand geschrieben werden.
Parametermodulation: Da Mamba-artige SSMs Rekursionsparameter ( $\Delta, B, C$ ) aus dem aktuellen Token generieren, ändert die Änderung des Tokens auch die selektiven Parameter, die die Zustandspropagation und -auslesung steuern.
Dies erzeugt einen „lokal-globalen Kernel", bei dem ein Quellpatch das Ausgabe über eine lokale semantische Affinität $\alpha_{ij}$ und einen globalen selektiven Propagationsfaktor $K'_{t,i}$ beeinflusst.

3. Hauptbeiträge

GraphScan-Operator: Ein neuartiger Scan-Mechanismus, der Scannen als „gelerntes lokales semantisches Routing" behandelt, anstatt als geometrische Serialisierung oder Koordinatenauswahl. Er erhält die Tokenanzahl und lineare Skalierung bei gleichzeitiger Einführung semantischen Bewusstseins.
GraphScan-Mamba-Backbone: Eine hierarchische Implementierung von GraphScan, die State-of-the-Art (SOTA)-Leistungen unter Vision SSMs über mehrere Aufgaben hinweg erreicht, ohne die Kern-Rekursionslogik des SSM zu verändern.
Orthogonalität: Die Methode erweist sich als orthogonal zu Verbesserungen auf der Rekursionsseite (z. B. SSD, nicht-kausale Formulierungen) und bietet einen komplementären Designhebel für Vision SSMs.
Interpretierbarkeit: Die Methode induziert interpretierbare Verschiebungsfelder über dem Token-Gitter und visualisiert, wie das Modell Informationen basierend auf semantischem Inhalt und nicht auf fester Geometrie routet.

4. Experimentelle Ergebnisse

Die Autoren bewerten GraphScan-Mamba auf drei Standard-Benchmarks und vergleichen es mit ConvNets, Transformern und bestehenden Vision SSMs (z. B. VMamba, DAMamba, Spatial-Mamba) bei vergleichbaren Parameter- und FLOP-Budgets.

ImageNet-1K Klassifizierung:
- GraphScan-Mamba-B erreicht 86,5 % Top-1-Genauigkeit und übertrifft die stärkste Vision-SSM-Baseline (Spatial-Mamba-B mit 85,3 %) um +1,2 % und VMamba-B um +2,6 %.
- Es übertrifft auch starke ConvNet- und Transformer-Backbones (z. B. ConvNeXt-B, Swin-B) bei ähnlichen Skalen.
COCO Objekterkennung & Instanzsegmentierung (Mask R-CNN):
- Unter dem 1x-Schedule erreicht GraphScan-Mamba-B 51,9 Box-mAP und 46,0 Mask-mAP und führt alle Vision-SSM-Baselines an.
- Gewinne übertragen sich effektiv auf dichte Vorhersageaufgaben, was darauf hindeutet, dass die gelernten Token robust gegenüber räumlichen Strukturen im Detektionsmaßstab sind.
ADE20K Semantische Segmentierung (UperNet):
- GraphScan-Mamba-B erreicht 53,2 % mIoU (einzelne Skala) und übertrifft die beste Vision-SSM-Baseline (DAMamba-B mit 51,9 %) um +1,3 %.
- Ergebnisse mit mehreren Skalen zeigen konsistente Verbesserungen (53,6 % vs. 52,3 %).

Ablationsstudien:

Platzierung: Die Platzierung vor dem SSM ist kritisch; die Verschiebung von GraphScan hinter das SSM führt zu einem Genauigkeitsabfall von 0,7 %.
Radius-Schedule: Ein wachsender Radius-Schedule $(1, 1, 2, 3)$ bietet die beste Pareto-Front zwischen Rechenleistung und Genauigkeit.
Relative Positionsverzerrung: Die Einbeziehung einer lernbaren relativen Positionsverzerrung liefert einen konsistenten, wenn auch kleinen, Gewinn.

5. Bedeutung und Behauptungen

Die Arbeit kommt zu dem Schluss, dass Graphen Vision SSMs tatsächlich helfen, besser zu sehen. Die Bedeutung dieser Arbeit liegt in der Verschiebung des Designparadigmas für Vision SSMs:

Von Geometrie zu Semantik: Scannen sollte nicht lediglich als geometrische Serialisierung (Wahl eines Pfades oder einer Koordinate) behandelt werden, sondern als gelerntes lokales semantisches Routing vor der globalen State-Space-Modellierung.
Input-seitige Ergänzung: GraphScan bietet eine input-seitige Lösung, die Fortschritte auf der Rekursionsseite ergänzt. Es stellt sicher, dass die Token, die in den selektiven Mischer gelangen, bereits lokal verankert und semantisch bewusst sind, was die Konditionierung der globalen Sequenz verbessert, ohne die internen Dynamiken des SSM zu verändern.
Generalisierbarkeit: Der Ansatz ist orthogonal zum spezifischen SSM-Kern (z. B. Mamba-1/S6), was darauf hindeutet, dass er auf zukünftige SSM-Varianten angewendet werden kann.

Die Autoren behaupten bescheiden, dass GraphScan zwar die Leistung und Interpretierbarkeit verbessert, aber ohne weitere Annahmen keine Generalisierung im formalen kontrolltheoretischen Sinne garantiert, es jedoch einen strukturellen Mechanismus für reichhaltigere lokale semantische Eingaben bietet.