💻 computer science

MambaPanoptic: A Vision Mamba-based Structured State Space Framework for Panoptic Segmentation

MambaPanoptic ist ein neuartiges Rahmenwerk für die panoptische Segmentierung, das die Vision-Mamba-Architektur nutzt, um eine global kohärente, mehrskalige Feature-Repräsentation mit linearer rechnerischer Komplexität zu erreichen und dadurch bestehende auf Faltungsnetzwerken und Transformern basierende Methoden sowohl in der Genauigkeit als auch in der Effizienz übertrifft.

Ursprüngliche Autoren: Qing Cheng, Damiano Bertolini, Wei Zhang, Dong Wang, Niclas Zeller, Daniel Cremers

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Qing Cheng, Damiano Bertolini, Wei Zhang, Dong Wang, Niclas Zeller, Daniel Cremers

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie blicken durch ein Kameraobjektiv auf eine belebte Stadtstraße. Für einen Computer ist dieses Bild lediglich ein Raster aus Millionen winziger farbiger Punkte (Pixel). Panoptische Segmentierung ist die Aufgabe, dem Computer beizubringen, dieses Raster zu betrachten und gleichzeitig zwei Dinge zu tun:

Zählen der einzelnen Objekte: „Das ist ein Auto, das ist ein weiteres Auto, das ist ein Fußgänger." (Diese werden als „Dinge" bezeichnet).
Ausmalen des Hintergrunds: „Dieser gesamte Bereich ist der Himmel, dieses ganze Gebiet ist die Straße, das ist ein Grasfleck." (Diese werden als „Stoffe" bezeichnet).

Beides perfekt zu erledigen, ist schwierig. Der Computer muss die winzigen Details eines Auto-Rades sehen (lokale Details), während er gleichzeitig versteht, dass sich die Straße weit in die Ferne erstreckt (langreichweitiger Kontext).

Das Problem mit alten Methoden

Die Arbeit erklärt, dass frühere Methoden der Computervision ein „Wähle-eins"-Problem hatten:

Die „lokalen" Experten (CNNs): Diese sind wie eine Person, die durch eine kleine Lupe schaut. Sie sind hervorragend darin, feine Details und Kanten zu erkennen, können aber nicht sehen, was weit entfernt passiert. Ihnen fehlt der große Überblick.
Die „globalen" Experten (Transformer): Diese sind wie eine Person mit einem riesigen Teleskop. Sie können die ganze Stadt auf einmal sehen, aber das Betrachten eines hochauflösenden Bildes damit ist unglaublich langsam und teuer, wie der Versuch, ein Buch zu lesen, indem man jede einzelne Seite nacheinander umblättert.

Die neue Lösung: MambaPanoptic

Die Autoren stellen MambaPanoptic vor, ein neues System, das auf einer Technologie namens Vision Mamba basiert. Stellen Sie sich Mamba als einen „intelligenten Scanner" vor, der das ganze Bild und die winzigen Details sehen kann, dies aber viel schneller und mit weniger Energie erledigt als die mit Teleskopen ausgestatteten Experten.

So funktioniert das System, aufgeteilt in einfache Teile:

1. Der intelligente Scanner (Das Rückgrat)

Anstelle einer Standard-Kameraoptik verwendet das System einen SegMAN-Encoder. Stellen Sie sich dies als einen hocheffizienten Roboter vor, der das Bild scannt. Er schaut nicht nur von links nach rechts; er scannt gleichzeitig in vier Richtungen (hoch, runter, links, rechts). Dies ermöglicht ihm zu verstehen, wie sich ein Auto auf die weit entfernte Straße bezieht, ohne sich in langsamen Berechnungen zu verfangen.

2. Die mehrschichtige Karte (MambaFPN)

Um mit unterschiedlichen Objektgrößen umzugehen (ein winziger Vogel vs. ein riesiges Gebäude), baut das System eine Feature-Pyramide auf.

Analogie: Stellen Sie sich vor, Sie erstellen eine Stadtkarte. Sie haben eine weit herangezoomte Ansicht, die das gesamte Stadtlayout zeigt, eine mittlere Ansicht, die Nachbarschaften zeigt, und eine stark herangezoomte Ansicht, die einzelne Häuser zeigt.
Die Innovation: Die Arbeit stellt MambaFPN vor, das diese Karte mit dem intelligenten Scanner erstellt. Es stellt sicher, dass selbst die weit herangezoomten Schichten die feinen Details behalten und die stark herangezoomten Schichten den großen Kontext verstehen. Dies geschieht mit „linearer Komplexität", was bedeutet, dass sich die Arbeit nur verdoppelt, wenn Sie die Bildgröße verdoppeln, anstatt auf das Vierfache zu explodieren (wie es bei älteren Methoden der Fall war).

3. Der „Keks-Ausstecher"-Ansatz (Der Kopf)

Sobald das System seine mehrschichtige Karte hat, muss es die endgültigen Umrisse zeichnen.

Alter Weg: Einige Systeme versuchen zuerst zu erraten, wo sich jedes Objekt befindet, und zeichnen dann Kästchen darum. Das ist wie der Versuch, Fische einzeln mit einem Netz zu fangen.
Der Weg von MambaPanoptic: Es verwendet einen Kernel-Generator. Stellen Sie sich dies als einen „Keks-Ausstecher" vor. Anstatt nach Objekten zu jagen, generiert das System eine spezifische „Form" (einen Kernel) für jede Art von Ding oder Stoff, die es sieht.
- Wenn es ein „Auto" sieht, generiert es einen „auto-förmigen" Keks-Ausstecher.
- Wenn es „Himmel" sieht, generiert es einen „himmel-förmigen" Keks-Ausstecher.
- Dann drückt es diese Ausstecher auf das Bild, um sofort die endgültigen Masken zu erstellen. Dies ist schnell und erfordert kein vorheriges Erraten, wo sich Objekte befinden könnten.

4. Der Detail-Polierer (QuadMamba)

Manchmal sind die „Keks-Ausstecher" an den Rändern etwas rau, besonders bei schwierigen Formen. Das System verwendet ein QuadMamba-Modul als „Detail-Polierer".

Analogie: Stellen Sie sich einen Koch vor, der einen Kuchen schneidet. Der erste Schnitt ist gut, aber QuadMamba ist wie ein zweiter, präziserer Schnitt, der sich an die Form des Kuchens anpasst. Es betrachtet das Bild in unterschiedlich großen Abschnitten (wie ein Fraktal), um sicherzustellen, dass die Ränder des Autos oder der Straße perfekt scharf sind.

Was haben sie herausgefunden?

Die Autoren testeten dieses neue System auf zwei berühmten Datensätzen: Cityscapes (Bilder von Stadtstraßen) und COCO (eine riesige Sammlung allgemeiner Objekte).

Auf Cityscapes: MambaPanoptic schlug die alten „lokalen" Experten (CNNs) und traf oder schlug sogar die „globalen" Experten (Transformer wie Mask2Former) in der Genauigkeit.
Der Effizienzgewinn: Es erzielte diese hohen Werte bei Verwendung von weniger Parametern (weniger Speicher und Rechenkraft) als die schweren Transformer-Modelle.
Auf COCO: Es leistete sehr gute Arbeit und schlug die alten Methoden, blieb jedoch leicht hinter den leistungsstärksten Transformer-Modellen zurück. Die Autoren erklären dies damit, dass der COCO-Datensatz unglaublich komplex ist mit hunderten von Kategorien, und die „Keks-Ausstecher"-Methode manchmal mit dieser Vielfalt im Vergleich zur „Teleskop"-Methode Schwierigkeiten hat.

Das Fazit

Die Arbeit behauptet, dass MambaPanoptic das erste System ist, das diese neue „intelligente Scan"-Technologie erfolgreich für diese spezifische Doppelaufgabe (Dinge zählen + Stoffe ausmalen) einsetzt. Es bietet eine „Beste-beider-Welten"-Lösung: die Geschwindigkeit und Effizienz der alten Methoden mit dem langreichweitigen Verständnis der neuen Methoden, was es zu einem vielversprechenden Werkzeug für das Verständnis komplexer Szenen wie dem Fahren in einer Stadt macht.

Erwähnte Einschränkungen: Die Autoren geben zu, dass das System zwar großartig darin ist, das große Ganze zu sehen, aber manchmal mit sehr dünnen Linien oder den genauen Rändern von Objekten Schwierigkeiten hat, wahrscheinlich weil die „Scan"-Bewegung nicht perfekt ist, um hochfrequente Details zu erfassen. Sie schlagen vor, dass zukünftige Arbeiten diesen Scanner mit einem spezialisierteren „Kantenfinder" kombinieren könnten, um dies zu beheben.

Technischer Überblick: MambaPanoptic

Problemstellung
Die panoptische Segmentierung erfordert die gleichzeitige Erkennung zählbarer „thing"-Instanzen und amorpher „stuff"-Regionen. Diese Aufgabe verlangt nach Merkmalsrepräsentationen, die einerseits feine lokale Details für präzise Grenzen bewahren und andererseits langreichweitige Kontexte für komplexe Szenenlayouts erfassen. Bestehende Ansätze stehen vor einem Zielkonflikt: Convolutional Neural Networks (CNNs) sind effizient, aber aufgrund ihrer begrenzten rezeptiven Felder in der Modellierung langreichweitiger Abhängigkeiten eingeschränkt, während Transformer-basierte Methoden globales Reasoning bieten, jedoch quadratische Rechenkosten verursachen, die für Eingaben mit hoher Auflösung prohibitiv sind. Darüber hinaus fehlt Transformern oft eine starke induktive Verzerrung, was große Datenmengen und extensive Trainingszeiten erfordert.

Methodik
Die Arbeit stellt MambaPanoptic vor, ein vollständig Mamba-basiertes, End-to-End-Framework, das diese Einschränkungen durch lineare Rechenkomplexität und effiziente langreichweitige Modellierung adressiert. Die Architektur umfasst drei Hauptkomponenten:

Mamba Multi-Scale Feature Encoder:
- Backbone: Nutzt den SegMAN-Encoder, ein hierarchisches hybrides Netzwerk. Er setzt Local Attention and State Space (LASS)-Blöcke ein, die Nachbarschafts-Attention (für lokale räumliche Präzision) mit einem 2D Selective Scan (SS2D)-Mechanismus kombinieren. Der SS2D scannt abgeflachte Merkmalssequenzen in vier orthogonalen Richtungen ab, um langreichweitige Abhängigkeiten mit linearer Komplexität zu modellieren.
- MambaFPN: Ein neuartiges Feature-Pyramid-Netzwerk (FPN) mit Top-Down-Ansatz, das herkömmliche FPNs ersetzt. Es fusioniert Merkmale aus verschiedenen Stufen des Backbones mittels SS2D-Blöcken, um global kohärente, mehrskalige Merkmalsrepräsentationen ( $F'_1$ bis $F'_4$ ) mit linearer Rechenkomplexität zu erzeugen.
Panoptic Head (Proposal-Free):
- Unter Verwendung eines PanopticFCN-artigen, kernelbasierten Ansatzes verzichtet der Head auf schwere Transformer-Decoder. Er besteht aus einem Kernel-Generator und einem High-Resolution Feature Encoder.
- Kernel-Generator: Erzeugt vereinheitlichte Kernel sowohl für „things" als auch für „stuff". Er umfasst einen Positions-Head (zur Vorhersage von Heatmaps für „thing"-Zentren und Score-Karten für „stuff"-Regionen) sowie einen Kernel-Head (zur Generierung räumlich bewusster Kernel-Merkmale).
- Kernel-Fusion: Aggregiert Kernel-Schätzungen aus verschiedenen Auflösungen. „Thing"-Kernel werden nach kosinischer Ähnlichkeit der Merkmale gruppiert, während „stuff"-Kernel nach semantischer Klasse gruppiert werden.
- High-Resolution Feature Encoder: Verfeinert die Merkmalskarte mit der höchsten Auflösung ( $F'_1$ ) und injiziert sie in die Kernel-Merkmale, um feine Grenzen zu bewahren.
Mamba Feature Refinement Module (MFRM):
- In mehreren Stufen integriert (innerhalb des Kernel-Generators und des High-Resolution-Encoders), nutzt dieses Modul einen QuadMamba-Block. Es setzt eine lernbare, auf Quadtrees basierende Scan-Strategie ein, um Merkmalskarten adaptiv zu partitionieren, sowie einen omnidirektionalen Fenster-Verschiebungsmechanismus. Dies ermöglicht eine adaptive Verarbeitung von grob zu fein, die für Objekte mit variierenden Skalen und unregelmäßigen Formen besser geeignet ist als eine feste Fensterpartitionierung.

Trainingsstrategie
Das Modell wird mit zwei komplementären Verlusttermen trainiert:

Kernel-Verlust ( $L_k$ ): Verwendet Focal Loss zur Optimierung von Kernel-Score-Karten (Heatmaps für „things", Score-Karten für „stuff"). Der Ground Truth für „things" wird als kontinuierliche Heatmaps unter Verwendung von 2D-Gauß-Kernen formuliert.
Masken-Verlust ( $L_{seg}$ ): Verwendet Dice Loss für den Zweig der finalen Maskenvorhersage, um unausgewogene Label-Verteilungen bei dichter Segmentierung zu handhaben.
Der Gesamtverlust ist eine gewichtete Kombination dieser beiden Terme.

Hauptbeiträge

Erste End-to-End Mamba-Panoptic-Architektur: MambaPanoptic wird als erste vollständig Mamba-basierte Architektur vorgestellt, die speziell für die panoptische Segmentierung entwickelt wurde und sich von früheren Arbeiten unterscheidet, die lediglich Backbones in bestehenden Frameworks ersetzen (z. B. SegMAN, das ResNet in Mask DINO ersetzt).
MambaFPN: Eine lineare, mehrskalige Feature-Pyramide, die gemeinsam globalen Kontext und feine räumliche Details bereitstellt und so die quadratischen Kosten von Transformern sowie die Lokalitätsverzerrung von CNNs überwindet.
QuadMamba-basierte Verfeinerung: Die Einführung des MFRM zur effizienten Verbesserung der Merkmalsrepräsentationen über mehrere Netzwerkestufen hinweg mittels adaptiver, grob-zu-fein Scan-Verfahren.
Umfassende Evaluierung: Zahlreiche Experimente auf den Benchmarks Cityscapes und COCO, die eine wettbewerbsfähige Leistung gegenüber CNN- und Transformer-Baselines des State-of-the-Art demonstrieren.

Experimentelle Ergebnisse

Cityscapes: MambaPanoptic übertrifft CNN-basierte Baselines (Panoptic-DeepLab, PanopticFCN) in allen Metriken. Es erzielt eine Panoptic Quality (PQ) von 64,89 und eine Average Precision (AP) von 39,91 und übertrifft damit den Transformer-basierten Mask2Former (PQ 63,9, AP 39,1), während es deutlich weniger Parameter verwendet (35,7 Mio. vs. 47,4 Mio.).
COCO: Das Modell übertrifft CNN-Baselines konsistent (PQ 45,6 vs. 41,0 für PanopticFCN), zeigt jedoch eine Leistungslücke im Vergleich zu Mask2Former (PQ 53,2). Die Autoren führen dies auf die hohe Klassenkomplexität von COCO (133 Klassen) zurück, bei der query-basierte Methoden mit persistenten, klassenspezifischen Repräsentationen möglicherweise einen Vorteil gegenüber der dynamischen Kernel-Generierung haben.
Ablationsstudien: Bestätigen, dass jede Mamba-basierte Komponente (Encoder, FPN und Verfeinerungsmodul) positiv und unabhängig zur finalen Leistung beiträgt.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass Structured State Space Models (SSMs) eine vielversprechende Alternative sowohl zu konvolutionellen als auch zu transformer-basierten Architekturen für die panoptische Segmentierung darstellen. Das Framework balanciert erfolgreich die Notwendigkeit der Modellierung langreichweitiger Kontexte mit der Rechenleistungseffizienz aus und erzielt State-of-the-Art- oder wettbewerbsfähige Ergebnisse bei reduzierter Parameteranzahl.

Die Autoren räumen bescheiden Einschränkungen ein:

Grenzpräzision: Das Modell hat gelegentlich Schwierigkeiten mit Objektgrenzen und dünnen Strukturen; dies wird als Trade-off der Scan-Mechanismen von Mamba interpretiert, die langreichweitige Abhängigkeiten gegenüber hochfrequenten lokalen Details priorisieren.
Komplexe Szenen: Auf hochkomplexen Datensätzen wie COCO hinkt der kernelbasierte Ansatz query-basierten Transformern hinterher, was darauf hindeutet, dass ein hybrides Design, das Mamba-Merkmalsmodellierung mit einer leichten query-basierten Dekodierung kombiniert, eine fruchtbare Richtung für zukünftige Arbeiten sein könnte.

Als zukünftige Arbeiten wird die Untersuchung größerer Backbones, die Verbesserung des Grenzhandlings sowie die Erweiterung des Frameworks auf Luftbild- und 3D-panoptische Segmentierungsaufgaben vorgeschlagen.