🤖 AI

VideoSEMA: a scalable and efficient Mamba-like attention for video understanding

Das Paper stellt VideoSEMA vor, ein skalierbares und effizientes Videoklassifizierungsmodell, das einen Mamba-ähnlichen Split-Space-Time-Attention-Mechanismus mit Softmax-Temporal-Attention kombiniert und eine überlegene Genauigkeit sowie Auflösungsrobustheit im Vergleich zu bestehenden Vision-Transformer- und Mamba-Modellen auf den K400- und SSv2-Benchmarks demonstriert.

Ursprüngliche Autoren: Nhat Thanh Tran, Fanghui Xue, Shuai Zhang, Jiancheng Lyu, Yunling Zheng, Yingyong Qi, Jack Xin

Veröffentlicht 2026-07-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Nhat Thanh Tran, Fanghui Xue, Shuai Zhang, Jiancheng Lyu, Yunling Zheng, Yingyong Qi, Jack Xin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, einen Film zu verstehen. Sie können ihm nicht einfach nur ein einzelnes Foto zeigen; Sie müssen ihm einen ganzen Strom von Bildern zeigen, die sich im Laufe der Zeit verändern. Dies ist die Welt des Video-Verständnisses (Video Understanding), eines Zweigs der Informatik, bei dem Maschinen lernen, Handlungen zu erkennen, wie zum Beispiel das Schälen einer Kartoffel oder das Abbiegen eines Autos. Lange Zeit war der beste Weg, dies zu erreichen, die Verwendung eines riesigen, hungrigen Gehirns namens Transformer. Stellen Sie sich einen Transformer wie einen superorganisierten Bibliothekar vor, der jedes einzelne Blatt aus jedem Buch in der Bibliothek gleichzeitig liest, um Verbindungen zu finden. Er ist unglaublich intelligent, aber er wird überfordert und langsam, wenn die Bibliothek (das Video) zu groß oder die Bücher (die Einzelbilder/Frames) zu detailliert werden.

Um dies zu beheben, haben Wissenschaftler kürzlich eine neue Art von Gehirn namens Mamba erfunden. Wenn der Transformer ein Bibliothekar ist, der alles auf einmal liest, dann ist Mamba ein Detektiv, der durch den Flur geht und dabei Hinweise im Vorbeigehen merkt, was viel schneller ist. Dennoch kann auch Mamba Schwierigkeiten bekommen, wenn das Video hochauflösend oder sehr lang ist. Die große Frage für Forscher ist: Können wir ein Video-Gehirn bauen, das so intelligent wie die schweren Transformer, aber so schnell und effizend wie die neuen Mamba-Detektive ist? Genau dieses Rätsel versucht das Paper „VideoSEMA“ zu lösen.

Die Autoren dieser Arbeit, die mit Forschern von Qualcomm AI Research und der University of California, Irvine, zusammengearbeitet haben, haben ein neues Modell namens VideoSEMA entwickelt. Sie haben nicht einfach nur eine neue Zutat in den Topf geworfen; sie haben ein cleveres Splitsystem erschaffen. Stellen Sie sich vor, Sie schauen einen Film, bei dem Sie zwei verschiedene Arten haben, Aufmerksamkeit zu schenken. Zuerst betrachten Sie ein einzelnes Frame (ein Standbild) und nutzen ein spezielles „Mamba-ähnliches“ Auge namens SEMA. Dieses Auge ist intelligent genug, um ein kleines Fenster von Details (wie die Textur einer Kartoffelschale) zu betrachten, während es gleichzeitig einen schnellen, globalen Durchschnitt der gesamten Szene erfasst, ohne dabei müde zu werden. Dann verwendet das Modell, um zu verstehen, wie sich die Geschichte bewegt, eine standardmäßige „weiche“ Attention (Aufmerksamkeit), um zu beobachten, wie sich die Dinge von einem Frame zum nächsten verändern.

Das Paper zeigt, dass dieser Split-Ansatz nicht nur ein glücklicher Zufall ist; sie haben tatsächlich mathematisch bewiesen, dass dieser Split-Ansatz unter bestimmten Bedingungen genauso gut ist, wie wenn man das gesamte Video auf einmal betrachten würde. Als sie VideoSEMA auf berühmten Video-Datensätzen wie K400 (der 400 Arten menschlicher Handlungen enthält) und SSv2 (der sich auf schwierige, feingliedrige Bewegungen konzentriert) testeten, waren die Ergebnisse beeindruckend. Auf dem K400-Datensatz schlug VideoSEMA viel größere und schwerere Modelle, einschließlich anderer Mamba-basierter Modelle und großer Transformer, unter Verwendung weniger Computerressourcen. Beispielsweise erreichte VideoSEMA bei einer Auflösung von 16 × 224² eine Genauigkeit von 82,4 % und schlug damit das vorherige Mamba-Modell (VideoMamba), das 80,8 % erreichte, obwohl VideoSEMA weniger Parameter hatte.

Eine der spannendsten Erkenntnisse ist, wie VideoSEMA mit hochauflösenden Videos umgeht. Die Forscher testeten, was passiert, wenn sie dem Modell Videos mit viel höheren Auflösungen fütterten, wobei sie die Auflösung von 224² auf 1024² skalierten (ein riesiger Sprung in der Detailtiefe), ohne das Modell neu zu trainieren. Das alte Mamba-Modell (VideoMamba) brach massiv ein und sank in seiner Genauigkeit von 80,8 % auf 40,8 % ab. Im Gegensatz dazu hielt sich VideoSEMA viel besser und sank nur auf 54,6 %. Dies deutet darauf an, dass VideoSEMA wesentlich robuster ist, wenn die visuellen Details komplizierter werden. Sie fanden auch heraus, dass VideoSEMA auf dem SSv2-Datensatz bessere Ergebnisse mit nur 8 Frames erzielen konnte, als andere Modelle 16 Frames benötigten, um ein ähnliches Niveau zu erreichen, was beweist, dass es sehr effizient darin ist, die richtigen Informationen schnell zu erfassen.

Das Paper schließt auch einige Ideen aus. Sie testeten die Verwendung einer einfachen 3D-Konvolution (eine Standardmethode, um Videos zu betrachten) und eines reinen Mamba-Blocks für den zeitbasierten Teil des Videos, fanden jedoch, dass keiner von beiden so gut funktionierte wie die Verwendung eines Standard-Attention-Mechanismus für die Zeitdimension. Sie zeigten, dass Mamba zwar großartig für den Raum ist, aber in diesem spezifischen Setup nicht die beste Wahl war, um die Zeitdimension zu handhaben. Die Autoren weisen vorsichtig darauf hin, dass ihr Modell zwar sehr vielversprechend ist, aber noch eine laufende Arbeit darstellt. Sie schlagen vor, dass sie für noch längere Videos in Zukunft möglicherweise „sparse“ (dünnbesetzte) oder „dilated“ (erweiterte) Attention hinzufügen müssen, um die zusätzliche Zeit zu bewältigen, ohne die Geschwindigkeit zu drosseln. Aber für den Moment ist VideoSEMA ein starker, effizienter und skalierbarer neuer Weg für Computer, um die sich bewegende Welt um uns herum zu verstehen.

Technisches Resümee von VideoSEMA: Eine skalierbare und effiziente Mamba-ähnliche Attention für das Video-Verständnis

Problemstellung
Das Verständnis komplexer spatiotemporaler Muster in Videos ist eine grundlegende Herausforderung in der Computer Vision, die für Anwendungen reicht von der Aktionsklassifizierung bis hin zur Weltmodellierung für autonome Systeme. Während jüngste Fortschritte unter Nutzung von Transformer-basierten Architekturen und großen Foundation-Modellen Spitzenleistungen erzielt haben, basieren diese überwiegend auf Vision Transformer (ViT)-Backbones. Diese Modelle verursachen aufgrund der quadratischen Komplexität der vollen Raum-Zeit-Attention bei großen Videoeingaben prohibitiv hohe Rechenkosten. Obwohl State Space Models (SSMs) wie Mamba bereits untersucht wurden, um die Kosten für lange Sequenzen zu senken, und lineare Attention einen weiteren Weg zur Effizienz bietet, besteht weiterhin ein Bedarf an einem Backbone, der sowohl räumliche als auch zeitliche Merkmale effizient erfasst, ohne die schwere Rechenlast einer vollen gemeinsamen Attention oder die Einschränkungen bestehender Mamba-Implementierungen im Video-Kontext zu tragen.

Methodik: VideoSEMA
Die Autoren schlagen VideoSEMA vor, ein neuartiges Video-Klassifikationsmodell, das auf einem Split Space-Time Attention Framework basiert. Die Architektur entkoppelt die räumliche und zeitliche Verarbeitung, um Skalierbarkeit und Effizienz zu erreichen:

Räumliche Verarbeitung (SEMA-Block): Anstelle von voller globaler Attention oder standardmäßiger Mamba-Rekurrenz verwendet das Modell einen Mamba-ähnlichen Attention-Block (SEMA) für die räumlichen Dimensionen. SEMA ahmt die exponentielle Vergessenseigenschaft von Mamba nach, indem es eine lokale Fenster-Attention mit einer globalen Mittelwertbildung kombiniert. Dieses Design ermöglicht es dem Modell, effizient auf globale Informationen zuzugreifen und gleichzeitig eine lineare Rechenkomplexität relativ zur räumlichen Dimension ( $O(N)$ beizubehalten, wodurch die $O(N^2)$ -Kosten der vollen Softmax-Attention vermieden werden.
Zeitliche Verarbeitung: Das Modell wendet eine standardmäßige Softmax-Temporale-Attention über die Frame-Sequenz an. Die Autoren argumentieren, dass globale Softmax-Attention in der zeitlichen Dimension für moderate Videolängen (z. B. 16–32 Frames) rechentechnisch erschwinglich und effektiv ist, wodurch lineare Approximationen in der Zeit überflüssig werden.
Architektur: Das Modell tokenisiert Videoeingaben mittels 3D-Konvolutionen, fügt ein lernbares Klassifikator-Token hinzu und ergänzt Positions- sowie Temporale-Embeddings. Die Kernverarbeitung umfasst abwechselnde Schichten aus räumlicher SEMA und temporaler Attention, gefolgt von hierarchischem Downsampling durch konvolutionale Schichten.
Theoretische Äquivalenz: Die Arbeit liefert einen theoretischen Beweis, der zeigt, dass diese Split Space-Time Attention unter spezifischen Rangbedingungen mathematisch äquivalent zur vollen Space-Time Attention ist. Konkret fungiert die Split-Attention als exakte Marginal-Konditional-Zerlegung der vollen Attention-Matrix, sofern die temporalen und räumlichen Score-Matrizen bestimmte Rangbeschränkungen im Verhältnis zu den Head-Dimensionen des Modells erfüllen.

Zentrale Beiträge

Neuartige Architektur: Entwicklung des ersten Video-Modells, das einen Mamba-ähnlichen, skalierbaren und effizienten Bild-Backbone (SEMA) innerhalb eines Split Space-Time Attention Frameworks nutzt.
Theoretische Erkenntnis: Ein Beweis, der die Äquivalenz zwischen Split Space-Time Attention und voller Space-Time Attention unter spezifischen Rangbedingungen etabliert und die theoretische Fundierung der Dekomposition validiert.
Effizienz und Leistung: Demonstration, dass VideoSEMA schwerere Vision Transformer und Mamba-basierte Videomodelle auf Standard-Benchmarks übertrifft, während es eine signifikant geringere Parameteranzahl und FLOPs beibält.
Resolutions-Robustheit: Nachweis, dass VideoSEMA bei steigender Eingangsauflösung (von $224^2$ auf $1024^2$ ) ohne Fine-Tuning wesentlich graziler degradiert als VideoMamba.

Experimentelle Ergebnisse
Das Modell wurde auf den Datensätzen Kinetics-400 (K400) und Something-Something v2 (SSv2) evaluiert:

K400 Leistung: VideoSEMA erreicht eine überlegene Top-1 und Top-5 Genauigkeit im Vergleich zu Modellen mit vergleichbarer oder größerer Parametergröße und FLOPs. Beispielsweise erreicht VideoSEMA (31M Parameter) bei einer Auflösung von $16 \times 224^2$ eine Top-1 Genauigkeit von 82,4 % und übertrifft damit VideoMamba-S (26M Parameter, 80,8 %) sowie deutlich größere Modelle wie TimeSformer-L (121M Parameter, 80,7 %).
SSv2 Leistung: VideoSEMA führt bei der Top-1 Genauigkeit unter Modellen ähnlicher Parametergrößen. Bemerkenswert ist, dass es VideoMamba-S um ca. 2 % übertrifft, wenn nur 8 Frames verwendet werden, und VideoMAE bei 16 Frames um 0,5 % übertrifft.
Ablationsstudien: Experimente bestätigen, dass die Kombination von SEMA für den Raum und Softmax-Attention für die Zeit das beste Verhältnis zwischen Genauigkeit und Effizienz liefert und Varianten, die 3D-Konvolutionen oder Mamba für die temporale Verarbeitung nutzen, übertrifft.
Skalierbarkeit: Bei Tests mit höheren Auflösungen ( $512^2$ und $1024^2$ ) ohne Fine-Tuning zeigt VideoSEMA eine robuste Leistung, während VideoMamba einen drastischen Genauigkeitsabfall erleidet (z. B. Abfall auf 40,8 % bei $1024^2$ im Vergleich zu 54,6 % bei VideoSEMA).

Bedeutung und Ansprüche
Das Paper behauptet, dass VideoSEMA einen bedeutenden Schritt nach vorn im effizienten Video-Verständnis darstellt, indem es Mamba-ähnliche Prinzipien erfolgreich auf den räumlichen Bereich adaptiert und gleichzeitig eine effektive temporale Modellierung beibehält. Die Autoren betonen, dass dies die erste Arbeit ist, die Mamba-ähnliche Backbones spezifisch für Videoanwendungen untersucht. Die Fähigkeit des Modells, größere, rechenintensivere Architekturen zu übertreffen, deutet darauf hin, dass der Split-Space-Time-Ansatz, der theoretisch mit der vollen Attention fundiert ist, eine hocheffiziente Alternative zur Erfassung spatiotemporaler Abhängigkeiten bietet. Darüber hinaus unterstreicht die Robustheit des Modells gegenüber hochauflösenden Eingaben ohne Fine-Tuning dessen Potenzial für den skalierbaren Einsatz in realen Szenarien, in denen die Videoqualität variiert. Die Autoren schlagen vor, dass zukünftige Arbeiten dieses Framework auf längere Videos unter Verwendung von dilatierter oder spärlicher (sparse) temporaler Attention erweitern könnten.

Technisches Resümee von VideoSEMA: Eine skalierbare und effiziente Mamba-ähnliche Attention für das Video-Verständnis

Mehr davon