VideoSEMA: a scalable and efficient Mamba-like attention for video understanding

Technische Samenvatting van VideoSEMA: Een Schaalbare en Efficiënte Mamba-achtige Attention voor Video-begrip

Probleemstelling
Het begrijpen van complexe spatiotemporele patronen in video's is een fundamentele uitdaging in computer vision, cruciaal voor toepassingen variërend van actieclassificatie tot wereldmodellering voor autonome systemen. Hoewel recente vooruitgang met behulp van Transformer-gebaseerde architecturen en grote foundation models uitstekende prestaties heeft behaald, vertrouwen deze voornamelijk op Vision Transformer (ViT) backbones. Deze modellen brengen prohibitief hoge computationele kosten met zich mee voor grote video-inputs vanwege de kwadratische complexiteit van volledige space-time attention. Hoewel State Space Models (SSMs) zoals Mamba zijn verkend om kosten te verlagen voor lange sequenties, en linear attention een andere efficiëntiepad biedt, blijft er behoefte aan een backbone die zowel ruimtelijke als temporele kenmerken efficiënt kan vastleggen zonder de zware computationele last van volledige gezamenlijke attention of de beperkingen van bestaande Mamba-implementaties in video-contexten.

Methodologie: VideoSEMA
De auteurs stellen VideoSEMA voor, een nieuw video-classificatiemodel gebouwd op een split space-time attention framework. De architectuur ontkoppelt ruimtelijke en temporele verwerking om schaalbaarheid en efficiëntie te bereiken:

1. Ruimtelijke Verwerking (SEMA Block): In plaats van volledige globale attention of standaard Mamba-recurrentie, gebruikt het model een Mamba-achtige attention (SEMA) block voor de ruimtelijke dimensies. SEMA bootst de exponentiële vergeeteigenschap van Mamba na door een lokale window attention te combineren met een globale averaging operatie. Dit ontwerp stelt het model in staat om efficiënt toegang te krijgen tot globale informatie terwijl de lineaire computationele complexiteit ten opzichte van de ruimtelijke dimensie ($O(N)$) behouden blijft, waardoor de $O(N^2)$ kosten van volledige softmax attention worden vermeden.
2. Temporele Verwerking: Het model past een standaard softmax temporele attention toe over de frame-sequentie. De auteurs beargumenteren dat voor matige video-lengtes (bijv. 16–32 frames), globale softmax attention in de temporele dimensie computationeel betaalbaar en effectief is, wat de noodzaak voor lineaire benaderingen in de tijd wegneemt.
3. Architectuur: Het model tokenizeert input-video's met behulp van 3D-convoluties, voegt een leerbare classifier token toe en voegt positionele en temporele embeddings toe. De kernverwerking bestaat uit afwisselende lagen van ruimtelijke SEMA en temporele attention, gevolgd door hiërarchische downsampling via convolutionele lagen.
4. Theoretische Equivalentie: Het artikel levert een theoretisch bewijs dat onder specifieke rang-condities, deze split space-time attention wiskundig equivalent is aan volledige space-time attention. Specifiek fungeert de split attention als een exacte marginal-conditional decompositie van de volledige attention-matrix, mits de temporele en ruimtelijke score-matrices aan bepaalde rang-beperkingen voldoen ten opzichte van de head-dimensies van het model.

Belangrijkste Bijdragen

• Nieuwe Architectuur: Ontwikkeling van het eerste videomodel dat gebruikmaakt van een Mamba-achtige schaalbare en efficiënte beeld-backbone (SEMA) binnen een split space-time attention framework.
• Theoretisch Inzicht: Een bewijs dat de equivalentie tussen split space-time attention en volledige space-time attention vaststelt onder specifieke rang-condities, wat de theoretische validiteit van de decompositie bevestigt.
• Efficiëntie en Prestaties: Demonstratie dat VideoSEMA zwaardere Vision Transformer en Mamba-gebaseerde videomodellen overtreft op standaard benchmarks, terwijl het een aanzienlijk lager aantal parameters en FLOPs behoudt.
• Resolutie-robuustheid: Bewijs dat VideoSEMA veel geleidelijker degradeert dan VideoMamba wanneer de inputresolutie opschaalt (van $224^2$ naar $1024^2$) zonder fine-tuning.

Experimentele Resultaten
Het model werd geëvalueerd op de Kinetics-400 (K400) en Something-Something v2 (SSv2) datasets:

• K400 Prestaties: VideoSEMA bereikt superieure Top-1 en Top-5 nauwkeurigheid vergeleken met modellen met vergelijkbare of grotere parametergroottes en FLOPs. Bijvoorbeeld, bij een resolutie van $16 \times 224^2$, bereikt VideoSEMA (31M parameters) 82,4% Top-1 nauwkeurigheid, waarmee het VideoMamba-S (26M parameters, 80,8%) overtreft en aanzienlijk beter presteert dan grotere modellen zoals TimeSformer-L (121M parameters, 80,7%).
• SSv2 Prestaties: VideoSEMA voert de lijst aan qua Top-1 nauwkeurigheid onder modellen van vergelijkbare parametergroottes. Opvallend genoeg presteert het ongeveer 2% beter dan VideoMamba-S met slechts 8 frames en verslaat het VideoMAE met 0,5% bij 16 frames.
• Ablatie-studies: Experimenten bevestigen dat de combinatie van SEMA voor de ruimte en softmax attention voor de tijd de beste balans tussen nauwkeurigheid en efficiëntie oplevert, waarbij het varianten die 3D-convoluties of Mamba voor temporele verwerking gebruiken, overtreft.
• Schaalbaarheid: Wanneer getest op hogere resoluties ($512^2$ en $1024^2$) zonder fine-tuning, behoudt VideoSEMA zijn robuustheid, terwijl VideoMamba een drastische daling in nauwkeurigheid vertoont (bijv. een daling naar 40,8% bij $1024^2$ vergeleken met de 54,6% van VideoSEMA).

Betekenis en Claims
Het artikel claimt dat VideoSEMA een belangrijke stap voorwaarts is in efficiënt video-begrip door succesvol Mamba-achtige principes toe te passen in het ruimtelijke domein, terwijl effectieve temporele modellering behouden blijft. De auteurs benadrukken dat dit het eerste werk is dat specifief Mamba-achtige backbones voor video-toepassingen onderzoekt. Het vermogen van het model om grotere, computationeel duurdere architecturen te overtreffen, suggereert dat de split space-time aanpak, geworteld in de theoretische equivalentie aan volledige attention, een zeer efficiënt alternatief biedt voor het vastleggen van spatiotemporele afhankelijkheden. Bovendien benadrukt de robuustheid van het model tegenover hoge-resolutie inputs zonder fine-tuning de potentie voor schaalbare implementatie in real-world scenario's waar de videokwaliteit varieert. De auteurs suggereren dat toekomstig werk dit framework kan uitbreiden naar langere video's met behulp van gedilateerde of sparse temporele attention.