💻 computer science

Mamba-based Selective State Space Modeling Improves the Accuracy-Complexity Tradeoff of SmolVLA Vision-Language-Action Experts

Dit artikel toont aan dat het integreren van Mamba-gebaseerde selectieve state-space modellering in de SmolVLA-actie-expert de nauwkeurigheid-complexiteittradeoff voor Vision-Language-Action-modellen aanzienlijk verbetert, waarbij superieure succespercentages worden behaald ten opzichte van Transformer-baselines tijdens langdurige uitvoering, terwijl de parametercomplexiteit met 24% wordt verminderd onder per-actie herplanning.

Oorspronkelijke auteurs: Farida Mohsen, Thowayba Elkaffash, Mohammad Reza Chalak Qazani, Mohamed Mabrok, Nader Meskin, Ali Safa

Gepubliceerd 2026-08-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Farida Mohsen, Thowayba Elkaffash, Mohammad Reza Chalak Qazani, Mohamed Mabrok, Nader Meskin, Ali Safa

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Robots leren de wereld te begrijpen, niet alleen door deze te zien, maar ook door instructies te lezen en vervolgens hun armen te bewegen om een taak uit te voeren. Dit vakgebied, bekend als vision-language-action, vertrouwt op krachtige computerbreinen die een foto van een scène en een zin die een taak beschrijft opnemen, en vervolgens precies uitzoeken hoe ze een robotarm moeten bewegen om deze te voltooien. De uitdaging voor ingenieurs is het balanceren van snelheid met intelligentie. Als een robot te veel nadenkt voor elke kleine beweging, beweegt hij zo langzaam dat hij nutteloos wordt. Maar als hij in één keer een lange reeks bewegingen plant om tijd te besparen, loopt hij het risico op fouten omdat de wereld kan veranderen terwijl hij die vooraf geplande stappen uitvoert. Het doel is om een manier te vinden waarop de robot zowel snel als nauwkeurig kan zijn, een balans die moeilijk te vinden is gebleken.

Een team van onderzoekers heeft een nieuwe manier gevonden om dit evenwicht in het voordeel van snelheid te doen doorslaan zonder de nauwkeurigheid op te offeren. Ze testten een nieuw type computerarchitectuur, oorspronkelijk ontworpen voor het verwerken van taal, in het brein van een robot. Door de standaard denkmotor te vervangen door dit nieuwe ontwerp, ontdekten ze dat de robot veel langere reeksen bewegingen kon plannen en nog steeds succesvol kon zijn. In hun tests, toen de robot werd toegestaan om een volledige reeks van vijftig bewegingen uit te voeren voordat hij zijn omgeving opnieuw controleerde, slaagde de nieuwe versie bijna acht procent vaker voor de taak dan het oude ontwerp. Deze verbetering is significant omdat het betekent dat robots veel sneller in de echte wereld kunnen opereren, door minder pauzes in te lassen om na te denken, terwijl ze de taak nog steeds correct voltooien.

De onderzoekers begonnen met een populair robotbrein genaamd SmolVLA, dat al bekend staat om zijn efficiëntie en nauwkeurigheid. Dit systeem werkt door een camerabeeld en een tekstinstructie te bekijken, en vervolgens een "chunk" (een brok) van toekomstige bewegingen te voorspellen. In plaats van slechts één beweging tegelijk te beslissen, voorspelt het een hele reeks acties, zoals een korte film van wat de arm hierna moet doen. De robot voert vervolgens de eerste paar bewegingen van deze reeks uit, stopt, kijkt opnieuw naar de wereld en plant een nieuwe reeks. Het aantal bewegingen dat de robot uitvoert voordat hij stopt, wordt de executiehorizon genoemd. Als hij na elke enkele beweging stopt, is hij zeer nauwkeurig maar zeer traag. Als hij de hele reeks uitvoert zonder te stoppen, is hij snel maar gevoelig voor fouten als de omgeving verandente.

Om dit op te lossen, vervingen de onderzoekers het deel van het robotbrein dat de timing van deze bewegingssequenties afhandelt. Het oorspronkelijke systeem gebruikte een standaardmethode genaamd self-attention, wat als een spotlight werkt die ervoor zorgt dat elk deel van het bewegingsplan naar elk ander deel kan kijken om gecoördineerd te blijven. De onderzoekers vervingen dit door een andere methode genaamd Mamba, die informatie verwerkt op een manier die meer lijkt op een constante stroom van updates dan op een spotlight. Deze nieuwe methode is veel lichter voor de computerbronnen en vereist ongeveer vierentwintig procent minder instellingen om te leren, maar handelt de stroom van de tijd anders af.

Het team onderwierp beide versies van het robotbrein aan een test in een gesimuleerde omgeving gevuld met veertig verschillende taken, variërend van het stapelen van blokken tot het verplaatsen van objecten naar specifieke doelen. Ze lieten de robots deze taken uitvoeren onder drie verschillende omstandigheden: stoppen na elke enkele beweging, stoppen na vijfentwintig bewegingen, en stoppen na de volledige vijftig bewegingen. Wanneer de robots na elke beweging stopten, presteerden beide versies bijna identiek, waarbij het nieuwe ontwerp het succespercentage van het oude evenaarde. Echter, toen de robots werden gevraagd om langere reeksen uit te voeren zonder te stoppen, werd het verschil duidelijk. De robot met het nieuwe Mamba-ontwerp hield zich veel beter staande. Wanneer de robot werd gevraagd om vijftig bewegingen uit te voeren voordat hij weer controleerde, slaagde het nieuwe ontwerp in zesentwintig komma acht procent van de proeven, terwijl het oudere ontwerp slechts slaagde in drieënvijftig komma negen procent.

Deze kloof werd nog groter bij specifieke soorten taken. Wanneer de robot objecten naar precieze locaties moest verplaatsen, verbeterde het nieuwe ontwerp de succespercentages met bijna achttien procent bij de langste horizon. Zelfs bij taken die ruimtelijke arrangementen involved, verbeterde het met tien procent. De onderzoekers vonden dat het nieuwe ontwerp bijzonder goed was in het gecoördineerd houden van de latere bewegingen in een reeks met de eerdere bewegingen, zelfs wanneer de robot handelde op basis van een plan dat niet langer werd bijgewerkt met verse visuele informatie. Dit suggereert dat de nieuwe architectuur een natuurlijk voordeel heeft in het voorspellen van hoe een reeks acties zich in de loop van de tijd moet ontvouwen.

De studie bevestigt dat de manier waarop een robot zijn bewegingen plant net zo belangrijk is als hoe vaak hij zijn omgeving controleert. Door de interne motor te veranderen die een reeks acties coördineert, hebben de onderzoekers aangetoond dat robots sneller en efficiënter kunnen worden gemaakt zonder onhandig te worden. Het nieuwe ontwerp verbeterde niet alleen het succespercentage voor lange reeksen, maar verminderde ook het totale aantal computerinstellingen die nodig zijn om het systeem te laten draaien. Dit betekent dat robots in de toekomst ingezet kunnen worden in werkelijke omgevingen waar ze snel en continu moeten handelen, door te vertroukken op langere plannen die langer accuraat blijven. Het werk laat zien dat de juiste architecturale keuze een betere afweging tussen snelheid en precisie kan ontsluiten, waardoor de droom van snelle, betrouwbare robotassistenten een stap dichter bij de realiteit wordt gebracht.

Technische Samenvatting: Mamba-gebaseerde Selectieve State Space Modeling voor VLA Experts

1. Probleemstelling

Vision-Language-Action (VLA) modellen staan voor een fundamentele afweging tussen taaksuccespercentages en computationele latentie, die wordt bepaald door de executiehorizon ( $N$ ).

Hoge frequentie ( $N=1$ ): Het uitvoeren van een enkele actie per inferentie zorgt ervoor dat het beleid dicht bij de huidige observaties blijft, wat een hoge nauwkeurigheid handhaaft. Dit brengt echter aanzienlijke rekenoverhead met zich mee door frequente beleidsoproepen, wat real-time implementatie onhaalbaar maakt.
Lage frequentie ( $N \gg 1$ ): Het uitvoeren van langere actiehorizons (chunks) voordat er opnieuw wordt gepland, vermindert de computationele complexiteit en latentie. Echter, de robot handelt gedurende langere perioden op basis van verouderde observaties, wat doorgaans leidt tot gedegradeerde taaksuccespercentages.

Huidige benaderingen pakken dit vaak aan via post-hoc mechanismen (bijv. inference-time inpainting of chunk truncatie), terwijl de onderliggende beleidsarchitectuur vast blijft. Dit artikel onderzoekt of de temporele architecturale elementen binnen de actie-expert zelf kunnen worden geoptimaliseerd om de nauwkeurigheid-complexiteit-afweging te verbeteren, specifiek door standaard causale zelf-attentie te vervangen door Mamba-gebaseerde selectieve State Space Models (SSMs).

2. Methodologie

De studie maakt gebruik van de SmolVLA-architectuur als referentie-backbone, die een voorgetraind vision-language model (VLM) combineert met een conditionele flow-matching Action Expert (AE).

Kernarchitectuur Modificatie

De auteurs stellen een directe substitutie voor binnen de Action Expert:

Baseline ( $B_0$ ): Gebruikt de originele SmolVLA-structuur waarbij de AE afwisselt tussen cross-attention grounding-lagen (die acties verbinden met multimodale inputs) en causale zelf-attentie-lagen (die temporele afhankelijkheden binnen de actie-chunk modelleren).
Voorgestelde Variant ( $M_1$ ): Behoudt alle cross-attention grounding-lagen en de bevroren VLM-backbone, maar vervangt de acht intra-chunk causale zelf-attentie-lagen door Mamba-1 selectieve state-space blokken.

Technische Rationalisatie

Inductieve Bias: Een actie-chunk is een geordende sequentie waarbij latere commando's compatibel moeten blijven met eerdere commando's. Mamba implementeert input-afhankelijke state-space dynamiek via causale recurrentie. De auteurs hypothetiseren dat deze selectieve recurrente representatie een geschiktere inductieve bias biedt voor intra-chunk coördinatie dan de expliciete causale maskers die in Transformers worden gebruikt.
Parameter Efficiëntie: De Mamba-gebaseerde variant vermindert het aantal trainbare parameters van de Action Expert aanzienlijk van 99.9M naar 76.3M (een reductie van ~24%), terwijl de backbone en grounding-paden identiek blijven.
Training & Inferentie: Beide modellen worden getraind met een conditionele flow-matching doelstelling op de LIBERO benchmark. Bij inferentie genereren beide een vaste chunk van $H=50$ acties. De executiehorizon $N$ wordt gescand over $\{1, 25, 50\}$ om prestaties te evalueren onder variërende herplanningsfrequenties.

3. Belangrijkste Bijdragen

Nieuwe Architecturale Investigatie: Het artikel presenteert de eerste studie die de impact van intra-chunk temporele mixing in flow-matching VLA-experts isoleert door Transformer zelf-attentie te vervangen door Mamba SSM's.
Horizon-bewuste Evaluatie: De modellen worden rigoureus geëvalueerd over drie executiehorizons ( $N=1, 25, 50$ ) met behulp van de standaard LIBERO benchmark suites (Spatial, Object, Goal, Long).
Aantoonbare Verbetering van de Afweging: De studie toont aan dat de Mamba-expert het succespercentage aanzienlijk verbetert naarmate de executiehorizon toeneemt, waarbij het de Transformer-baseline overtreft in langetermijnscenario's.
Efficiëntiewinst: De Mamba-variant bereikt vergelijkbare prestaties als de Transformer-baseline bij $N=1$ , terwijl de modelcomplexiteit met 24% wordt verminderd.

4. Experimentele Resultaten

De evaluatie werd uitgevoerd op de LIBERO multi-task simulatie benchmark (40 taken over 4 suites) met drie willekeurige seeds.

Succespercentage vs. Executiehorizon

$N=1$ (Per-actie herplanning): De Mamba-variant ( $M_1$ ) bereikt een gemiddeld succespercentage van 76,2%, wat statistisch overeenkomt met de Transformer-baseline ( $B_0$ ) van 75,9%.
$N=25$ (Matige horizon): $M_1$ presteert 3,7% beter dan $B_0$ (74,7% vs. 71,0%).
$N=50$ (Volledige chunk-executie): $M_1$ presteert aanzienlijk beter dan $B_0$ met 7,8% (61,8% vs. 53,9%). Dit is de meest kritieke bevinding, aangezien $N=50$ overeenkomt met haalbare real-time implementatie waar herplanning minder frequent plaatsvindt.

Succesbehoud (Success Retention)

Bij de overgang van $N=1$ naar $N=50$ :

De Transformer-baseline ( $B_0$ ) lijdt een daling van 22,0 procentpunten.
De Mamba-variant ( $M_1$ ) lijdt een daling van slechts 14,5 procentpunten.
Dit geeft aan dat $M_1$ 7,5 extra punten aan succespercentage behoudt onder lange open-loop executie.

Analyse per Suite

Het voordeel van Mamba is niet uniform:

Object Suite: Toont de grootste winst, waarbij $M_1$ achterloopt op $B_0$ met 6,0 punten bij $N=1$ , maar het overtreft met 17,7 punten bij $N=50$ .
Spatial Suite: $M_1$ wint 10,0 punten op $B_0$ bij $N=50$ .
Goal Suite: $B_0$ behoudt een kleine voorsprong (1,0 punt) bij $N=50$ .
Long Suite: Beide modellen hebben moeite, maar $M_1$ behoudt een stabiele, kleine voorsprong (+4,7 punten).

5. Betekenis en Claims

Het artikel claimt dat de superioriteit van de Mamba-gebaseerde expert bij langetermijnexecutie waarschijnlijk te wijten is aan de input-afhankelijke causale recurrentie, die een effectievere inductieve bias biedt voor het coördineren van geordende actieposities binnen een chunk vergeleken met de expliciete causale aandacht-maskers van Transformers.

De betekenis van dit werk ligt in het aantonen dat temporele modellering binnen de actie-expert een cruciale factor is voor VLA-prestaties, onafhankelijk van de versheid van de observaties. Door Mamba te adopteren, bereikt het systeem een betere nauwkeurigheid-complexiteit-afweging:

Het maakt haalbare real-time implementatie mogelijk (via langere executiehorizons) zonder de ernstige degradatie van de nauwkeurigheid die bij Transformer-baselines wordt gezien.
Het vermindert de computationele voetafdruk (minder trainbare parameters) terwijl het prestaties handhaaft of verbetert.

De auteurs concluderen dat toekomstig werk deze bevindingen moet valideren op fysieke robots en over aanvullende VLA-architecturen, maar de huidige resultaten vestigen dat Mamba-gebaseerde SSM's een levensvatbaar en superieur alternatief zijn voor Transformers voor intra-chunk temporele mixing in flow-matching VLA-policies.