💻 computer science

Mamba-based Selective State Space Modeling Improves the Accuracy-Complexity Tradeoff of SmolVLA Vision-Language-Action Experts

Cet article démontre que l'intégration de la modélisation d'état sélectif basée sur Mamba dans l'expert d'action de SmolVLA améliore considérablement le compromis précision-complexité pour les modèles Vision-Langage-Action, atteignant des taux de réussite supérieurs aux bases de référence Transformer lors d'une exécution à long terme tout en réduisant la complexité des paramètres de 24 % lors du replanification par action.

Auteurs originaux : Farida Mohsen, Thowayba Elkaffash, Mohammad Reza Chalak Qazani, Mohamed Mabrok, Nader Meskin, Ali Safa

Publié 2026-08-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Farida Mohsen, Thowayba Elkaffash, Mohammad Reza Chalak Qazani, Mohamed Mabrok, Nader Meskin, Ali Safa

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les robots apprennent à comprendre le monde non seulement en le voyant, mais aussi en lisant des instructions puis en déplaçant leurs bras pour accomplir une tâche. Ce domaine, connu sous le nom de vision-langage-action, repose sur de puissants cerveaux informatiques qui prennent une image d'une scène et une phrase décrivant une tâche, puis déterminent exactement comment bouger une main robotique pour la réaliser. Le défi pour les ingénieurs est de trouver l'équilibre entre vitesse et intelligence. Si un robot réfléchit trop avant chaque petit mouvement, il devient si lent qu'il devient inutile. Mais s'il planifie une longue séquence de mouvements à la fois pour gagner du temps, il risque de commettre des erreurs car le monde peut changer pendant qu'il exécute ces étapes prévues à l'avance. L'objectif est de trouver un moyen pour que le robot soit à la fois rapide et précis, un équilibre qui a été difficile à atteindre.

Une équipe de chercheurs a trouvé une nouvelle façon de faire pencher cette balance en faveur de la vitesse sans sacrifier la précision. Ils ont testé un nouveau type d'architecture informatique, conçue à l'origine pour le traitement du langage, à l'intérieur du cerveau d'un robot. En remplaçant le moteur de pensée standard par ce nouveau design, ils ont découvert que le robot pouvait planifier des séquences de mouvements beaucoup plus longues tout en réussissant. Dans leurs tests, lorsque le robot était autorisé à exécuter une séquence complète de cinquante mouvements avant de vérifier à nouveau son environnement, le nouveau design a réussi la tâche près de huit pour cent de plus souvent que l'ancien design. Cette amélioration est significative car elle signifie que les robots pourraient fonctionner beaucoup plus rapidement dans le monde réel, en faisant moins de pauses pour réfléchir, tout en accomplissant correctement le travail.

Les chercheurs sont partis d'un cerveau de robot populaire appelé SmolVLA, qui est déjà connu pour être efficace et précis. Ce système fonctionne en regardant un flux vidéo et une instruction textuelle, puis en prédisant un « bloc » de mouvements futurs. Au lieu de décider d'un seul mouvement à la fois, il prédit toute une série d'actions, comme un court film de ce que le bras devrait faire ensuite. Le robot exécute ensuite les premiers mouvements de cette série, s'arrête, regarde à nouveau le monde, et planifie une nouvelle série. Le nombre de mouvements qu'il exécute avant de s'arrêter est appelé l'horizon d'exécution. S'il s'arrête après chaque mouvement individuel, il est très précis mais très lent. S'il exécute toute la série sans s'arrêter, il est rapide mais sujet aux erreurs si l'environnement change.

Pour résoudre cela, l'équipe a remplacé la partie du cerveau du robot qui gère le timing de ces séquences de mouvements. Le système original utilisait une méthode standard appelée auto-attention, qui est comme un projecteur permettant à chaque partie du plan de mouvement de regarder en arrière chaque autre partie pour rester coordonnée. Les chercheurs l'ont remplacée par une méthode différente appelée Mamba, qui traite l'information d'une manière qui ressemble davantage à un flux constant de mises à jour plutôt qu'à un projecteur. Cette nouvelle méthode est beaucoup plus légère pour les ressources informatiques, nécessitant environ vingt-quatre pour cent de paramètres en moins à apprendre, pourtant elle gère le flux du temps différemment.

L'équipe a mis les deux versions du cerveau du robot à l'épreuve dans un environnement simulé rempli de quarante tâches différentes, allant de l'empilement de blocs au déplacement d'objets vers des objectifs spécifiques. Ils ont fait passer les robots à travers ces tâches sous trois conditions différentes : s'arrêter après chaque mouvement, s'arrêter après vingt-cinq mouvements, et s'arrêter après la séquence complète de cinquante mouvements. Lorsque les robots s'arrêtaient après chaque mouvement, les deux versions performaient de manière presque identique, le nouveau design égalant le taux de réussite de l'ancien. Cependant, lorsque les robots étaient sollicités pour exécuter des séquences plus longues sans s'arrêter, la différence est devenue claire. Le robot avec le nouveau design Mamba tenait beaucoup mieux son rang. Lorsqu'on lui demandait de réaliser cinquante mouvements avant de faire un point, le nouveau design a réussi dans soixante et un virgule huit pour cent des essais, tandis que l'ancien design n'a réussi que dans cinquante-trois virgule neuf pour cent.

Cet écart s'est creusé encore davantage sur certains types de tâches. Lorsque le robot devait déplacer des objets vers des emplacements précis, le nouveau design a amélioré les taux de réussite de près de dix-huit pour cent à l'horizon le plus long. Même sur des tâches impliquant des arrangements spatiaux, il s'est amélioré de dix pour cent. Les chercheurs ont constaté que le nouveau design était particulièrement doué pour maintenir la coordination des mouvements ultérieurs d'une séquence avec les mouvements antérieurs, même lorsque le robot agissait sur un plan qui n'était plus mis à jour avec des informations visuelles fraîches. Cela suggère que la nouvelle architecture possède un avantage naturel pour prédire comment une séquence d'actions doit se dérouler dans le temps.

L'étude confirme que la façon dont un robot planifie ses mouvements compte autant que la fréquence à laquelle il vérifie son environnement. En changeant le moteur interne qui coordonne une séquence d'actions, les chercheurs ont montré que les robots peuvent être rendus plus rapides et plus efficaces sans devenir maladroits. Le nouveau design non seulement a amélioré le taux de réussite pour les séquences longues, mais a également réduit le nombre total de paramètres informatiques nécessaires pour faire fonctionner le système. Cela signifie qu'à l'avenir, les robots pourraient être déployés dans des contextes réels où ils doivent agir rapidement et de manière continue, en s'appuyant sur des plans plus longs qui restent précis plus longtemps. Ce travail démontre que le bon choix architectural peut débloquer un meilleur compromis entre vitesse et précision, rapprochant un peu plus la réalité du rêve d'assistants robotiques rapides et fiables.

Résumé technique : Modélisation d'espace d'état sélectif basé sur Mamba pour les experts VLA

1. Énoncé du problème

Les modèles Vision-Language-Action (VLA) sont confrontés à un compromis fondamental entre le taux de réussite des tâches et la latence de calcul, régi par l'horizon d'exécution ( $N$ ).

Haute fréquence ( $N=1$ ) : L'exécution d'une action unique par inférence garantit que la politique reste proche des observations actuelles, maintenant une grande précision. Cependant, cela entraîne des surcoûts de calcul importants dus aux appels fréquents de la politique, rendant le déploiement en temps réel irréalisable.
Basse fréquence ( $N \gg 1$ ) : L'exécution d'horizons d'action plus longs (blocs ou chunks) avant de replanifier réduit la complexité de calcul et la latence. Toutefois, le robot agit sur des observations obsolètes pendant des périodes plus longues, ce qui conduit généralement à une dégradation des taux de réussite des tâches.

Les approches actuelles traitent souvent cela via des mécanismes post-hoc (par exemple, l'inpainting au moment de l'inférence ou la troncature de bloc) tout en gardant l'architecture de la politique sous-jacente fixe. Cette étude examine si les éléments architecturaux temporels au sein de l'expert d'action lui-même peuvent être optimisés pour améliorer le compromis précision-complexité, spécifiquement en remplaçant l'auto-attention causale standard par des modèles d'espace d'état (SSM) sélectifs basés sur Mamba.

2. Méthodologie

L'étude utilise l'architecture SmolVLA comme squelette de référence, qui combine un modèle vision-langage (VLM) pré-entraîné avec un expert d'action (AE) par correspondance de flux conditionnelle (conditional flow-matching).

Modification de l'architecture de base

Les auteurs proposent une substitution directe au sein de l'Expert d'Action :

Référence ( $B_0$ ) : Utilise la structure originale de SmolVLA où l'AE alterne entre des couches de mise en correspondance par attention croisée (reliant les actions aux entrées multimodales) et des couches d'auto-attention causale (modélisant les dépendances temporelles au sein du bloc d'action).
Variante proposée ( $M_1$ ) : Conserve toutes les couches de mise en correspondance par attention croisée et le squelette VLM gelé, mais remplace les huit couches d'auto-attention causale intra-bloc par des blocs d'espace d'état sélectifs Mamba-1.

Justification technique

Biais inductif : Un bloc d'action est une séquence ordonnée où les commandes ultérieures doivent rester compatibles avec les précédentes. Mamba implémente une dynamique d'espace d'état dépendante de l'entrée via une récurrence causale. Les auteurs émettent l'hypothèse que cette représentation récurrente sélective fournit un biais inductif plus adapté à la coordination intra-bloc que les masques causaux explicites utilisés dans les Transformers.
Efficacité des paramètres : La variante basée sur Mamba réduit considérablement le nombre de paramètres entraînables de l'Expert d'Action, passant de 99,9 M à 76,3 M (une réduction d'environ 24 %), tout en gardant le squelette et les voies de mise en correspondance identiques.
Entraînement et inférence : Les deux modèles sont entraînés à l'aide d'un objectif de correspondance de flux conditionnelle sur le benchmark LIBERO. Lors de l'inférence, les deux génèrent un bloc fixe de $H=50$ actions. L'horizon d'exécution $N$ est balayé sur $\{1, 25, 50\}$ pour évaluer les performances sous différentes fréquences de replanification.

3. Principales contributions

Investigation architecturale inédite : Le papier présente la première étude isolant l'impact du mélange temporel intra-bloc dans les experts VLA par correspondance de flux en remplaant l'auto-attention Transformer par des SSM Mamba.
Évaluation sensible à l'horizon : Les modèles sont rigoureusement évalués à travers trois horizons d'exécution ( $N=1, 25, 50$ ) en utilisant les suites de benchmarks LIBERO standards (Spatial, Object, Goal, Long).
Amélioration démontrée du compromis : L'étude montre que l'expert Mamba améliore significativement la rétention du succès à mesure que l'horizon d'exécution augmente, surpassant la référence Transformer dans les scénarios à long horizon.
Gains d'efficacité : La variante Mamba atteint des performances comparables à la référence Transformer à $N=1$ tout en réduisant la complexité du modèle de 24 %.

4. Résultats expérimentaux

L'évaluation a été menée sur le benchmark de simulation multi-tâches LIBERO (40 tâches à travers 4 suites) en utilisant trois graines aléatoires (seeds).

Taux de réussite vs Horizon d'exécution

$N=1$ (Replanification par action) : La variante Mamba ( $M_1$ ) atteint un taux de réussite moyen de 76,2 %, égalant statistiquement la référence Transformer ( $B_0$ ) à 75,9 %.
$N=25$ (Horizon modéré) : $M_1$ surpasse $B_0$ de 3,7 % (74,7 % contre 71,0 %).
$N=50$ (Exécution du bloc complet) : $M_1$ surpasse nettement $B_0$ de 7,8 % (61,8 % contre 53,9 %). Cela représente la conclusion la plus critique, car $N=50$ correspond à un déploiement en temps réel réalisable où la replanification est peu fréquente.

Rétention du succès

En passant de $N=1$ à $N=50$ :

La référence Transformer ( $B_0$ ) subit une chute de performance de 22,0 points de pourcentage.
La variante Mamba ( $M_1$ ) ne subit qu'une chute de 14,5 points de pourcentage.
Cela indique que $M_1$ retient 7,5 points supplémentaires de taux de réussite lors d'une exécution en boucle ouverte prolongée.

Analyse par suite

L'avantage de Mamba n'est pas uniforme :

Object Suite : Montre le gain le plus important, où $M_1$ suit $B_0$ de 6,0 points à $N=1$ mais le dépasse de 17,7 points à $N=50$ .
Spatial Suite : $M_1$ gagne 10,0 points sur $B_0$ à $N=50$ .
Goal Suite : $B_0$ maintient un léger avantage (1,0 point) à $N=50$ .
Long Suite : Les deux modèles éprouvent des difficultés, mais $M_1$ maintient un léger avantage stable (+4,7 points).

5. Signification et affirmations

Le papier affirme que la supériorité de l'expert basé sur Mamba dans l'exécution à long horizon est probablement due à sa récurrence causale dépendante de l'entrée, qui offre un biais inductif plus efficace pour coordonner les positions d'action ordonnées au sein d'un bloc par rapport aux masques d'attention causale explicites des Transformers.

La portée de ce travail réside dans la démonstration que le modelage temporel au sein de l'expert d'action est un facteur critique de la performance VLA, indépendamment de l'obsolescence des observations. En adoptant Mamba, le système permet un meilleur compromis précision-complexité :

Il permet un déploiement en temps réel réalisable (via des horizons d'exécution plus longs) sans la dégradation sévère de la précision observée avec les références Transformer.
Il réduit l'empreinte de calcul (moins de paramètres entraînables) tout en maintenant ou en améliorant les performances.

Les auteurs concluent que les travaux futurs devraient valider ces résultats sur des robots physiques et sur d'autres architectures VLA, mais les résultats actuels établissent que les SSM basés sur Mamba sont une alternative viable et supérieure aux Transformers pour le mélange temporel intra-bloc dans les politiques de correspondance de flux VLA.