🤖 machine learning

SPEAR-1: Scaling Beyond Robot Demonstrations via 3D Understanding

SPEAR-1 est un modèle de fondation robotique qui améliore la généralisation et l'efficacité de l'apprentissage en enrichissant les modèles de vision-langage préentraînés avec une compréhension spatiale 3D, permettant ainsi de surpasser l'état de l'art tout en utilisant 20 fois moins de démonstrations robotiques.

Auteurs originaux : Nikolay Nikolov, Giuliano Albanese, Sombit Dey, Aleksandar Yanev, Luc Van Gool, Jan-Nico Zaech, Danda Pani Paudel

Publié 2026-04-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Nikolay Nikolov, Giuliano Albanese, Sombit Dey, Aleksandar Yanev, Luc Van Gool, Jan-Nico Zaech, Danda Pani Paudel

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le robot qui a le "vertige" de la 2D

Imaginez que vous appreniez à quelqu'un à cuisiner, mais que vous ne lui montriez que des photos de magazines. La personne voit très bien les ingrédients (elle sait ce qu'est une carotte ou un couteau), mais elle n'a aucune idée de la profondeur. Elle ne sait pas si la carotte est à 2 centimètres ou à 2 mètres de sa main. Résultat : dès qu'on change la cuisine ou qu'on déplace l'assiette, elle est totalement perdue. Elle a une compréhension "plate" du monde.

C'est le problème actuel des robots intelligents (les modèles VLA). Ils sont entraînés sur des milliards d'images d'Internet, ce qui les rend très cultivés, mais ils manquent de sens de l'espace. Pour qu'ils apprennent à manipuler des objets en 3D, il faut normalement leur faire faire des millions de démonstrations réelles avec des bras articulés, ce qui coûte une fortune et prend un temps fou.

La Solution SPEAR-1 : "L'école de la perspective"

Les chercheurs de SPEAR-1 ont eu une idée brillante : au lieu de faire travailler les robots des heures durant, on va d'abord apprendre aux modèles à "voir en relief" en utilisant des images classiques.

Voici comment ils ont procédé, en trois étapes :

1. L'étape de la "Vision 3D" (SPEAR-VLM)

Au lieu de donner au robot uniquement des photos plates, ils ont ajouté un "œil spécial" (un encodeur de profondeur) qui lui permet de deviner la distance. Ensuite, ils lui ont posé des questions de type "jeu de piste" sur des photos normales :

"Où se trouvent les quatre coins de la boîte de conserve dans l'espace ?"
"Quelle est la distance entre la pomme et le couteau ?"

C'est comme si, avant d'apprendre à conduire, on apprenait à un enfant à estimer les distances en regardant des paysages par la fenêtre. On utilise des données "faciles" (des photos d'Internet) pour lui donner un sens de l'orientation.

2. L'étape de "l'Action" (SPEAR-1)

Une fois que le modèle "comprend" la 3D, on lui ajoute un module d'action. C'est là qu'il apprend enfin à bouger le bras. Comme il a déjà une excellente notion de l'espace grâce à l'étape précédente, il n'a pas besoin de voir des millions de robots bouger. Il comprend très vite le lien entre "Prends la tasse" et le mouvement précis nécessaire dans l'espace 3D.

3. Le résultat : Un champion de l'efficacité

C'est ici que la magie opère. Grâce à cette méthode, le modèle SPEAR-1 est devenu un expert en utilisant 20 fois moins de données de robotique que ses concurrents.

C'est comme si, là où un autre étudiant devait lire 20 dictionnaires de robotique pour comprendre comment attraper un objet, SPEAR-1, lui, a simplement regardé quelques vidéos et a compris le principe grâce à sa vision spatiale déjà développée.

En résumé : Pourquoi est-ce une révolution ?

Il est plus malin : Il réussit des tâches dans des environnements qu'il n'a jamais vus (il ne panique pas si la table est d'une autre couleur ou si la lumière change).
Il est plus rapide à apprendre : On n'a plus besoin de robots physiques qui font des gestes répétitifs pendant des mois. On peut "nourrir" l'intelligence du robot avec des images du monde réel.
Il est polyvalent : Il fonctionne aussi bien sur un petit bras de bureau (WidowX) que sur un gros bras industriel (Franka).

En une phrase : SPEAR-1, c'est donner des "yeux en relief" à l'intelligence artificielle pour qu'elle puisse enfin toucher le monde réel avec précision.

Résumé Technique : SPEAR-1

1. Problématique (Le Problème)

Les modèles de fondation robotiques (RFM) actuels, souvent appelés modèles Vision-Language-Action (VLA), souffrent d'un manque de généralisation face à de nouveaux environnements, de nouvelles tâches ou de nouveaux bras robotiques (embodiments).

L'article identifie deux goulots d'étranglement majeurs :

Manque de raisonnement spatial 3D : La plupart des VLA sont basés sur des modèles de langage-vision (VLM) pré-entraînés sur des images 2D (Internet). Ces modèles excellent dans la compréhension sémantique mais manquent de la compréhension géométrique et spatiale intrinsèquement nécessaire au contrôle robotique dans un monde 3D.
Coût des données robotiques : Pour combler ce fossé, les modèles actuels tentent d'apprendre la 3D uniquement via des démonstrations robotiques, ce qui est extrêmement coûteux, difficile à collecter à grande échelle et limite la capacité de généralisation "zero-shot" dans des environnements non vus.

2. Méthodologie (L'Approche)

Les auteurs proposent une stratégie d'entraînement en deux étapes qui utilise des données non robotiques enrichies de connaissances 3D pour "préparer" le modèle avant l'apprentissage du contrôle.

Étape 1 : SPEAR-VLM (Compréhension 3D)

L'objectif est de créer un backbone visuel capable de raisonner en 3D.

Architecture : Ils étendent le modèle PaliGemma en y intégrant un encodeur de profondeur monoculaire (MoGe). Ils ajoutent également 1024 nouveaux "tokens 3D" au tokenizer pour permettre au modèle de prédire des coordonnées spatiales sous forme de texte.
Données : Ils utilisent 200 000 images non robotiques (provenant de datasets comme EgoExo4D) enrichies par un pipeline semi-automatique (utilisant Gemini et SAM2) pour générer des annotations 3D (boîtes englobantes 3D, distances entre objets, points clés).
Tâches de pré-entraînement : Le modèle est entraîné sur des questions-réponses (VQA) spatiales, par exemple : "Quelles sont les coordonnées de la boîte englobante 3D de l'objet X ?".

Étape 2 : SPEAR-1 (Contrôle Robotique)

Le SPEAR-VLM est ensuite utilisé comme base pour un modèle de contrôle actionnable.

Architecture : Ils adoptent l'architecture de $\pi_0$ , combinant le VLM avec un "expert d'action" (Action Expert) qui utilise le Flow Matching.
Innovation mathématique : Pour la rotation, ils utilisent une formulation sur la variété $S^3$ des quaternions unitaires, ce qui est plus stable et efficace que le flow matching linéaire classique.
Entraînement : Le modèle est entraîné sur 45 millions de frames issues de 24 datasets de l'Open X-Embodiment.

3. Contributions Clés

SPEAR-VLM : Un VLM doté de capacités de perception 3D explicites, entraîné sur des données visuelles classiques mais annotées spatialement.
SPEAR-1 : Un modèle de fondation robotique open-weight qui intègre la perception 3D ancrée et le contrôle par instruction de langage.
Efficacité des données : La démonstration qu'on peut remplacer des quantités massives de données robotiques par des données d'images 2D annotées en 3D.

4. Résultats Expérimentaux

Les performances ont été évaluées sur deux plateformes : WidowX (simulation et réel) et Franka (réel, setup DROID).

Efficacité de données : SPEAR-1 égale ou dépasse les modèles de pointe (comme $\pi_0.5$ ou $\pi_0$ -FAST) tout en utilisant 20 fois moins de démonstrations robotiques.
Généralisation Zero-Shot (Franka) : Contrairement à la plupart des VLA qui échouent dans des environnements Franka non vus sans fine-tuning, SPEAR-1 maintient des performances élevées. Il surpasse nettement $\pi_0$ -FAST dans des scénarios complexes.
Performance sur WidowX : Dans les environnements SIMPLER, SPEAR-1 surpasse les modèles OpenVLA et SpatialVLA de plus de 10 % en taux de réussite moyen.

5. Signification et Impact

Ce travail change le paradigme de l'apprentissage des robots. Au lieu de considérer que la compréhension du monde 3D doit être apprise par le robot lors de ses manipulations, les auteurs prouvent qu'on peut injecter cette connaissance via des données visuelles "passives" (images du web/vidéos).

L'implication majeure est la scalabilité : il est beaucoup plus facile de collecter des milliards d'images 2D et de les annoter avec des outils de profondeur IA que de collecter des millions d'heures de téléopération robotique. Cela ouvre la voie à des modèles de robots généralistes beaucoup plus puissants et moins coûteux à entraîner.