🤖 machine learning

SPEAR-1: Scaling Beyond Robot Demonstrations via 3D Understanding

SPEAR-1 is een nieuw robotfundamentmodel dat de beperkingen van huidige systemen doorbreekt door een visueel-taalmodel te verrijken met 3D-ruimtelijk inzicht, waardoor het met aanzienlijk minder robotdemonstraties beter presteert dan de huidige staat van de techniek.

Oorspronkelijke auteurs: Nikolay Nikolov, Giuliano Albanese, Sombit Dey, Aleksandar Yanev, Luc Van Gool, Jan-Nico Zaech, Danda Pani Paudel

Gepubliceerd 2026-04-28

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Nikolay Nikolov, Giuliano Albanese, Sombit Dey, Aleksandar Yanev, Luc Van Gool, Jan-Nico Zaech, Danda Pani Paudel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij een kopje koffie moet pakken. De meeste huidige robots zijn een beetje als een leerling die alleen maar uit een fotoboek leert. Ze zien een plaatje van een kopje en proberen dat na te doen, maar zodra het kopje een andere kleur heeft, of de tafel staat een paar centimeter verderop, of de camera hangt in een andere hoek, raken ze volledig in de war. Ze begrijpen de foto, maar ze begrijpen de werkelijkheid niet.

Dit nieuwe onderzoek, genaamd SPEAR-1, heeft een slimme manier gevonden om robots eindelijk te leren hoe de echte, driedimensionale wereld werkt.

Hier is de uitleg in begrijpelijke taal:

Het probleem: De "Platte Wereld" ziekte

De meeste huidige robotbreinen (Vision-Language Models) zijn getraind op het internet. Dat is geweldig voor taal en plaatjes, maar het internet is "plat". Een AI kan heel goed vertellen: "Dit is een appel", maar hij heeft geen idee hoe ver die appel van hem af ligt, hoe groot hij precies is in de ruimte, of hoe diep de tafel is waar hij op ligt. Voor een robot is dat alsof je probeert te voetballen terwijl je alleen maar naar een platte TV kijkt: je ziet de bal wel, maar je hebt geen idee waar je moet schoppen om hem te raken.

De oplossing: De "3D-Bril" (SPEAR-VLM)

De onderzoekers van SPEAR-1 hebben een slimme truc toegepast. In plaats van de robot direct te laten oefenen met moeilijke robotarm-bewegingen (wat heel duur en tijdrovend is), hebben ze hem eerst een soort "3D-bril" opgezet.

Ze hebben de AI duizenden gewone foto's laten zien van alledaagse dingen (zoals een keuken of een fietsenmaker), maar ze gaven hem extra informatie: de diepte. Ze leerden de AI niet alleen om te zeggen: "Dat is een wortel", maar ook: "Die wortel bevindt zich op deze exacte plek in de ruimte".

De metafoor: Het is alsof je een kind niet alleen leert hoe een appel eruitziet, maar hem ook leert hoe hij met zijn handen een appel kan vastpakken in een echte kamer. De AI leert de "geometrie" van de wereld begrijpen voordat hij überhaupt een robotarm aanraakt.

Het resultaat: Een super-efficiënte leerling (SPEAR-1)

Omdat de robot nu al begrijpt hoe diepte en ruimte werken, heeft hij veel minder "robot-oefenuren" nodig.

Minder oefenen, meer resultaat: Waar andere robots miljoenen uren aan robot-oefeningen nodig hebben om slim te worden, heeft SPEAR-1 maar 20 keer minder data nodig om hetzelfde (of zelfs betere) resultaten te halen.
Geen paniek bij verandering: Als je de robot in een compleet nieuwe kamer zet, met een andere camera of een ander soort tafel, raakt hij niet in paniek. Hij begrijpt namelijk de ruimte, niet alleen het plaatje.

Samengevat

SPEAR-1 is als een leerling die niet alleen uit een boekje leert, maar ook begrijpt hoe de wereld om hem heen echt in elkaar zit. Door de AI eerst te leren "kijken in 3D" met gewone foto's, wordt hij een veel handiger, slimmer en sneller leerling wanneer hij een echte robotarm moet besturen.

Het resultaat? Robots die niet alleen plaatjes herkennen, maar echt begrijpen waar ze moeten grijpen in de echte, driedimensionale wereld.

Technische Samenvatting: SPEAR-1

1. Het Probleem: De beperking van 2D-gebaseerde VLA-modellen

Huidige Vision-Language-Action (VLA) modellen, die dienen als fundament voor robotbesturing, hebben een fundamenteel probleem met generalisatie. De meeste van deze modellen zijn gebaseerd op Vision-Language Models (VLM's) die zijn getraind op internetdata (2D-afbeeldingen en tekst). Hoewel deze modellen uitstekend zijn in semantisch begrip (bijv. "wat is een appel?"), missen ze inherent 3D-ruimtelijk inzicht.

Dit gebrek aan geometrisch begrip zorgt ervoor dat robots moeite hebben met:

Zero-shot generalisatie: Het functioneren in nieuwe omgevingen met andere camera-hoeken of achtergronden zonder specifieke fine-tuning.
Data-efficiëntie: Omdat de 3D-structuur niet expliciet aanwezig is, moeten modellen deze impliciet leren uit enorme hoeveelheden robotdemonstraties, wat extreem kostbaar en logistiek moeilijk is om te verzamelen.

2. Methodologie: Een tweestaps-aanpak

De onderzoekers stellen een gestaged trainingsproces voor dat de kloof overbrugt tussen 2D-perceptie en 3D-actie.

Stap 1: SPEAR-VLM (3D-bewuste perceptie)
Voordat er ook maar één robotactie wordt geleerd, wordt een VLM (gebaseerd op PaliGemma) verrijkt met 3D-kennis.

Architectuur: Er wordt een monoculaire diepte-encoder (MoGe) toegevoegd aan de bestaande SigLIP-visie-encoder. Dit stelt het model in staat om diepte en puntenwolken te begrijpen.
3D-Tokenisatie: De tokenizer wordt uitgebreid met 1024 speciale "3D-tokens" om coördinaten in de 3D-ruimte te kunnen representeren.
Training: Het model wordt getraind op niet-robotische 2D-afbeeldingen (zoals EgoExo4D) die automatisch zijn geannoteerd met 3D-informatie (zoals 3D-bounding boxes en afstanden tussen objecten). Dit leert het model ruimtelijk redeneren zonder dat er robotdata nodig is.

Stap 2: SPEAR-1 (Embodied Control)
Op basis van de 3D-bewuste SPEAR-VLM wordt het eigenlijke robotmodel gebouwd.

Action Expert: Een module die de visuele en taalkundige representaties vertaalt naar motorische acties.
Flow Matching op de S3-manifold: Voor de rotatie van de robotarm wordt gebruikgemaakt van een geavanceerde wiskundige formulering (flow matching op de eenheidsquaternionen). Dit zorgt voor stabielere en nauwkeurigere rotatievoorspellingen vergeleken met standaard lineaire methoden.
Training: Het model wordt getraind op ~45 miljoen frames uit 24 verschillende robotdatasets (Open X-Embodiment).

3. Belangrijkste Bijdragen

SPEAR-VLM: Een VLM die expliciet 3D-coördinaten en geometrische relaties kan voorspellen vanuit een enkele 2D-afbeelding.
SPEAR-1: Een open-weight robotfundamentmodel dat superieure prestaties levert met een fractie van de benodigde robotdata.
Data-efficiëntie-paradigma: Het bewijst dat grote hoeveelheden "goedkope" niet-robotische 3D-geannoteerde afbeeldingen de noodzaak voor "dure" robotdemonstraties aanzienlijk kunnen verminderen.

4. Resultaten

De resultaten zijn indrukwekkend op zowel simulatie- als real-world tests:

Data-efficiëntie: SPEAR-1 presteert even goed als of beter dan state-of-the-art modellen (zoals $\pi$ 0.5), terwijl het 20x minder robotdemonstraties gebruikt.
Franka (DROID) setup: In uitdagende, onbekende omgevingen (zero-shot) presteert SPEAR-1 aanzienlijk beter dan $\pi$ 0-FAST en even goed als $\pi$ 0.5.
WidowX: In real-world experimenten behaalt SPEAR-1 een gemiddeld hogere taakvoortgang (task progress) dan OpenVLA.
Generalisatie: Het model slaagt erin taken uit te voeren die niet in de trainingsset zaten (zoals "Carrot on Plate" in de DROID-omgeving), wat het sterke ruimtelijke begrip aantoont.

5. Betekenis en Impact

De paper markeert een verschuiving in hoe we robotische fundamentmodellen bouwen. In plaats van te vertrouwen op brute kracht (het simpelweg opschalen van robotdata), suggereert SPEAR-1 dat het injecteren van geometrische en 3D-kennis in de visuele ruggengraat van het model een veel schaalbaardere weg is. Dit maakt het mogelijk om algemene robots te creëren die sneller en goedkoper getraind kunnen worden en beter kunnen omgaan met de onvoorspelbare, driedimensionale fysieke wereld.