💻 computer science

One Demo is Worth a Thousand Trajectories: Action-View Augmentation for Visuomotor Policies

Dit artikel presenteert een data-augmentatieframework dat een nieuwe fisheye-geadapteerde Gaussian Splatting-formulering en trajectoptimalisatie benut om realistische nieuwe gezichtspunten en botsingsvrije actietrajecten te genereren vanuit real-world demonstraties, waardoor de robuustheid en het succespercentage van visuomotorische beleid in zowel vertrouwde als obstakelrijke omgevingen aanzienlijk wordt verbeterd.

Oorspronkelijke auteurs: Chuer Pan, Litian Liang, Dominik Bauer, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Shuran Song

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chuer Pan, Litian Liang, Dominik Bauer, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Shuran Song

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij een koffiemok moet oppakken en op een tafel moet plaatsen. Je doet dit door een camera aan de hand van de robot te bevestigen (een "eye-in-hand" perspectief) en de taak één keer aan hem te laten zien. De robot leert van deze ene video.

Het probleem? Als je de startpositie van de robot ook maar een klein beetje verplaatst, of als je per ongeluk een boek op de tafel laat liggen dat er eerst niet lag, raakt de robot in paniek. Hij ziet iets wat hij nog niet eerder heeft gezien, raakt in de war en laat de mok vallen. Dit komt omdat de robot slechts één specifieke manier heeft geleerd om de taak uit te voeren, en dat is erg kwetsbaar.

Het grote idee van het papier: "1001 Demos"
De onderzoekers van Stanford, Columbia en het Toyota Research Institute kwamen met een slimme truc genaamd 1001 Demos. Hun doel is om die éne menselijke demonstratie te nemen en deze magisch te veranderen in 1.001 verschillende trainingsvoorbeelden, zonder dat een mens de taak 1.001 keer hoeft uit te voeren.

Hier is hoe ze het doen, met behulp van enkele creatieve analogieën:

1. Het "3D-Fotoalbum" (Scene Reconstructie)

Eerst neemt het systeem de video van de fisheye-camera (een groothoeklens die bijna alles om zich heen ziet) en bouwt een 3D digitale tweeling van de kamer.

De Analogie: Denk hierbij aan het maken van een reeks foto's van een kamer en deze gebruiken om een virtueel Lego-model van precies die kamer te bouwen. Maar in plaats van standaard Lego-blokjes, gebruiken ze een speciaal, hoogwaardig materiaal genaamd 3D Gaussian Splatting. Dit stelt hen in staat de scène zo realistisch na te bootsen dat als je vanuit een nieuwe hoek kijkt, het eruitziet als een echte foto.
De Twist: Omdat de camera een fisheye-lens is (gebogen), raken standaard 3D-modellen vervormd. De auteurs hebben een nieuwe manier uitgevonden om deze gebogen beelden te verwerken, zodat het 3D-model accuraat blijft.

2. De "Virtuele Repetitie" (Trajectory Optimization)

Zodra ze het 3D-model hebben, kopiëren ze niet alleen de beweging van de mens. Ze gebruiken een op wiskunde gebaseerde "coach" (trajectory optimization) om nieuwe manieren te verzinnen om de robotarm te bewegen.

De Analogie: Stel je voor dat een mens de robot heeft laten zien hoe hij om een salontafel heen loopt om bij de deur te komen. De "coach" zegt dan: "Oké, stel je nu voor dat de tafel 60 centimeter naar links is verschoven. Loop er weer omheen." Vervolgens: "Stel je nu voor dat een enorme vaas de weg blokkeert. Loop daar in plaats daarvan omheen."
De Veiligheidscontrole: Het systeem is slim genoeg om te weten dat het niet door de tafel of de vaas heen kan lopen. Het plant paden die vloeiend en fysiek mogelijk zijn, waardoor de robot nooit crasht tijdens zijn virtuele oefening.

3. De "Magische Camera" (View Rendering)

Nu moet de robot zien wat hij doet vanuit deze nieuwe hoeken.

De Analogie: In de oude dagen, om een robot een nieuwe hoek te leren, moest je de robot fysiek verplaatsen en opnieuw filmen. Hier neemt het systeem het 3D-model en "rendert" (tekent) wat de fisheye-camera zou zien als de robot daadwerkelijk op die nieuwe plek zou staan. Het creëert een gloednieuwe videoclip die er echt uitziet, maar die nooit echt heeft plaatsgevonden.

4. Het Resultaat: Een Super-Veerkrachtige Robot

Door de originele menselijke video te mengen met deze duizenden gegenereerde "wat als"-scenario's, leert de robot een veel bredere les.

Zonder deze methode: De robot is als een student die het antwoord op één specifieke wiskundevraag uit het hoofd heeft geleerd. Als de getallen licht veranderen, faalt hij.
Met 1001 Demos: De robot is als een student die het concept van de vraag op honderden verschillende manieren heeft geoefend. Hij leert dat "zelfs als de hindernis beweegt, ik de mok nog steeds kan pakken."

Wat hebben ze bewezen?

De onderzoekers hebben dit op twee manieren getest:

In Simulatie (Videospelwereld): Ze lieten zien dat robots die getraind zijn met deze 1.001 gegenereerde demo's veel beter omgaan met nieuwe startposities dan robots die alleen getraind zijn op de originele video.
In de echte wereld: Ze zetten de robot in een echte kamer. Toen ze onverwachte obstakels toevoegden (zoals een kopje of een boek) die de robot nog nooit eerder had gezien, slaagden de robots die getraind waren met "1001 Demos" erin om deze te vermijden en de taak te voltooien. De robots die getraind waren zonder deze methode botsten vaak of faalden.

Kortom: Dit papier presenteert een manier om een enkele, eenvoudige video van een robot die een taak uitvoert te nemen en AI te gebruiken om duizenden variaties van die taak te simuleren (bewegende obstakels, veranderende startpunten). Dit verandert een "breekbare" robot die gemakkelijk faalt in een "flexibele" robot die verrassingen aankan, allemaal zonder dat een mens dagenlang nieuwe video's hoeft op te nemen.

Technische Samenvatting: Eén Demo is Duizend Trajecten Waard: Action-View Augmentatie voor Visuomotorische Policies

Probleemstelling

Visuomotorische policies die getraind zijn via imitation learning vertonen vaak broosheid bij implementatie in de echte wereld. Kleine afwijkingen in de initiële configuratie van de robot of de aanwezigheid van ongeziene obstakels kunnen leiden tot out-of-distribution (OOD) observaties. Deze OOD-toestanden leiden vaak tot een cascade van uitvoeringsfouten en taalfalen. Hoewel het verzamelen van uitgebreide menselijke demonstraties onder diverse ruimtelijke configuraties dit kan mitigeren, is dit proces tijdrovend, kostbaar en vaak onpraktisch. Bestaande dataugmentatietechnieken in computer vision (bijv. color jittering, cropping) slagen er niet in om aan de unieke vereisten van robotica te voldoen, specifiek de noodzaak om action-view consistentie te behouden en tegelijkertijd fysieke beperkingen (3D-botsingen en contactdynamica) te respecteren. Bestaand state-gebaseerd augmentatie delegeert visuele invariantie vaak naar state-estimatie, terwijl eerdere visuele-actie augmentatiemethoden beperkt zijn tot statische, third-person, pinhole camera-views of single-step modificaties die geen vloeiende, traject-niveau obstakelvermijding kunnen genereren.

Methodologie: Het 1001 DEMOS Framework

De auteurs stellen 1001 DEMOS voor, een offline dataugmentatieframework dat duizenden visueel realistische en fysiek haalbare action-view trajecten genereert vanuit een enkele real-world menselijke demonstratie. Het systeem maakt gebruik van een draagbare parallelle grijper uitgerust met een enkele wide-field-of-view (FoV) fisheye camera. Het framework werkt via drie primaire modules:

1. 3D Scène Reconstructie vanuit Eye-in-Hand Fisheye Video

Het systeem verwerkt fisheye beeldsequenties die tijdens scène-scanning en taakdemonstratie zijn vastgelegd om twee representaties te creëren:

Scène Point Cloud: Gereconstrueerd met behulp van COLOMP voor bewegingsplanning en botsingscontrole.
Fisheye 3D Gaussian Splatting (Fisheye-3DGS): Een nieuwe adaptatie van 3D Gaussian Splatting (3DGS) om wide FoV fisheye camera's te verwerken.
- Fisheye Ray Sampler: De auteurs vervangen de standaard pinhole ray sampler door een KB8-gebaseerde fisheye ray sampler. Voor elke fisheye pixel $(u, v)$ wordt de straalrichting $r_d$ berekend via het KB8-model, en vervolgens geprojecteerd door camera-intrinsieken $K$ om pinhole coördinaten $(u_p, v_p)$ te verkrijgen.
- Optimalisatie: Om de efficiëntie van 3DGS te behouden (CUDA block-thread structuur), herverdeelt het systeem de tile-toewijzingen van pinhole rays naar fisheye rays, waarbij fisheye rays worden gepartitioneerd in de oorspronkelijke 256-ray-per-tile layout. Dit maakt snelle rasterisatie mogelijk terwijl de fisheye-distortie accuraat wordt gemodelleerd.

2. Actie Generatie via Traject Optimalisatie

Gebruikmakend van de gereconstrueerde 3D point cloud en het originele demonstratietraject, genereert het systeem twee soorten nieuwe trajecten via traject optimalisatie:

Free-Space Trajecten: Gegenereerd met verschillende initiële camerapozen gesampled binnen een quaternion cone rond het oorspronkelijke gezichtspunt.
Obstakel-Vermijdende Trajecten: Gegenereerd door obstakel point clouds (gesampled uit Objaverse) in de scène te introduceren en paden te plannen die deze vermijden.

Het optimalisatieprobleem minimaliseert een samengestelde loss functie:
$\mathcal{L} = \mathcal{L}_{funnel} + \mathcal{L}_{collision} + \mathcal{L}_{render} + \mathcal{L}_{smooth}$

$\mathcal{L}_{funnel}$ : Een delta funnel loss die ervoor zorgt dat trajecten convergeren naar dezelfde pre-contact pose als de originele demonstratie, waardoor contactdynamica behouden blijft.
$\mathcal{L}_{collision}$ : Gebruikt een Truncated Signed Distance Function (TSDF) van de scène (inclusclusief geaugmenteerde obstakels) om botsingen te bestraffen.
$\mathcal{L}_{render}$ : Een view-consistentie loss die gegenereerde poses dicht bij de distributie van de originele scanning en demonstratie views houdt om "floater" artefacten en wazige reconstructies te voorkomen die gebruikelijk zijn bij 3DGS wanneer gerenderd vanuit nieuwe gezichtspunten.
$\mathcal{L}_{smooth}$ : Bestraft velocity jerkiness om vloeiende trajecten te garanderen.

3. View Generatie en Policy Training

View Generatie: De geoptimaliseerde 6D trajecten worden gerenderd met behulp van de getrainde Fisheye-3DGS om corresponderende visuele observaties te produceren. Voor obstakelscenario's wordt de originele 3DGS van de scène geaugmenteerd met de getrainde 3DGS van de toegevoegde obstakels.
Data Compilatie: De geaugmenteerde data wordt gecompileerd door de grijper te segmenteren met SAM2 en deze over de gerenderde beelden te leggen. De openingsbreedte van de grijper wordt behouden van de originele demo, terwijl de 6D end-effector poses afkomstig zijn van het geoptimaliseerde traject.
Training: Een Diffusion Policy wordt getraind op de unie van de originele expert demonstraties en de gegenereerde geaugmenteerde dataset.

Belangrijkste Bijdragen

Action-View Augmentatie Framework: Een methode die visuele observaties en actietrajecten gezamenlijk augmenteert, waarbij consistentie tussen beide wordt gewaarborgd terwijl aan fysieke beperkingen wordt voldaan.
Fisheye-3DGS: Een nieuwe formulering die 3D Gaussian Splatting uitbreidt naar wide FoV fisheye camera's, wat snelle, hoogwaardige novel view rendering mogelijk maakt voor eye-in-hand systemen.
Traject-niveau Obstakelvermijding: Het vermogen om vloeiende, botsingsvrije trajecten te genereren die om ongeziene obstakels heen navigeren, een capaciteit die ontbreekt in eerdere single-step of third-person augmentatiemethoden.
Contact-bewuste Augmentatie: Een mechanisme dat contactevents detecteert en augmentatie beperkt tot de pre-contact fasen, waardoor de cruciale contactdynamica van de originele demonstratie behouden blijft.

Experimentele Resultaten

Het framework werd geëvalueerd in zowel simulatie (RoboMimic "square" taak) als real-world scenario's (cup serving taak).

Simulatie (RoboMimic):
- Prestatiewinst: Action-view augmentatie verbeterde de taak succesratio's met gemiddeld 56% vergeleken met policies getraind zonder augmentatie.
- Vergelijking met Baselines: De methode presteerde tot 35% beter dan "Aug Action Only" (die acties verstoort maar visuals constant houdt) en met 15% beter dan de single-step NeRF-gebaseerde methode SPARTN in gemiddelde succesratio.
- Upper Bound: De prestaties volgden nauwgezet een "oracle" policy getraind met ground-truth novel-view rendering, met een verschil van slechts 8-11%.
Real-World Evaluatie:
- Robuustheid tegen OOD Configuraties: Free-space augmentatie verbeterde de succesratio's met 55% ten opzichte van non-geaugmenteerde policies wanneer zij te maken kregen met ongeziene initiële robotconfiguraties.
- Obstakelvermijding: Policies getraind met obstacle-aware augmentatie bereikten een succesratio van 100% in taken met ongeziene obstakels, wat significant beter was dan free-space augmentatie (10%) en geen augmentatie (5%). Dit demonstreerde het vermogen van de policy om botsingsvermijdende gedragingen te leren die niet aanwezig waren in de originele menselijke demo's.

Betekenis en Claims

Het artikel claimt dat 1001 DEMOS robots effectief voorziet van vaardigheden die niet expliciet gedemonstreerd zijn, specif kindelijk obstakelvermijding en robuustheid tegen nieuwe initiële configuraties. Door fysiek haalbare, traject-niveau, eye-in-hand demonstraties te genereren vanuit een enkele menselijke demo, adresseert het framework de schaarste aan data en de broosheid die inherent zijn aan visuomotorische policy learning. De auteurs benadrukken dat hun aanpak de kloof overbrugt tussen visuele invariantie en fysieke consistentie, waardoor policies kunnen generaliseren naar OOD viewpoints en omgevingen zonder uitputtend handmatig dataverzameling.

De auteurs erkennen bescheiden de beperkingen, waarbij zij opmerken dat de huidige pipeline beperkt is tot statische scènes vanwege de view coverage van de enkele bewegende camera, en dat de gegenereerde trajecten niet inherent rekening houden met de kinematische limieten van de downstream deployment robot, hoewel ze begrensd zijn om taakruimte-haalbaarheid te garanderen. Toekomstig werk suggereert de exploratie van multi-camera opstellingen en embodiment-aware traject optimalisatie.