BEAVR: Bimanual, multi-Embodiment, Accessible, Virtual Reality Teleoperation System for Robots
BEAVR is een open-source, bimanueel, multi-embodiment virtueel reality teleoperatiesysteem dat realtime controle, gegevensopname en beleidsleren verenigt over diverse robotplatforms met lage latentie en compatibiliteit met toonaangevende visuele motorische beleidsregels.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot wilt leren een complexe taak uit te voeren, zoals het vouwen van de was of het bouwen van een toren van blokken. In het verleden was dit alsoals proberen een hond te leren dansen door instructies te roepen vanuit een andere kamer terwijl je een blinddoek draagt. Je moest dure, op maat gemaakte controllers gebruiken, de gegevens die je verzamelde waren rommelig en moeilijk te delen, en als je wilde overschakelen van het besturen van een kleine arm naar een volledige lichaamsrobot, moest je vaak weer helemaal opnieuw beginnen.
BEAVR is een nieuw, open-source systeem dat het spel verandert. Zie het als een "universele afstandsbediening" voor robots die gebruikmaakt van Virtual Reality (VR)-headsets.
Zo werkt het, onderverdeeld in eenvoudige concepten:
1. De "Magische Spiegel" (Teleoperatie)
In plaats van joysticks of complexe toetsenborden te gebruiken, zet je een standaard VR-headset op (zoals een Meta Quest). Het systeem gebruikt de camera's van de headset om je handen in de 3D-ruimte te volgen.
- De Analogie: Stel je voor dat je een "magische spiegel" draagt die jouw handbewegingen direct kopieert en ze naar een robot stuurt. Als je uitreikt om een kopje te pakken, grijpt de hand van de robot naar het kopje. Als je je pols draait, draait de pols van de robot mee.
- De Magie: Het maakt niet uit of de robot een kleine arm op een tafel is of een volwaardige robot die op een mens lijkt; BEAVR vertaalt jouw menselijke handbewegingen naar commando's die passen bij elke robot, of deze nu 7 of 24 gewrichten heeft.
2. De "Directe Vertaler" (Zero-Copy Architectuur)
Een van de grootste problemen bij afstandsbesturing is lag (de vertraging tussen jouw beweging en de beweging van de robot).
- De Analogie: Normaal gesproken is het versturen van gegevens als het per post versturen van een brief: je schrijft hem, doet hem in een envelop, rijdt naar het postkantoor en wacht op de bezorging. BEAVR is als een telepathische verbinding. Het gebruikt een "zero-copy" systeem, wat betekent dat het geen tijd verspilt aan het kopiëren van gegevens heen en weer tussen verschillende computerprogramma's. Het streamt de gegevens direct, zoals een live videofeed met bijna geen vertraging (minder dan 35 milliseconden).
- Het Resultaat: De robot beweegt bijna onmiddellijk zodra jij beweegt, waardoor de besturing natuurlijk en vloeiend aanvoelt, zelfs wanneer je twee robots tegelijkertijd bestuurt.
3. Het "Universele Notitieblok" (Data & Leren)
Wanneer je een robot leert door hem zelf te bewegen, creëer je een "demonstratie". Vóór BEAVR werden deze demonstraties vaak opgeslagen in vreemde, propriëtaire formaten die alleen door één specifieke robot gelezen konden worden.
- De Analogie: Stel je voor dat je een recept opschrijft in een geheime code die alleen jouw oma begrijpt. Als je het met een chef-kok wilt delen, kan deze het niet lezen. BEAVR schrijft het recept in LeRobot, een standaard "taal" die alle moderne robot-lerende AI's kunnen lezen.
- Het Voordeel: Je kunt je bewegingen opnemen, ze opslaan en de gegevens onmiddellijk gebruiken om een AI-robot te trainen om de taak vervolgens zelfstandig uit te voeren. Het systeem is gebouwd om direct te werken met de nieuwste AI-tools (zoals ACT en DiffusionPolicy).
4. De "Budgetvriendelijke" Opstelling
Veel robotsystemen kosten honderdduizenden dollars.
- De Analogie: BEAVR is als het bouwen van een high-performance raceauto met onderdelen die je bij een lokale automaterialenzaak kunt kopen. De auteurs laten zien dat je een complete opstelling (een robothand, een robotarm en de VR-headset) kunt bouwen voor ongeveer $1.000. Dit maakt geavanceerd robotonderzoek toegankelijk voor universiteiten, kleine laboratoria en hobbyisten, en niet alleen voor gigantische bedrijven.
Wat hebben ze bewezen?
De onderzoekers testten BEAVR door mensen de zes complexe taken te laten uitvoeren, zoals:
- Een kubus omdraaien.
- Water uit de ene beker in de andere schenken.
- Blokken van verschillende groottes op elkaar stapelen.
- Een lantaarn oppakken en op een doos plaatsen.
De Resultaten:
- Succes: Mensen die BEAVR gebruikten, konden deze taken zeer succesvol voltooien (vaak met 100% succes bij eenvoudigere taken zoals het omdraaien van een kubus).
- Snelheid: Het systeem was snel genoeg om hoge snelheden aan te kunnen zonder te haperen.
- Schaalbaarheid: Ze bewezen dat het net zo goed werkt bij het besturen van één robotarm als bij het gelijktijdig besturen van twee armen, zonder dat het systeem "verstopt" raakt of traag wordt.
- AI-training: Ze namen de door mensen verzamelde gegevens en trainden AI-modellen. Deze AI-modellen leerden de taken vervolgens zelfstandig uit te voeren, wat bewees dat BEAVR een uitstekend hulpmiddel is om robots te leren hoe ze moeten denken.
Samenvattend
BEAVR is een gratis, betaalbare en flexibele toolkit waarmee iedereen een VR-headset kan gebruiken om bijna elke robot aan te sturen. Het neemt de barrières weg van dure hardware en verwarrende software, waardoor onderzoekers zich kunnen concentreren op het leukste deel: het leren van robots hoe ze nuttige, behendige taken kunnen uitvoeren en het AI-model vervolgens te laten leren van die lessen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.