🤖 AI

FurnitureVLA: Learning Long-Horizon Bimanual Furniture Assembly with Vision-Language-Action Model

Dit artikel introduceert FurnitureVLA, een Vision-Language-Action-model dat real-scale, langdurige bimanuele meubelmontage mogelijk maakt door gebruik te maken van een progressie-verbeterde architectuur en hoogwaardige teleoperated demonstraties om significante verbeteringen in het succespercentage ten opzichte van baselines te bereiken in zowel simulatie als real-world validatie.

Oorspronkelijke auteurs: Chenyang Ma, Yue Yang, Radu Corcodel, Siddarth Jain, Andrew Wu, Chiori Hori, Diego Romeres

Gepubliceerd 2026-07-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chenyang Ma, Yue Yang, Radu Corcodel, Siddarth Jain, Andrew Wu, Chiori Hori, Diego Romeres

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een complex meubelstuk probeert te bouwen, zoals een IKEA-stoel, maar in plaats van je handen te gebruiken, bestuur je twee gigantische robotarmen. Stel je nu voor dat je dit doet zonder handleiding, alleen door naar een video te kijken en te proberen de volgende zet te raden. Dat is de uitdaging waar dit artikel zich mee bezighoudt.

De onderzoekers hebben een nieuw systeem ontwikkeld genaamd FurnitureVLA om robots te leren hoe ze echte meubels kunnen assembleren met behulp van twee armen tegelijk. Dit is hoe ze het deden, uitgelegd aan de hand van eenvoudige concepten:

1. Het probleem: Een probleem met het "langetermijngeheugen" van een robot

De meeste robots zijn goed in korte taken, zoals het oppakken van een kopje en het neerzetten ervan. Maar het bouwen van meubels is een "long-horizon" taak. Het is alsof je een hele roman probeert te schrijven in één ademteug. Als de robot een kleine fout maakt in stap 1 (zoals een poot net iets scheef plaatsen), wordt die fout bij stap 10 steeds groter, waardoor het hele geheel instort.

Eerdere pogingen werkten alleen met piepkleine, speelgoedachtige meubels of met slechts één robotarm. Dit artikel is de eerste die het probeert met echte, volwassen meubels en twee armen die samenwerken.

2. De oplossing: De film opdelen in scènes

Om te voorkomen dat de robot in de war raakt, hebben de onderzoekers de taak niet geleerd om de hele stoel in één keer te bouwen. In plaats daarvan hebben ze de klus opgedeeld in kleine, beheersbare "scènes" of subtaken, zoals een filmscript.

Scène 1: Pak de linkerpoot op.
Scène 2: Steek de linkerpoot erin.
Scène 3: Stap terug.

Ze gebruikten een VR Teleoperation System om de data te verzamelen. Denk hierbij aan een mens die een videogame speelt waarbij hij een headset draagt en twee robotarmen bestuurt met zijn eigen handen. Hierdoor konden ze hoogwaardige "demonstraties" verzamelen van hoe een menselijke expert meubels zou bouwen.

3. Het geheime ingrediënt: De "voortgangsmeter"

De grootste innovatie is iets dat ze een Progress-Enhanced VLA noemen.

Stel je voor dat je in een auto rijdt tijdens een lange reis. Als je de auto alleen vertelt "Rij naar New York", kan hij na 50 mijlen de weg kwijtraken. Maar als je zegt: "Rij naar het volgende tankstation," en daarna "Rij naar het volgende stadje," dan blijft hij op koers.

De onderzoekers gaven de robot een continue voortgangsmeter (een signaal dat van 0% tot 100% gaat voor elke stap).

Terwijl de robot werkt, controleert hij constant zijn voortgang.
Wanneer de meter de 100% bereikt, weet de robot automatisch: "Oké, ik ben klaar met deze stap. Nu ga ik over naar de volgende instructie."
Dit voorkomt dat de robot vastloopt of in de war raakt over welk deel van de assemblage hij momenteel aan het uitvoeren is.

4. De trainingsgrond: Een digitale zandbak

Voordat ze testten op echte metalen armen, bouwden ze een enorme simulatie-pipeline.

Ze creëerden een digitale wereld waarin ze duizenden perfecte "expert" builds konden genereren met behulp van computeralgoritmes.
Ze testten drie verschillende stukken meubilair: een klein bijzettafeltje (gemakkelijk), een plank (gemiddeld) en een complexe stoel (moeilijk).
De taak voor de stoel was het moeilijkst en vereiste 1.550 individuele besturingstappen (zoals 1.550 kleine bewegingen) om te voltooien.

5. De resultaten: Van falen naar succes

Zonder hun nieuwe methode: De robot faalde bijna 100% van de tijd bij de complexe stoel. Het was alsof een student probeerde een calculusprobleem op te lossen zonder de basis wiskunde te kennen.
Met FurnitureVLA: Ze verhoogden het succespercentage van 48% naar 80% in de simulatie.
Test in de echte wereld: Ze testten het op een echte robot in een laboratorium. Zelfs met de rommelige echte wereld (verlichting, wrijving, kleine fouten), daalde de prestatie slechts met ongeveer 16% vergeleken met de simulatie. De robot slaagde er meestal in om de complexe stoel succesvol te assembleren.

6. Wat maakte het werkend? (De verfijning)

De onderzoekers testten ook verschillende "knoppen" om te zien wat de robot nauwkeuriger maakte:

Meer camera's: Het toevoegen van een camera aan de achterkant hielp de robot om onderdelen te zien die vanuit de voorkant verborgen waren.
Het vloeiender maken van de beweging: Ze ontdekten dat het middelen van de geplande bewegingen van de robot over een paar seconden (zoals het gladstrijken van een schokkerige video) de robot hielp om zwaardere meubels beter te hanteren.
Hogere resolutie: De robot voorzien van scherpere ogen (hogere beeldkwaliteit) hielp hem om de kleine gaatjes en magneten perfect uit te lijnen.

Samenvatting

Kortom, het artikel introduceert een robot die echt meubilair kan bouwen door:

Te leren van menselijke demonstraties uitgevoerd via VR.
De enorme taak op te delen in kleine, beheersbare stappen.
Een "voortgangsmeter" te gebruiken om precies te weten wanneer hij naar de volgende stap moet overschakelen.
Zijn visie en beweging te verfijnen om nauwkeurig genoeg te zijn om onderdelen in elkaar te klikken zonder ze te breken.

Het is een grote stap voorwaarts in het aanleren van complexe, meerstaps huishoudelijke taken aan robots die twee handen en veel geduld vereisen.

Technische Samenvatting: FurnitureVLA

Probleemstelling

Meubelmontage vormt een aanzienlijke uitdaging voor robotica vanwege het lange-horizon karakter en de hoge precisie-eisen voor geometrie. Succesvolle assemblage vereist strikte sequentiële manipulatie van onderling afhankelijke onderdelen, waarbij vroege fouten kunnen leiden tot escalerende defecten. Deze uitdagingen worden versterkt in real-scale, bimanuele settings: grote, zware componenten vereisen gecoördineerde dual-arm controle om reikwijdtebeperkingen te respecteren en kinematische singulariteiten te vermijden.

Hoewel eerder werk meubelmontage heeft behandeld, richtte dit zich grotendeels op toy-scale settings of single-arm manipulatie. Bestaande Vision-Language-Action (VLA) modellen hebben vaak moeite met taken met een lange horizon door distributie-drift en cumulatieve fouten, en ze missen frequent de precisie die vereist is voor nauwe geometrische uitlijning in de echte wereld. Dit artikel introduceert FurnitureVLA, de eerste systematische studie naar real-scale bimanuele meubelmontage met behulp van VLA's.

Methodologie

1. Systeeminfrastructuur

De auteurs hebben een systeem met twee componenten ontwikkeld om datageneratie en evaluatie te faciliteren:

Schaalbare Simulatie Pipeline: Gebouwd op Isaac Gym, genereert deze pipeline expert demonstraties via bewegingsplanning over diverse meubeltypen (LACK bijzettafel, KALLAX plankkast, IVAR stoel). Het valideert de haalbaarheid van taken onder kinematische beperkingen en dient als een grootschalige testomgeving.
VR Teleoperatie Systeem: Om hoogwaardige real-world data te verzamelen, is een aangepast VR-systeem gebouwd met een Meta Quest 3 headset en Kinova Gen3 dual-arm robots. Belangrijke ontwerpprincipes zijn:
- Ontkoppelde controle: Gescheiden afhandeling van translatie en rotatie voor stabiliteit.
- Pre-gedefinieerde grasp primitives: Discrete oriëntatie presets om consistente grepen te garanderen.
- Gesynchroniseerde bimanuele modus: Gespiegelde commando's voor gecoördineerde lift- en rotatiebewegingen van zware onderdelen.

2. Taakformalisering

De taken omvatten het assembleren van IKEA-meubels met toenemende complexiteit (4 tot 7 subtaken, 650 tot 1550 controle-stappen).

Aannames: De studie slaat het schroefproces over door magneten te gebruiken voor bevestiging, waarbij de focus ligt op uitlijning en insertie. Onderdelen worden geïnitialiseerd met willekeurige perturbaties (3 cm positie, 5° oriëntatie).
Succescriteria: Assemblage wordt alleen als succesvol beschouwd als de relatieve pose-fout van alle onderdelen ten opzichte van een basisonderdeel binnen strikte drempelwaarden valt (1–2 cm translatie, ~4° rotatie).

3. Progress-Enhanced VLA Policy

Om de broosheid van uitvoering met een lange horizon aan te pakken, stellen de auteurs een Progress-Enhanced VLA voor:

Subtaak Decompositie: Taken worden gedecomposeerd in semantisch gegronde subtaken (bijv. "grasp", "align", "insert", "retreat").
Continue Progress Signaal: In plaats van discrete subtaak-labels, wordt de policy gefinetuned om gezamenlijk robotacties en een continu progress signaal ( $p_t \in [0, 1]$ ) te voorspellen. Dit signaal wordt afgeleid van actie-primitives (bijv. pick, place, retreat) en is gedefinieerd over post-retreat states (nadat de arm zich heeft teruggetrokken van het contactpunt). Deze ontwerpkeuze zorgt ervoor dat subtaak-transities plaatsvinden in contactvrije staten, wat distributie-shift vermindert en foutenversterking voorkomt.
Inference Mechanisme: Tijdens inferentie voorspelt het model acties en progress gelijktijdig. Een subtaak-transitie wordt automatisch getriggerd wanneer de voorspelde progress een drempelwaarde ( $\tau_p$ ) overschrijdt, mits het signaal persistent is (gefilterd om spookpieken te voorkomen).

4. Precisie Ontwerpfactoren

De studie evalueert systematisch belangrijke factoren die de assemblageprecisie beïnvloeden:

Temporal Ensembling: Het gladstrijken van actievoorspellingen over een rolling buffer om ruis te verminderen.
Action Horizon: Bepalen van het optimale aantal stappen om uit te voeren voordat er opnieuw gepland wordt.
Perceptie: De impact van camerastandpunten (inclusief een achtercamera om occlusie te beperken) en beeldresolutie.

Belangrijkste Resultaten

Simulatieprestaties

Baseline Vergelijking: FurnitureVLA presteert significant beter dan een monolithische gefinetunede VLA (die een enkele globale instructie gebruikt zonder subtaak-decompositie).
- Gemiddeld Succespercentage: Verbeterd van 48% (monolithische baseline) naar 80% (FurnitureVLA).
- Specifieke Winsten: De meest uitdagende taak (IVAR stoel) zag een succespercentage stijgen van 41% naar 56%.
Impact van Ontwerffactoren: De studie naar perceptie- en controlefactoren leverde een extra 21% winst op in succespercentages.
- Temporal Ensembling: Cruciaal voor stabiliteit, waarbij $\lambda = -0.1$ (nadruk op recente voorspellingen) het beste presteerde.
- Viewpoint: De inclusie van een achtercamera verbeterde de prestaties aanzienlijk door occlusie te verminderen.
- Resolutie: Hogere beeldresoluties correleerden consistent met betere prestaties.

Real-World Validatie

Platform: Gevalideerd op een echte Kinova Gen3 dual-arm platform bij het assembleren van de IVAR stoel.
Prestaties: Het systeem bereikte een 40% full-assembly succespercentage op de moeilijkste taak. Dit is slechts een daling van 16% vergeleken met de simulatieprestaties (56%), wat een robuuste sim-to-real transfer demonstreert.
Emergent Gedrag: De policy vertoonde zelfcorrigerend gedrag geleerd uit teleoperatie, zoals het opnieuw grijpen voor beter contact en fijne magnetische uitlijning.

Ablatie Studies

Progress Signaal: Een discrete progress supervisie scheme faalde volledig (0% succes), wat de noodzaak bevestigt van een continu signaal om de visuele ambiguïteit tussen "bijna geassembleerd" en "geassembleerd" staten te hanteren.
Data Schaal: Prestaties verbeterden met meer demonstraties, hoewel de marginale winst afnam na 50% van het databudget, wat wijst op een balans tussen kosten en prestaties.

Betekenis en Claims

Het artikel claimt de eerste systematische studie te presenteren van real-scale bimanuele meubelmontage met behulp van VLA's. De primaire bijdragen zijn:

Systematisch Framework: Een volledige pipeline bestaande uit een schaalbare simulatieomgeving en een op maat gemaakt VR teleoperatie systeem voor hoogwaardige datacollectie.
Algoritmische Innovatie: Een progress-enhanced VLA die stabiele lange-horizon uitvoering mogelijk maakt door automatische subtaak-transities gedreven door een continu progress signaal, waardoor distributie-drift wordt gemitigeerd.
Empirische Inzichten: Een gerichte analyse van ontwerfactoren (temporal ensembling, viewpoints, resolutie) die cruciaal zijn voor het bereiken van de geometrische precisie die vereist is in real-world assemblage.

De auteurs positioneren dit werk als een stap naar het inzetten van VLA's in uitdagende, real-world manipulatietaken, waarbij zij beperkingen erkennen zoals de fixed-base setup (wat de werkruimte beperkt) en het gebruik van magneten in plaats van schroeven (gereedschapsgebruik blijft een openstaande uitdaging).