🤖 AI

CoStream: Composing Simple Behaviors for Generalizable Complex Manipulation

CoStream is een nieuw framework dat robuuste, hoogprecisie lange-horizon manipulatie bereikt door drie onafhankelijke gedragingen — semantisch, predictief en reactief — samen te voegen tot één verenigde $SE(3)$ bestelcommando, waardoor de afruil tussen taakspecifieke rigiditeit en monolithische generalisatie wordt overwonnen.

Oorspronkelijke auteurs: Haonan Chen, Yuxiang Ma, Stephen Tian, Xiaoshen Han, Wenlong Huang, Feiyang Wu, Yunzhu Li, Jiajun Wu, Edward H. Adelson, Yilun Du

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haonan Chen, Yuxiang Ma, Stephen Tian, Xiaoshen Han, Wenlong Huang, Feiyang Wu, Yunzhu Li, Jiajun Wu, Edward H. Adelson, Yilun Du

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een delicate computerchip in een gleuf te plaatsen die minder dan een millimeter speling heeft. Als je hem zelfs maar een klein beetje kantelt, loopt hij vast. Als hij uit je hand glipt, loopt hij vast. Als je te hard duwt, breek je hem.

Huidige robots worstelen hiermee omdat ze op twee extreme manieren zijn gebouwd:

De "Rigide Blauwdruk" Robot: Deze robot volgt een strikte, vooraf getekende kaart. Hij is geweldig in het volgen van lijnen, maar als de kaart een fractie naast zit, of als het object beweegt, botst de robot omdat hij niet ter plekke van plan kan veranderen.
De "Black Box" Robot: Deze robot probeert alles in één keer te leren door duizenden video's te bekijken. Hij is zeer flexibel en kan nieuwe dingen leren, maar hij is onhandig. Hij heeft niet het "gevoel" om te weten wanneer hij iets te hard aanraakt, en hij moet voor elke nieuwe taak vanaf nul worden getraind.

CoStream is een nieuwe manier om robots te bouwen die het beste van beide werelden combineert door te fungeren als een menselijk team in plaats van een enkele machine.

Het Driehoofdige Team

In plaats van één gigantisch brein dat alles probeert te doen, splitst CoStream de taak op in drie eenvoudige, onafhankelijke "gedragingen" die constant met elkaar communiceren. Denk aan een bouwploeg:

De Architect (Semantisch Gedrag):
- Wat het doet: Dit is de denker over het "grote plaatje". Het leest je instructies (zoals "plaats de GPU in de gleuf") en gebruikt AI om de geometrie te begrijpen. Het stelt het doel vast: "De chip moet hierheen, met deze oriëntatie."
- Analogie: Het is als de voorman die naar de blauwdruk wijst en zegt: "We moeten de muur precies daar bouwen." Het maakt zich geen zorgen over de minuscule details van hoe de stenen elkaar raken; het bepaelt alleen de bestemming.
De Dromer (Predictief Gedrag):
- Wat het doet: Dit deel kijkt naar "verbeelde video's" van de taak. Het voorspelt het vloeiende pad dat de robot moet volgen om van punt A naar punt B te gaan. Het genereert een nominale beweging (een ruwe schets van de beweging).
- Analogie: Het is als een danser die een routine in zijn hoofd repeteert. De danser kent de algemene passen en de flow van de dans, maar reageert nog niet op de plotselinge ritmeveranderingen in de muziek.
De Tastsensor (Reactief Gedrag):
- Wat het doet: Dit is de "gevoelsexpert". Het draait extreem snel (25 keer per seconde) en gebruikt speciale sensoren in de vingers van de robot om het object te voelen. Als de chip glijdt of tegen een hobbel aanstoot, maakt dit deel direct kleine correcties.
- Analogie: Dit is als je eigen hand wanneer je een draad door een naald rijgt. Je ogen zien de naald, maar je vingers voelen de draad. Als de draad wiebelt, passen je vingers zich direct aan zonder dat je hoeft te stoppen om na te denken.

Hoe ze samenwerken: De "Rechterhand-regel"

De magie van CoStream is hoe deze drie delen samenkomen. Ze wisselen niet van beurt; ze werken gelijktijdig.

Stel je voor dat de beweging van de robot een lied is.

De Architect schrijft de tekst (het doel).
De Dromer componeert de melodie (het pad).
De Tastsensor is de drummer die de maat houdt en het tempo aanpast als de zanger struikelt.

In CoStream worden deze drie outputs bij elke fractie van een seconde van de beweging van de robot mathematisch met elkaar "vermenigvuldigd".

Als de Architect zegt "Ga naar het Noorden", de Dromer zegt "Beweging vooruit", maar de Tastsensor voelt "Wacht, we raken een muur, schuif naar links", dan combineert de robot deze drie direct tot één perfecte beweging: "Ga naar het Noorden, vooruit, maar schuif naar links."

Dit stelt de robot in staat om een lange-termijnplan te hebben (van de Architect) terwijl hij tegelijkertijd directe reflexen heeft (van de Tastsensor).

De Resultaten: Wat ze daadwerkelijk deden

De onderzoekers testten dit systeem op echte robots met echte taken. Ze hebben het niet alleen gesimuleerd; ze hebben het gebouwd.

Precisie-assemblage: Ze plaatsten succesvol een boor, een RAM-stick, een CPU-chip en een GPU-kaart in nauwe gleuven. Deze taken vereisen precisie op millimeterniveau.
- Het resultaat: De "Rigide Blauwdruk" robots en de "Black Box" robots faalden volledig (0 van de 15 pogingen). CoStream slaagde bijna altijd (14 of 15 van de 15 pogingen).
Menselijke onderbreking: Terwijl de robot een chip aan het plaatsen was, pakten de onderzoekers de chip fysiek vast en draaiden deze in de grip van de robot om een slip te simuleren.
- Het resultaat: De robot voelde de draaiing, corrigeerde zijn grip direct en voltooide de taak zonder de chip te laten vallen of te breken.
Zero-Shot Transfer: Ze gebruikten dezelfde robotcode om over te schakelen van het hanteren van delicate CPU's (die voorzichtigheid vereisen) naar het stevig vergrendelen van zware RAM-modules (die kracht vereisen). Ze hoefden de robot niet opnieuw te trainen of de code aan te passen; het "team" paste zijn gedrag simpelweg aan op basis van het nieuwe object.

In het kort

CoStream bewijst dat je geen één groot, supercomplex brein nodig hebt voor complexe robotwerkzaamheden. In plaats daarvan kun je een systeem bouwen waarbij een planner, een voorspeller en een voeler samenwerken in realtime. Dit stelt robots in staat om zowel slim genoeg te zijn om een taak te begrijpen, als gevoelig genoeg om met delicate, chaotische real-world fysica om te gaan zonder te crashen.

Technische Samenvatting: CoStream

Probleemstelling

Langdurige, contactrijke manipulatietaken (bijv. het invoeren van een GPU in een PCIe-slot met millimeterklaring) vormen een dubbele uitdaging: ze vereisen zowel precisiecontrole om vastlopen te voorkomen als out-of-the-box generalisatie om nieuwe taken aan te kunnen zonder hertraining. Huidige robotica-paradigma's worstelen om beide tegelijkertijd te vervullen:

Klassieke modulaire pipelines: Deze ontkoppelen perceptie, staatsschatting, planning en controle. Hoewel ze hoge precisie kunnen bereiken, zijn ze broos; het aanpassen aan nieuwe taken vereist kostbare, op maat gemaakte engineering en handmatige herontwerp van modules.
Monolithische end-to-end policies: Modellen zoals Vision-Language-Action (VLA) netwerken bieden betere generalisatie, maar missen de precisie die nodig is voor complexe, out-of-distribution contacttaken, tenzij ze met uitgebreide nieuwe data worden hertraind.

Beide paradigma's delen een impliciete aanname dat complexe manipulatie een rigide, ondeelbaar controlesysteem vereist. Dit artikel daagt die aanname uit door voor te stellen dat complexe capaciteiten kunnen voortkomen uit de compositie van eenvoudige, onafhankelijke gedragingen.

Methodologie: CoStream Framework

CoStream is een framework dat fundatiemodellen en diverse sensorische modaliteiten orkestreert in meerdere composabele kerngedragingen. In tegenstelling tot conventionele pipelines die een voltooide planning door vaste interfaces sturen, houdt CoStream gedragingen aan als onafhankelijke, parallelle stromen die opereren op hun natuurlijke frequenties en dynamisch componeren.

1. Architectuuroverzicht

Het systeem werkt op een gedeelde SE(3) taakruimte-interface. Bij elke controlesstap genereren drie verschillende gedragingen componenten die rechts worden vermenigvuldigd om één end-effector pose commando ( $W T_{cmd}$ ) te vormen, dat wordt uitgevoerd door een compliant controller.

Semantisch Gedrag (Taakframe-anker):
- Functie: Extraheert ruimtelijke beperkingen en definieert een taakframe ( $W T^k_I$ ) relatief aan de wereld.
- Mechanisme: Gebruikt Large Language Models (LLM's) en Vision-Language Models (VLM's) om instructies en scène-samenvattingen (objecten, affordances, predicaten) te parsen. Het minimaliseert een SE(3) uitlijningsobjectief om het taakframe te grondvesten.
- Output: Een statisch of traag bijgewerkt ankerframe, geen traject. Dit zorgt ervoor dat as-eigenaarschap en stijfheid diagonaal blijven.
Predictief Gedrag (Nominale Beweging):
- Functie: Genereert een continu nominaal bewegingstraject ( $I T^k_{traj}(t)$ ) binnen het taakframe.
- Mechanisme: Maakt gebruik van een video world model, geconditioneerd op observaties en stapinstructies, om rollouts te samplen. Een VLM-critic selecteert de beste rollout, die vervolgens wordt opgetild naar een 3D-keypoint tracker om een object-gecentreerd referentietraject te vormen.
- Output: Een bewegingsprior (nominaal pad) in plaats van een precies, rigide plan.
Reactief Gedrag (Tactiele Residu & Force Loop):
- Functie: Biedt hoogfrequente (25 Hz) correcties voor slip in de hand en contactkrachten.
- Mechanisme: Gebruikt een GelSight tactiele sensor om de objectpositie relatief aan de grijper te volgen (via NormalFlow) en schat de end-effector wrench in. Het genereert een tactiel residu ( $\Delta T^k_{tac}(t)$ ) om glijden te compenseren en signaleert contactgebeurtenissen (slip, overtollige kracht).
- Output: Een rigid-body transform die de nominale beweging corrigeert en een force loop signaal voor de controller.

2. Compositie en Controle

Actiecompositie: Bij elke controller-tick berekent het systeem het definitieve commando:
$W T^k_{cmd}(t) = (W T^k_I \cdot I T^k_{traj}(t)) \cdot \Delta T^k_{tac}(t)$
Deze rechtsvermenigvuldiging zorgt ervoor dat de gedragingen onafhankelijk blijven. Als een stroom ontbreekt of verouderd is, zorgt een fallback-gedrag ( $H_k$ ) voor gracieuze degradatie in plaats van stilstand.
Controller Compilatie: Een deterministische compiler brengt stage-specificaties in kaart naar robot-niveau parameters (Cartesiaanse stijfheid, demping, impedantie/admitantie assen, krachtlimieten).
- In de vrije ruimte volgt de controller de nominale beweging met hoge stijfheid.
- Tijdens contact schakelt het over naar Cartesiaanse impedantie (virtuele veer voor krachtbehoud) of positie-gebaseerde admittance (om kracht te begrenzen), afhankelijk van de fase.

Belangrijkste Bijdragen

Behavior Composition Interface: Een nieuwe interface voor contactrijke manipulatie die semantische gronding, predictieve bewegingsgeneratie en tactiele/krachtreactie ontkoppelt in onafhankelijke gedragingen.
Gedeelde SE(3) Representatie: Een taakruimte-representatie waardoor elk gedrag op zijn natuurlijke snelheid kan draaien en alleen de component bijdraagt waarvoor het betrouwbaar is (taakframe, bewegingsprior of contactcorrectie).
Empirische Validatie: Demonstratie van het framework op acht real-world taken, waarbij een hoge precisie-assemblage, robuust herstel van handmatige perturbaties en zero-shot transfer naar alledaagse manipulatie zonder hertraining worden aangetoond.

Experimentele Resultaten

De auteurs evalueerden CoStream op twee groepen taken met behulp van twee Franka Emika Panda robots (één met een GelSight Mini tactiele sensor).

Baselines: Vergeleken met VoxPoser (modulaire vision-language planning) en $\pi_0.5$ (monolithische VLA policy).
High-Precision Assembly Taken:
- Taken: Boorgat-invoeging (0,5 mm klaring), RAM-invoeging, CPU-plaatsing, GPU-invoeging.
- Resultaten: CoStream behaalde succespercentages van 14/15 tot 15/15. In contrast hiermee faalden VoxPoser en $\pi_0.5$ volledig (0/15) op deze taken.
- Foutanalyse: VoxPoser faalde door open-loop planning die geometrische afwijkingen niet kon corrigeren vóór contact. $\pi_0.5$ faalde tijdens contact, omdat het niet in staat was contactgebeurtenissen te onderscheiden van perceptuele ambiguïteit, wat leidde tot destabiliserende hoogfrequente bewegingen.
Everyday Manipulation Taken:
- Taken: Een lamp aan/uit zetten, een whiteboard afvegen, kopje-naar-bord transfer, kleding-naar-doos transfer.
- Resultaten: CoStream presteerde beter dan $\pi_0.5$ in alle settings, met significante winst in objecttransfer-taken (bijv. 13/15 vs 4/15 voor kopje-naar-bord).
Ablatie Studies:
- Het verwijderen van het Reactive Behavior bij de boorgat-invoeging zorgde ervoor dat de succespercentages instortten van 15/15 naar 3/15, wat bevestigt dat tactiele feedback essentieel is voor sub-millimeter precisie.
- Robuustheid: Het systeem herstelde succesvol van handmatige perturbaties (bijv. het roteren van het vastgehouden object in de grijper) door de end-effector te heroriënteren op basis van tactiele feedback.

Betekenis en Claims

Het artikel claimt dat CoStream een regime demonstreert waarin complexe manipulatie wordt bereikt, niet door één enkele complexe controller, maar door de compositie van eenvoudige, onafhankelijke gedragingen.

Generalisatie zonder Hertraining: Dezelfde set gedragingen handelde succesvol diverse fysieke beperkingen af (van delicate CPU-plaatsing tot krachtige RAM-vergrendeling) en vertaalde zich naar alledaagse taken zonder beleidshertraining of moduleherontwerp.
Precisie via Compositie: Door het "wat" (semantisch), het "waar" (predictief) en het "hoe" (reactief) te scheiden, bereikt het systeem millimeterprecisie in contactrijke scenario's waar monolithische policies falen.
Bescheiden Omvang: De auteurs erkennen beperkingen, waarbij zij opmerken dat het systeem afhankelijk is van upstream perceptie (pose schattingen) en momenteel is afgebakend tot gestructureerde rigide-object manipulatie. Het behandelt nog geen deformaatbare objecten, behendige in-hand manipulatie of ambigue doelen. Het reactieve gedrag is ook beperkt door de dekking van de tactiele sensor en de nauwkeurigheid van de wrench-schatting.

Samenvattend stelt CoStream voor dat het deconstrueren van manipulatie in semantische, predictieve en reactieve stromen, samengesteld via een gedeelde SE(3) interface, een robuust pad biedt naar algemene, hoogprecisie robotische manipulatie.