💻 computer science

CORE: Common Outcome Regularities from Action-Free Visual Demonstrations for Robot Manipulation

Het artikel introduceert CORE, een raamwerk voor robotimitatieleren dat actievrije menselijke video's gebruikt door gemeenschappelijke terminale uitkomstregulariteiten te extraheren en te benutten als visuele doelprototypes om de embodiment-kloof te overbruggen en de succespercentages van manipulatie in gesimuleerde en real-world taken aanzienlijk te verbeteren.

Oorspronkelijke auteurs: Juyi Sheng, Jincheng Li, Mingxin Tan, Mengyuan Liu

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Juyi Sheng, Jincheng Li, Mingxin Tan, Mengyuan Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij schalen moet stapelen. Je hebt twee manieren om de robot instructies te geven:

De Tekstuele Handleiding: Je zegt tegen de robot: "Stapel de schalen alsjeblieft."
De Video: Je laat de robot een video zien van een mens die schalen stapelt, maar je vertelt de robot niet hoe hij zijn armen moet bewegen. Je laat de robot simpelweg naar het resultaat kijken.

Lange tijd hebben robots moeite gehad met de tweede optie. Ze zijn goed in het opvolgen van tekstuele instructies, maar tekst is vaak te vaag. "Stapel de schalen" vertelt de robot niet precies hoe hoog de stapel moet zijn, hoe de schalen elkaar moeten raken, of wat de uiteindelijke vorm moet zijn. Het is alsof je een chef vraagt om "een taart te maken" zonder te laten zien hoe een afgewerkte taart eruitziet.

Aan de andere kant hebben robots ook moeite gehad met leren van menselijke video's omdat mensen en robots er heel verschillend uitzien. Een mens gebruikt handen; een robot gebruikt een grijper. Een mens beweegt zijn hele lichaam; een robot beweegt een specifieke arm. Proberen de exacte handbewegingen van een mens te kopiëren, werkt vaak verwarrend voor de robot.

Het Grote Idee: "De Finishlijn, Niet de Race"

De auteurs van dit paper, CORE, realiseerden zich iets slims. Ze merkten op dat hoewel verschillende mensen op totaal verschillende manieren schalen stapelen (met verschillende snelheden, verschillende hoeken of verschillende handgrepen), ze allemaal eindigen met exact hetzelfde resultaat: een nette, stabiele stapel schalen.

Ze noemen deze gedeelde resultaten "Common Outcome Regularities" (Gemeenschappelijke Resultaatregelmatigheden).

In plaats van de robot te leren hoe hij moet bewegen (de race), besloten ze de robot te leren hoe de finishlijn eruitziet (het resultaat).

Hoe CORE Werkt (De Drie Stappen)

Denk aan CORE als een slimme leraar die naar een heleboel video's kijkt en dan de robot een "Doelafbeelding" geeft.

Stap 1: De Detective (Het Resultaat Leren)
Het systeem bekijkt veel video's van mensen die succesvol schalen stapelen. Het negeert de rommelige middenstukken van de video (het zwaaien van de armen, de pauzes) en focust alleen op het allerlaatste seconde van de succesvolle pogingen. Het leert de "vingerafdruk" van een succesvolle stapel te herkennen. Het is als een detective die alleen geeft om de opgeloste plaats delict, niet om de reis ernaartoe.
Stap 2: De Kunstenaar (Het Doel Creëren)
Het systeem neemt al die "succesvolle eind"-snapshots en mengt deze samen om één perfecte, ideale "Doelafbeelding" te creëren. Dit is niet zomaar een willekeurige foto; het is een samenvatting van hoe een perfecte stapel eruitziet, waarbij eventuele vreemde of accidentele manieren waarop mensen zijn afgerond, worden weggefilterd.
Stap 3: De Coach (De Robot Begeleiden)
Nu probeert de robot de taak uit te voeren. Terwijl de robot beweegt, vergelijkt het systeem constant wat de robot op dit moment ziet met die "Doelafbeelding". Het vertelt de robot: "Je komt dichter bij de Doelafbeelding," of "Je beweegt weg van de Doelafbeelding." Dit werkt als een GPS die de route van de robot constant corrigeert totdat deze overeenkomt met de perfecte afloop.

Waarom Dit Beter Is Dan Tekst

Het paper testte dit op veel verschillende taken, zoals het openen van laden, het stapelen van blokken en het verplaatsen van objecten.

Tekstuele instructies zijn als een vage kaart: "Ga naar het park." De robot kan verdwalen omdat hij niet precies weet waar de parkbank staat of hoe hij over het hek moet klimmen.
CORE's Visuele Doelen zijn als een foto van de bestemming: "Stop precies wanneer je er zo uitziet als dit."

In hun tests waren robots die CORE gebruikten veel succesvoller dan die met tekstinstructies.

In een simulatie genaamd Meta-World verbeterden de robots hun succespercentage met ongeveer 4%.
In RoboTwin 2.0 verbeterden ze met 11%.
In de Echte Wereld (met een fysieke robotarm) was de verbetering enorm: 17%.

Het Bewijs in de Praktijk

De onderzoekers probeerden dit zelfs op een echte robotarm in een laboratorium. Ze vroegen de robot om een lade te openen en drie schalen te stapelen.

Robots die alleen tekstuele instructies gebruikten, stopten vaak net voor het doel of lieten de stapel wankelen.
Robots die CORE's "Doelafbeelding" gebruikten, wisten precies wanneer ze de perfecte positie hadden bereikt en de taak succesvol hadden voltooid.

De Kernboodschap

Het paper betoogt dat we robots niet de opdracht hoeven te geven om menselijke bewegingen exact te kopiëren. In plaats daarvan moeten we ze leren te herkennen hoe een "goed werk" eruitziet. Door te focussen op de uitkomst in plaats van de actie, kunnen robots leren van de enorme hoeveelheid menselijke video's die op internet beschikbaar zijn, zelfs als ze er niet uitzien als mensen. Het is een verschuiving van de vraag "Hoe beweeg ik?" naar de vraag "Hoe ziet succes eruit?"

Technische Samenvatting: CORE – Common Outcome Regularities from Action-Free Visual Demonstrations

Probleemstelling

Robot imitatie-leren kampt momenteel met een schaalbaarheidsbottleneck: hoogwaardige policies vereisen doorgaans grote hoeveelheden kostbare, robotspecifieke demonstraties (bijv. teleoperatie of kinesthetisch onderricht). Action-free visuele demonstraties, zoals menselijke video's van het internet, zijn echter overvloedig en rijk aan taakprioriteiten, maar zijn moeilijk direct te benutten. Deze video's missen robot-uitvoerbare actielabels en lijden aan significante "embodiment gaps" in morfologie, actieruimtes en controle-interfaces.

Bovendien vertrouwen bestaande methoden die proberen policies te conditioneren op taakdoelen vaak op natuurlijke taalinstructies. Hoewel taal hoogwaardige intentie overbrengt (bijv. "stap de kommen op"), faalt het vaak in het specificeren van de precieze geometrische, ruimtelijke en contactbeperkingen die vereist zijn voor succesvolle uitvoering in contact-rijke manipulatietaken. Deze onderspecificatie kan leiden tot suboptimale policies die er niet in slagen de noodzakelijke terminale toestanden te bereiken.

Methodologie: Het CORE-framework

De auteurs stellen CORE (Common Outcome Regularities) voor, een framework voor policy-leren dat gedeelde structurele regulariteiten extraheert uit succesvolle terminale toestanden in action-free visuele demonstraties, in plaats van te proberen expliciete acties over te dragen of uitsluitend op taal te vertrouwen. CORE werkt in drie afzonderlijke stadia:

Stadium I: Representatieleer van de Terminale Uitkomst
Het framework traint een terminale uitkomst-encoder ( $f_\phi^z$ ) met behulp van action-free visuele demonstraties. De encoder wordt geoptimaliseerd met een terminale contrastieve objectief om terminale observaties van succesvolle demonstraties van dezelfde taak naar elkaar toe te trekken, terwijl niet-terminale of ongerelateerde uitkomsten van elkaar worden weggeduwd. Dit wordt versterkt door twee hulp-taken:
- Time-to-Goal Regressie ( $L_{ttg}$ ): Moedigt de representatie aan om zich bewust te zijn van de temporele voortgang richting het doel.
- Terminale Classificatie ( $L_{term}$ ): Verbetert de discriminatie tussen terminale en niet-terminale toestanden.
  Het doel is om representaties te leren die zich richten op gedeelde terminale structuren (objectconfiguraties, ruimtelijke relaties) in plaats van op traject-specifieke bewegingsdetails.
Stadium II: Constructie van Doelprototypes
Succesvolle terminale embeddings worden geaggregeerd om een visueel doelprototype ( $z_{goal}$ ) te vormen. Om robuustheid te garanderen, clustert de methode succesvolle terminale embeddings met behulp van K-Means en selecteert de dominante modi (Top-K) om een statische, taakniveau doelconditie te berekenen. Deze aggregatie onderdrukt ruisende of zeldzame terminale observaties, wat resulteert in een stabiele representatie van de gewenste fysieke eindtoestand.
Stadium III: Backbone-Agnostische Doelinjectie
Tijdens de policy-training en inferentie wordt de huidige observatie gecodeerd in een uitkomst-embedding ( $z_t$ ). Deze wordt geconcateneerd met het vooraf berekende doelprototype ( $z_{goal}$ ) om een globale doel-feature te vormen ( $g_t = [z_t; z_{goal}]$ ). Deze feature wordt geïnjecteerd in de robot policy backbone (bijv. Diffusion Policy, MP1) via een conditionering-operator. De policy wordt vervolgens gestuurd om actie-chunks te genereren die de afstand tussen de huidige staat en de gewenste terminale staat minimaliseren. Deze module is ontworpen om compatibel te zijn met diverse policy backbones, inclusief diffusie- en flow-gebaseerde modellen.

Belangrijkste Bijdragen

Formulering van Outcome-Level Leren: Het artikel herformuleert visuele demonstratie-leren als de extractie van Common Outcome Regularities. In plaats van te worstelen met het mappen van expliciete acties over verschillende embodiments heen, extraheert CORE gedeelde structuren rechtstreeks uit succesvolle terminale toestanden.
Drie-stadium Framework: De auteurs stellen een nieuw proces voor dat action-free visuele data omzet in robuuste visuele doelcondities via terminale representatie-leren en prototype-constructie. Het ontwerp is backbone-agnostisch, waardoor naadloze integratie in diverse downstream policies mogelijk is.
Superioriteit ten opzichte van Taal-conditionering: Het werk demonstreert dat visuele doelprototypes concretere geometrische en fysieke beperkingen bieden dan tekstuele instructies, met name voor taken die een precieze afstemming van de terminale staat vereisen.

Experimentele Resultaten

De auteurs evalueerden CORE op twee simulatie-benchmarks (Meta-World en RoboTwin 2.0) en een real-world robotarm-opstelling (ARX R5).

Meta-World: CORE verbeterde het gemiddelde succespercentage van de MP1 backbone met +3,9% (van 81,7% naar 85,6%) en de DP3 backbone met +2,5% (van 81,5% naar 84,0%). De verbeteringen waren meer uitgesproken bij "Hard" en "Very Hard" taken. Tekst-geconditioneerde varianten vertoonden minimale winst in vergelijking.
RoboTwin 2.0: CORE leverde significante verbeteringen op, waarbij de MP1 backbone met +11,1% (naar 79,4%) en de DP3 backbone met +4,8% (naar 82,3%) werd verhoogd. In elke geëvalueerde taak behaalde ten minste één CORE-geïntegreerde policy het beste resultaat.
Real-World: Op een fysieke robot die contact-rijke taken uitvoert (bijv. lade-manipulatie, stapelen), verbeterde CORE het succespercentage van de MP1 backbone met +17,0% (van 69,0% naar 85,0%) en de DP3 met +17,0% (van 65,0% naar 82,0%). Tekst-geconditioneerde baselines boden verwaarloosbare verbeteringen in de real-world setting.
Ablatie-studies: Het verwijderen van hulp-losses ( $L_{ttg}, L_{term}$ ) of de huidige uitkomst-embedding ( $z_t$ ) leidde tot een significante degradatie van de prestaties, wat de noodzaak van het volledige drie-stadium ontwerp bevestigt. De studie toonde ook aan dat het leren van een gespecialiseerde terminale encoder beter presteert dan het gebruiken van bevroren, algemene visuele encoders (bijv. Uni3D).

Betekenis en Claims

Het artikel claimt dat de centrale uitdaging bij het benutten van menselijke video's niet enkel de beschikbaarheid van data is, maar het extraheren van supervisie die bruikbaar is voor robot-policies ondanks embodiment gaps. CORE pakt dit aan door de doelrepresentatie te verschuiven van "onderspecificeerde taal-intentie" naar "outcome-level doelcondities geïnduceerd uit succesvolle observaties."

De auteurs stellen dat door de focus op Common Outcome Regularities, het framework robots in staat stelt om overvloedige, action-free menselijke data te benutten zonder dat zij expliciete acties hoeven te herstellen of morfologische verschillen direct hoeven te overbruggen. De resultaten suggereren dat visuele doelprototypes een directer en fysiek gefundeerd signaal voor taakvoltooiing bieden dan taal, wat leidt tot robuustere manipulatie-policies, zelfs met beperkte robot-specifieke demonstratiegegevens.