💻 computer science

BEACON: Cross-Domain Co-Training of Generative Robot Policies via Best-Effort Adaptation

BEACON is een theoriegedreven raamwerk dat de robuustheid en data-efficiëntie van generatieve robotbeleid in cross-domein settings verbetert door co-training te benaderen als een discrepantiebewust belangshervetingsprobleem, dat gezamenlijk een op diffusie gebaseerd visuo-motorisch beleid en per-stuk brongewichten optimaliseert om de generalisatiefout in het doeldomein te minimaliseren.

Oorspronkelijke auteurs: Antong Zhang, Han Qi, Heng Yang

Gepubliceerd 2026-05-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Antong Zhang, Han Qi, Heng Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robotarm te leren blokken te stapelen. Je hebt twee soorten trainingsdata:

De "Bron"-data: Een enorme bibliotheek met video's die robots tonen die de taak uitvoeren in een perfecte, computergegenereerde wereld (simulatie). Er zijn duizenden van deze video's, maar de belichting, texturen en fysica zijn iets anders dan in de echte wereld.
De "Doel"-data: Een klein, kostbaar handjevol video's die een echte robot tonen die de taak uitvoert in je daadwerkelijke keuken. Deze zijn duur en moeilijk te verkrijgen, maar ze zijn de enige die echt tellen voor de uiteindelijke taak.

Het Probleem:
Als je gewoon alle computervideo's mengt met de paar echte video's en de robot gelijkwaardig leert van allemaal, raakt de robot in de war. De computerwereld is te verschillend van de echte wereld (verschillende wrijving, belichting, camerahoeken). De robot zou dan misschien perfect blokken kunnen stapelen in de simulatie, maar volledig falen in de echte keuken.

Als je alleen de paar echte video's gebruikt, leert de robot niet genoeg en faalt hij in het generaliseren.

De Oplossing: BEACON
Het artikel introduceert een nieuwe methode genaamd BEACON (Best-Effort Adaptation for Cross-Domain Co-Training). Denk aan BEACON niet als een leraar, maar als een slimme redacteur of een curator.

In plaats van elke trainingsvideo gelijk te behandelen, wijst BEACON een "relevantiescore" (een gewicht) toe aan elke afzonderlijke video in de enorme bibliotheek.

Het "Best-Effort"-idee: Het systeem vraagt: "Welke van deze duizenden nepvideo's lijken en voelen er eigenlijk uit als de paar echte video's die ik heb?"
Het redactieproces:
- Als een computervideo een robot toont die zich op een manier beweegt die zeer lijkt op de echte robot, geeft BEACON deze een hoge score. Het zegt: "Gebruik deze! Hij is nuttig!"
- Als een computervideo iets vreemds of onrealistisch toont (zoals een blok dat over ijs glijdt terwijl echte blokken over hout glijden), geeft BEACON deze een lage score (of nul). Het zegt: "Negeer deze. Het zal de robot in de war brengen."

Hoe het werkt (De magische truc):
Meestal proberen mensen de computerwereld en de echte wereld gelijk te maken door de kleuren of texturen te veranderen (zoals het plaatsen van een filter op een foto). BEACON doet iets anders.

Het probeert niet de werelden gelijk te laten lijken. In plaats daarvan selecteert het de specifieke momenten in de computerwereld die al nuttig zijn voor de echte wereld.

Analogie: Stel je voor dat je een specifiek gerecht leert koken. Je hebt één recept van je oma (de echte data) en duizend recepten van een beroemde tv-chef die andere ingrediënten gebruikt (de brondata).
- Oude manier: Je probeert de ingrediënten van de tv-chef te laten overeenkomen met die van je oma, of je mengt ze allemaal gewoon door elkaar.
- BEACON-methode: Je leest de duizend recepten van de tv-chef en pakt alleen de stappen eruit die overeenkomen met de techniek van je oma. Je negeert de rest. Je leert van de paar stappen van je oma, maar je vult de gaten aan met de beste overeenkomstige stappen van de tv-chef.

Het verrassende resultaat:
Het artikel vond dat door deze "slimme selectie" te doen, het brein van de robot (zijn neurale netwerk) van nature begon de echte wereld beter te begrijpen. Hoewel het systeem niet expliciet werd verteld om "kenmerken af te stemmen" of "patronen te matchen", zorgde de daad van het selecteren van de juiste data ervoor dat de robot automatisch de juiste patronen leerde. Het is als een student die alleen de meest relevante oefenvragen bestudeert en daardoor van nature de onderliggende logica van het vak begint te zien, zonder dat er een aparte les over "logica" nodig is.

Wat ze testten:
Ze testten dit op een robotarm die drie taken uitvoerde: blokken stapelen, mokken opruimen en een naald inslaan. Ze vergeleken BEACON met:

Het gebruik van alleen de paar echte video's.
Het gelijkmatig mengen van alle video's.
Het gebruik van andere methoden die proberen de computer- en echte werelden gelijk te laten lijken.

De uitkomst:
BEACON won consequent. De robot leerde sneller, gebruikte minder data uit de echte wereld en was veel robuuster wanneer de omgeving veranderde (zoals het verplaatsen van de camera of het veranderen van de textuur van de tafel). Het bewees dat het zijn als een slimme curator van data krachtiger is dan proberen de data gelijk te laten lijken.

Kortom:
BEACON is een raamwerk dat robots leert door te zeggen: "We hebben veel nepdata en een beetje echte data. Laten we de nepdingen die niet passen negeren, en ons intensief richten op de nepdingen die wel passen, zodat we de echte taak efficiënt kunnen leren."

Technische Samenvatting: BEACON

Probleemstelling

Robotleren via behavior cloning (BC) heeft aanzienlijke vooruitgang geboekt met sequentiemodellen zoals Diffusion Policies, maar een kritieke knelpunt blijft bestaan: beleidsplannen die in één domein (bron) zijn getraind, degraderen vaak bij inzet in een ander (doel), zelfs wanneer de taaksemantiek identiek is. Deze domeinkloven ontstaan door visuele discrepanties (textuur, verlichting, camerapositie) en fysieke mismatches (wrijving, contactdynamiek, actuatievertragingen). Hoewel het verzamelen van grootschalige doel-domeindatasets duur is en moeilijk schaalbaar, is brongegevens (bijvoorbeeld uit simulatie of menselijke demonstraties) overvloedig aanwezig maar vaak niet overeenkomend.

Bestaande aanpakken voor dit probleem vallen in twee categorieën:

Domeinrandomisatie: Verhoogt de diversiteit van de bron om robuustheid te verbeteren, maar aligneert distributies niet expliciet.
Domeinadaptatie: Aligneert bron- en doelrepresentaties expliciet (bijvoorbeeld via feature matching of adversarial training). Deze methoden vertrouwen echter vaak op heuristische doelstellingen, kunnen niet-visuele verschuivingen missen en worstelen met multi-broninstellingen waarbij bronnen onderling verschillen evenals van het doel.

De centrale vraag die in dit artikel wordt behandeld is: Hoe kunnen we overvloedige maar niet-overeenkomende bron-demonstraties benutten om generalisatie in het doeldomein te verbeteren, terwijl we de behoefte aan gelabelde doeldata minimaliseren, zonder te vertrouwen op heuristische aligneringsverliezen?

Methodologie: BEACON

De auteurs stellen BEACON (Best-Effort Adaptation for Cross-Domain Co-Training) voor, een theoriegedreven kader dat cross-domein co-training herdefinieert als een discrepantiebewust herwegingsprobleem.

Theoretische Grondslag

BEACON is gebaseerd op het Best-Effort Adaptation (BEA)-kader [23]. In plaats van naïef bron- en doeldata te mengen of feature-alignment af te dwingen, leert BEACON gezamenlijk een beleid $\pi_\theta$ en een set per-stichproefgewichten $q$ om een theoretisch afgeleide generalisatiegrens voor het doeldomein te minimaliseren.

De doelwitfunctie (Eq. 6) minimaliseert:
$\sum_{i=1}^{m+n} q_i (\ell_{BC}(\theta; x_i, y_i) + \lambda_d d_i) + \gamma \|q\|_\infty R(\theta) + \lambda_1 \|q - p_0\|_1 + \lambda_2 \|q\|_2^2$

Waarbij:

$\ell_{BC}$ het diffusion behavior cloning-verlies is.
$d_i$ een discrepantieterm is die bronstichproeven straft die niet overeenkomen met het doel.
$p_0$ een referentieweging is (doel-only empirische distributie).
De regularisatietermen ( $\lambda_1, \lambda_2$ ) ervoor zorgen dat de geleerde gewichten verankerd blijven bij de doel-distributie en degeneratieve oplossingen voorkomen.

Praktische Aanpassingen voor Robotica

Het toepassen van het oorspronkelijke BEA-kader op hoogdimensionale diffusion-beleidsplannen vereiste enkele belangrijke aanpassingen:

Discrepantieschatting op Niveaus van Instanties: In plaats van één domein-niveaustraf berekent BEACON een per-stichproef discrepantiescore $d_i$ . De standaard schatter maakt gebruik van k-Nearest Neighbors (k-NN) in de embeddingruimte van de visuele encoder van het beleid. Het meet de afstand van een bronstichproef tot zijn dichtstbijzijnde doelburen, genormaliseerd naar de spreiding binnen het doel. Dit stelt het systeem in staat om specifieke "uitbijter" brontrajecten die visueel of gedragsmatig incompatibel zijn met het doel, te identificeren en af te wegen, zelfs binnen één enkele simulator.
Stochastische Alternatieve Optimalisatie: Vanwege de rekenkosten van diffusion-modellen maakt BEACON gebruik van stochastische alternatieve updates in plaats van volledige-batch-minimalisatie. Het wisselt af tussen:
- Gewicht Update ( $q$ ): Een geprojecteerde subgradiëntstap gebaseerd op het verlies per voorbeeld en de discrepantie.
- Beleid Update ( $\theta$ ): Een AdamW-stap op het gewogen minibatch-verlies.
- Complexiteitsbeheersing: De oorspronkelijke op norm gebaseerde capaciteitscontrole wordt vervangen door optimizer-compatibele gewichtsverval ( $\gamma \|q\|_\infty R(\theta)$ ), waarbij de maximale stichproefgewicht wordt gekoppeld aan de regularisatiesterkte.
Multi-Bron Uitbreiding (MS-BEACON): Voor scenario's met heterogene brondomeinen (bijvoorbeeld meerdere simulators) introduceert de methode een tweeniveau-weegsysteem: een domein-niveau gewicht $w$ om nuttige brondomeinen te selecteren, en een instantie-niveau gewicht $\tilde{q}$ om niet-overeenkomende trajecten binnen elk domein te filteren.

Belangrijkste Bijdragen

Theoriegedreven Co-Training: BEACON is de eerste methode die het BEA-kader adapteert naar generatieve robotbeleidsplannen, waarbij direct een op discrepantie gebaseerde generalisatiegrens wordt geminimaliseerd in plaats van te vertrouwen op heuristische feature-alignment-verliezen.
Schaalbare Herweging op Instantie-niveau: De introductie van schaalbare, op instantie gebaseerde discrepantieschatters (k-NN in embeddingruimte) stelt de methode in staat om effectief om te gaan met hoogdimensionale sequentiebeleidsplannen en heterogene brongegevens.
Impliciete Feature Alignment: Het artikel toont aan dat feature alignment van nature voortkomt als een bijproduct van het discrepantiebewuste herwegingsdoel, zonder dat een expliciete aligneringsverliesterm vereist is.
Robuustheid bij Meerdere Bronnen: De MS-BEACON-uitbreiding balanceert heterogene brondomeinen effectief en mitigeert negatieve overdracht wanneer bronnen aanzienlijk van elkaar en van het doel verschillen.

Experimentele Resultaten

BEACON werd geëvalueerd op sim-naar-sim, sim-naar-real en multi-bron manipulatie-taken (blokken stapelen, mokken opruimen, draden inbrengen) op een Franka Emika Panda-robot.

Superieure Generalisatie: BEACON presteerde consequent beter dan baselines, waaronder Target-Only, co-training met vaste verhoudingen, en feature-alignment methoden (MMD, UOT).
- Bij sim-naar-sim (textuur- en gezichtsveldkloven) bereikte BEACON een gemiddeld slagingspercentage van 0,64 (textuurkloof) en 0,45 (textuur + gezichtsveld), waarmee het de volgende beste baseline (MMD) met een aanzienlijke marge overtrof.
- Bij sim-naar-real, waar Target-Only-beleidsplannen bijna faalden (0,10 gemiddeld succes), bereikte BEACON 0,77 gemiddeld succes, wat robuustheid aantoont tegen zowel visuele als fysieke kloven.
Robuustheid bij Out-of-Distribution (OOD): BEACON behield prestaties wanneer geëvalueerd op taakinstanties buiten de distributie van doeldemonstraties, terwijl feature-alignment baselines (zoals MMD) aanzienlijke degradatie leden.
Impliciete Alignment: UMAP-visualisaties bevestigden dat BEACON bron- en doel-laten features dichter bij elkaar brengt als gevolg van de herwegingsdynamiek, ondanks het ontbreken van een expliciete aligneringsverliesterm.
Data-efficiëntie: Het opschalen van doeldemonstraties verbeterde de prestaties van BEACON verder, wat aangeeft dat bronherweging de waarde van doeldata versterkt in plaats van deze te vervangen.

Betekenis en Beweringen

Het artikel beweert dat BEACON een complementair paradigma biedt ten opzichte van bestaande domeinadaptatiemethoden. In plaats van zich te richten op het forceren van latente ruimtes om te matchen (wat taakrelevante geometrie kan laten instorten), richt BEACON zich op het selecteren welke brontrajecten het leren van het doel moeten beïnvloeden.

De auteurs stellen dat:

Importance reweighting een fundamentelere ontwerphefboom is voor cross-domein robotleren dan de keuze waar representaties in een netwerk moeten worden gealigneerd.
Het verankeren van deze hefboom in generalisatietheorie concrete winsten oplevert in robuustheid en data-efficiëntie.
De methode bijzonder effectief is in regimes met weinig doeldata, waar het verzamelen van grote doeldatasets niet haalbaar is.

Het artikel erkent beperkingen, met name dat experimenten beperkt waren tot quasi-statische interacties en dat de aanname van schaarse real-world data mogelijk niet opgaat in toekomstige scenario's waar grote, heterogene real-world datasets beschikbaar zijn. De resultaten suggereren echter dat het voorgestelde herwegingsmechanisme een robuuste strategie blijft voor het hanteren van domeinverschuivingen.