Technische Samenvatting: Sequentiële Asymmetrische Imitatie voor het Leren van Gekoppelde Robotbeleid

Probleemstelling

Collaboratieve mobiele manipulatie waarbij twee robots fysiek gekoppeld zijn via gedeelde objecten (stijf of vervormbaar) vormt een coördinatieuitdaging die de individuele lokale vaardigheden overstijgt. Succes vereist een nauwkeurige afstemming van taalfasen, aanpassing aan vertragingen van de partner en het meeveren (yielding) tijdens interactieconflicten.

Bestaande benaderingen kampen met aanzienlijke knelpunten:

• Modelgebaseerde planning worstelt met vervormbare objecten, intermitterende contacten en niet-gemodelleerde dynamica.
• Multi-agent reinforcement learning lijdt onder schaarse beloningen en problemen bij de transfer van simulatie naar de werkelijkheid.
• Standaard imitation learning voor dual-robot taken vereist doorgaans gesynchroniseerde gezamenlijke demonstraties, waarbij twee operators beide robots gelijktijdig besturen met een nauwkeurige temporele uitlijning. Deze gegevensverzameling is kostbaar en vereist meerdere teleoperatiekanalen en gekalibreerde interfaces.

De kernvraag die wordt behandeld is: Kunnen gekoppelde dual-robot beleidsregels worden geleerd van single-teleoperator demonstraties zonder gesynchroniseerde dual-operator data, reinforcement learning of expliciete inter-robot communicatie?

Methodologie: Sequentiële Asymmetrische Imitatie (SAI)

De auteurs stellen Sequential Asymmetric Imitation (SAI) voor, een gefaseerd curriculum dat fysiek gekoppelde gedragingen leert met behulp van een enkele teleoperator. De methode deelt het leerproces van coördinatie op in drie asymmetrische stadia, waarbij de "partnerdistributie" die de robots waarnemen verschuift van compliante ondersteuning naar autonome interactie.

Het Drie-Stadia Curriculum

De volgorde van gegevensverzameling is gedefinieerd als: $D^{solo}_A \rightarrow D^{demo}_{B|A} \rightarrow D^{int}_A$.

1. Stadium 1: Bootstrapping van Robot A (Solo met menselijke ondersteuning)

   • Opzet: Robot A voert de taak uit terwijl een compliante mens of passieve partner de andere kant van het gedeelde object ondersteunt.
   • Techniek: Robot A leert basisvaardigheden voor taakuitvoering (grijpen, trekken, uitlijnen) via behavioral cloning.
   • Augmentatie: Om overfitting op het visuele uiterlijk van de menselijke partner te voorkomen, wordt partner-masking augmentatie toegepast. Het gebied van de ondersteunende partner in de frames wordt vervangen door gerandomiseerde perturbaties (kleurjitter, vervaging, ruis), waardoor de policy gedwongen wordt zich te concentreren op de staat van het object in plaats van de identiteit van de partner.
   • Resultaat: Een initieel beleid $\pi^{(1)}_A$ dat in staat is tot taakuitvoering met externe ondersteuning, maar die een gebrek heeft aan coördinatie met een autonome robot.

2. Stadium 2: Trainen van Robot B tegenover de Geïnstalleerde Robot A

   • Opzet: $\pi^{(1)}_A$ is bevroren en wordt ingezet op Robot A. Een enkele operator tele opereert Robot B terwijl deze interageert met de geïnstalleerde Robot A.
   • Techniek: Robot A wordt uitgevoerd met begrensde variaties (snelheidsschaal, actieruis, timingoffsets) om Robot B bloot te stellen aan realistische afwijkingen.
   • Resultaat: Robot B leert te compenseren voor de timing, het bewegingsprofiel en de residuele fouten van Robot A via behavioral cloning, wat resulteert in $\pi^{(2)}_B$. Dit stadium is asymmetrisch: Robot B leert tegenover het werkelijke geleerde gedrag van Robot A, niet tegenover een geïdealiseerde of gesynchroniseerde menselijke partner.

3. Stadium 3: DAgger-stijl Interventie Fine-tuning

   • Opzet: Zowel $\pi^{(1)}_A$ als $\pi^{(2)}_B$ worden samen ingezet.
   • Techniek: Een enkele operator voert sparse interventies uit op Robot A, enkel wanneer coördinatiefouten optreden (bijv. voortijdig trekken, falen in het meeveren, fase-mismatch). Dit volgt een DAgger-achtige aanpak waarbij de leerling staten induceert en correcties worden aangebracht nabij de grenzen van falen.
   • Verfijning: De interventie-dataset $D^{int}_A$ wordt samengevoegd met de oorspronkelijke solo-demonstraties. Interventies worden zwaarder gewogen om Robot A partner-contingente gedragingen te leren (wachten, meeveren, vertragen) terwijl de oorspronkelijke taakvaardigheden behouden blijven. Optionele actie-dimensie masking staat toe om specifieke componenten te corrigeren (bijv. basisbeweging) zonder andere te wijzigen.
   • Resultaat: Een verfijnd beleid $\pi^{(3)}_A$ dat zich heeft aangepast aan het autonome gedrag van Robot B.

Policy Instantiatie

SAI is een curriculum-agnostisch framework. In de experimenten wordt het geïnstantieerd met een decentrale ACT-stijl (Action Chunking Transformer) policy:

• Inputs: Lokale RGB-observaties (top-view en polscamera's), proprioceptie en vorige acties.
• Architectuur: Kenmerken worden geëxtraheerd via een bevroren DINOv3 backbone, gefuseerd met state-features, en gecodeerd door een GRU history window ($H=30$ stappen).
• Output: Een gecascadeerde action head voorspelt eerst basiscommando's ($v_x, v_y, \omega$), gevolgd door arm-commando's geconditioneerd op de basisvoorspelling. Dit zorgt voor base-arm consistentie.
• Constraint: Er wordt geen expliciete inter-robot communicatie, geprivilegieerde partnerstates of gecentraliseerde coördinatiesignalen gebruikt.

Belangrijkste Bijdragen

1. Sequential Asymmetric Imitation (SAI): Een single-teleoperator curriculum voor het leren van fysiek gekoppelde dual-robot beleid zonder gesynchroniseerde dual-operator data, RL of expliciete communicatie.
2. Partner-Distribution Curriculum: Bewijs dat het verschuiven van de trainingspartner van compliante ondersteuning $\to$ bevroren geleerd beleid $\to$ closed-loop robot-robot uitvoering fase-uitlijning en partner-contingent meeveren induceert.
3. Real-World Validatie: Empirisch bewijs dat SAI de taaksucces, fase-synchronisatie en meever-gedrag verbetert bij contactrijke taken met zowel stijve als vervormbare objecten, waarbij het superieur is aan onafhankelijke imitatie en curriculum-ablatie baselines.

Experimentele Resultaten

De methode werd geëvalueerd op vier real-world dual-robot taken: Bed-throw Spreading, Tablecloth Spreading, Laundry Collection en Painting Transport.

• Taaksucces & Coördinatie: SAI presteerde significant beter dan Independent Imitation (robots apart trainen) en Partner-Conditioned Imitation (trainen van B tegenover A, maar zonder Stadium 3 interventie).
  • Voorbeeld (Laundry Collection): SAI bereikte 70,0% succes versus 50,0% voor Independent Imitation en 63,3% voor Partner-Conditioned Imitation.
  • Yield/Wait Metric: SAI toonde een duidelijke verbetering in partner-contingent meeveren (bijv. 71,7% voor Laundry versus 31,7% voor Independent Imitation), wat aangeeft dat de robots leerden te vertragen of te pauzeren wanneer de partner vertraagd was.
• Robuustheid tegen Partnervertraging: In gecontroleerde delay-experimenten (Tablecloth Spreading) bleef Independent Imitation trekken ondanks dat de partner was gepauzeerd, wat leidde tot object-misalignement. SAI slaagde erin te vertragen en te wachten tot de partner herstelde.
• Policy Componenten: Ablatie-studies bevestigden dat temporele history tokens en gecascadeerde base-arm heads de executiebetrouwbaarheid verbeteren (verminderen van voortijdig loslaten en zakken), maar dat de coöperatieve winsten primair worden gedreven door het SAI data-curriculum.
• Backbone Compatibiliteit: SAI verbeterde de prestaties over verschillende imitation backbones (ACT en Diffusion Policy), wat bevestigt dat dit een bijdrage is van het data-curriculum en geen artefact van een specifieke decoder.

Betekenis en Claims

Het artikel claimt dat fysiek gekoppelde samenwerking geleerd kan worden door de structuur van het imitatiecurriculum in plaats van door gesynchroniseerde multi-operator demonstraties of expliciete coördinatiemechanismen.

• Impliciete Policy Koppeling: De resultaten suggereren dat "partner-responsieve coördinatie" kan ontstaan uit lokale observaties en gedeelde fysieke interactie wanneer de trainingsdistributie gestructureerd is om realistische partnergedragingen (vertragingen, mismatches) te bevatten.
• Praktische Bruikbaarheid: Door slechts één teleoperator te vereisen en complexe synchronisatiehardware of reinforcement learning te vermijden, biedt SAI een schaalbaarder pad voor de inzet van collaboratieve mobiele manipulatoren.
• Beperkingen: De auteurs merken op dat SAI ervan uitgaat dat robots nuttige standalone primitieven kunnen leren en dat falen gecorrigeerd kan worden via single-agent interventies. De huidige interventie-dataset is relatief klein (~30% van de baseline grootte), wat suggereën dat herstelgedrag nog niet verzadigd is en baat zou hebben bij meer gerichte gegevensverzameling rond zeldzame foutmodi.