Technische Samenvatting: Tri-manuele Visuomotorische Imitatieleer van Robotbeleid

Probleemstelling

Standaard bimanuele teleoperatie gaat uit van een één-op-één koppeling tussen de twee handen van een operator en de twee eindeffectoren van een robot. Deze aanname faalt bij tri-manuele systemen, waarbij een robot drie armen heeft maar een enkele menselijke operator slechts continu twee kanalen tegelijkertijd kan aansturen. Om taken voor drie armen te demonstreren, moeten operators gebruikmaken van paarwijze moduswisselingen, waardoor onafhankelijke bewegingen die anders gelijktijdig zouden kunnen plaatsvinden, geserialiseerd worden.

Wanneer imitatieleerbeleid (bijv. via behavior cloning) wordt getraind op dergelijke data, leert het beleid vaak de door de interface opgelegde vertragingen in plaats van de intrinsieke vereisten van de taak. De robot kan onnodige wachttijden reproduceren waarbij één arm inactief blijft terwijl de operator de controle wisselt naar een ander paar, zelfs wanneer de taakgeometrie gelijktijdige uitvoering zou toestaan. De kernuitdaging is het scheiden van de gedemonstreerde lokale bewegingen (die geldig zijn) van de verzamelingstiming (die suboptimaal is vanwege interface-beperkingen) om synchrone drie-armige controle mogelijk te maken.

Methodologie: TriManPolicy en DATS

De auteurs stellen TriManPolicy voor, een systeem dat een enkele operator in staat stelt om tri-manuele gedragingen te demonstreren door de bewegingsinhoud los te koppelen van de globale timing. De systeempipeline bestaat uit drie hoofdfasen:

1. Modus-gewisselde Demonstratieverzameling

Operators besturen op elk gegeven moment twee van de drie armen (Links, Rechts of Overig), waarbij ze wisselen tussen paren ({LR, LO, RO}) naar behoefte. Alle robottoestanden, observaties en commando's worden onder een verenigde klok gelogd, waarbij de actieve teleoperatie-paar op elk tijdstip wordt geregistreerd.

2. Subtaak Annotatie en Graafconstructie

Voor elke opgenomen episode stelt een Vision-Language Model (VLM) segmentgrenzen, vereiste armen en predecessor-relaties voor. Menselijke annotatoren beoordelen en verfijnen deze tot een taakgraaf $G_n = (V_n, E_n)$, waarbij:

• Knopen ($V_n$): Temporeel gelokaliseerde subtaken vertegenwoordigen met vaste duur, vereiste armensets en optionele semantische labels.
• Randen ($E_n$): Finish-to-start afhankelijkheden (taakvoorwaarden) en resource-beperkingen coderen (bijv. een arm kan niet door twee segmenten tegelijkertijd worden gebruikt).
• Belangrijk onderscheid: De graaf maakt onderscheid tussen taakvereiste ordeningen (die behouden moeten blijven) en interface-geïnduceerde serialisaties (die kunnen worden versoepeld).

3. Afhankelijkheidsbewuste Tri-arm Planning (DATS)

De kerninnovatie, DATS, behandelt de her-tijding van demonstraties als een beperkt planningsprobleem (constrained scheduling). Het neemt de vastgestelde duur van de sensorimotorische segmenten en herpositioneert deze op een nieuwe globale tijdlijn om de episode makespan te minimaliseren, terwijl het voldoet aan:

• Precedence Constraints: Als segment $A$ aan $B$ vooraf moet gaan, moet $A$ eindigen voordat $B$ begint.
• Resource Exclusivity: Een enkele arm kan niet twee segmenten simultaan uitvoeren.
• Doel: Maximaliseer de concurrentie van segmenten met verschillende armen die geen afhankelijkheidspad hebben, wat effectief de demonstratie "paralleliseert".

Her-tijdingsproces:
DATS berekent een optimaal schema met behulp van CP-SAT (Google OR-Tools). Het past een voorwaartse tijdkaart toe om de tijdstempels van alle berichten binnen een segment te verschuiven met een constante offset. Dit behoudt de lokale sensorimotorische timing binnen elk segment, terwijl de globale uitlijning tussen de armen wordt gewijzigd. De resulterende her-tijdige data traint een enkel synchroon beleid dat alle drie de armen gezamenlijk aanstuurt.

4. Beleidsleren

Het systeem traint een action-chunked transformer policy. Gegeven een observatie $o_t$, voorspelt het beleid een horizon-$H$ sequentie van gesynchroniseerde acties voor alle drie de armen. Cruciaal is dat het trainingsdoel dezelfde verliesfunctie minimaliseert voor zowel ruwe als DATS-data, maar de gezamenlijke supervisievensters verschillen: DATS plaatst compatibele cross-arm targets binnen hetzelfde trainingsvenster, terwijl ruwe data vaak progressie in de ene arm koppelt aan een 'idle hold' in andere armen.

Belangrijkste Bijdragen

1. Probleemformulering: Breidt teleoperatie-imitatieleer uit naar settings waar de manipulatiekanalen van de robot de gelijktijdige controlecapaciteit van de operator overtreffen, specifiek geformuleerd voor drie samenwerkende armen.
2. DATS Algoritme: Introduceert een op planning gebaseerde aanpak voor het her-tijden van demonstraties. Het behoudt taakafhankelijkheden en arm-resource beperkingen terwijl het interface-geïnduceerde serialisaties versoepelt, waardoor onafhankelijke armbewegingen kunnen overlappen.
3. Systeemevaluatie: Traint en evalueert synchrone drie-arm beleid over zes uitdagende real-world taken, waarbij wordt aangetoond dat her-tijdige data leidt tot snellere uitvoering zonder succespercentages op te offeren.

Experimentele Resultaten

Het systeem werd geëvalueerd op zes real-world taken (bijv. TowelHang, BinTowel, BagTape) met behulp van 237 bewerkte demonstraties en 300 real-robot trials (25 trials per taak per conditie).

• Succespercentages: DATS-getrainde beleidsregels behaalden gelijke of hogere succescounts vergeleken met de baseline (Raw) beleidsregels over alle zes de taken.
• Voltooiingstijd: DATS-beleidsregels verminderden de gemiddelde voltooiingstijd voor succesvolle trials op elke taak aanzienlijk, met reducties variërend van 31,3% tot 49,9%. De geaggregeerde macro-gemiddelde tijd daalde van 83,1s (Baseline) naar 47,8s (DATS).
• Offline Analyse:
  • Duur: In sommige taken (bijv. TowelHang, BinTowel) verkortte DATS de episode-tijdlijn door rustintervallen te verwijderen.
  • Co-Window Dekking: In alle taken verhoogde DATS de co-window dekking (het deel van de in aanmerking komende cross-arm segmentparen dat in hetzelfde trainingsvenster verschijnt) aanzienlijk. Bijvoorbeeld, in TrayWipe sprong de dekking van ~9,5% (Raw) naar ~71,2% (DATS) met een verwaarloosbare verandering in totale duur. Dit geeft aan dat DATS succesvol verandert wat het beleid gelijktijdig leert te doen, niet alleen hoe snel het het doet.

Betekenis en Claims

Het artikel beweert dat supervisietiming een kritieke factor is in tri-manuele imitatieleer. Door de moduswissel-staging te behandelen als een eigenschap van de trainings-tijdlijn in plaats van een beperking die het ingezette beleid moet erven, stelt TriManPolicy een enkele operator in staat om complexe, gelijktijdige drie-arm gedragingen te demonstreren.

De auteurs benadrukken dat:

• De lokale sensorimotorische inhoud van demonstraties geldig en nuttig blijft, zelfs wanneer de globale timing suboptimaal is.
• DATS effectief de globale timing reconstrueert om aan te sluiten bij taakafhankelijkheden en beschikbare resources, waardoor het beleid onnodige vertragingen leert te voorkomen.
• De aanpak geen afhankelijkheidsgraaf of scheduler vereist tijdens de inzet; het geleerde beleid werkt direct op live, synchrone observaties, nadat het de gelijktijdige executiepatronen tijdens de training heeft geïnternaliseerd.

De resultaten tonen aan dat het scheiden van demonstratie-inhoud van de verzamelingstiming efficiënte, synchrone tri-manuele controle mogelijk maakt met data die verzameld is via standaard paarwijze teleoperatie.