A New Quaternion-Joint Cable-Driven Redundant Manipulator Configuration and its Control Through FABRIK and Residual Reinforcement Learning

Technische Samenvatting: Een nieuwe quaternion-gearticuleerde kabelgestuurde redundante manipulatorconfiguratie en de besturing ervan via FABRIK en Residual Reinforcement Learning

Probleemstelling
Robotarmen die in staat zijn om door willekeurige ruimtelijke paden te navigeren in sterk geobstrueerde werkomgevingen, zijn cruciaal voor sectoren variërend van satellietreparatie tot chirurgie. Hoewel kabelgestuurde redundante manipulatoren (Cable-Driven Redundant Manipulators, CDRM's) voordelen bieden op het gebied van gewichtsreductie en flexibiliteit, vereisen traditionele ontwerpen vaak $3N$ motoren om $2N$ vrijheidsgraden (DOF) te bereiken. Recente ontwikkelingen met behulp van quaternion-gewrichten hebben dit teruggebracht naar $2N$ motoren voor $2N$ DOF, wat compactere structuren mogelijk maakt. Het besturen van deze systemen blijft echter uitdagend. De complexe kinematische modellen van quaternion-gewrichten leggen hoge computationele eisen op, en de niet-lineariteiten die inherent zijn aan deze systemen vergroten de discrepanties tussen ontwerp en fysieke fabricage (bijv. fabricage-imprecisie, kabelhysteresis). Bestaande besturingsmethoden, zoals het Forward and Backward Reaching Inverse Kinematics (FABRIK) algoritme, worstelen vaak met de robuustheid van de convergentie in ongestructureerde omgevingen, tenzij de fabricage nagenoeg perfect is.

Methodologie
De auteurs stellen een nieuw mechanisch ontwerp en een hybride besturingsstrategie voor om deze uitdagingen aan te pakken.

1. Mechanisch Ontwerp:

   • Het team heeft een 4-segment, 8-gewricht manipulator ontwikkeld. In tegenstelling tot eerdere configuraties (bijv. Huang et al.) die 3 gewrichten per segment gebruikten (totaal 12), vermindert dit ontwerp het aantal naar 2 gewrichten per segment.
   • Om het verminderde aantal gewrichten te compenseren terwijl het werkbereik behouden blijft, vergroot het ontwerp de maximale buighoek per gewricht van $\pm 40^\circ$ naar $\pm 70^\circ$.
   • De quaternion-gewrichten worden gemodelleerd met Denavit-Hartenberg (DH) parameters aangepast voor universele gewrichtsmechanismen, met polynoombenaderingen voor de buigrichting ($\phi$) en hoek ($\theta$).

2. Besturingsstrategieën:

   • FABRIK Implementatie: Een baseline model-gebaseerde controller is geïmplementeerd. De staat van de manipulator wordt omgezet in een virtueel equivalent model met behulp van positionele en directionele vectoren. Het algoritme voert innerlijke iteraties uit (het oplossen van 5 DOF via forward en backward reaching) en uiterlijke iteraties (het oplossen van de laatste roll-vrijheidsgraad) om te convergeren naar een doelpose.
   • Residual Reinforcement Learning (RRL): Om niet-lineariteiten en modelleringsfouten aan te pakken, is een Residual Reinforcement Learning benadering ontwikkeld.
     • Base Controller: Een diep Forward Model (neuraal netwerk) gecombineerd met een Inverse Kinematics (IK) solver genereert een nominaal commando voor de kabellengte.
     • Residual Policy: Een RL-agent (getraind via Proximal Policy Optimization in het Brax-framework) leert een corrigerende "residual" actie die toegevoegd moet worden aan het base commando.
     • Trainingsarchitectuur: Het systeem gebruikt een asymmetrische actor-critic opstelling. De Actor observeert alleen in de echte wereld beschikbare data (sensorhistorie, doelpose, base commando), terwijl de Critic (alleen gebruikt in simulatie) toegang heeft tot geprivilegieerde informatie (ware peeslengtes, snelheden en grondwaarheid-fouten).
     • Simulatie-naar-Realiteit: Uitgebreide Domain Randomization (DR) is toegepast op kabeldemping, wrijving en traagheid om de sim-to-real kloof te overbruggen.

Belangrijkste Bijdragen

• Nieuwe Configuratie: Het ontwerp en de implementatie van een 4-segment, 8-gewricht quaternion manipulator die een vergelijkbaar werkbereik bereikt als 12-gewricht ontwerpen, maar met een verminderde hardwarecomplexiteit en lagere kosten.
• Wiskundige Modellering: Een volledig kinematisch model voor het quaternion-gewricht en de multi-segment manipulator, inclusief de afleiding van equivalente vectormodellen voor FABRIK.
• Control Framework: Een uitgebreide beschrijving van zowel de FABRIK-besturing als een Residual Reinforcement Learning implementatie voor deze specifieke hardware.
• Experimentele Validatie: Vergelijkende evaluatie van de twee besturingsmethoden op zowel gesimuleerde (MuJoCo) als fysieke prototypes.

Resultaten

• Werkbereik: Door de buighoek van de gewrichten te verhogen naar $70^\circ$, heeft het 8-gewricht ontwerp succesvol een werkbereik bereikt dat vergelijkbaar is met de 12-gewricht baseline, wat de afweging tussen het aantal gewrichten en de hoekbereik valideert.
• FABRIK Prestaties: Het FABRIK-algoritme behaalde een succespercentage van 70,4% met een gemiddelde rekentijd van 0,0221s. Hoewel snel, vertoonde het beperkingen in robuustheid vergeleken met leergebaseerde methoden.
• RRL Prestaties: Het artikel rapporteert dat de Residual Reinforcement Learning benadering FABRIK verslaat met drie grootheden in positionele en oriëntatie-accuratesse.
  • Opmerking over Convergentie: De auteurs stellen expliciet dat hoewel de RRL-architectuur functioneel is en monotoon leert, de specifieke policy die in deze studie is getraind (50 miljoen stappen) niet volledig is geconvergeerd naar een inzetbare staat binnen het experimentele budget. De getrainde residual policy verminderde de gemiddelde positiefout met 32% ten opzichte van een random policy, maar bleef slechter dan de standalone base controller geëvalueerd vanuit rust. De auteurs schrijven dit toe aan de hoge steekproefcomplexiteit van continue actie PPO op stijve kabeldynamica en de veeleisende evaluatieverdeling.
• Kinematische Afwijking: Analyse toonde aan dat hoewel het gewachtsmodel ideaal is bij lage hoeken, het werken bij $\pm 70^\circ$ systematische, voorspelbare kinematische fouten introduceert (elliptische afwijking van ideale cirkelvormige paden), waarvoor het RRL-framework is ontworpen om te compenseren.

Betekenis en Claims
Het artikel claimt dat de voorgestelde 4-segment, 8-gewricht configuratie een meer werkbereik-effectieve en kostenefficiënte oplossing biedt dan eerdere ontwerpen. Het demonstreert dat Residual Reinforcement Learning een levensvatbare en superieure methode is voor het besturen van dergelijke manipulatoren, in staat om de niet-lineariteiten en fabricageverschillen te compenseren die modelgebaseerde controllers zoals FABRIK teisteren.

De auteurs positioneren hun werk als een middel om ontwerpers nieuwe instrumenten te bieden voor de ontwikkeling van deze klasse manipulatoren. Ze benadrukken dat hoewel het mechanische ontwerp en de base controller resultaten robuust zijn, het volledige potentieel van de RRL-component verdere computationele middelen en beloningsafstemming vereist om de nauwkeurigheidsniveaus te bereiken die de base controller in isolatie demonstreert. Het werk dient als een bewijs van concept dat de residual training infrastructuur correct werkt en dat leergebaseerde methoden noodzakelijk zijn voor het compenseren van real-world mechanische niet-lineariteiten in precisie-gevoelige kabelgestuurde systemen.