Rainbow Deep Q-Learning with Kinematics-Aware Design for Cooperative Delta and 3-RRS Parallel Robot Insertion

Technische Samenvatting: Rainbow Deep Q-Learning met Kinematica-bewust Ontwerp voor Cooperatieve Insteek van Delta- en 3-RRS Parallelle Robots

Probleemstelling
Het artikel adresseert de uitdaging van cooperatieve pennen-in-gat manipulatie met een heterogeen paar parallelle robots: een Delta-manipulator (leverend drie translatievrijheidsgraden) en een 3-RRS-manipulator (Revolute–Revolute–Sferisch) (leverend twee rotatie- en één verticale translatievrijheidsgraad). De taak vereist precieze synchronisatie om een pen in een doelgat te steken op een koepelvormig platform dat wordt gedragen door de 3-RRS. De auteurs identificeren drie primaire uitdagingen: (1) de behoefte aan precieze temporele afstemming van translatie en rotatie onder dynamische omstandigheden; (2) de vereiste voor adaptatie aan veranderende relatieve posities zonder expliciete herprogrammering; en (3) de noodzaak om veilig beweging te handhaven binnen een beperkte werkruimte terwijl kinematische beperkingen worden gerespecteerd, specifiek het vermijden van singulariteiten en werkruimgrenzen die de regeling voor parallelle mechanismen compliceren.

Methodologie
De voorgestelde oplossing is een "kinematica-informeerd" Deep Reinforcement Learning (DRL)-kader dat een geometrisch ontwerp-optimatiefase integreert met een Rainbow Deep Q-Network (DQN).

1. Geometrische Optimalisatiefase: Voordat het leren begint, worden de geometrische parameters van de 3-RRS-manipulator geoptimaliseerd. Met behulp van een gradiëntvrije simplex-methode (Nelder–Mead) maximaliseren de auteurs het gebied van de singulariteitsvrije oriëntatiewerkruimte en verbeteren ze de conditienummer van de Jacobiaan. Deze fase vergroot het veilige gebied dat beschikbaar is voor de reinforcement learning-agent om te verkennen, waardoor de waarschijnlijkheid dat episodes eindigen door kinematische schendingen wordt verminderd.
2. Markov Beslissingsproces (MDP) Formulering: De cooperatieve taak wordt gemodelleerd als een MDP met een eindige horizon.
   • Toestandsruimte: Een 12-dimensionale vector bestaande uit de Cartesiaanse pose van het Delta-platform, de oriëntatie (roll/pitch) en verticale positie van het 3-RRS-platform, de relatieve verplaatsing tussen de punt van de pen en het doelgat, en de normaalvector van het doelgat.
   • Actieruimte: Een discrete set van 12 acties, bestaande uit positieve en negatieve incrementele commando's voor elk van de 6 gecontroleerde vrijheidsgraden (3 translaties voor Delta, 2 rotaties en 1 verticale translatie voor 3-RRS).
   • Beloningsfunctie: Een gevormde beloning combineert dichte nabijheidsrichtlijnen (afstand tot doel, incrementele vooruitgang), straffen voor werkruimte- of inverse kinematica (IK)-schendingen, en spaarzame bonussen voor succesvolle insteekbewegingen.
3. Leeralgoritme: De auteurs maken gebruik van Rainbow DQN, dat zes extensies integreert in standaard DQN: Double Q-learning (om over-schatting bias te verminderen), een Dueling-architectuur (gescheiden schatting van staat-waarde en voordeel), Prioritized Experience Replay (voor sample-efficiëntie), Multi-step returns (snellere beloningspropagatie), Noisy Linear Layers (voor staat-afhankelijke exploratie zonder $\epsilon$-greedy-schema's), en een Distributional Value Head.
4. Trainingsprotocol: Er wordt een twee-fasen curriculum gebruikt. De agent traint eerst op een subset van vier perifere gaten (Fase C0) en schakelt over naar alle zes gaten (Fase C1) zodra het voortschrijdend gemiddelde van het succespercentage 75% overschrijdt.

Belangrijkste Bijdragen
Het artikel schetst drie primaire bijdragen:

1. Sequentieel Co-Design Workflow: Een methodologie waarbij de 3-RRS-geometrie wordt geoptimaliseerd om de singulariteitsvrije werkruimte te maximaliseren en de conditionering te verbeteren voordat DRL-training begint. Dit vergroot het veilige verkenningsgebied voor het heterogene Delta + 3-RRS-paar.
2. Taak-specifieke Rainbow DQN Formulering: Een unificerend kader met een 12-dimensionale staat, een discrete actieset van 12 incrementele commando's, en een beloningsfunctie die expliciet kinematische kennis (werkruimtebeperkingen en IK-geldigheid) incorporeert voor dichte vormgeving.
3. Uitgebreide Simulatiestudie: Een ablatiestudie die de impact evalueert van individuele Rainbow DQN-componenten en de geometrische optimalisatiefase, gebenchmarkt tegen een Vanilla DQN en een klassieke op steekproeven gebaseerde planner (RRT-Connect).

Resultaten
Validatie werd uitgevoerd in een kinematische simulator met hoge fideliteit met behulp van een aangepaste Python-omgeving. De resultaten, gemiddeld over 100 test-episodes met 5 zaden, tonen aan:

• Prestatie-uperioriteit: De Rainbow DQN-benadering behaalde een 95% ± 2% succespercentage, wat significant beter is dan de Vanilla DQN (68% ± 5%) en de klassieke RRT-Connect planner (55% ± 4%).
• Efficiëntie: De voorgestelde methode verlaagde de gemiddelde voltooingstijd naar 7,1 seconden (tegenover 9,8s voor Vanilla DQN en 12,4s voor de planner) en behaalde een lagere RMS-trajectfout (1,5 mm).
• Ablatiebevindingen:
  • Het verwijderen van Prioritized Replay of de Dueling Head resulteerde in de meest significante prestatiedalingen (succespercentages dalend naar respectievelijk 82% en 85%).
  • De Geometrische Optimalisatie-fase bleek het aantal omgevingsstappen nodig om 75% succes te bereiken met ongeveer een derde te verminderen (van $11,2 \times 10^5$ naar $7,6 \times 10^5$ stappen) en elimineerde volledig terminaties gerelateerd aan singulariteiten tijdens training.
• Robuustheid: Het beleid behield een succespercentage van 88% wanneer het tijdens het testen werd blootgesteld aan Gaussisch ruis (1% van het genormaliseerde statebereik).

Betekenis en Claims
Het artikel claimt dat de integratie van geometrische optimalisatie met kinematica-informeerd DRL een robuuste oplossing biedt voor cooperatieve manipulatie in beperkte, singulariteitsgevoelige omgevingen. De auteurs stellen dat de pre-training geometrische optimalisatie niet slechts een ontwerpstap is, maar een kritieke mogelijkmaker die de sample-complexiteit vermindert en trainingsfouten veroorzaakt door kinematische singulariteiten voorkomt.

Het werk positioneert zichzelf als een stap naar adaptieve, datagedreven beleidssynthese voor multi-robotsystemen waar expliciete planningspijplijnen worstelen met dynamische coördinatie en strakke toleranties. De auteurs merken expliciet beperkingen op, waaronder de afhankelijkheid van simulatie (gebrek aan hardware-validatie), het gebruik van een discrete actieruimte die de gladheid van trajecten kan beperken, en het gecentraliseerde karakter van de regelaar. Zij identificeren hardware-validatie, extensies naar continue acties (bijv. SAC, PPO) en gedecentraliseerde multi-agent formuleringen als noodzakelijke toekomstige richtingen.