Rainbow Deep Q-Learning with Kinematics-Aware Design for Cooperative Delta and 3-RRS Parallel Robot Insertion

Sintesi Tecnica: Rainbow Deep Q-Learning con Design Consapevole della Cinematica per l'Inserimento Cooperativo tra Robot Delta e 3-RRS Paralleli

Enunciato del Problema
Il documento affronta la sfida della manipolazione cooperativa di tipo "peg-in-hole" (spinotto-in-foro) utilizzando una coppia eterogenea di robot paralleli: un manipolatore Delta (che fornisce tre gradi di libertà traslazionali) e un manipolatore 3-RRS (Revolute–Revolute–Spherical) (che fornisce due gradi di libertà rotazionali e uno traslazionale verticale). Il compito richiede una sincronizzazione precisa per inserire uno spinotto in un foro target su una piattaforma a forma di cupola trasportata dal 3-RRS. Gli autori identificano tre sfide principali: (1) la necessità di un allineamento temporale preciso tra traslazione e rotazione in condizioni dinamiche; (2) il requisito di adattamento a pose relative variabili senza riprogrammazione esplicita; e (3) la necessità di mantenere un movimento sicuro all'interno di uno spazio di lavoro confinato rispettando i vincoli cinematici, in particolare evitando singolarità e i confini dello spazio di lavoro che complicano il controllo per i meccanismi paralleli.

Metodologia
La soluzione proposta è un framework di Apprendimento per Rinforzo Profondo (DRL) "informato dalla cinematica" che integra una fase di ottimizzazione geometrica del design con una Rainbow Deep Q-Network (DQN).

1. Fase di Ottimizzazione Geometrica: Prima dell'inizio dell'apprendimento, i parametri geometrici del manipolatore 3-RRS vengono ottimizzati. Utilizzando un metodo simplex privo di gradienti (Nelder–Mead), gli autori massimizzano l'area dello spazio di lavoro orientativo privo di singolarità e migliorano il numero di condizione della matrice Jacobiana. Questa fase amplia la regione sicura disponibile per l'agente di apprendimento per rinforzo esplorare, riducendo la probabilità che le episode terminino a causa di violazioni cinematiche.
2. Formulazione del Processo Decisionale di Markov (MDP): Il compito cooperativo è modellato come un MDP a orizzonte finito.
   • Spazio degli Stati: Un vettore a 12 dimensioni composto dalla posa cartesiana della piattaforma Delta, dall'orientamento (rollio/inclinazione) e dalla posizione verticale della piattaforma 3-RRS, dallo spostamento relativo tra la punta dello spinotto e il foro target, e dal vettore normale del foro target.
   • Spazio delle Azioni: Un insieme discreto di 12 azioni, costituito da comandi incrementali positivi e negativi per ciascuno dei 6 gradi di libertà controllati (3 traslazioni per il Delta, 2 rotazioni e 1 traslazione verticale per il 3-RRS).
   • Funzione di Ricompensa: Una ricompensa modellata combina una guida densa basata sulla prossimità (distanza dal target, progresso incrementale), penalità per violazioni dello spazio di lavoro o della cinematica inversa (IK), e bonus sparsi per inserimenti riusciti.
3. Algoritmo di Apprendimento: Gli autori impiegano Rainbow DQN, che integra sei estensioni alla DQN standard: Double Q-learning (per ridurre il bias di sovrastima), un'architettura Dueling (separazione della stima del valore di stato e del vantaggio), Prioritized Experience Replay (per l'efficienza del campionamento), Ritorni Multi-step (propagazione più rapida della ricompensa), Strati Lineari Rumorosi (per esplorazione dipendente dallo stato senza schedule $\epsilon$-greedy) e una Testa di Valore Distribuita.
4. Protocollo di Addestramento: Viene utilizzato un curriculum a due stadi. L'agente si allena inizialmente su un sottoinsieme di quattro fori periferici (Stadio C0) e passa a tutti e sei i fori (Stadio C1) una volta che il tasso di successo a media mobile supera il 75%.

Contributi Chiave
Il documento delinea tre contributi principali:

1. Flusso di Lavoro di Co-Design Sequenziale: Una metodologia in cui la geometria del 3-RRS viene ottimizzata per massimizzare lo spazio di lavoro privo di singolarità e migliorare la condizione prima dell'addestramento DRL. Questo amplia la regione di esplorazione sicura per la coppia eterogenea Delta + 3-RRS.
2. Formulazione Task-Specifica di Rainbow DQN: Un framework unificato caratterizzato da uno stato a 12 dimensioni, un insieme di azioni discrete di 12 comandi incrementali e una funzione di ricompensa che incorpora esplicitamente la conoscenza cinematica (vincoli dello spazio di lavoro e validità IK) per una modellazione densa.
3. Studio di Simulazione Completo: Uno studio di ablazione che valuta l'impatto dei singoli componenti di Rainbow DQN e della fase di ottimizzazione geometrica, confrontandoli con una Vanilla DQN e un pianificatore classico basato sul campionamento (RRT-Connect).

Risultati
La validazione è stata eseguita in un simulatore cinematico ad alta fedeltà utilizzando un ambiente Python personalizzato. I risultati, mediati su 100 episode di test con 5 semi, dimostrano:

• Superiorità delle Prestazioni: L'approccio Rainbow DQN ha raggiunto un tasso di successo del 95% ± 2%, superando significativamente la Vanilla DQN (68% ± 5%) e il pianificatore classico RRT-Connect (55% ± 4%).
• Efficienza: Il metodo proposto ha ridotto il tempo medio di completamento a 7,1 secondi (contro 9,8s per la Vanilla DQN e 12,4s per il pianificatore) e ha raggiunto un errore RMS della traiettoria inferiore (1,5 mm).
• Risultati dell'Ablazione:
  • La rimozione del Replay Prioritario o della Testa Dueling ha comportato i cali di prestazioni più significativi (i tassi di successo sono scesi rispettivamente all'82% e all'85%).
  • La fase di Ottimizzazione Geometrica ha dimostrato di ridurre il numero di passi dell'ambiente necessari per raggiungere il 75% di successo di circa un terzo (da $11,2 \times 10^5$ a $7,6 \times 10^5$ passi) ed ha eliminato completamente le terminazioni legate alle singolarità durante l'addestramento.
• Robustezza: La politica ha mantenuto un tasso di successo dell'88% quando sottoposta a rumore gaussiano (1% dell'intervallo normalizzato dello stato) durante i test.

Significato e Affermazioni
Il documento afferma che l'integrazione dell'ottimizzazione geometrica con il DRL informato dalla cinematica fornisce una soluzione robusta per la manipolazione cooperativa in ambienti vincolati e soggetti a singolarità. Gli autori affermano che l'ottimizzazione geometrica pre-addestramento non è meramente un passo di progettazione, ma un abilitatore critico che riduce la complessità del campione e previene i fallimenti dell'addestramento causati da singolarità cinematiche.

Il lavoro si posiziona come un passo verso la sintesi adattiva, basata sui dati, di politiche per sistemi multi-robot, dove le pipeline di pianificazione esplicite faticano a gestire il coordinamento dinamico e le tolleranze strette. Gli autori notano esplicitamente le limitazioni, inclusa la dipendenza dalla simulazione (mancanza di validazione hardware), l'uso di uno spazio di azioni discrete che potrebbe limitare la fluidità della traiettoria e la natura centralizzata del controllore. Identificano la validazione hardware, le estensioni ad azioni continue (ad es. SAC, PPO) e le formulazioni decentralizzate multi-agente come direzioni future necessarie.