A New Quaternion-Joint Cable-Driven Redundant Manipulator Configuration and its Control Through FABRIK and Residual Reinforcement Learning

Sintesi Tecnica: Una Nuova Configurazione di Manipolatore Ridondante a Cavi con Giunti Quaternionali e il suo Controllo tramite FABRIK e Reinforcement Learning Residuo

Problematica
I bracci robotici capaci di navigare percorsi spaziali arbitrari in spazi di lavoro altamente ostruiti sono critici per settori che vanno dalla riparazione di satelliti alla chirurgia. Sebbene i manipolatori a comando di cavi (CDRMs) offrano vantaggi in termini di riduzione del peso e flessibilità, le progettazioni tradizionali richiedono spesso $3N$ motori per ottenere $2N$ gradi di libertà (DOF). Recenti progressi nell'utilizzo di giunti quaternionali hanno ridotto questo rapporto a $2N$ motori per $2N$ DOF, consentendo strutture più compatte. Tuttavia, il controllo di questi sistemi rimane complesso. I modelli cinematici complessi dei giunti quaternionali impongono un elevato carico computazionale, e le non linearità intrinseche in questi sistemi amplificano le discrepanze tra il design e la fabbricazione fisica (ad esempio, imprecisioni di produzione, isteresi dei cavi). I metodi di controllo esistenti, come l'algoritmo Forward and Backward Reaching Inverse Kinematics (FABRIK), spesso faticano a raggiungere una robustezza di convergenza in ambienti non strutturati, a meno che la fabbricazione non sia vicina alla perfezione.

Metodologia
Gli autori propongono un nuovo design meccanico e una strategia di controllo ibrida per affrontare queste sfide.

1. Design Meccanico:

   • Il team ha sviluppato un manipolatore a 4 segmenti e 8 giunti. A differenza di configurazioni precedenti (ad esempio, Huang et al.) che utilizzavano 3 giunti per segmento (12 totali), questo design riduce il conteggio a 2 giunti per segmento.
   • Per compensare la riduzione del numero di giunti pur mantenendo lo spazio di lavoro, il design aumenta l'angolo di curvatura massimo per giunto da $\pm 40^\circ$ a $\pm 70^\circ$.
   • I giunti quaternionali sono modellati utilizzando parametri Denavit-Hartenberg (DH) adattati per meccanismi a giunto universale, con approssimazioni polinomiali per la direzione di curvatura ($\phi$) e l'angolo ($\theta$).

2. Strategie di Controllo:

   • Implementazione FABRIK: È stato implementato un modello di controllo basato su un modello di base. Lo stato del manipolatore viene convertito in un modello equivalente virtuale utilizzando vettori posizionali e direzionali. L'algoritmo esegue iterazioni interne (risolvendo 5 DOF tramite raggiungimento in avanti e all'indietro) e iterazioni esterne (risolvendo l'ultimo grado di libertà di rollio) per convergere su una posa target.
   • Reinforcement Learning Residuo (RRL): Per gestire le non linearità e gli errori di modellazione, è stato sviluppato un approccio di Reinforcement Learning Residuo.
     • Controller di Base: Un modello Forward profondo (rete neurale) combinato con un risolutore di Cinematica Inversa (IK) genera un comando nominale della lunghezza del cavo.
     • Policy Residua: Un agente RL (addestrato tramite Proximal Policy Optimization nel framework Brax) apprende un'azione "residua" correttiva da aggiungere al comando di base.
     • Architettura di Addestramento: Il sistema utilizza un setup asimmetrico actor-critic. L'Actor osserva solo i dati effettivamente disponibili (storia dei sensori, posa target, comando di base), mentre il Critic (utilizzato solo in simulazione) ha accesso a informazioni privilegiate (lunghezze reali dei tendini, velocità ed errori di ground-truth).
     • Simulazione-alla-Realtà: È stata applicata un'estesa Randomizzazione del Dominio (DR) al damping dei cavi, all'attrito e all'inerzia per colmare il divario sim-to-real.

Contributi Chiave

• Nuova Configurazione: Il design e l'implementazione di un manipolatore quaternionale a 4 segmenti e 8 giunti che ottiene uno spazio di lavoro comparabile ai design a 12 giunti, ma con una ridotta complessità hardware e costi inferiori.
• Modellazione Matematica: Un modello cinematico completo per il giunto quaternionale e il manipolatore multi-segmento, inclusa la derivazione di modelli vettoriali equivalenti per FABRIK.
• Framework di Controllo: Una descrizione completa sia del controllo FABRIK che di un'implementazione di Reinforcement Learning Residuo per questo specifico hardware.
• Validazione Sperimentale: Valutazione comparativa dei due metodi di controllo sia su prototipi simulati (MuJoCo) che fisici.

Risultati

• Spazio di Lavoro: Aumentando l'angolo di curvatura del giunto a $70^\circ$, il design a 8 giunti ha ottenuto con successo uno spazio di lavoro comparabile al baseline a 12 giunti, validando il compromesso tra numero di giunti e intervallo angolare.
• Performance FABRIK: L'algoritmo FABRIK ha raggiunto un tasso di successo del 70,4% con un tempo di calcolo medio di 0,0221s. Sebbene veloce, ha mostrato limitazioni nella robustezza rispetto ai metodi basati sull'apprendimento.
• Performance RRL: Il paper riporta che l'approccio di Reinforcement Learning Residuo supera FABRIK di tre ordini di grandezza in termini di accuratezza posizionale e orientativa.
  • Nota sulla Convergenza: Gli autori dichiarano esplicitamente che, sebbene l'architettura RRL sia funzionale e apprenda in modo monotono, la specifica policy addestrata in questo studio (50 milioni di step) non è giunta completamente a uno stato pronto per la distribuzione entro il budget sperimentale. La policy residua addestrata ha ridotto l'errore di posizione medio del 32% rispetto a una policy casuale, ma è rimasta inferiore al controller di base standalone valutato da fermo. Gli autori attribuiscono ciò all'elevata complessità di campionamento del PPO ad azioni continue sulle dinamiche rigide dei cavi e alla distribuzione di valutazione impegnativa.
• Deviazione Cinematica: L'analisi ha rivelato che, mentre il modello del giunto è ideale a bassi angoli, operare a $\pm 70^\circ$ introduce errori cinematici sistematici e prevedibili (deviazione ellittica dai percorsi circolari ideali), che il framework RRL è progettato per compensare.

Significatività e Rivendicazioni
Il paper sostiene che la proposta configurazione a 4 segmenti e 8 giunti offre una soluzione più efficace in termini di spazio di lavoro e più efficiente in termini di costi rispetto ai design precedenti. Dimostra che il Reinforcement Learning Residuo è un metodo valido e superiore per controllare tali manipolatori, capace di compensare le non linearità e le discrepanze di fabbricazione che affliggono i controller basati su modelli come FABRIK.

Gli autori pongono il loro lavoro come uno strumento per i progettisti che intendono sviluppare questa classe di manipolatori. Sottolineano che, sebbene il design meccanico e i risultati del controller di base siano robusti, il pieno potenziale della componente RRL richiede ulteriori risorse computazionali e la regolazione delle ricompense per raggiungere i livelli di accuratezza dimostrati dal controller di base in isolamento. Il lavoro serve come prova di concetto che l'infrastruttura di addestramento residuo opera correttamente e che i metodi basati sull'apprendimento sono necessari per compensare le non linearità meccaniche del mondo reale in sistemi ad alta precisione comandati da cavi.