A New Quaternion-Joint Cable-Driven Redundant Manipulator Configuration and its Control Through FABRIK and Residual Reinforcement Learning

Resumo Técnico: Uma Nova Configuração de Manipulador Redundante de Acionamento por Cabos com Juntas de Quatérnio e seu Controle através de FABRIK e Aprendizado por Reforço Residual

Problema
Braços robóticos capazes de navegar em trajetórias espaciais arbitrárias em espaços de trabalho altamente obstruídos são críticos para indústrias que variam desde o reparo de satélites até a cirurgia. Embora os Manipuladores Redundantes Acionados por Cabos (CDRMs) ofereçam vantagens em redução de peso e flexibilidade, os designs tradicionais frequentemente exigem $3N$ motores para alcançar $2N$ graus de liberdade (DOF). Avanços recentes utilizando juntas de quatérnio reduziram isso para $2N$ motores para $2N$ DOF, permitindo estruturas mais compactas. No entanto, controlar esses sistemas continua sendo um desafio. Os modelos cinemáticos complexos das juntas de quatérnio impõem altas demandas computacionais, e as não-linearidades inerentes a esses sistemas amplificam as discrepâncias entre o design e a fabricação física (ex: imprecisão de manufatura, histerese do cabo). Os métodos de controle existentes, como o algoritmo de Alcance Inverso Direto e Reverso (FABRIK), frequentemente lutam com a robustez de convergência em ambientes não estruturados, a menos que a fabricação seja quase perfeita.

Metodologia
Os autores propõem um novo design mecânico e uma estratégia de controle híbrida para abordar esses desafios.

1. Design Mecânico:

   • A equipe desenvolveu um manipulador de 4 segmentos e 8 juntas. Diferente de configurações anteriores (ex: Huang et al.) que utilizavam 3 juntas por segmento (12 no total), este design reduz a contagem para 2 juntas por segmento.
   • Para compensar a redução na contagem de juntas enquanto mantém o espaço de trabalho, o design aumenta o ângulo de flexão máximo por junta de $\pm 40^\circ$ para $\pm 70^\circ$.
   • As juntas de quatérnio são modeladas usando parâmetros de Denavit-Hartenberg (DH) adaptados para mecanismos de junta universal, com aproximações polinomiais para a direção de flexão ($\phi$) e o ângulo ($\theta$).

2. Estratégias de Controle:

   • Implementação FABRIK: Um modelo controlador baseado em modelo de linha de base foi implementado. O estado do manipulador é convertido em um modelo equivalente virtual usando vetores posicionais e direcionais. O algoritmo realiza iterações internas (resolvendo 5 DOF via alcance direto e reverso) e iterações externas (resolvendo o grau de liberdade de rolagem final) para convergir em uma pose alvo.
   • Aprendizado por Reforço Residual (RRL): Para lidar com não-linearidades e erros de modelagem, um método de Aprendizado por Reforço Residual foi desenvolvido.
     • Controlador de Base: Um modelo direto profundo (rede neural) combinado com um resolvedor de Cinemática Inversa (IK) gera um comando de comprimento de cabo nominal.
     • Política Residual: Um agente de RL (treinado via Otimização de Política Próxima no framework Brax) aprende uma ação de correção "residual" para adicionar ao comando de base.
     • Arquitetura de Treinamento: O sistema utiliza uma configuração ator-crítico assimétrica. O Ator observa apenas dados disponíveis no mundo real (histórico de sensores, pose alvo, comando de base), enquanto o Crítico (usado apenas em simulação) tem acesso a informações privilegiadas (comprimentos reais dos tendões, velocidades e erros de verdade fundamental).
     • Simulação-para-Realidade: Uma extensa Randomização de Domínio (DR) foi aplicada ao amortecimento, fricção e inércia dos cabos para reduzir a lacuna sim-to-real.

Principais Contribuições

• Configuração Inovadora: O design e implementação de um manipulador de quatérnio de 4 segmentos e 8 juntas que alcança um espaço de trabalho comparável a designs de 12 juntas, mas com redução de complexidade de hardware e custo.
• Modelagem Matemática: Um modelo cinemático completo para a junta de quatérnio e o manipulador multi-segmento, incluindo a derivação de modelos de vetores equivalentes para FABRIK.
• Framework de Controle: Uma descrição abrangente tanto do controle FABRIK quanto de uma implementação de Aprendizado por Reforço Residual para este hardware específico.
• Validação Experimental: Avaliação comparativa dos dois métodos de controle tanto em protótipos simulados (MuJoCo) quanto físicos.

Resultos

• Espaço de Trabalho: Ao aumentar o ângulo de flexão da junta para $70^\circ$, o design de 8 juntas alcançou com sucesso um espaço de trabalho comparável ao baseline de 12 juntas, validando o compromisso entre contagem de juntas e amplitude angular.
• Desempenho FABRIK: O algoritmo FABRIK alcançou uma taxa de sucesso de 70,4% com um tempo de computação médio de 0,0221s. Embora rápido, mostrou limitações de robustez em comparação com métodos baseados em aprendizado.
• Desempenho RRL: O artigo relata que a abordagem de Aprendizado por Reforço Residual supera o FABRIK em três ordens de magnitude em precisão posicional e orientacional.
  • Nota sobre Convergência: Os autores afirmam explicitamente que, embora a arquitetura RRL seja funcional e aprenda monotonicamente, a política específica treinada neste estudo (50 milhões de passos) não convergiu totalmente para um estado pronto para implantação dentro do orçamento experimental. A política residual treinada reduziu o erro médio de posição em 32% em relação a uma política aleatória, mas permaneceu inferior ao controlador de base independente avaliado a partir do repouso. Os autores atribuem isso à alta complexidade de amostragem do PPO de ação contínua em dinâmicas de cabos rígidos e à exigente distribuição de avaliação.
• Desvio Cinemático: A análise revelou que, embora o modelo da junta seja ideal em ângulos baixos, operar a $\pm 70^\circ$ introduz desvios cinemáticos sistemáticos e previsíveis (desvio elíptico de trajetórias circulares ideais), para os quais o framework RRL é projetado para compensar.

Significância e Alegações
O artigo alega que a configuração proposta de 4 segmentos e 8 juntas oferece uma solução mais eficaz em termos de espaço de trabalho e custo-benefício do que designs anteriores. Demonstra que o Aprendizado por Reforço Residual é um método viável e superior para controlar tais manipuladores, capaz de compensar as não-linearidades e discrepâncias de fabricação que assolam controladores baseados em modelos como o FABRIK.

Os autores posicionam seu trabalho como fornecedor de novas ferramentas para designers desenvolverem esta classe de manipuladores. Eles enfatizam que, embora o design mecânico e os resultados do controlador de base sejam robustos, o potencial total do componente RRL requer mais recursos computacionais e ajuste de recompensa para atingir os níveis de precisão demonstrados pelo controlador de base isoladamente. O trabalho serve como uma prova de conceito de que a infraestrutura de treinamento residual opera corretamente e que métodos baseados em aprendizado são necessários para compensar as não-linearidades mecânicas do mundo real em sistemas acionados por cabos de alta precisão.