Rainbow Deep Q-Learning with Kinematics-Aware Design for Cooperative Delta and 3-RRS Parallel Robot Insertion

Resumo Técnico: Rainbow Deep Q-Learning com Design Consciente da Cinemática para Inserção Cooperativa em Robôs Delta e 3-RRS Paralelos

Declaração do Problema
O artigo aborda o desafio da manipulação cooperativa de encaixe pino-furo utilizando um par heterogêneo de robôs paralelos: um manipulador Delta (fornecendo três graus de liberdade translacionais) e um manipulador 3-RRS (Revolute–Revolute–Spherical) (fornecendo dois graus de liberdade rotacionais e um grau de liberdade translacional vertical). A tarefa exige sincronização precisa para inserir um pino em um furo-alvo em uma plataforma em forma de cúpula carregada pelo 3-RRS. Os autores identificam três desafios principais: (1) a necessidade de alinhamento temporal preciso entre translação e rotação sob condições dinâmicas; (2) a exigência de adaptação a poses relativas em mudança sem reprogramação explícita; e (3) a necessidade de manter movimentos seguros dentro de um espaço de trabalho confinado, respeitando restrições cinemáticas, especificamente evitando singularidades e limites do espaço de trabalho, o que complica o controle para mecanismos paralelos.

Metodologia
A solução proposta é um quadro de Aprendizado por Reforço Profundo (DRL) "informado pela cinemática" que integra uma etapa de otimização de design geométrico com uma Rede Q Profunda Rainbow (Rainbow Deep Q-Network - DQN).

1. Etapa de Otimização Geométrica: Antes do início do aprendizado, os parâmetros geométricos do manipulador 3-RRS são otimizados. Utilizando um método simplex sem gradiente (Nelder–Mead), os autores maximizam a área do espaço de trabalho de orientação livre de singularidades e melhoram o número de condição da Jacobiana. Esta etapa amplia a região segura disponível para o agente de aprendizado por reforço explorar, reduzindo a probabilidade de episódios terminarem devido a violações cinemáticas.
2. Formulação do Processo de Decisão de Markov (MDP): A tarefa cooperativa é modelada como um MDP de horizonte finito.
   • Espaço de Estados: Um vetor de 12 dimensões composto pela pose cartesiana da plataforma Delta, pela orientação (rolagem/arfagem) e posição vertical da plataforma 3-RRS, pelo deslocamento relativo entre a ponta do pino e o furo-alvo, e pelo vetor normal do furo-alvo.
   • Espaço de Ações: Um conjunto discreto de 12 ações, consistindo em comandos incrementais positivos e negativos para cada um dos 6 graus de liberdade controlados (3 translações para o Delta, 2 rotações e 1 translação vertical para o 3-RRS).
   • Função de Recompensa: Uma recompensa moldada combina orientação densa de proximidade (distância ao alvo, progresso incremental), penalidades por violações do espaço de trabalho ou de cinemática inversa (IK), e bônus esparsos por inserções bem-sucedidas.
3. Algoritmo de Aprendizado: Os autores empregam o Rainbow DQN, que integra seis extensões ao DQN padrão: Double Q-learning (para reduzir o viés de superestimação), uma arquitetura Dueling (estimativa separada de valor de estado e vantagem), Replay de Experiência Prioritizado (para eficiência de amostragem), Retornos Multi-step (propagação mais rápida de recompensas), Camadas Lineares Ruidosas (para exploração dependente do estado sem cronogramas $\epsilon$-greedy) e um Cabeçalho de Valor Distribucional.
4. Protocolo de Treinamento: Um currículo de duas etapas é utilizado. O agente treina primeiro em um subconjunto de quatro furos periféricos (Etapa C0) e avança para todos os seis furos (Etapa C1) assim que a taxa de sucesso de média móvel excede 75%.

Principais Contribuições
O artigo delineia três contribuições primárias:

1. Fluxo de Trabalho de Co-Design Sequencial: Uma metodologia onde a geometria do 3-RRS é otimizada para maximizar o espaço de trabalho livre de singularidades e melhorar o condicionamento antes do treinamento de DRL. Isso amplia a região de exploração segura para o par heterogêneo Delta + 3-RRS.
2. Formulação Específica da Tarefa com Rainbow DQN: Um quadro unificado apresentando um estado de 12 dimensões, um conjunto de ações discreto de 12 comandos incrementais e uma função de recompensa que incorpora explicitamente conhecimento cinemático (restrições do espaço de trabalho e validade da IK) para moldagem densa.
3. Estudo de Simulação Abrangente: Um estudo de ablação avaliando o impacto de componentes individuais do Rainbow DQN e da etapa de otimização geométrica, comparado com um DQN Vanilla e um planejador clássico baseado em amostragem (RRT-Connect).

Resultados
A validação foi realizada em um simulador cinemático de alta fidelidade usando um ambiente Python personalizado. Os resultados, médios sobre 100 episódios de teste com 5 sementes, demonstram:

• Superioridade de Desempenho: A abordagem Rainbow DQN alcançou uma taxa de sucesso de 95% ± 2%, superando significativamente o DQN Vanilla (68% ± 5%) e o planejador clássico RRT-Connect (55% ± 4%).
• Eficiência: O método proposto reduziu o tempo médio de conclusão para 7,1 segundos (vs. 9,8s para o DQN Vanilla e 12,4s para o planejador) e alcançou um erro de trajetória RMS menor (1,5 mm).
• Descobertas da Ablação:
  • A remoção do Replay Prioritizado ou do Cabeçalho Dueling resultou nas quedas de desempenho mais significativas (taxas de sucesso caindo para 82% e 85%, respectivamente).
  • A etapa de Otimização Geométrica mostrou-se capaz de reduzir o número de passos do ambiente necessários para atingir 75% de sucesso em aproximadamente um terço (de $11,2 \times 10^5$ para $7,6 \times 10^5$ passos) e eliminou completamente as terminações relacionadas a singularidades durante o treinamento.
• Robustez: A política manteve uma taxa de sucesso de 88% quando submetida a ruído Gaussiano (1% da faixa de estado normalizada) durante os testes.

Significado e Alegações
O artigo alega que a integração da otimização geométrica com DRL informado pela cinemática fornece uma solução robusta para manipulação cooperativa em ambientes restritos e propensos a singularidades. Os autores afirmam que a otimização geométrica pré-treinamento não é meramente uma etapa de design, mas um habilitador crítico que reduz a complexidade de amostragem e previne falhas de treinamento causadas por singularidades cinemáticas.

O trabalho posiciona-se como um passo em direção à síntese de políticas adaptativas e baseadas em dados para sistemas multi-robô, onde pipelines de planejamento explícito lutam com coordenação dinâmica e tolerâncias apertadas. Os autores observam explicitamente limitações, incluindo a dependência de simulação (falta de validação em hardware), o uso de um espaço de ações discreto que pode limitar a suavidade da trajetória e a natureza centralizada do controlador. Eles identificam a validação em hardware, extensões para ações contínuas (por exemplo, SAC, PPO) e formulações descentralizadas de agentes múltiplos como direções futuras necessárias.