Resumo Técnico: Benchmarking de Espaços de Ação em Aprendizado por Reforço para Manipulação Robótica Baseada em Visão

Definição do Problema

O aprendizado por reforço (RL) emergiu como uma estrutura poderosa para o controle robótico, mas sua aplicação prática na manipulação do mundo real enfrenta obstáculos significativos relacionados à segurança, suavidade do movimento e desempenho de transferência sim-to-real. Uma escolha de design crítica, porém subexplorada, nas formulações de RL é o espaço de ação. Embora estudos anteriores tenham investigado representações de espaço de ação (ex: posição articular, torque, velocidade), eles se basearam amplamente em observações baseadas em estado dentro de ambientes exclusivamente de simulação. Isso deixa uma lacuna na compreensão de como o design do espaço de ação impacta a dinâmica de aprendizado e o desempenho de transferência quando observações baseadas em visão (que introduzem observabilidade parcial e ruído perceptual) são utilizadas, particularmente em tarefas de contato rico, como pegar e empurrar.

Metodologia

Os autores conduziram um estudo de benchmarking abrangente comparando quatro representações comuns de espaço de ação em duas tarefas de manipulação baseadas em visão em um braço robótico Franka Emika Panda:

1. PandaPickCuboid: Uma tarefa preensil que exige que o robô alcance, agarre e levante um cubóide vermelho até uma altura alvo.
2. PandaPushCuboid: Uma tarefa não preensil que exige que o robô empurre um cubóide sobre uma superfície.

Espaços de Ação Avaliados

O estudo comparou as seguintes representações:

• Incremento de Pose ($\delta x$): Incrementos de posição cartesiana e orientação.
• Velocidade de Pose ($\dot{x}$): Comandos de velocidade cartesiana.
• Incremento de Posição Articular ($\delta q$): Incrementos nos ângulos das articulações.
• Velocidade Articular ($v$): Velocidades articulares alvo.

Arquitetura do Sistema

• Algoritmo: As políticas foram treinadas usando Proximal Policy Optimization (PPO), escolhido por sua compatibilidade com entradas visuais de alta dimensão e eficácia demonstrada na transferência sim-to-real.
• Simulação: O treinamento ocorreu no MuJoCo, utilizando randomização de domínio (perturbações visuais e dinâmicas) para mitigar a lacuna sim-to-real.
• Implantação no Mundo Real: As políticas foram implantadas via Franka ROS Interface. O sistema utilizou interfaces de atuação específicas:
  • Ações baseadas em posição ($\delta x, \delta q$) foram mapeadas para alvos articulares via Cinemática Inversa (IK) e executadas usando um controlador de impedância articular.
  • Ações baseadas em velocidade ($\dot{x}, v$) foram mapeadas diretamente para velocidades articulares alvo.
• Observações: O agente recebeu uma imagem RGB (64x64), dados proprioceptivos (posições/velocidades articulares, status de preensão), altura do efetuador final e a ação anterior.

Principais Resultados

1. Discrepância Simulação vs. Mundo Real

Em simulação, todos os espaços de ação alcançaram taxas de sucesso comparáveis e altas (0.98–1.00) para a tarefa de coleta. No entanto, esse desempenho não se traduziu linearmente para o mundo real. A escolha do espaço de ação alterou significativamente a robustez da transferência sim-to-real.

2. Desempenho em PandaPickCuboid (Coleta)

• Velocidade Articular ($v$): Alcançou uma taxa de sucesso de 100% com um tempo de conclusão mediana de 3.58s. Exibiu o menor jerk medido e evitou colisões consistentemente.
• Incremento de Posição Articular ($\delta q$): Também alcançou uma taxa de sucesso de 100% com o tempo mediano mais rápido (2.12s). Contudo, a implantação estável exigiu um ajuste cuidadoso dos ganhos de impedância para evitar vibrações.
• Incremento de Pose ($\delta x$): Desempenhou-se mal (41.67% de sucesso). A política frequentemente arrastou o objeto em direção à base do robô antes de levantá-lo, um comportamento não observado em simulação.
• Velocidade de Pose ($\dot{x}$): Falhou completamente (0% de sucesso), frequentemente derivando para configurações instáveis ou saindo do espaço de trabalho.

3. Desempenho em PandaPushCuboid (Empurrar)

• Velocidade Articular ($v$): Alcançou o maior deslocamento mediano (0.405m), mas exibiu colisões mais fortes com as bordas do objeto.
• Incremento de Posição Articular ($\delta q$): Alcançou o segundo maior deslocamento (0.104m), mas demonstrou um comportamento mais complacente com menos eventos de contato forte devido ao controlador de impedância ajustado.
• Ações Cartesianas ($\delta x, \dot{x}$): Desempenharam-se mal em termos de deslocamento.

4. Análise de Jerk e Segurança

O estudo analisou o jerk (taxa de variação da aceleração) como um proxy para suavidade de movimento e variação de torque.

• Velocidade Articular produziu consistentemente o menor jerk tanto em simulação quanto em testes no mundo real.
• Explicação: Os autores postulam que o controle baseado em posição (usando altos ganhos proporcionais $K_p$) amplifica flutuações de alta frequência na saída da política, levando a grandes variações de torque e alto jerk. Em contraste, o controle de velocidade atua como um filtro passa-baixas; a integração dos comandos de velocidade para gerar posição naturalmente suaviza o ruído de alta frequência, resultando em trajetórias mais suaves.
• Sensibilidade da IK: Espaços de ação cartesianos dependem de Cinemática Inversa (IK). Discrepâncias nos parâmetros de elos entre simulação e realidade propagam-se através do mapeamento IK, gerando alvos articulares imprecisos que os atuadores do mundo real lutam para rastrear, especialmente próximo a singularidades.

Principais Contribuições e Significância

O artigo fornece orientações práticas para profissionais de RL ao demonstrar que a representação do espaço de ação é um fator crítico para a transferência sim-to-real, particularmente para tarefas baseadas em visão.

• Superioridade da Velocidade Articular: Os autores concluem que a velocidade articular oferece o melhor equilíbrio de robustez, suavidade e desempenho de tarefa para coleta e empurrar baseados em visão. Ela alcançou as maiores taxas de sucesso e movimentos mais suaves sem exigir o complexo ajuste de impedância necessário para métodos baseados em posição.
• Limitações dos Espaços Cartesianos: O estudo destaca que os espaços de ação cartesianos (incremento de pose/velocidade) são altamente sensíveis a discrepâncias sim-to-real, particularmente em relação a erros de mapeamento de IK e capacidades de rastreamento de atuadores.
• Segurança e Conformidade: Embora a velocidade articular tenha proporcionado o movimento mais suave, os autores observam que as ações baseadas em posição (via impedância ajustada) ofereceram um comportamento mais complacente durante o contato, reduzindo a severidade das colisões.

O trabalho enfatiza que, embora o desempenho em simulação seja uma linha de base necessária, ele é insuficiente para prever o sucesso no mundo real. A escolha do espaço de ação molda fundamentalmente a dinâmica de aprendizado e a segurança física da política implantada.