PACE: Physics Augmentation for Coordinated End-to-end Reinforcement Learning toward Versatile Humanoid Table Tennis

Resumo Técnico: PACE – Aprendizado por Reforço para Tênis de Mesa em Humanoides

1. O Problema

O controle de humanoides para jogar tênis de mesa (TT) representa um dos desafios mais complexos na robótica moderna. Diferente de tarefas estáticas ou de locomoção em espaços livres, o TT exige:

• Percepção ultrarrápida: A bola cruza a mesa em menos de 0,5 segundos.
• Coordenação corpo inteiro: É necessária uma sincronia perfeita entre o movimento dos braços (batida) e das pernas (movimentação/footwork).
• Adaptabilidade: O robô deve reagir a bolas com velocidades, direções e profundidades variadas, mantendo o equilíbrio dinâmico.

Abordagens anteriores baseadas em modelos (planejamento cinemático/inverso) frequentemente assumem um "plano de batida virtual" restritivo, limitando a adaptabilidade do robô. Métodos de aprendizado por reforço (RL) existentes muitas vezes falham em escalar para humanoides completos devido à alta dimensionalidade do espaço de ação, instabilidade na locomoção e à natureza esparsa das recompensas (apenas "sucesso" ou "falha" no final do ponto).

2. Metodologia

Os autores propõem o PACE, um framework unificado de Aprendizado por Reforço (RL) end-to-end que mapeia observações de posição da bola e propriocepção do robô diretamente para comandos de junta de todo o corpo, sem decomposição modular.

Componentes Principais:

• Formulação POMDP: O problema é modelado como um Processo de Decisão de Markov Parcialmente Observável (POMDP), onde o agente aprende uma política $\pi_\theta$ para maximizar o retorno descontado esperado.
• Arquitetura Ator-Crítico Assimétrica:
  • Ator (Política): Recebe observações parciais (ruído, atraso) e dados do preditor.
  • Crítico: Recebe informações privilegiadas (dados de simulação perfeitos) para estimar o valor de estado com maior precisão durante o treinamento.
• Preditor de Trajetória da Bola (Aprendido):
  • Uma rede neural leve (MLP) prevê o futuro estado da bola (ponto de ápice após o primeiro quique) baseada em um histórico de posições recentes.
  • Função: Permite que o robô aja de forma proativa, movendo-se para interceptar a bola antes que ela chegue, em vez de reagir passivamente.
  • O preditor é treinado online com perda de regressão (RMSE) contra dados de física simulada.
• Recompensas Baseadas em Física (Densas):
  • Para superar a esparsidade de recompensas (apenas acertar ou não), o sistema utiliza previsões físicas para criar recompensas contínuas e informativas:
    1. Recompensa de Alcance: Penaliza a distância entre o efetuador final/base e o ponto de batida previsto.
    2. Recompensa de Retorno: Penaliza a distância do ponto de aterrissagem previsto na mesa do oponente e a altura da bola ao passar pela rede.
  • Isso fornece feedback imediato e guiado durante todo o movimento, não apenas no final.
• Espaço de Ação: O agente aprende deslocamentos residuais a partir de uma pose nominal estável, combinados com um controlador de baixo nível (PD).

3. Contribuições Chave

1. Framework Unificado End-to-End: É um dos primeiros trabalhos a gerar movimentos de corpo inteiro (braço + pernas) para TT em humanoides sem depender de planejadores hierárquicos ou do "plano de batida virtual".
2. Augmentation por Física e Aprendizado: A combinação de um preditor de bola aprendido (para proatividade) com recompensas densas baseadas em física (para eficiência de exploração) resolve os principais gargalos de treinamento em RL para esportes dinâmicos.
3. Validação Sim-to-Real Zero-Shot: A política foi transferida diretamente para um robô físico (Booster T1) sem ajuste fino (fine-tuning), demonstrando a robustez do método.
4. Emergência de Footwork 2D: O sistema aprendeu naturalmente movimentos laterais e de avanço/retrocesso coordenados, essenciais para cobrir a mesa.

4. Resultados

• Simulação:

  • O policy alcançou taxas de acerto (hit rate) $\ge 96\%$ e taxas de sucesso (success rate) $\ge 92\%$ em uma ampla gama de saques (curtos, longos e mistos).
  • A ablação mostrou que remover o preditor ou as recompensas baseadas em previsão resultou em falha total ou desempenho drasticamente reduzido, confirmando sua criticidade.
  • O preditor alcançou um erro quadrático médio (RMSE) de apenas ~3 cm na previsão do ponto de batida.

• Hardware (Booster T1):

  • O robô (23 graus de liberdade, 1,2m de altura) foi testado com uma máquina de saques.
  • Desempenho: 93,5% de taxa de acerto e 61,3% de taxa de sucesso em retornos válidos.
  • Observações: O robô demonstrou movimentos coordenados de braços e pernas, ajustando a postura do tronco e a posição dos pés dinamicamente. A velocidade média da bola de retorno foi de 6,9 m/s (superior à velocidade de entrada).
  • Gap Sim-to-Real: A redução no desempenho em relação à simulação foi atribuída a diferenças na dinâmica dos atuadores (tornozelo paralelo vs. serial simulado) e dinâmicas de contato não modeladas, mas a transferência zero-shot foi considerada um sucesso notável.

5. Significado e Impacto

Este trabalho representa um avanço significativo na robótica de humanoides e no controle de interação dinâmica com objetos.

• Superação de Limitações Anteriores: Demonstra que é possível superar as restrições de "plano de batida virtual", permitindo que robôs joguem de forma mais similar a humanos, com adaptabilidade total.
• Eficiência de Aprendizado: A técnica de usar predições físicas para criar recompensas densas oferece um novo paradigma para treinar políticas complexas em tarefas esportivas onde o feedback é naturalmente esparsa.
• Aplicabilidade Prática: A capacidade de transferir uma política treinada em simulação para um robô físico complexo, sem re-treinamento, abre caminho para humanoides versáteis capazes de interagir com o mundo real em alta velocidade e com alta destreza.

O código de treinamento foi aberto na GitHub, facilitando a reprodução e o avanço futuro na área de esportes robóticos e controle corporal completo.