Learning Agile Striker Skills for Humanoid Soccer Robots from Noisy Sensory Input

Resumo Técnico: Aprendizado de Habilidades de Atacante Ágil para Robôs Humanoides de Futebol a partir de Entrada Sensorial Ruidosa

Declaração do Problema
Aprender habilidades de chute de bola rápidas e robustas permanece uma capacidade crítica, porém desafiadora, para robôs humanoides de futebol. Diferentemente dos quadrupedes, os humanoides devem manter o equilíbrio dinâmico em um único pé de apoio enquanto executam balanços rápidos das pernas. Esta tarefa requer coordenação precisa do controle de todo o corpo sob incerteza perceptiva significativa, incluindo ruído de sensores, atrasos e perturbações externas (por exemplo, oponentes empurrando o robô ou a bola). Métodos existentes frequentemente lutam para generalizar entre diversas configurações de bola-porta ou falham em manter a estabilidade quando a percepção é imperfeita, criando uma lacuna significativa entre o treinamento em simulação e a implantação no mundo real.

Metodologia
Os autores propõem um pipeline de treinamento de aprendizado por reforço (RL) de quatro estágios projetado para fechar a lacuna sim-real e permitir chutes contínuos e robustos de bola sob percepção imperfeita. O framework utiliza uma arquitetura professor-aluno:

1. Perseguição de Bola de Longa Distância (Professor): Uma política "privilegiada" de professor é treinada com acesso às posições reais da bola e da porta, bem como à velocidade da bola e parâmetros físicos. O ambiente emprega randomização de domínio (por exemplo, empurrões externos, massa/atrito randomizados) para incentivar a recuperação de estados imperfeitos. A função de recompensa foca no rastreamento de velocidades lineares e angulares alinhadas com o vetor robô-bola.
2. Chute Direcional (Professor): A política do professor é estendida para aprender movimentos de chute precisos. O ambiente simula um campo RoboCup Adult Size. Novos componentes de recompensa são introduzidos: uma recompensa de velocidade da bola (incentivando alta velocidade em direção à porta, limitada para evitar exploração) e uma recompensa de rastreamento de cabeça (incentivando contato visual com a bola).
3. Destilação da Política do Professor (Aluno): A política privilegiada do professor é destilada em uma política "aluno" que opera sob percepção realista e ruidosa. O aluno observa um histórico de dados proprioceptivos e estimativas ruidosas das posições da bola/porta.
   • Modelagem de Ruído: O sistema simula incerteza realista através de um modelo de ruído dependente da velocidade (a magnitude do ruído escala com a velocidade do objeto), atualizações assíncronas (atualizações da posição da bola em ~10 Hz versus propriocepção em 50 Hz) e perda de quadros devido a oclusão.
   • Treinamento: O aluno é treinado usando Agregação de Conjuntos de Dados (DAgger), coletando iterativamente trajetórias sob a política do aluno e consultando o professor por ações corretivas para aprender a recuperação de seus próprios erros.
4. Adaptação e Refinamento do Aluno: O estágio final aplica RL online com restrições para refinar a política do aluno.
   • RL com Restrições: Os autores identificam que coeficientes de regularização fixos padrão podem causar "atribuição de crédito inhomogênea", levando a movimentos trêmulos ou curvas bruscas inseguras imediatamente antes de um chute (onde as recompensas futuras da tarefa são altas). Para mitigar isso, eles reformulam o problema como uma tarefa de otimização com restrições usando N-P3O. O objetivo maximiza o desempenho da tarefa (precisão/velocidade do chute) enquanto restringe o custo de regularização agregado (por exemplo, torque, aceleração da articulação) a um limiar específico. Isso garante movimentos mais suaves e seguros sem sacrificar o desempenho.

Implantação no Mundo Real
A política é implantada em um robô humanoide Booster T1 (1,18 m de altura, 23 DoF). O pipeline de percepção utiliza um modelo YOLOv8 para detecção de bola e unprojeção de profundidade, combinado com um módulo de odometria inercial de pernas aprendido (inspirado no Legolas) para localização da porta. A política de controle é executada a 50 Hz em um NVIDIA AGX Orin.

Principais Resultados

• Simulação: A política alcançou uma precisão média de chute de 0,956 e uma taxa de sucesso de 79,5% em diversas configurações de bola-porta. A velocidade máxima da bola atingiu 4,13 m/s, com um custo médio de energia de 110,8 J/s. O sistema demonstrou uma estratégia emergente de economia de energia, aplicando chutes mais leves quando a bola estava mais próxima da porta.
• Mundo Real: No robô físico, a política alcançou uma taxa de sucesso média de 66,7% em cinco configurações diferentes de bola-porta, com precisões de chute variando de 0,94 a 0,99.
• Estudos de Ablação:
  • RL com Restrições (N-P3O): Comparado ao PPO padrão com regularização fixa, o N-P3O melhorou significativamente a estabilidade (menor velocidade angular máxima) e a eficiência energética (108,6 J/s versus 255,8 J/s para PPO-1.0), mantendo altas taxas de sucesso.
  • Adaptação do Aluno: O estágio de adaptação online foi crítico; o aluno pré-adaptação alcançou apenas 52,3% de sucesso e 0,807 de precisão com o dobro do custo de energia, enquanto o aluno adaptado igualou o desempenho da simulação (79,5% de sucesso).

Significado e Alegações
O artigo alega apresentar um framework abrangente para aprender habilidades robustas e contínuas de chute de bola em humanoides sob percepção imperfeita. Ao combinar um currículo em etapas professor-aluno com modelagem de ruído realista e adaptação online com restrições, o trabalho estabelece um benchmark para aprendizado de habilidades visuomotoras ágeis no controle de todo o corpo de humanoides. Os autores enfatizam que esta abordagem fecha com sucesso a lacuna sim-real, permitindo implantação zero-shot em hardware físico sem ajuste específico da tarefa para cada configuração.

Limitações
Os autores observam que as marchas de perseguição de longa distância dependem de funções de recompensa projetadas a partir de treinamento de marcha de caminhada, e a transferência para chutes depende da similaridade desses movimentos. Eles sugerem que generalizar para tarefas com padrões de movimento fundamentalmente diferentes pode exigir trabalho futuro sobre aprendizado a partir de diversos movimentos humanos.