HierKick: Hierarchical Reinforcement Learning for Vision-Guided Soccer Robot Control

Resumo Técnico: HierKick

1. Problema e Contexto

O controle de robôs de futebol humanoides envolve a tomada de decisões em múltiplas escalas de tempo, exigindo um equilíbrio delicado entre o planejamento tático de longo prazo (estratégia) e a execução motora de curto prazo (controle de juntas).

• Desafios Atuais: Métodos tradicionais de Aprendizado por Reforço (RL) de ponta a ponta (end-to-end) enfrentam dificuldades em ambientes dinâmicos complexos devido à esparsidade de recompensas, instabilidade na convergência de políticas, altos atrasos de controle e a necessidade de intervenção manual extensiva.
• Complexidade da Tarefa: A tarefa de chutar uma bola requer que o robô perceba visualmente a bola e o gol, planeje a aproximação, alinhe o corpo, drible e execute o chute, tudo enquanto mantém o equilíbrio dinâmico. Uma desconexão entre a decisão de alto nível e a execução de baixo nível leva diretamente à falha da tarefa.

2. Metodologia: O Framework HierKick

O artigo propõe o HierKick, um framework de Aprendizado por Reforço Hierárquico (HRL) de dupla frequência, projetado para robôs de futebol guiados por visão. A arquitetura desacopla a "tomada de decisão tática" da "execução motora" através de dois níveis de controle:

• Arquitetura de Frequência Dupla:

  • Alto Nível (Política do "Treinador" - Coach Policy): Opera a 5 Hz. Utiliza percepção visual em tempo real (via YOLOv8 rodando a 10-30 Hz) para detectar a bola e o gol. A política recebe observações (posição relativa, histórico de comandos) e emite comandos de aceleração (incrementos de velocidade).
  • Baixo Nível (Política de Movimento - Motion Policy): Opera a 50 Hz. É um controlador pré-treinado que recebe os comandos de velocidade do alto nível e gera alvos de posição para as juntas do robô. Esta camada foca na execução precisa, equilíbrio e controle de marcha.

• Percepção Visual:

  • Utiliza o algoritmo YOLOv8 para detecção de objetos.
  • As coordenadas 2D da bola são convertidas em posições 3D no referencial do robô utilizando informações de profundidade e calibração da câmera.

• Mecanismo de Recompensa Multi-Estágio:

  • Para resolver o conflito de prioridades em diferentes fases da tarefa, foi desenvolvido um mecanismo de recompensa adaptativo baseado na distância entre o robô e a bola.
  • Fases Definidas:
    1. Aproximação (Approach): Foco em locomover-se diretamente em direção à bola.
    2. Alinhamento (Alignment): Foco em alinhar o vetor "robô-bola-gol" para um ângulo de chute ideal.
    3. Drible (Dribble): Controle suave para mover a bola em direção ao gol sem perdê-la.
    4. Chute (Shoot): Alinhamento final e aceleração máxima para um chute potente.
  • Regularização: Inclui termos para suavidade de comando (evitar mudanças bruscas de velocidade) e recompensas de sobrevivência (manter o robô em pé).

• Treinamento:

  • Utiliza PPO (Proximal Policy Optimization) com arquitetura ator-crítico assimétrica (usa informações privilegiadas no treinamento, mas apenas observações parciais na implantação).
  • Emprega Domain Randomization (randomização de atrito, massa da bola, ruído de sensor, etc.) para melhorar a robustez e a transferência simulação-real.

3. Principais Contribuições

1. Framework HierKick: Proposta de um framework de RL hierárquico com configurações de frequência escalonadas (5 Hz para decisão, 50 Hz para execução) que permite controle adaptativo de velocidade e planejamento tático robusto.
2. Política de Treinador (Coach Model): Um modelo treinado via curriculum learning que avalia a situação no campo e emite sinais de aceleração, permitindo que o robô domine gradualmente habilidades complexas (aproximação, alinhamento, drible, chute).
3. Implementação em Robô Real: Sucesso na implementação da estratégia no robô humanoide Booster T1, alcançando uma latência de controle ponta a ponta de aproximadamente 20 ms a 50 Hz, atendendo aos requisitos de tempo real.
4. Reutilização de Habilidades: O uso de um controlador de baixo nível pré-treinado resolve o problema de "cold-start", estabiliza o treinamento e permite que a política de alto nível foque no planejamento de longo prazo.

4. Resultados Experimentais

O framework foi avaliado em três ambientes: Isaac Gym, MuJoCo e no mundo real (Robô Booster T1).

• Taxas de Sucesso (Tarefa Completa: Aproximar -> Alinhar -> Driblar -> Chutar):
  • Isaac Gym: 95,2% (Ambiente de alta fidelidade).
  • MuJoCo: 89,8% (Demonstrando robustez a variações de modelagem física).
  • Mundo Real: 80,0% (Desempenho robusto apesar de incertezas como atrito do gramado e oclusões).
• Análise de Ablação:
  • Remover as observações de distância ($d_{ball}, d_{goal}$) reduziu a taxa de sucesso para 23,2%.
  • Alterar a saída de comando (de aceleração para velocidade relativa direta) reduziu a taxa para 8,2%.
  • Métodos End-to-End (sem hierarquia) alcançaram apenas 25,6% de sucesso, confirmando a superioridade da abordagem hierárquica.
• Precisão: O HierKick demonstrou a menor variância na distância de chute em relação ao centro do gol, indicando maior precisão e estabilidade comparado aos métodos de base.

5. Significado e Conclusão

O trabalho HierKick estabelece um novo paradigma para o controle de robôs em ambientes complexos e dinâmicos. Ao separar a escala de tempo da decisão tática da execução motora, o framework supera as limitações de métodos end-to-end, oferecendo:

• Estabilidade: Menor latência e maior robustez a ruídos e variações ambientais.
• Eficiência: Treinamento mais rápido e convergência facilitada através da reutilização de habilidades pré-treinadas.
• Transferibilidade: Evidência forte de transferência Sim-to-Real, com o robô físico conseguindo executar tarefas complexas de futebol com alta taxa de sucesso.

O artigo conclui que, embora desafios como oclusões e variabilidade do terreno permaneçam, a abordagem hierárquica dual-frequency é uma solução eficaz e escalável para tarefas de robótica móvel que exigem múltiplas escalas de tempo.