Reinforcement Learning Enabled Adaptive Multi-Task Control for Bipedal Soccer Robots

Título: Controle Adaptativo Multi-Tarefa Habilitado por Aprendizado por Reforço para Robôs de Futebol Bipedais

1. Problema Abordado

O desenvolvimento de robôs de futebol bipedais em ambientes de combate dinâmicos enfrenta desafios críticos relacionados à:

• Estabilidade de Movimento: Manter o equilíbrio durante a locomoção e interações complexas.
• Acoplamento de Tarefas: A dificuldade de aprender simultaneamente a locomoção básica (estabilidade de baixo nível) e tarefas de interação complexas (como buscar e chutar a bola), o que exige formulações de recompensa intrincadas.
• Transição de Estados: A necessidade de alternar suavemente entre estados dinâmicos distintos (ex: caminhada ereta vs. recuperação de queda) sem interferência no espaço de características ou perda de equilíbrio.
• Adaptabilidade Espacial: A capacidade de operar em cenários restritos (como cantos) e recuperar-se autonomamente de quedas.

2. Metodologia

Os autores propõem um framework modular de Aprendizado por Reforço (RL) que integra controle feedforward e feedback, dividido em três camadas principais: percepção, RL multi-tarefa e controle de ação.

• Arquitetura de Controle Híbrida (Feedforward-Feedback):

  • Oscilador Feedforward (Aberto): Utiliza um Gerador de Padrão Central (CPG) para gerar ritmos de marcha básicos (passo de balanço e apoio) independentemente do feedback ambiental. Isso resolve o problema de alta dimensionalidade na exploração pura por RL.
  • Política de Resíduo (RL): A rede de RL aprende apenas as ações residuais (correções sutis de equilíbrio, direção e ajustes de chutes) que são somadas ao sinal do oscilador.
  • Codificação de Fase: O tempo é codificado como um vetor harmônico contínuo e concatenado ao espaço de observação para sincronizar a política de RL com o oscilador.

• Mecanismo de Alternância Dinâmica Baseado em Postura:

  • Para evitar conflitos entre a busca pela bola e a recuperação de quedas, o sistema utiliza uma máquina de estados acionada por postura.
  • Rede de Busca e Chute (BSKN): Ativa quando o robô está em pé. Utiliza percepção exteroceptiva (posição da bola, gol) e proprioceptiva para tarefas ofensivas.
  • Rede de Recuperação de Queda (FRN): Ativa quando o robô detecta uma queda (ângulo de inclinação > 25° ou altura do tronco abaixo de um limiar). Esta rede ignora características do ambiente (bola/gol) e foca exclusivamente na estabilização do tronco e recuperação.
  • Lógica de Switching: Uma buffer de 3 quadros e interpolação suave nas ações dos motores evitam "jitter" (tremores) durante a troca de redes.

• Estratégia de Treinamento (Curriculum Learning):

  • A FRN é treinada com uma estratégia de atenuação progressiva de força. Inicialmente, forças externas auxiliares ajudam o robô a ficar de pé; essas forças são gradualmente reduzidas à medida que o robô melhora, estabilizando o aprendizado e reduzindo o risco de falhas.
  • O treinamento ocorre em 24 instâncias paralelas no ambiente de simulação Unity (Gewu Playground) para aumentar a diversidade de dados e a convergência.

• Funções de Recompensa:

  • FRN: Foca em maximizar o alinhamento do tronco com a vertical (recompensa de postura ereta) e penalizar o consumo de energia e ações excessivas.
  • BSKN: Recompensa velocidade forward, proximidade ao gol, estabilidade postural (penalizando inclinações excessivas) e eficiência energética.

3. Principais Contribuições

1. Desacoplamento Modular: Separação eficaz entre a geração de marcha básica (oscilador) e a execução de tarefas complexas (RL), simplificando a formulação de recompensas.
2. Alternância Dinâmica Robusta: Introdução de um mecanismo baseado em percepção de postura que alterna entre redes especializadas (BSKN e FRN), prevenindo interferência de características durante transições críticas.
3. Treinamento Eficiente de Recuperação: Uso de curriculum learning com força decrescente para treinar a recuperação de quedas de forma estável e rápida.
4. Validação em Cenários Complexos: Demonstração de adaptação espacial em cantos restritos e recuperação autônoma rápida, validando a abordagem para ambientes adversários.

4. Resultados

• Recuperação de Queda: O sistema demonstrou uma recuperação autônoma rápida e estável. A análise de 24 instâncias mostrou que a maioria dos robôs retornou à posição de pé entre 0,5 e 1,0 segundos, com um tempo médio de recuperação de 0,715 segundos.
• Adaptabilidade Espacial: O robô foi capaz de navegar até a bola em cantos restritos, alinhar o corpo ao gol e executar chutes precisos, validando a eficácia da recompensa de orientação e busca.
• Estabilidade em Partidas 1v1: Em simulações de partidas completas, o robô executou tarefas contínuas (drible, chute, recuperação) com transições suaves entre as redes, sem perda de equilíbrio ou comportamentos erráticos.
• Convergência: As curvas de recompensa acumulada mostraram que ambas as redes (FRN e BSKN) convergiram para níveis de desempenho altos, superando as dificuldades iniciais impostas pelo curriculum learning.

5. Significado e Impacto

Este trabalho oferece um paradigma eficiente para o controle multi-tarefa em agentes corporificados (embodied agents). Ao resolver o problema de acoplamento entre estabilidade de baixo nível e objetivos de alto nível, e ao garantir transições seguras entre estados dinâmicos (caindo e levantando), o framework proposto torna viável a operação de robôs bipedais em ambientes competitivos reais e não estruturados. A abordagem modular e o uso de curriculum learning fornecem uma base sólida para futuras implementações em hardware físico (transferência sim-para-real) e para estratégias cooperativas multi-agente em robótica de futebol.

O código-fonte e os vídeos de demonstração estão disponíveis publicamente, promovendo a reprodutibilidade e o avanço na área de robótica educacional e de pesquisa.