Learning to Race in Minutes: Infoprop Dyna on the Mini Wheelbot

Resumo Técnico: Aprendendo a Correr em Minutos com Infoprop Dyna no Mini Wheelbot

Declaração do Problema
Controlar sistemas robóticos caracterizados por dinâmicas rápidas, instáveis e não lineares permanece um desafio significativo, particularmente quando se aprende diretamente em hardware real. Embora a Aprendizagem por Reforço (RL) ofereça potencial, os métodos convencionais frequentemente sofrem de baixa eficiência de amostragem, necessitando do uso de simuladores baseados em física cuidadosamente projetados e de extensa randomização de domínio para alcançar uma transferência bem-sucedida de simulação para realidade. O RL baseado em modelo (MBRL) melhora a eficiência de amostragem ao aprender um modelo de dinâmica para aumentar a experiência real com trajetórias imaginadas; no entanto, modelos imperfeitos frequentemente levam à "exploração do modelo" durante o planejamento de longo horizonte, degradando o desempenho no mundo real. O desafio específico abordado neste trabalho é o Mini Wheelbot, um robô unicycle subatuado com dinâmicas de guinada altamente não lineares. Seu controle é complicado por interações de contato com o solo, constantes de tempo pequenas e sensibilidade à atuação, tornando a modelagem precisa difícil e o planejamento de longo horizonte essencial para um rastreamento de trajetória eficaz.

Metodologia
Os autores empregam o Infoprop Dyna, um framework MBRL de última geração e consciente da incerteza, para permitir que o Mini Wheelbot aprenda diretamente a partir de interações do mundo real, sem depender de um simulador baseado em física.

• Algoritmo Central: O Infoprop Dyna trata as previsões do modelo como observações ruidosas de um sinal de verdade fundamental. Ao aproveitar a teoria da informação, o framework recupera o sinal de verdade fundamental estimado, rastreando simultaneamente a corrupção acumulada devido ao ruído. Essa abordagem mitiga a exploração do modelo e permite trajetórias confiáveis em horizontes mais longos do que métodos anteriores.
• Modelagem de Dinâmica: Diferentemente de benchmarks anteriores que assumem estados totalmente observados e sem memória, o Mini Wheelbot depende de estimativa de estado a bordo. Consequentemente, o modelo de transição aprendido é condicionado a um histórico curto de estados físicos estimados e entradas de controle aplicadas para prever o próximo estado estimado. Isso permite que o modelo capture implicitamente a dinâmica do estimador de estado junto com o sistema físico.
• Pipeline de Treinamento: O sistema utiliza uma configuração de treinamento distribuído (ilustrada na Figura 2). Dados do mundo real são coletados pelo robô físico e transmitidos via SSH para uma estação de trabalho local, que encaminha o conjunto de dados para um cluster de Computação de Alto Desempenho (HPC). A aprendizagem do modelo e a otimização da política são realizadas usando uma implementação baseada em JAX sobre o BRAX. Crucialmente, nenhum modelo de simulação é usado para treinamento; o cluster HPC gera trajetórias sintéticas em larga escala e paralelas usando o modelo de dinâmica aprendido, substituindo a necessidade de um simulador de física.
• Inicialização: Para garantir segurança e fornecer transições informativas, o conjunto de dados do mundo real é iniciado com dados de um minuto coletados dirigindo manualmente o robô com um controlador preditivo de modelo aproximado (AMPC) e uma interface de joystick.

Principais Contribuições

1. Aprendizado no Mundo Real sem Simulador: O trabalho demonstra que o Infoprop Dyna pode permitir que um robô aprenda uma política de controle complexa diretamente a partir de interações do mundo real, contornando a necessidade de pipelines de simulação para realidade cuidadosamente projetados.
2. Aquisição Rápida de Comportamento Agressivo: O Mini Wheelbot aprende a correr em uma pista fixa dentro de 11 minutos de experiência no mundo real, progredindo de movimentos conservadores para estratégias de corrida agressivas.
3. Descoberta de Estratégias Não Triviais: A política aprendida descobre comportamentos complexos, como deslizamento controlado em altas velocidades para navegar curvas, que são difíceis de capturar usando simulações puramente baseadas em física.
4. Arquitetura de Treinamento Distribuído: O artigo apresenta um pipeline onde os tempos de treinamento são comparáveis aos tempos de coleta de dados do mundo real através de paralelização massiva em HPC, contrastando com benchmarks anteriores onde o treinamento dominava o tempo de relógio.

Resultados
Em uma única execução contínua de treinamento, o agente completou com sucesso sua primeira volta após seis minutos de interação no mundo real. No marco de 11 minutos, o agente atingiu o desempenho máximo, completando múltiplas voltas com alta consistência.

• Métricas de Desempenho: O agente de corrida final alcançou uma velocidade média de 0,5 m/s e uma velocidade máxima de 0,97 m/s. Em comparação, a linha de base inicial do AMPC teve uma velocidade média de 0,15 m/s e uma velocidade máxima de 0,33 m/s.
• Eficiência: O agente de corrida completou mais de três vezes o número de voltas do agente AMPC.
• Diferenças Comportamentais: Enquanto o AMPC dependia de efeitos giroscópicos para reorientar, o agente aprendido explorou o deslizamento controlado para lidar com curvas rápidas, permitindo que ele se mantivesse mais próximo da linha central da pista e mantivesse velocidades mais altas.

Significância
O artigo afirma que esses resultados destacam o potencial prático do Infoprop Dyna para fechar a lacuna entre eficiência de dados e alto desempenho final em sistemas robóticos reais. Ao demonstrar que um sistema desafiador e subatuado pode aprender comportamentos agressivos de corrida em minutos sem um simulador, o trabalho sugere um caminho viável para a adoção mais ampla da aprendizagem por reforço baseada em modelo no mundo real. Os autores posicionam isso como um passo em direção à escalabilidade desses métodos para arenas maiores e layouts de pista arbitrários, bem como ao desenvolvimento de interfaces modulares para aplicação mais ampla em sistemas robóticos.