Resumo Técnico: Physical Atari

Definição do Problema

A pesquisa em aprendizado por reforço (RL) tem se baseado amplamente em simulações de turno, onde o ambiente espera pela resposta de um agente antes de evoluir. Isso contrasta com o mundo físico, onde o ambiente evolui continuamente, independentemente da latência de tomada de decisão do agente. Este cenário, denominado aprendizado por reforço em tempo real, apresenta desafios únicos, incluindo a necessidade de tomada de decisão rápida para minimizar a lacuna entre os estados percebido e real, e a capacidade de variar o esforço computacional com base no custo do atraso.

Embora o RL na robótica seja um campo crescente, a maioria das abordagens depende da transferência simulação-real (sim-to-real — aprender em simulação e implantar em robôs) ou de aprender com demonstrações humanas. A terceira abordagem — aprender diretamente em robôs — oferece vantagens significativas, como eliminar a necessidade de simuladores ou dados humanos e evitar mudanças de distribuição entre os ambientes de aprendizado e implantação. No entanto, o artigo identifica uma lacuna crítica: atualmente não existe uma plataforma para estudar RL em tempo real diretamente em robôs que seja ao mesmo tempo confiável (capaz de operação de longa duração sem falhas) e acessível (barata e fácil de construir).

Metodologia: A Plataforma Physical Atari

Para abordar essa lacuna, os autores construíram o Physical Atari, um sistema composto por dois componentes principais: o Robotroller e o Atari Devbox.

1. O Robotroller

O Robotroller é um robô projetado para atuar em um joystick Atari CX40+ comercial e não modificado.

• Design Mecânico: Para garantir a durabilidade para semanas de operação ininterrupta, todas as partes móveis utilizam rolamentos de esferas 608ZZ para reduzir o atrito e o desgaste nos componentes de PLA impressos em 3D. O design apresenta dois braços de servo cujos eixos de rotação se alinham com o ponto de pivô do joystick, permitindo movimentos coordenados sem travamentos.
• Atuação: Utiliza três motores servo Dynamixel XC-330 (escolhidos pelos seus engrenagens metálicas em vez das engrenagens plásticas dos modelos XL-330 mais baratos) para controlar as ações vertical, horizontal e de disparo (fire). Os servos são conectados via uma placa controladora de barramento serial Waveshare.
• Melhorias de Robustez:
  • Travamento de Rosca: O Loctite 243 foi usado para evitar que os parafusos afrouxassem durante o uso prolongado.
  • Suavização de Movimento: Os autores ajustaram os parâmetros do controlador PID dos servos (reduzindo o ganho P, aumentando o ganho I) para eliminar movimentos bruscos que estressavam o controlador.
  • Reflexo de Alta Corrente: Para evitar danos aos servos por picos de corrente quando um setpoint é perdido, um loop de alta frequência monitora o consumo de corrente. Se um limite é excedido, o torque do servo é desativado por um milissegundo, agindo como um reflexo protetor semelhante aos sistemas biológicos.
• Custo e Acessibilidade: O Robotroller pode ser construído por aproximadamente US$ 400 em peças, sendo que os demais componentes (chassi impresso em 3D) são fabricáveis em impressoras de nível consumidor, como a Bambu Lab P1S.

2. O Atari Devbox

O Atari Devbox serve como a interface do ambiente.

• Hardware: Utiliza um Raspberry Pi 5 e uma tela Waveshare de 5 polegadas. Um chassi personalizado abriga os componentes.
• Interface: Um conector macho DB9 é conectado diretamente aos pinos GPIO do Raspberry Pi para ler os sinais do joystick CX40+.
• Funcionalidade: Um programa em C++ lê os estados GPIO com latência submilissegundo, mapeia-os para as 18 ações discretas do Arcade Learning Environment (ALE) e renderiza quadros de jogo a 60 FPS.
• Comunicação Visual: A tela exibe AprilTags: quatro tags de canto para localização da tela pela câmera do agente, e tags dinâmicas na lateral para codificar o sinal de recompensa.

3. Integração do Sistema e Latência

O sistema completo inclui uma câmera Razer Kiyo Pro convencional (transmitindo vídeo não compactado via USB 3.1) e um computador desktop (Framework com AMD Ryzen AI Max+ 395).

• Latência: O tempo de resposta de ponta a ponta (renderização, captura, processamento, atuação) foi medido em aproximadamente 165 ms, comparável aos tempos de reação humanos típicos. Esta latência não inclui o tempo necessário para uma rede neural profunda selecionar uma ação.

4. Algoritmo de Aprendizado

Os experimentos utilizaram uma formulação de Aprendizado por Reforço Reativo.

• Arquitetura: Uma rede totalmente convolucional processa a entrada visual (quadros de 128×128 misturados em uma média móvel exponencial).
• Histórico de Ações: Uma característica distintiva é a fusão tardia (late fusion) do histórico de ações. O agente codifica ações recentes como um vetor binário fatorado (vertical, horizontal, disparo) e concatena isso com os mapas de características visuais após a primeira camada convolucional. Isso permite que o estimador de valor seja explicitamente condicionado tanto às observações visuais suavizadas quanto às decisões de controle recentes.
• Treinamento: O agente utiliza retornos n-passo (n-step returns), uma política $\epsilon$-greedy e um replay buffer que prioriza transições online recentes. A otimização utiliza AdamW para camadas convolucionais e SGD com momentum para a camada linear final.

Principais Resultados

1. Robustez e Confiabilidade

O sistema foi testado ao longo de 145 horas de aprendizado contínuo em seis jogos de Atari (Pong, Seaquest, Ms. Pacman, Assault, Asterix, Kangaroo).

• Resultado: O agente aprendeu com sucesso em todos os jogos sem quaisquer falhas mecânicas ou intervenção humana. O desempenho foi consistente em múltiplas execuções, validando a durabilidade do design baseado em rolamentos e os mecanismos de reflexo protetor.

2. Sensibilidade a Mudanças de Distribuição

Os autores investigaram como políticas aprendidas em um Robotroller transferem para um segundo Robotroller, construído de forma idêntica.

• Resultado: As políticas apresentaram consistentemente um desempenho inferior quando implantadas em um corpo de robô diferente. A degradação foi mais severa em jogos que exigem precisão de tempo (ex: Pong), onde mesmo pequenas discrepâncias físicas fizeram com que o agente errasse a bola por margens mínimas.
• Adaptação Contínua: Quando o algoritmo de aprendizado teve permissão para continuar se adaptando no novo corpo após a troca, o desempenho recuperou-se e melhorou, demonstrando a necessidade de adaptação no dispositivo.

Significância e Alegações

O artigo afirma que o Physical Atari é a primeira plataforma robótica que é ao mesmo tempo acessível (menos de US$ 1.000 no total) e durável o suficiente para semanas de aprendizado por reforço em tempo real ininterrupto.

Os autores enfatem que esta plataforma permite o estudo de desafios inerentes ao mundo físico que são frequentemente ignorados em simulação, tais como:

• Atrasos de tempo e não-estacionariedades.
• O impacto de mudanças de distribuição causadas pelas inevitáveis diferenças físicas entre corpos de robôs.

Os resultados ressaltam que mesmo discrepâncias mínimas entre os ambientes de aprendizado e implantação podem degradar significamente o desempenho da política. Consequentemente, o artigo argumenta pela importância da adaptação no dispositivo para alcançar um alto desempenho na robótica, sugerindo que aprender diretamente no robô (em vez de apenas em simulação) pode ser crítico para lidar com a variabilidade do mundo real. A plataforma também oferece um caminho para comparar sistematicamente os três paradigmas de RL na robótica: aprendizado baseado em simulação, aprendizado a partir de dados humanos e aprendizado diretamente no robô.