Resumen Técnico: Physical Atari

Planteamiento del Problema

La investigación en aprendizaje por refuerzo (RL) se ha basado en gran medida en simulaciones por turnos donde el entorno espera la respuesta de un agente antes de evolucionar. Esto contrasta con el mundo físico, donde el entorno evoluciona continuamente independientemente de la latencia de toma de decisiones del agente. Este entorno, denominado aprendizaje por refuerzo en tiempo real, presenta desafíos únicos, incluyendo la necesidad de una toma de decisiones rápida para minimizar la brecha entre los estados percibidos y los reales, y la capacidad de variar el esfuerzo computacional basándose en el costo del retraso.

Si bien el RL en robótica es un campo en crecimiento, la mayoría de los enfoques dependen de la transferencia de simulación a realidad (aprender en simulación y desplegar en robots) o de aprender de demostraciones humanas. El tercer enfoque —aprender directamente en robots— ofrece ventajas significativas, como la eliminación de la necesidad de simuladores o datos humanos, y evita los cambios de distribución entre los entornos de aprendizaje y de despliegue. Sin embargo, el artículo identifica una brecha crítica: actualmente no existe una plataforma para estudiar el RL en tiempo real directamente en robots que sea tanto fiable (capaz de operar durante largas duraciones sin fallos) como accesible (asequible y fácil de construir).

Metodología: La Plataforma Physical Atari

Para abordar esta brecha, los autores construyeron Physical Atari, un sistema que consta de dos componentes principales: el Robotroller y el Atari Devbox.

1. El Robotroller

El Robotroller es un robot diseñado para accionar un joystick Atari CX40+ comercial y no modificado.

• Diseño Mecánico: Para garantizar la durabilidad durante semanas de operación ininterrumpida, todas las piezas móviles utilizan rodamientos de bolas 608ZZ para reducir la fricción y el desgaste en los componentes de PLA impresos en 3D. El diseño cuenta con dos brazos de servo cuyos ejes de rotación se alinean con el punto de pivote del joystick, permitiendo un movimiento coordinado sin trabas.
• Actuación: Emplea tres servomotores Dynamixel XC-330 (elegidos por sus engranajes metálicos sobre los engranajes de plástico de los más económicos XL-330) para controlar las acciones vertical, horizontal y de disparo. Los servos están conectados mediante una placa controladora de servos de bus serie Waveshare.
• Mejoras de Robustez:
  • Bloqueo de Rosca: Se utilizó Loctite 243 para evitar que los tornillos se aflojen durante el uso prolongado.
  • Suavizado de Movimiento: Los autores ajustaron los parámetros del controlador PID de los servos (reduciendo la ganancia P, aumentando la ganancia I) para eliminar movimientos bruscos que estresaban al controlador.
  • Reflejo de Alta Corriente: Para evitar daños en el servo por picos de corriente cuando no se alcanza un punto de consigna, un bucle de alta frecuencia monitorea el consumo de corriente. Si se supera un umbral, la torsión del servo se desactiva durante un milisegundo, actuando como un reflejo protector similar a los sistemas biológicos.
• Costo y Accesibilidad: El Robotroller se puede construir por aproximadamente $400 en piezas, siendo los componentes restantes (chasis impreso en 3D) fabricables en impresoras de consumo como la Bambu Lab P1S.

2. El Atari Devbox

El Atari Devbox sirve como la interfaz del entorno.

• Hardware: Utiliza una Raspberry Pi 5 y una pantalla Waveshare de 5 pulgadas. Un chasis personalizado alberga los componentes.
• Interfaz: Un conector macho DB9 está conectado directamente a los pines GPIO de la Raspberry Pi para leer las señales del joystick CX40+.
• Funcionalidad: Un programa en C++ lee los estados de los GPIO con una latencia inferior al milisegundo, los mapea a las 18 acciones discretas del Arcade Learning Environment (ALE) y renderiza fotogramas de juego a 60 FPS.
• Comunicación Visual: La pantalla muestra AprilTags: cuatro etiquetas en las esquinas para la localización de la pantalla por parte de la cámara del agente, y etiquetas dinámicas en el lateral para codificar la señal de recompensa.

3. Integración del Sistema y Latencia

El sistema completo incluye una cámara Razer Kiyo Pro comercial (que transmite video sin comprimir vía USB 3.1) y una computadora de escritorio (Framework con AMD Ryzen AI Max+ 395).

• Latencia: El tiempo de respuesta de extremo a extremo (renderizado, captura, procesamiento, actuación) se midió en aproximadamente 165 ms, comparable a los tiempos de reacción humanos típicos. Esta latencia no incluye el tiempo requerido para que una red neuronal profunda seleccione una acción.

4. Algoritmo de Aprendizaje

Los experimentos utilizaron una formulación de Aprendizaje por Refuerzo Reactivo.

• Arquitectura: Una red totalmente convolucional procesa la entrada visual (fotogramas de 128×128 mezclados mediante una media móvil exponencial).
• Historial de Acciones: Una característica distintiva es la fusión tardía del historial de acciones. El agente codifica las acciones recientes como un vector binario factorizado (vertical, horizontal, disparo) y concatena esto con los mapas de características visuales después de la primera capa convolucional. Esto permite que el estimador de valor esté explícitamente condicionado tanto en observaciones visuales suavizadas como en decisiones de control recientes.
• Entrenamiento: El agente utiliza retornos de n-pasos, una política $\epsilon$-greedy y un búfer de repetición que prioriza las transiciones en línea recientes. La optimización utiliza AdamW para las capas convolucionales y SGD con momentum para la capa lineal final.

Resultados Clave

1. Robustez y Fiabilidad

El sistema fue probado durante 145 horas de aprendizaje continuo en seis juegos de Atari (Pong, Seaquest, Ms. Pacman, Assault, Asterix, Kangaroo).

• Resultado: El agente aprendió con éxito en todos los juegos sin fallos mecánicos ni intervención humana. El rendimiento fue consistente a través de múltiples ejecuciones, validando la durabilidad del diseño basado en rodamientos y los mecanismos de reflejo protectores.

2. Sensibilidad a los Cambios de Distribución

Los autores investigaron cómo las políticas aprendidas en un Robotroller se transfieren a un Robotroller diferente, construido de forma idéntica.

• Resultado: Las políticas desempeñaron consistentemente peor cuando se desplegaron en un cuerpo de robot diferente. La degradación fue más severa en juegos que requieren una precisión temporal (por ejemplo, Pong), donde incluso las discrepancias físicas menores causaron que el agente fallara al golpear la pelota por márgenes pequeños.
• Adaptación Continua: Cuando se permitió al algoritmo de aprendizaje continuar adaptándose en el nuevo cuerpo tras un cambio, el rendimiento se recuperó y mejoró, demostrando la necesidad de la adaptación en el dispositivo.

Significado y Reivindicaciones

El artículo afirma que Physical Atari es la primera plataforma robótica que es tanto asequible (menos de $1,000 en total) como lo suficientemente duradera para semanas de aprendizaje en tiempo real ininterrumpido.

Los autores enfatizan que esta plataforma permite estudiar desafíos inherentes al mundo físico que a menudo se ignoran en la simulación, tales como:

• Retrasos temporales y no estacionariedades.
• El impacto de los cambios de distribución causados por las inevitables diferencias físicas entre los cuerpos de los robots.

Los resultados subrayan que incluso las discrepancias mínimas entre los entornos de aprendizaje y despliegue pueden degradar significativamente el rendimiento de la política. En consecuencia, el artículo argumenta la importancia de la adaptación en el dispositivo para lograr un alto rendimiento en robótica, sugiriendo que aprender directamente en el robot (en lugar de únicamente en simulación) puede ser crítico para manejar la variabilidad del mundo real. La plataforma también ofrece un camino para comparar sistemáticamente los tres paradigmas del RL en robótica: el aprendizaje basado en simulación, el aprendizaje de datos humanos y el aprendizaje directamente en el robot.