Learning Agile Striker Skills for Humanoid Soccer Robots from Noisy Sensory Input

Resumen Técnico: Aprendizaje de Habilidades de Remo Ágil para Robots Humanoides de Fútbol a partir de Entradas Sensoriales Ruidosas

Enunciado del Problema
Aprender habilidades de patada al balón rápidas y robustas sigue siendo una capacidad crítica pero desafiante para los robots humanoides de fútbol. A diferencia de los cuadrúpedos, los humanoides deben mantener el equilibrio dinámico sobre un solo pie de apoyo mientras ejecutan balanceos rápidos de las piernas. Esta tarea requiere una coordinación precisa del control de todo el cuerpo bajo una incertidumbre perceptiva significativa, que incluye ruido de sensores, retrasos y perturbaciones externas (por ejemplo, oponentes que empujan al robot o al balón). Los métodos existentes a menudo luchan por generalizar entre diversas configuraciones balón-portería o fallan en mantener la estabilidad cuando la percepción es imperfecta, creando una brecha significativa entre el entrenamiento en simulación y el despliegue en el mundo real.

Metodología
Los autores proponen una tubería de entrenamiento de aprendizaje por refuerzo (RL) de cuatro etapas diseñada para cerrar la brecha sim-real y permitir un continuo pateo de balón robusto bajo percepción imperfecta. El marco utiliza una arquitectura maestro-alumno:

1. Persecución de Balón a Larga Distancia (Maestro): Se entrena una política de "maestro" privilegiada con acceso a las posiciones reales del balón y la portería, así como a la velocidad del balón y sus parámetros físicos. El entorno emplea aleatorización de dominio (por ejemplo, empujes externos, masa/fricción aleatorizada) para fomentar la recuperación desde estados imperfectos. La función de recompensa se centra en rastrear velocidades lineales y angulares alineadas con el vector robot-balón.
2. Patada Direccional (Maestro): La política del maestro se extiende para aprender movimientos de patada precisos. El entorno simula un campo de RoboCup de tamaño adulto. Se introducen nuevos componentes de recompensa: una recompensa de velocidad del balón (que fomenta alta velocidad hacia la portería, limitada para evitar la explotación) y una recompensa de seguimiento de cabeza (que fomenta el contacto visual con el balón).
3. Destilación de la Política del Maestro (Alumno): La política privilegiada del maestro se destila en una política "alumno" que opera bajo percepción ruidosa y realista. El alumno observa un historial de datos propioceptivos y estimaciones ruidosas de las posiciones del balón/portería.
   • Modelado de Ruido: El sistema simula incertidumbre realista mediante un modelo de ruido dependiente de la velocidad (la magnitud del ruido escala con la velocidad del objeto), actualizaciones asíncronas (actualizaciones de posición del balón a ~10 Hz frente a la propiocepción a 50 Hz) y pérdida de cuadros debido a oclusiones.
   • Entrenamiento: El alumno se entrena utilizando Agregación de Conjuntos de Datos (DAgger), recopilando iterativamente trayectorias bajo la política del alumno y consultando al maestro para obtener acciones correctivas y aprender a recuperarse de sus propios errores.
4. Adaptación y Refinamiento del Alumno: La etapa final aplica RL en línea con restricciones para refinar la política del alumno.
   • RL con Restricciones: Los autores identifican que los coeficientes de regularización fijos estándar pueden causar una "asignación de crédito inhomogénea", lo que lleva a movimientos temblorosos o giros bruscos e inseguros inmediatamente antes de una patada (donde las recompensas futuras de la tarea son altas). Para mitigar esto, reformulan el problema como una tarea de optimización con restricciones utilizando N-P3O. El objetivo maximiza el rendimiento de la tarea (precisión/velocidad de la patada) mientras restringe el costo de regularización agregado (por ejemplo, par, aceleración de las articulaciones) a un umbral específico. Esto garantiza movimientos más suaves y seguros sin sacrificar el rendimiento.

Despliegue en el Mundo Real
La política se despliega en un robot humanoide Booster T1 (1.18 m de altura, 23 grados de libertad). La tubería de percepción utiliza un modelo YOLOv8 para la detección de balones y la desproyección de profundidad, combinado con un módulo de odometría inercial aprendido para piernas (inspirado en Legolas) para la localización de la portería. La política de control se ejecuta a 50 Hz en un NVIDIA AGX Orin.

Resultados Clave

• Simulación: La política logró una precisión de patada promedio de 0.956 y una tasa de éxito de 79.5% en diversas configuraciones balón-portería. La velocidad máxima del balón alcanzó 4.13 m/s, con un costo energético promedio de 110.8 J/s. El sistema demostró una estrategia emergente de ahorro de energía, aplicando patadas más ligeras cuando el balón estaba más cerca de la portería.
• Mundo Real: En el robot físico, la política logró una tasa de éxito promedio de 66.7% en cinco configuraciones diferentes de balón-portería, con precisiones de patada que oscilaron entre 0.94 y 0.99.
• Estudios de Ablación:
  • RL con Restricciones (N-P3O): En comparación con PPO estándar con regularización fija, N-P3O mejoró significativamente la estabilidad (menor velocidad angular máxima) y la eficiencia energética (108.6 J/s frente a 255.8 J/s para PPO-1.0) mientras mantenía altas tasas de éxito.
  • Adaptación del Alumno: La etapa de adaptación en línea fue crítica; el alumno pre-adaptado logró solo un 52.3% de éxito y una precisión de 0.807 con el doble de costo energético, mientras que el alumno adaptado igualó el rendimiento de la simulación (79.5% de éxito).

Significado y Afirmaciones
El artículo afirma presentar un marco integral para aprender habilidades de patada de balón continuas y robustas en humanoides bajo percepción imperfecta. Al combinar un currículo escalonado maestro-alumno con un modelado de ruido realista y adaptación en línea con restricciones, el trabajo establece un punto de referencia para el aprendizaje de habilidades visuomotoras ágiles en el control de todo el cuerpo de humanoides. Los autores enfatizan que este enfoque cierra con éxito la brecha sim-real, permitiendo un despliegue cero-shot en hardware físico sin ajuste específico de la tarea para cada configuración.

Limitaciones
Los autores señalan que las tallas de persecución a larga distancia dependen de funciones de recompensa diseñadas a partir del entrenamiento de la marcha, y que la transferencia a la patada depende de la similitud de estos movimientos. Sugieren que generalizar a tareas con patrones de movimiento fundamentalmente diferentes podría requerir trabajo futuro sobre el aprendizaje a partir de diversos movimientos humanos.