Learning Agile Striker Skills for Humanoid Soccer Robots from Noisy Sensory Input

기술 요약: 노이즈가 있는 감각 입력으로부터 인간형 축구 로봇을 위한 민첩한 스트라이커 기술 학습

문제 제기
빠르고 견고한 공 차기 기술을 학습하는 것은 인간형 축구 로봇에게 여전히 중요하지만 도전적인 능력으로 남아 있습니다. 4 족 보행 로봇과 달리 인간형 로봇은 빠른 다리 스윙을 수행하는 동안 단일 지지 발 위에서 동적 균형을 유지해야 합니다. 이 작업은 센서 노이즈, 지연, 그리고 외부 교란 (예: 상대팀이 로봇이나 공을 밀어내는 경우) 을 포함한 상당한 지각 불확실성 하에서 전신 제어의 정밀한 조정을 요구합니다. 기존 방법들은 종종 다양한 공 - 골대 구성에 걸쳐 일반화하는 데 어려움을 겪거나 지각이 불완전할 때 안정성을 유지하지 못하여, 시뮬레이션 훈련과 실제 세계 배포 사이에 상당한 격차를 만듭니다.

방법론
저자들은 불완전한 지각 하에서도 견고한 지속적인 공 차기를 가능하게 하고 시뮬레이션에서 실제 세계로의 격차를 해소하도록 설계된 4 단계 강화 학습 (RL) 훈련 파이프라인을 제안합니다. 이 프레임워크는 교사 - 학생 아키텍처를 활용합니다:

1. 원거리 공 추격 (교사): "특권"을 가진 교사 정책은 공과 골대의 실제 위치뿐만 아니라 공의 속도와 물리적 매개변수에 접근하여 훈련됩니다. 환경은 불완전한 상태에서의 회복을 장려하기 위해 도메인 무작위화 (예: 외부 밀기, 무작위화된 질량/마찰) 를 적용합니다. 보상 함수는 로봇 - 공 벡터와 정렬된 선형 및 각속도 추적을 중점적으로 다룹니다.
2. 방향성 킥 (교사): 교사 정책은 정밀한 킥 동작을 학습하도록 확장됩니다. 환경은 RoboCup 성인 크기 필드를 시뮬레이션합니다. 새로운 보상 구성 요소가 도입됩니다: 공 속도 보상(골대로 향하는 높은 속도를 장려하되 악용을 방지하기 위해 상한을 설정) 과 머리 추적 보상(공과의 시각적 접촉을 장려).
3. 교사 정책 증류 (학생): 특권 교사 정책은 현실적이고 노이즈가 있는 지각 하에서 작동하는 "학생" 정책으로 증류됩니다. 학생은 고유 감각 데이터의 역사와 공/골대 위치의 노이즈가 있는 추정을 관찰합니다.
   • 노이즈 모델링: 시스템은 속도 의존적 노이즈 모델 (노이즈 크기가 물체 속도에 비례하여 증가), 비동기 업데이트 (공 위치 업데이트는 약 10Hz 대 고유 감각은 50Hz), 그리고 가려짐으로 인한 프레임 드롭을 통해 현실적인 불확실성을 시뮬레이션합니다.
   • 훈련: 학생은 데이터셋 집계 (DAgger) 를 사용하여 훈련되며, 학생 정책 하에서 롤아웃을 반복적으로 수집하고 교사의 교정 행동을 조회하여 자신의 오류로부터 회복하는 법을 학습합니다.
4. 학생 적응 및 정제: 최종 단계는 온라인 제약 강화 학습을 적용하여 학생 정책을 정제합니다.
   • 제약 강화 학습: 저자들은 표준 고정 정규화 계수가 "불균질한 신용 할당"을 유발하여 킥 직전에 (미래 작업 보상이 높은 시점) 떨리는 동작이나 위험한 급격한 회전으로 이어질 수 있음을 확인했습니다. 이를 완화하기 위해 문제를 N-P3O를 사용하여 제약 최적화 작업으로 재형식화했습니다. 목적 함수는 작업 수행 (킥 정확도/속도) 을 최대화하는 동시에 집계된 정규화 비용 (예: 토크, 관절 가속도) 을 특정 임계값으로 제한합니다. 이는 성능을 희생하지 않으면서 더 부드럽고 안전한 동작을 보장합니다.

실제 세계 배포
이 정책은 1.18m 높이, 23 자유도 (DoF) 의 Booster T1 인간형 로봇에 배포됩니다. 지각 파이프라인은 공 감지 및 깊이 역투영을 위해 YOLOv8 모델을 사용하고, Legolas 에서 영감을 받은 학습된 보행 - 관성 오도메트리 모듈과 결합하여 골대 위치를 파악합니다. 제어 정책은 NVIDIA AGX Orin 에서 50Hz 로 실행됩니다.

주요 결과

• 시뮬레이션: 이 정책은 다양한 공 - 골대 구성에서 평균 킥 정확도 0.956과 성공률 **79.5%**를 달성했습니다. 최대 공 속도는 4.13 m/s에 달했으며, 평균 에너지 비용은 110.8 J/s였습니다. 시스템은 공이 골대에 가까울 때 더 가벼운 킥을 적용하는 등 에너지 절약 전략을 발현했습니다.
• 실제 세계: 물리적 로봇에서 이 정책은 다섯 가지 다른 공 - 골대 구성에서 평균 성공률 **66.7%**를 달성했으며, 킥 정확도는 0.94 에서 0.99 사이였습니다.
• Ablation 연구:
  • 제약 강화 학습 (N-P3O): 고정 정규화를 사용한 표준 PPO 와 비교하여 N-P3O 는 높은 성공률을 유지하면서 안정성 (최대 각속도 감소) 과 에너지 효율성 (PPO-1.0 의 255.8 J/s 대비 108.6 J/s) 을 크게 향상시켰습니다.
  • 학생 적응: 온라인 적응 단계가 결정적이었습니다; 적응 전 학생은 에너지 비용이 두 배인 상태에서 52.3% 의 성공률과 0.807 의 정확도만 달성한 반면, 적응된 학생은 시뮬레이션 성능 (79.5% 성공) 과 일치했습니다.

의의 및 주장
이 논문은 불완전한 지각 하에서 견고하고 지속적인 인간형 공 차기 기술을 학습하기 위한 포괄적인 프레임워크를 제시한다고 주장합니다. 현실적인 노이즈 모델링과 제약된 온라인 적응을 갖춘 단계적 교사 - 학생 커리큘럼을 결합함으로써, 이 연구는 인간형 전신 제어에서의 민첩한 시지각 운동 기술 학습을 위한 벤치마크를 확립합니다. 저자들은 이 접근 방식이 시뮬레이션에서 실제 세계로의 격차를 성공적으로 해소하여 각 구성에 대한 작업별 튜닝 없이 물리적 하드웨어에 제로 샷 (zero-shot) 배포를 가능하게 한다고 강조합니다.

한계점
저자들은 원거리 추격 보행이 보행 훈련에서 설계된 보상 함수에 의존하며, 킥으로의 전이는 이러한 동작들의 유사성에 달려 있다고 지적합니다. 그들은 근본적으로 다른 동작 패턴을 가진 작업으로 일반화하는 것은 다양한 인간 동작으로부터의 학습에 대한 향후 연구가 필요할 수 있다고 제안합니다.