PACE: Physics Augmentation for Coordinated End-to-end Reinforcement Learning toward Versatile Humanoid Table Tennis

논문 요약: PACE (물리 증강을 통한 인간형 탁구용 종단간 강화학습)

1. 문제 정의 (Problem)

인간형 로봇이 탁구와 같은 고속 동적 환경에서 성공적으로 활동하기 위해서는 빠른 인지, 선제적인 전신 운동, 민첩한 발놀림이 필수적입니다. 그러나 기존 연구들은 다음과 같은 한계를 가지고 있었습니다:

• 가상 타격면 (Virtual Hitting-Plane) 의 제약: 대부분의 기존 제어 방식은 공이 특정 가상의 평면을 통과할 때만 타격한다는 가정을 기반으로 합니다. 이는 로봇이 공의 위치와 속도에 따라 유연하게 발걸음을 옮기고 전신을 조정하는 능력을 제한합니다.
• 희소 보상 (Sparse Rewards) 과 탐색의 어려움: 강화학습 (RL) 을 적용할 때, '공을 맞췄다/못 맞췄다'와 같은 이진 (Binary) 보상은 학습 효율이 매우 낮습니다. 특히 인간형 로봇은 높은 차원의 행동 공간과 보행 불안정성으로 인해 효율적인 탐색이 어렵습니다.
• 전신 조정의 부재: 기존 학습 기반 접근법은 주로 로봇 팔에 집중되거나, 발놀림이 제한적인 상태 (예: 제자리) 에서만 작동하여 다양한 공의 궤적에 대응하는 전신 협응을 달성하지 못했습니다.

2. 방법론 (Methodology)

이 논문은 PACE라고 명명된 종단간 (End-to-End) 강화학습 프레임워크를 제안합니다. 이 프레임워크는 공의 위치 관측과 로봇의 고유 감각 (Proprioception) 을 직접 입력받아 팔 타격과 발놀림을 동시에 제어합니다.

• 예측기 증강 액터 정책 (Predictor-Augmented Actor Policy):

  • 공이 매우 빠르게 이동하므로 (0.5 초 이내), 로봇은 공이 도달하기 전에 선제적으로 움직여야 합니다.
  • 이를 위해 **가벼운 학습 기반 예측기 (Learned Predictor)**를 도입했습니다. 이 예측기는 최근의 공 위치 관측치를 입력받아 공이 첫 번째 타격 후 정점 (Apex) 에 도달할 미래 상태를 추정합니다.
  • 이 예측된 미래 상태는 액터 (Actor) 네트워크의 관측치에 추가되어 로봇이 공을 기다리지 않고 선제적으로 발걸음을 옮기도록 유도합니다.

• 물리 기반 예측 보상 (Physics-based Predictive Rewards):

  • 희소한 성공/실패 보상의 한계를 극복하기 위해, 시뮬레이션 내 물리 엔진을 활용하여 공의 미래 궤적을 예측하고 이를 기반으로 밀집된 (Dense) 연속 보상을 설계했습니다.
  • 도달 보상 (Reaching Reward): 로봇의 손끝과 예측된 타격점 사이의 거리, 그리고 로봇의 기저 (Base) 위치를 타격점에 맞춰 조정하는 것을 장려합니다.
  • 리턴 보상 (Returning Reward): 공이 네트를 넘고 상대방 테이블에 떨어질 것으로 예측되는 지점을 기준으로, 네트 통과 높이와 착지 위치를 보상합니다.
  • 이 보상들은 공이 실제로 착지하기 전, 타격 순간에 즉시 계산되어 학습 효율을 극대화합니다.

• 비대칭 액터 - 크리틱 (Asymmetric Actor-Critic):

  • 액터 (실제 제어): 실제 센서 노이즈가 포함된 관측치와 학습된 예측기 출력을 사용합니다.
  • 크리틱 (가치 함수 학습): 시뮬레이션의 정밀한 물리 정보 (Privileged Information) 와 미래 상태를 모두 사용하여 더 정확한 가치 함수를 학습합니다.

3. 주요 기여 (Key Contributions)

1. 통합 종단간 RL 프레임워크: 모듈식 분해나 계층적 계획 없이, 공의 관측치로부터 직접 인간형 로봇의 전신 (팔 타격 + 발놀림) 참조 운동을 생성하는 최초의 통합 RL 프레임워크 중 하나입니다.
2. 물리 증강 학습 전략: 학습된 미래 상태 예측기와 물리 기반 밀집 보상을 결합하여, 인간형 로봇의 고차원 행동 공간에서도 효율적인 탐색과 학습을 가능하게 했습니다.
3. 실제 하드웨어 제로샷 (Zero-shot) 배포: 시뮬레이션에서 학습된 정책을 별도의 추가 튜닝 없이 **Booster T1 인간형 로봇 (23 개의 회전 관절)**에 직접 적용하여 성공적인 탁구 플레이를 입증했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 성능: 다양한 서브 범위 (짧은 공, 긴 공, 혼합) 에서 96% 이상의 히트율과 92% 이상의 성공률을 기록했습니다. 특히 공의 깊이 (Depth) 와 너비 (Width) 가 모두 변하는 혼합 환경에서도 로봇이 능동적으로 전후좌우로 이동하며 대응하는 것을 확인했습니다.
• 실제 하드웨어 배포 (Sim2Real):
  • 실제 Booster T1 로봇에서 31 개의 공을 처리하여 93.5% 의 히트율과 61.3% 의 성공률을 달성했습니다.
  • 시뮬레이션 대비 성공률이 낮아진 주된 원인은 시뮬레이션의 직렬 발목 모델과 실제 로봇의 병렬 링크 발목 메커니즘 간의 차이, 그리고 모터 동역학의 불완전한 모델링으로 인한 추적 오차로 분석되었습니다.
  • 그럼에도 불구하고, 로봇은 다양한 공의 속도와 방향에 맞춰 민첩한 측면 및 전후 발놀림을 수행하고, 평균 6.9 m/s 의 빠른 속도로 공을 되돌려 보냈습니다.
• Ablation Study (삭제 실험): 예측기나 예측 기반 보상을 제거할 경우 학습이 실패하거나 성능이 급격히 떨어지는 것을 확인하여, 두 요소가 학습의 핵심임을 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 인간형 로봇이 단순한 정적 조작이나 보행을 넘어, 고속으로 이동하는 물체와 상호작용하는 복잡한 스포츠 환경에서도 유연하고 경쟁력 있는 전신 제어를 달성할 수 있음을 보여줍니다.

• 기술적 혁신: '가상 타격면'이라는 기존의 제약을 깨고, 로봇이 공의 궤적에 맞춰 스스로 발걸음을 옮기며 전신을 조정하는 진정한 의미의 '전신 협응 (Whole-body Coordination)'을 실현했습니다.
• 실용성: 시뮬레이션에서 학습된 정책이 실제 로봇에서 제로샷으로 작동한다는 점은, 복잡한 동적 작업을 위한 강화학습의 실용적 가능성을 크게 확장했습니다.
• 미래 전망: 향후 손목의 자유도 (DoF) 를 늘려 백핸드 등 더 정교한 라켓 기술을 학습하고, 인간 데모 데이터를 활용한 커리큘럼 학습을 통해 인간 수준의 탁구 실력을 목표로 할 계획입니다.

이 논문은 인간형 로봇이 스포츠와 같은 역동적인 환경에서 인간과 경쟁하거나 협력할 수 있는 기술적 토대를 마련했다는 점에서 중요한 의의를 가집니다.