Reinforcement Learning Enabled Adaptive Multi-Task Control for Bipedal Soccer Robots

논문 요약: 이족 보행 축구 로봇을 위한 강화학습 기반 적응형 멀티 태스크 제어

1. 연구 배경 및 문제 제기 (Problem)

이족 보형 축구 로봇을 동적인 전투 환경에서 개발하는 것은 다음과 같은 주요 기술적 난제에 직면해 있습니다.

• 운동 안정성 및 태스크 간 결합 (Coupling): 기본 보행 (서기, 걷기) 과 복잡한 축구 행동 (공 찾기, 킥) 을 동시에 학습할 때, 저수준의 안정성과 고수준의 목표가 서로 얽혀 복잡한 보상 함수 설계를 요구합니다.
• 상태 전환의 어려움: 서 있는 상태 (Upright walking) 와 넘어진 상태 (Fall recovery) 사이를 매끄럽게 전환하는 과정에서 상태 공간의 간섭이 발생하여 제어 불안정을 초래할 수 있습니다.
• 기존 방법의 한계: 기존 강화학습 (RL) 만으로는 고차원 탐색 공간에서 안정적인 보행 패턴을 학습하는 데 시간이 많이 소요되며, 다양한 태스크 간의 전환 시 정교한 상태 모델링이 필요합니다.

2. 제안된 방법론 (Methodology)

본 논문은 위 문제들을 해결하기 위해 모듈형 강화학습 (Modular RL) 프레임워크를 제안하며, 크게 세 가지 핵심 기술로 구성됩니다.

가. 하이브리드 피드포워드 - 피드백 제어 아키텍처 (Hybrid Feedforward-Feedback Control)

• 개루프 발진기 (Open-loop Oscillator): 중추 패턴 발생기 (CPG) 메커니즘을 기반으로 한 개루프 발진기를 사용하여 기본 보행 리듬 (스윙 및 스탠스 단계) 을 생성합니다. 이는 환경 피드백과 무관하게 안정적인 보행 기반을 제공합니다.
• 잔차 학습 (Residual Learning): RL 에이전트는 기본 보행 패턴에 미세한 균형 조정 및 조향 보상을 위한 '잔차 행동 (Residual Actions)'만 출력합니다. 최종 타겟 각도는 발진기 신호와 RL 잔차의 선형 결합으로 계산됩니다.
• 위상 인코딩: RL 정책과 발진기를 동기화하기 위해 시간 변수를 연속적인 조화 벡터 (sin, cos) 로 인코딩하여 상태 관측 공간에 포함시킵니다.

나. 자세 기반 이중 네트워크 동적 전환 메커니즘 (Posture-Driven Dual-Network Switching)

• 이중 네트워크 구조:
  • BSKN (Ball Seeking and Kicking Network): 공 찾기, 몸 회전, 킥 수행 등 축구 태스크에 특화됨. 로봇의 자세와 공/골대 위치 등 외부 환경 정보를 모두 활용.
  • FRN (Fall Recovery Network): 넘어진 상태에서 일어나는 작업에 특화됨. 공이나 골대 위치 등 외부 정보는 마스킹 (Zero-padding) 하고, IMU 및 관절 엔코더로부터 얻은 자세 정보 (기울기, 높이) 만 활용.
• 전환 로직: 로봇의 자세 (상체 기울기 각도 및 높이) 를 실시간으로 감지하여 상태를 판단합니다. 넘어진 상태 (기울기 > 25 도 또는 높이 임계값 미만) 가 감지되면 FRN 이 활성화되고 BSKN 은 일시 정지됩니다. 3 프레임 연속 판단 버퍼를 통해 전환 시의 진동 (Jitter) 을 방지하고 부드러운 전환을 보장합니다.

다. 커리큘럼 학습을 통한 FRN 훈련 (Curriculum Learning for FRN)

• FRN 훈련 시, 로봇이 넘어진 상태에서 일어나는 능력을 점진적으로 향상시키기 위해 점진적 힘 감쇠 (Progressive Force Attenuation) 전략을 적용합니다.
• 초기에는 외부 보조 힘을 크게 주어 학습을 용이하게 하다가, 학습이 진행됨에 따라 보조 힘을 점차 줄여 로봇이 스스로 일어날 수 있도록 훈련합니다.

3. 주요 기여 (Key Contributions)

1. 태스크 결합 해리 (Decoupling): 기본 보행 리듬 (발진기) 과 복잡한 축구 행동 (RL) 을 분리하여 학습 효율성을 극대화하고 보상 함수 설계를 단순화했습니다.
2. 상태 간섭 방지: 자세 감지 기반의 동적 전환 메커니즘을 도입하여 보행/공 제어 네트워크와 낙상 회복 네트워크 간의 특징 공간 간섭을 근본적으로 차단했습니다.
3. 효율적인 낙상 회복 훈련: 커리큘럼 학습 전략을 적용하여 복잡한 낙상 회복 태스크를 안정적이고 빠르게 학습시켰습니다.
4. 실시간 적응성: Unity 시뮬레이션 환경에서 제한된 공간 (코너) 에서도 공을 찾고 킥할 수 있는 뛰어난 공간 적응력을 입증했습니다.

4. 실험 결과 (Results)

• 낙상 회복 성능: 24 개의 시뮬레이션 인스턴스 테스트 결과, 로봇은 넘어진 후 평균 0.715 초 만에 안정적으로 일어서는 데 성공했습니다. 회복 시간은 대부분 0.5~1.0 초 사이로 분포하여 시스템의 견고성을 입증했습니다.
• 공간 적응성: 코너와 같은 제한된 공간에서도 공을 찾아 골대 방향으로 몸을 정렬하고 정확한 킥을 수행하는 능력을 시연했습니다.
• 1 대 1 축구 시뮬레이션: 넘어짐, 공 드리블, 골 득점 등 복잡한 태스크가 연속적으로 수행되었으며, 네트워크 전환 시에도 관절의 갑작스러운 진동 (Jitter) 없이 매끄러운 동작이 구현되었습니다.
• 학습 곡선: FRN 은 보조 힘이 제거된 후에도 높은 보상 (500~700) 을 유지하며 수렴했고, BSKN 은 1600 만 스텝 이후 안정적으로 200 의 보상을 달성했습니다.

5. 의의 및 결론 (Significance)

본 연구는 이족 보행 로봇이 동적이고 적대적인 환경에서 여러 태스크를 안정적으로 수행할 수 있는 효율적인 패러다임을 제시했습니다.

• 기술적 의의: 보행 리듬 생성과 고수준 의사결정을 분리하고, 상태 전환 시 네트워크를 동적으로 스위칭하는 아키텍처는 복잡한 로봇 제어 문제를 해결하는 강력한 해결책이 됩니다.
• 실용성: 시뮬레이션 환경 (Unity) 에서 검증된 이 프레임워크는 향후 실제 하드웨어로의 전이 (Sim-to-Real) 및 다중 에이전트 협력 전략으로 확장 가능한 기반을 마련했습니다.
• 미래 전망: 훈련된 정책의 실제 로봇 배포 및 비전 기반 감지 시스템 통합을 통해 더욱 지능적인 로봇 축구 시스템 개발이 기대됩니다.

---

참고: 본 연구는 상하이 대학 (Shanghai University) 미래기술학부의 연구팀이 수행했으며, 관련 소스 코드 및 데모 영상은 GitHub 및 OpenAtom 플랫폼을 통해 공개되었습니다.