💻 computer science

HierKick: Hierarchical Reinforcement Learning for Vision-Guided Soccer Robot Control

이 논문은 YOLOv8 기반의 고수준 전략과 사전 훈련된 저수준 제어기를 결합한 계층적 강화학습 프레임워크 'HierKick'을 제안하여, 복잡한 축구 로봇 환경에서 시뮬레이션 및 실제 세계 모두에서 높은 성공률로 공 접근, 정렬, 드리블, 슈팅을 효과적으로 수행함을 보여줍니다.

원저자: Yizhi Chen, Zheng Zhang, Zhanxiang Cao, Yihe Chen, Shengcheng Fu, Liyun Yan, Yang Zhang, Jiali Liu, Haoyang Li, Yue Gao

게시일 2026-03-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yizhi Chen, Zheng Zhang, Zhanxiang Cao, Yihe Chen, Shengcheng Fu, Liyun Yan, Yang Zhang, Jiali Liu, Haoyang Li, Yue Gao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🏆 HierKick: 로봇 축구팀의 '명장'과 '스타 플레이어'

이 시스템은 크게 두 명의 인물이 팀을 이끄는 구조로 작동합니다. 바로 **'코치 (Coach)'**와 **'플레이어 (Motion Policy)'**입니다.

1. 두뇌와 몸의 완벽한 조화 (계층적 강화학습)

기존의 로봇들은 모든 것을 한 번에 배우려다 보니, 복잡한 경기장에서 당황하거나 넘어지기 일쑤였습니다. 하지만 HierKick 은 역할을 나누었습니다.

코치 (고수준 정책, 5Hz):
- 역할: 경기장의 상황을 보고 "지금 공을 향해 달려가야 해", "공을 잡을 준비를 해", "슛을 날려!"라고 전략을 세우는 두뇌입니다.
- 특징: 인간의 전술적 판단 속도에 맞춰 초당 5 번 정도만 생각을 합니다. (매우 신중하고 전략적입니다.)
- 눈: 로봇의 눈 (YOLOv8 카메라) 으로 공과 골대 위치를 실시간으로 확인합니다.
- 명령: "빨리 달려가", "조금만 멈춰", "왼쪽으로 살짝 돌아"와 같은 속도 명령을 내립니다.
플레이어 (저수준 정책, 50Hz):
- 역할: 코치의 명령을 받아 실제로 다리를 움직이는 운동선수입니다.
- 특징: 이미 훈련을 마친 베테랑 선수라, 코치가 "왼쪽으로 가라"고 하면 초당 50 번의 미세한 근육 조절 (관절 제어) 을 통해 균형을 잡으며 움직입니다.
- 장점: 코치가 전략을 짜는 동안, 선수는 이미 걷고 뛰는 기술을 완벽하게 익혀 있어서 넘어지지 않고 빠르게 반응합니다.

💡 비유: 마치 축구 경기에서 **코치가 "공을 따라가서 오른쪽으로 패스해!"**라고 외치면, 선수는 그 명령을 듣고 발을 빠르게 움직여 공을 차는 것과 같습니다. 코치는 '무엇을 할지'를 결정하고, 선수는 '어떻게 움직일지'를 처리합니다.

2. 4 단계의 경기 흐름 (수업 방식)

로봇은 공을 차기 위해 네 가지 단계를 거치며, 각 단계마다 다른 목표를 가집니다. 마치 학교에서 수업을 듣는 것처럼 단계별로 배웁니다.

도달 (Approach): 공이 멀리 있을 때는 "공을 향해 직진하자!"
정렬 (Alignment): 공에 가까워지면 "골대 방향을 정확히 보자!" (몸을 회전시켜 각도 맞춤)
드리블 (Dribble): 공을 발로 살짝 찔러 골대 쪽으로 유도하며 "빠르게 가자!"
슛 (Shoot): 골대 앞에서 "최대한 세게 차자!"

이 과정에서 로봇이 넘어지지 않도록 균형 잡기와 발목 조절은 '플레이어'가 자동으로 처리하고, '코치'는 다음 단계로 넘어갈 타이밍을 결정합니다.

3. 왜 이 방식이 성공했을까? (결과)

연구진은 이 시스템을 시뮬레이션 (가상 현실) 과 실제 로봇 (Booster T1) 에서 테스트했습니다.

성공률:
- 가상 현실 (Isaac Gym): 95.2% (거의 실패 없음)
- 가상 엔진 (MuJoCo): 89.8%
- 실제 로봇: 80% (실제 바닥의 미끄러움, 조명 변화 등 예상치 못한 변수가 있어 조금 떨어졌지만, 여전히 매우 높은 성공률입니다.)
기존 방식과의 차이:
- 기존 방식 (End-to-End): 모든 것을 한 번에 배우려다 보니, 공을 놓치거나 넘어지는 경우가 많았습니다 (성공률 약 25%).
- HierKick: 코치와 플레이어를 분리하고, 과거의 명령 기록을 참고하게 하여, 로봇이 훨씬 더 안정적으로 공을 차고 골대에 넣었습니다.

4. 핵심 요약

이 논문은 **"복잡한 일을 할 때는 거시적인 전략 (코치) 과 미시적인 실행 (선수) 을 나누어 생각해야 한다"**는 교훈을 줍니다.

로봇이 공을 차는 것처럼 복잡한 작업을 할 때, 한 번에 모든 것을 하려 하지 않고, 전략을 짜는 속도와 움직이는 속도를 다르게 설정하면 훨씬 더 똑똑하고 빠른 로봇을 만들 수 있다는 것을 증명했습니다.

이 기술은 앞으로 로봇이 복잡한 환경에서 다양한 일을 할 때 (예: 물건 나르기, 구조 작업 등) 매우 유용하게 쓰일 것으로 기대됩니다.

HierKick: 비전 기반 축구 로봇 제어를 위한 계층적 강화 학습

1. 연구 배경 및 문제 제기 (Problem)

복잡한 의사결정 스케일: 축구 로봇 제어는 장기적인 전술 계획 (공에 접근, 드리블, 슈팅 방향 설정) 과 단기적인 정밀한 운동 실행 (관절 제어, 균형 유지) 을 동시에 수행해야 하는 다중 시간 스케일 (Multi-time-scale) 의사결정 문제가 내재되어 있습니다.
기존 기술의 한계: 종단간 (End-to-End) 강화 학습 (RL) 방법은 복잡한 동적 환경에서 수렴이 어렵고, 전략의 불안정성, 높은 제어 지연 시간, 그리고 환경 변화에 대한 적응력 부족 등의 문제를 겪습니다. 또한, 보상이 희소 (Reward Sparsity) 하여 학습이 어렵고 대규모 수동 개입이 필요한 경우가 많습니다.
목표: 인간형 로봇이 비전을 활용하여 공을 추적하고, 드리블하며, 골대에 슈팅하는 일련의 작업을 안정적이고 실시간으로 수행할 수 있는 프레임워크를 개발하는 것입니다.

2. 제안 방법론 (Methodology)

논문은 HierKick이라는 이중 주파수 계층적 강화 학습 (Dual-frequency Hierarchical RL) 프레임워크를 제안합니다. 이는 "전술적 의사결정"과 "운동 실행"을 해체하고 시너지를 내도록 설계되었습니다.

계층적 아키텍처:
- 고수준 정책 (High-level Policy, Coach Model): 5 Hz 주기로 작동합니다. YOLOv8 을 활용한 실시간 비전 감지 (공과 골대 위치) 와 과거 속도 명령을 기반으로 공에 접근 (Approach), 정렬 (Alignment), 드리블 (Dribble), 슈팅 (Shoot) 의 과제를 선택하고 가속도 명령을 출력합니다.
- 저수준 제어기 (Low-level Controller, Motion Policy): 50 Hz 주기로 작동하는 사전 학습된 (Pre-trained) 운동 제어기입니다. 고수준에서 받은 속도 명령을 받아 정밀한 관절 제어 (12 자유도) 를 수행하여 로봇의 보행과 공 차기를 실행합니다.
관측 및 행동 공간:
- 고수준: 로봇 - 공/골대 거리, 상대적 각도, 이전 명령 히스토리 등을 관측하여 3 차원 속도 증가량 ( $\Delta v$ ) 을 행동으로 출력합니다.
- 저수준: 로봇의 관성 측정, 관절 각도, 고수준 속도 명령 등을 관측하여 관절 위치 목표값을 생성합니다.
다단계 보상 메커니즘 (Multi-Stage Reward Mechanism):
- 로봇과 공의 거리에 따라 보상 함수가 동적으로 변경됩니다.
  1. 접근 (Approach): 공을 향해 직선으로 빠르게 이동.
  2. 정렬 (Alignment): 공 - 로봇 - 골대 일직선 정렬 최적화.
  3. 드리블 (Dribble): 공을 골대 방향으로 부드럽게 유도.
  4. 슈팅 (Shoot): 골대 정렬 유지 및 강력한 발차기 속도 확보.
- 각 단계는 이진 마스크 (Binary Mask) 로 활성화되며, 명령의 급격한 변동을 방지하기 위한 정규화 항 (Regularization) 이 포함됩니다.
비전 시스템: 로봇 내장 GPU 에서 실행되는 YOLOv8 을 사용하여 30 Hz 로 공을 감지하고, 깊이 정보를 통해 3D 좌표를 변환합니다.

3. 주요 기여 (Key Contributions)

적응형 속도 제어를 위한 이중 주파수 계층적 RL 프레임워크: 고수준 (5 Hz) 과 저수준 (50 Hz) 의 주파수 분리를 통해 전술적 계획과 정밀한 제어를 동시에 최적화하는 새로운 패러다임을 제시했습니다.
커리큘럼 학습 기반의 코치 모델: 경기 상황을 평가하고 가속도 신호를 출력하는 코치 모델을 도입하여, 로봇이 단계별로 다양한 기술 (접근, 드리블, 슈팅) 을 점진적으로 습득하도록 했습니다.
실제 로봇 적용 및 실시간 제어 달성: 'Booster T1' 인간형 로봇에 계층적 제어 전략을 성공적으로 이식하여, 50 Hz 제어 주파수에서 약 **20ms 의 종단간 지연 시간 (End-to-end latency)**을 달성했습니다. 이는 실시간 제어 요구 사항을 충족합니다.

4. 실험 결과 (Results)

성공률 (Success Rate):
- Isaac Gym (시뮬레이션): 95.2%
- MuJoCo (시뮬레이션): 89.8%
- 실제 환경 (Booster T1 로봇): 80.0%
- 의미: 시뮬레이션과 실제 환경 간의 전이 (Sim-to-Real) 성능이 우수하며, 복잡한 동적 환경에서도 높은 성공률을 보입니다.
비교 및 제거 실험 (Ablation Study):
- HierKick (완전): 95.2% 성공률.
- 거리 정보 제거 (w/o $d_{ball}, d_{goal}$ ): 23.2% 로 급감하여 거리 정보가 필수적임을 입증.
- 출력 형태 변경 (Acceleration $\to$ Velocity): 8.2% 로 실패하여 과거 명령 히스토리의 중요성 확인.
- 종단간 (End-to-End) 방법: 25.6% 로 계층적 접근법의 우월성을 입증.
킥 거리 정확도: HierKick 은 다른 방법들에 비해 골대 중심까지의 거리가 가장 작고 분산이 적어 (가장 정밀함), 안정적인 발차기 수행을 가능하게 함.

5. 의의 및 결론 (Significance)

복잡한 환경 제어의 새로운 패러다임: HierKick 은 다중 시간 스케일 작업을 해결하기 위한 모듈형 설계와 사전 학습된 기술의 재사용을 통해 로봇 제어의 새로운 길을 제시합니다.
실용성: 20ms 의 낮은 지연 시간과 80% 의 실제 환경 성공률은 인간형 로봇이 실제 축구 경기와 같은 동적 환경에서 자율적으로 작동할 수 있는 가능성을 입증했습니다.
확장성: 이 프레임워크는 축구뿐만 아니라 다른 다중 시간 스케일 작업을 가진 로봇 제어 작업으로도 확장 가능하여, 복잡한 환경에서의 지능형 로봇 제어 연구에 중요한 기여를 합니다.

요약하자면, 이 논문은 계층적 강화 학습을 통해 인간형 로봇이 복잡한 축구 과제를 실시간으로 안정적으로 수행할 수 있게 한 획기적인 연구로, 시뮬레이션과 실제 환경 모두에서 높은 성능을 입증했습니다.