기술 요약: 보행 로봇의 로코모션(Locomotion)을 위한 성장형 정책 최적화 (Growing Policy Optimization, GPO)

1. 문제 정의

토크 기반 제어(torque-based control) 하에서의 보행 로봇을 위한 강화 학습(RL) 정책 훈련은 고차원의 연속적인 액션 공간, 엄격한 하드웨어 제약 조건, 그리고 탐색(exploration)의 어려움으로 인해 상당한 도전 과제에 직면해 있습니다. 환경 특화된 휴리스틱(예: 보상 형성, 커리큘м 학습, 수동 초기화)을 활용하는 기존 방식들은 위치 기반 제어(position-based control)에서는 성공적으로 작동하는 경우가 많지만, 토크 제어에서는 어려움을 겪습니다. 토크 제어에서는 액션이 관절 토크로 직접 매핑되므로, 강력한 결합(coupling)과 엄격한 안정성 요구 사항이 발생합니다.

식별된 핵심 문제는 근사 정책 최적화(PPO)와 같은 표준 정책 경사 방법들이 훈련 전 과정 동안 **고정된 액션 공간(fixed action space)**을 가정한다는 점입니다. 이러한 설계는 정책이 훈련 초기부터 전체의 높은 분산을 가진 액션 공간을 탐색하도록 강제합니다. 결과적으로, 훈련 초기 단계에서는 다음과 같은 문제가 발생합니다:

• 높은 그래디언트 분산과 불안정한 최적화 지형.
• 최적의 정책으로 수렴하기 전, 신뢰할 수 있는 저진폭(low-amplitude) 제어 동작을 학습하는 데 따르는 어려움.
• 탐색 과정 중 로봇을 불안정하게 만들 위험으로 인한 비효적인 데이터 수집.

현재의 엔지니어링 관행은 훈련 초기에는 액션 한계를 수동으로 제한하고 이후에 이를 완화하는 방식을 사용하지만, 액션 공간의 진화를 학습 알고리즘의 필수적인 부분으로 취급하거나 그 최적화 특성에 미치는 영향에 대한 명확한 이론적 분석을 제공하는 원칙적인 프레임워크는 존재하지 않습니다.

2. 방법론: 성장형 정책 최적화 (GPO)

저자들은 훈련 초기 단계에는 유효 액션 공간을 제한하고 이를 점진적으로 확장하기 위해 시간 가변적 액션 변환(time-varying action transformation)을 적용하는 성장형 정책 최적화 (GPO) 프레임워크를 제안합니다.

핵심 메커니즘

GPO는 정책의 잠재 액션 출력($a$)을 실행 가능한 액션($\tilde{a}$)으로 매핑하는 부드러운 시간 의존적 변환을 도입합니다:
$$\tilde{a} = \beta_t \tanh\left(\frac{a}{\beta_t}\right)$$
여기서 $\beta_t = a_{limit} f(t)$는 훈련 단계 $t$에 따른 단조 증가 함수이며, $\lim_{t \to \infty} f(t) = 1$을 만족합니다.

• 초기 단계: $\beta_t$가 작아 유효 액션 공간이 제한됩니다. 이 변환은 작은 액션에 대해 근사 선형 영역(near-linear regime)에서 작동하여, 에이전트가 그래디언트 노이즈가 감소된 상태에서 안정적인 저진폭 제어를 학습할 수 있게 합니다.
• 후기 단계: $\beta_t$가 증가함에 따라 유효 액션 공간이 확장되어, 더 큰 제어 권한(control authority)을 확보하고 더 높은 기대 수익을 달성하기 위한 광범위한 탐색을 가능하게 합니다.
• 포화(Saturation): 큰 크기의 액션에 대해, 출력은 하드웨어 한계($\pm a_{limit}$)에서 부드럽게 포화됩니다. 이는 기능적으로 하드 클리핑(hard clipping)과 동일하지만 미분 가능성을 유지합니다.

이론적 보장

본 논문은 GPO가 표준 PPO의 안정성을 유지하면서 최적화 역학을 개선함을 입증하는 이론적 분석을 제공합니다:

1. 업데이트 등가성: GPO 하에서의 중요도 샘플링 비율은 구조적으로 PPO와 동일합니다 ($r^{GPO}_t = r^{PPO}_t$). 즉, 클리핑된 대리 목적 함수(clipped surrogate objective)는 변수 변환을 제외하고는 변경되지 않습니다.
2. 유계 그래디언트 왜곡(Bounded Gradient Distortion): GPO 그래디언트와 표준 PPO 그래디언트 사이의 차이는 유계(bounded)이며 $\beta_t$가 증가함에 따라 단조 감소합니다. 이는 변환이 소멸하는 그래디언트 왜곡만을 도입함을 보장합니다.
3. 최적화 역학:
   • 초기 단계: 액션 공간을 제한함으로써 GPO는 정책 그래디언트 추정치의 분산(이는 $\beta_t$의 제곱에 비례함)을 줄입니다. 이는 신호 대 잡음비(SNR)를 높여 더 빠른 국소 수렴과 초기 단계 기대 수익에 대한 더 타이트한 하한을 제공합니다.
   • 후기 단계: 점진적인 확장은 정상 상태(steady-state) 파라미터 오차가 고정 범위 베이스라인보다 나쁘지 않거나(잠재적으로 더 나은) 수준임을 보장하여, 향상된 점근적 성능을 허용합니다.

3. 주요 기여

• 새로운 프레임워크: 액션 공간의 진화를 단순한 엔지니어링 휴리스틱이 아닌 RL 알고리즘의 구성 요소로 명시적으로 모델링하는 GPO를 도입했습니다.
• 이론적 분석: GPO의 시간 가변적 변환이 PPO의 업데이트 구조를 보존하고 유계된 소멸형 그래디언트 왜곡만을 도입하여 안정적인 훈련을 보장함을 증명했습니다.
• 성능 향상: 특히 까다로운 토크 기반 제어 영역에서 GPO가 고정 액션 공간 베이스라인에 비해 더 빠른 초기 수렴과 더 높은 점근적 수익을 달성함을 입증했습니다.
• 일반화 가능성: 특정 태스크를 위한 보상 형성이나 게이트 사전 지식(gait priors) 없이도 다양한 로봇 형태(사족 보행 및 육족 보행 로봇)와 제어 태스크(로코모션 및 전신 제어)에 대해 프레임워크의 유효성을 검증했습니다.

4. 실험 결과

저자들은 시뮬레이션 및 실제 하드웨어 배포 환경에서 사족 보행(quadruped) 및 육족 보행(hexapod) 로봇을 대상으로 GPO를 평가했습니다.

시뮬레이션 결과

• 성장 함수: 성장 없음(PPO), 선형, 시그모이드(sigmoid), 곰페르츠츠(Gompertz) 성장 함수 간의 비교 결과, 곰페르츠 함수(초기에는 느리게 성장하다가 가속 팽창하는 형태)가 가장 우수한 성능을 보였습니다. 이는 가장 빠른 보상 개선과 가장 안정적인 학습을 제공했습니다.
• 추적 성능: GPO로 훈련된 정책은 속도 및 바디 포즈 명령에 대해 PPO보다 현저히 낮은 추적 오차를 보였습니다. 예를 들어, PPO는 x-방향 속도를 효과적으로 추적하지 못했으나, GPO는 밀접한 추종 성능을 유지했습니다.
• 게이트 출현(Gait Emergence): GPO 정책은 더 주기적이고 조화로운 관절 토크 및 속도를 나타냈습니다. 반면, PPO 정책은 종종 불규칙한 동작과 퇴보적인 지지 할당(예: 특정 다리에 과도하게 의존)을 보였으나, GPO는 명시적인 게이트 사전 지식 없이도 구조화된 협응 패턴을 촉진했습니다.

하드웨어 검증

• 제로샷 심투리얼(Zero-Shot Sim-to-Real): 시뮬레이션에서 훈련된 정책을 미세 조정 없이 Unitree Go2 사족 보행 로봇에 배포했습니다.
• 강건성: GPO는 측면 밀기, 수직 스톰프(stomp), 까다로운 지형(진흙이 있는 오르막, 미끄러운 내리막)에서의 이동을 포함한 외란 제거 작업에서 베이스라인(토크 기반 PPO 및 DeCAP 변형 모델 포함)보다 뛰어난 성능을 보였습니다.
• 회복력: 외부 섭동(예: 사람이 다리를 들어 올림, 무게추를 떨어뜨림) 상황에서 GPO 기반 로봇은 불필요한 스텝 동작을 유발하지 않고 균형을 부드럽게 회복하며 우수한 폐루프 안정성을 보여주었습니다.

5. 의의 및 주장

본 논문은 GPO가 학습 가능한 로코모션(locomotion)을 위한 일반적이고 환경 불가지론적인(environment-agnostic) 최적화 프레임워크를 제공한다고 주장합니다. 이 연구의 의의는 훈련 파이프라인(보상이나 커리큘럼을 통한 방식)을 수정하는 것에서 벗어나, 근본적인 최적화 메커니즘 자체를 수정하는 방향으로 패러다임을 전환했다는 점에 있습니다.

액션 공간의 진화를 학습 가능한 시간 가변 프로세스로 다룸으로써, GPO는 고차원 연속 제어에서 탐색과 안정성 사이의 근본적인 트레이드오프를 해결합니다. 저자들은 이 접근 방식이 다음을 가능하게 한다고 단언합니다:

1. 안정적인 초기 최적화: 복잡한 역학을 다루기 전, 신뢰할 수 있는 저진폭 제어를 학습합니다.
2. 향상된 점근적 성능: 전체 액션 공간을 점진적으로 해제함으로써 더 높은 기대 수익을 달성합니다.
3. 강력한 심투리얼 전이: 광범한 수동 튜닝이나 게이트 사전 지식 없이도 토크 기반 정책을 실제 하드웨어에 배포할 수 있도록 합니다.

이 연구는 "유효(effective)" 액션 공간을 관리하는 것이 접촉이 빈번하고 불확실성이 높은 환경에서 임바디드 AI(Embodied AI)를 개선하기 위한 핵심적이면서도 이전에는 충분히 탐구되지 않았던 중요한 레버임을 시사합니다.