기술 요약: HuMam – Mamba를 이용한 엔드 투 엔드 심층 강화 학습 기반 휴머노이드 모션 제어

1. 문제 정의

휴머노이드 보행은 높은 무게 중심, 상하체의 결합된 역학 관계, 엄격한 안전 요구 사항 등으로 인해 사족 보행이나 바퀴형 시스템에 비해 독특한 과제를 안고 있습니다. 엔드 투 엔드 강화 학습(RL)은 압축적인 인지-행동 매핑을 제공하지만, 실제 배포 시 훈련 불안정성, 비효적 효율적인 특징 융합, 높은 구동 비용 등의 문제를 겪는 경우가 많습니다.

기존 방식들은 다음과 같은 구체적인 한계점에 직면해 있습니다:

• **피드포워드 백본(Feedforward backbones)**은 보행 단계(gait phase)나 방향이 지정된 발 디딤 목표(oriented footstep targets)와 같은 구조화된 관측 데이터를 충분히 활용하지 못하는 경우가 많습니다.
• 무거운 시퀀스 모델(예: Transformer 또는 심층 RNN)은 계산-메모리 트레이드오프 측면에서 불리하여, 실시간 온보드 배포를 저해합니다.
• **훈련 역학(Training dynamics)**은 빈번하게 불안정성, 시드 간 높은 편차, 비효율적인 샘플 사용을 보이며, 이는 정책이 불안정하거나 에너지 효율이 낮아지는 결과로 이어집니다.

본 논문은 명시적인 시간적 이력 축적에 의존하지 않으면서도, 선견지명(발 디딤 위치와 균형을 조절함)을 갖추고 자원 인식 능력(온보드 계산 및 구동 제한 내에서 작동함)을 갖춘 제어기에 대한 필요성을 다룹니다.

2. 방법론: HuMam 프레임워크

저자들은 휴머노이드 보행을 위해 설계된 상태 중심의 엔드 투 엔드 RL 프레임워크인 HuMam을 제안합니다. 핵심 혁신은 경량 융합 백본으로서 단일 레이어 Mamba 인코더를 채택한 데 있습니다.

2.1. 관측 공간 (Observation Space)

에이전트는 각 타임 스텝마다 두 가지 범주로 나뉜 풍부한 관측 세트를 수신합니다:

• 로봇 중심 상태: 12개의 구동되는 다리 관절에 대한 관절 위치 및 속도, 루트 방향(roll, pitch), 각속도(roll, pitch, yaw). 글로벌 yaw는 발 디딤이 루트 프레임에 상대적으로 정의되므로 제외됩니다.
• 외부 가이드: 3D 위치와 헤딩(heading)으로 정의된 두 개의 방향 지정 발 디딤 목표($T_1, T_2$), 그리고 스칼라 위상 인코딩과 관련된 불연속성을 방지하기 위해 보행 주기를 인코딩하는 연속적인 페이즈 클락(phase clock, $\sin, \cos$).

2.2. 아키텍처: 단일 레이어 Mamba 인코더

시간적 이력을 축적하는 순환형 또는 어텐션 기반 설계와 달리, HuMam은 오직 현재 상태에만 의존하면서도 Mamba의 선택적 상태 공간 역학을 활용하여 입력 모달리티 간의 구조적 의존성을 포착합니다.

• 토큰화(Tokenization): 로봇 상태와 외부 상태를 연결(concatenate)하고 모달리티별 임베딩으로 투영합니다.
• 상태 공간 인코딩(State-Space Encoding): 단일 Mamba 레이어가 이러한 토큰들에 게이트형 상태 공간 역학을 적용합니다. 이 공식은 지수적으로 감소하는 커널을 가진 컨볼루션 뷰를 제공하여, 명시적인 시간적 재귀 없이도 효율적인 특징 혼합을 가능하게 합니다.
• 출력: 인코딩된 표현은 정책(policy) 및 가치(value) 헤드가 공유하는 압축된 특징 벡터로 집계됩니다.

2.3. 제어 계층 구조 및 액션 공간

• 액션 공간: 40Hz로 실행되는 상위 수준 정책은 12개의 구동되는 다리 관절에 대한 원하는 관절 위치 목표를 출력합니다.
• 하위 수준 실행: 1000Hz로 실행되는 저이득 비례-미분(PD) 제어기가 이러한 위치 목표를 실행 가능한 관절 토크로 변환합니다. 이 계층적 구조는 부드러운 토크 실행을 보장하고 학습 문제를 잘 조건화(well-conditioned)된 상태로 유지합니다.

2.4. 보상 형성 (Reward Shaping)

본 프레임워크는 안정성, 정확성, 에너지 효율성을 균형 있게 조절하기 위해 근사 정책 최 optimization(PPO)을 통해 최적화된 간결한 6개 항 보상 함수를 사용합니다:

1. 발 힘 ($R_{force}$): 과도한 지면 반력을 억제합니다.
2. 발 속도 ($R_{vel}$): 부드러운 스윙 다리 동작을 장려합니다.
3. 단계 정확도 ($R_{step}$): 목표 대비 정밀한 발 디딤을 보상합니다.
4. 방향 ($R_{orient}$): 루트 방향을 원하는 헤딩과 일치시킵니다.
5. 신체 높이 ($R_{height}$): 명목상의 몸체 높이를 유지합니다.
6. 상체 안정성 ($R_{upper}$): 상체의 흔들림을 최소화합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. 최초의 Mamba 기반 휴머노이드 RL 제어기: 엔드 투 엔드 휴머노이드 로코모션의 경량 융합 백본으로 Mamba를 도입하여, 상태 중심 환경에서 강력한 성능을 내기 위해 단일 레이어만으로도 충분함을 입증했습니다.
2. 백본의 효과성: Mamba 인코더가 동일하게 훈련된 피드포워드 베이스라인과 비교하여 더 빠른 학습, 향상된 샘플 효율성, 그리고 낮은 크로스 시드 변동성을 제공함을 보여줍니다.
3. 에너지 인식 보상 형성: 접촉력, 스윙 속도, 스텝 정확도 및 신체 안정성을 공동으로 조절하여 에너지 효율을 암묵적으로 촉진하는 6개 항 보상을 제안합니다.
4. 광범적인 실증적 검증: mc-mujoco 환경에서 다양한 작업(전진, 후진, 곡선, 측면 보행 및 서 있기)에 대해 JVRC-1 휴머노이드를 대상으로 프레임워크를 검증했습니다.

4. 실험 결과

실험은 mc-mujoco를 사용하여 JVRC-1 휴머노이드(1.72m, 62kg)를 대상으로 수행되었습니다. HuMam은 동일한 훈련 설정 하에서 강력한 피드포워드 베이스라인과 비교되었습니다.

4.1. 학습 효율성 및 안정성

• 샘플 효율성: 베이스라인이 18.2M 샘로 리턴 240에 도달한 데 비해, HuMam은 15.8M 샘플이 필요했습니다(13.2% 개선). 더 높은 임계값(리턴 260)에서 개선도는 42.5%(20.2M vs 35.0M 샘플)였습니다.
• 안정성: HuMam은 크로스 시드 학습 곡선의 편차를 35.4% 줄였고, 훈련 후기 단계의 변동성을 61.0% 감소시켜 더 신뢰할 수 있는 수렴을 나타냈습니다.
• 성능: 피크 성능은 5.8%(269.85에서 285.50으로) 증가했으며, 훈련 마지막 10% 동안의 평균 리턴은 5.5% 향상되었습니다.

4.2. 보상 및 토크 프로파일

• 보상 구성 요소: HuMam은 더 높은 평균 스텝당 보상(0.737 vs 0.728)을 달성했으며, 특히 발 힘 조절과 속도 부드러움 측면에서 주목할 만한 개선을 보였습니다.
• 토크 감소: 프레임워크는 평균 관절 토크 크기를 9.6% 줄였고, 피크 토크를 9.1% 줄였습니다. 왼쪽 힙 피치 및 오른쪽 앵클 피치와 같은 특정 관절에서는 상당한 감소(앵클의 평균 토크가 최대 40% 감소)가 관찰되었습니다.

4.3. 에너지 효율성

HuMam은 동적 작업 전반에서 우수한 에너지 경제성을 입증했습니다:

• 서 있기 (Standing): 평균 전력 소비를 57.48 W에서 35.08 W로 감소시켰습니다(39% 감소).
• 전진 보행 (Forward Walking): 에너지 비용을 673 J/m에서 421 J/m로 감소시켰습니다.
• 측면 보행 (Lateral Walking): 에너지 비용을 1395 J/m에서 963 J/m로 감소시켰습니다.
• 질량당 전력 (Power per Mass): 모든 작업에서 일관되게 낮은 W/kg을 기록했으며, 평균적으로 1.92 W/kg(베이스라인)에서 1.38 W/kg(HuMam)으로 감소했습니다.

5. 의의 및 주장

저자들은 HuMam이 Mamba를 융합 백본으로 채택한 최초의 엔드 투 엔드 휴머노이드 RL 제어기라고 주장합니다. 본 논문은 이 아키텍처가 다음과 같은 세 가지 핵심 영역에서 실질적인 이득을 제공한다고 논증합니다:

1. 효율성: 단일 레이어 Mamba 인코더의 거의 선형적인 복잡도 덕분에 더 적은 훈련 샘플과 낮은 계산 오버헤드로 높은 성능을 달성합니다.
2. 안정성: 훈련 변동성을 줄이고 다양한 로코모션 시나리오에서 더 부드럽고 견고한 보행을 생성합니다.
3. 제어 경제성: 제한된 전력 예산을 가진 하드웨어에 실제 배포하기에 더 적합하도록, 더 적은 토크와 에너지를 요구하는 정책을 생성합니다.

본 연구는 Mamba 백본이 컴팩트한 상태 중심 정책 학습을 위한 효과적인 인코더이며, 명시적인 시간적 이력이나 무거운 시퀀스 모델에 의연하지 않고도 자연스럽고 안정적인 휴머노이드 보행 행동을 합성할 수 있음을 결론짓습니다. 향후 연구는 하드웨어 배포, 심투리얼(sim-to-real) 전이, 그리고 온보드 인지 통합을 향해 있습니다.