기술 요약: 발걸음을 조심하세요: 정확한 휴머노이드 발 디딤(Foothold) 추적을 위한 일반 학습 프레임워크

문제 정의

복잡하고 역동적인 환경에서 휴머노이드 로봇이 항해할 수 있도록 하는 것은 여전히 중요한 과제이며, 이는 주로 발을 안전하고 정확하게 배치하는 능력에 의해 제한됩니다. 속도 명령 기반 정책(velocity-commanded policies)을 활용한 강화 학습(RL)은 보행의 견고함(robustness)을 달 a 성취했지만, 발 디딤 배치에 대한 명시적인 제어 능력은 결여되어 있습니다. 이러한 한계는 불안전한 행동(예: 장애물이나 사람을 밟는 행위)과 부정밀한 내비게이션으로 이어지며, 이는 후속 조작 작업(manipulation tasks)을 저해합니다.

반대로, 명시적인 발 디딤 추적 정책(explicit foothold-tracking policies)은 목표 발 포즈를 직접 명령하는 유망한 대안을 제시합니다. 그러나 기존 방식들은 다음과 같은 상당한 한계를 가집니다:

• 비현실적인 가정: 많은 방식이 정밀한 베이스 상태 추정(로컬라이제이션)이나 이진 접촉 플래그(binary ground contact flags)에 의존하는데, 이는 실제 환경에서 정확하게 추정하기 어렵습니다.
• 일반성 부족: 대부분 시뮬레이션에 국한되거나, 평탄한 지형에서의 단순 전진 보행으로 제한되며, 특정 단일 파이프라인 내에 경직된 구성 요소로 포함되어 있어 다양한 다운스트림 작업과의 원활한 통합이 불가능합니다.
• 취약성: 루트 프레임(root-frame) 타겟을 사용하는 방법은 로컬라이제이션 오차에 매우 민감하며, 복잡한 인지 파이프라인에 의존하는 방법은 일반화에 실패하는 경우가 많습니다.

방법론

저자들은 범용 3D 발 디딤 추적 정책을 훈련하기 위한 새롭고 경량화된 모델 프리(model-free) 프레임워크를 제안합니다. 핵심 혁신은 저수준 컨트롤러를 고수준 플래너 및 특정 지형 가정으로부터 분리하는 훈련 및 배포 아키텍처에 있습니다.

1. 목표 및 관측 형식 (Goal and Observation Formulation)

정책은 고수준 플래너와 무관하도록 설계되었습니다. 주요 설계 선택 사항은 다음과 같습니다:

• 스탠스-풋 프레임 표현 (Stance-Foot Frame Representation): 타겟을 로봇의 베이스(루트) 프레임으로 표현하는 기존 연구들과 달리, 본 프레임워크는 발 디딤 타겟(위치 및 요(yaw) 방향)을 **현재 스탠스 풋(stance foot)**을 기준으로 표현합니다.
  • 이점: 타겟이 스윙 단계(swing phase) 동안 일정하게 유지되므로, 타겟을 업데이트하기 위해 정밀한 실시간 베이스 상태 추정이 필요하지 않습니다.
• 입력 관측값 (Input Observations): 정책은 오직 고유 수용 감각(base orientation, angular velocity, joint positions/velocities), 이전 액션, 게이트 페이즈(gait phase), 그리고 발 디딤 목표에만 의존합니다.
• 접촉 플래그 제외: 본 프레임워크는 하드웨어에서 신뢰하기 어려운 이진 접촉 플래그를 사용하지 않고, 대신 게이트 페이즈 변수를 사용하여 스윙/스탠스 전환을 관리합니다.

2. 훈련 아키텍처 (Training Architecture)

• 알고리즘: 저자들은 비대칭 근사 정책 최적화(Asymmetric PPO)를 채택했습니다.
• 에이전트 구조: 액터(actor)는 고유 수용 관측값을 받고, 크리틱(critic)은 특권적 시뮬레이션 상태(예: 베이스의 선속도)에 접근할 수 있는 액터-크리틱 구조입니다.
• 목표 샘플러 (Goal Sampler, GS): 시뮬레이션 중에 실행 가능한 3D 발 디딤 타겟을 생성하기 위해 사용되는 모듈형 구성 요소입니다.
  • 이동 방향, 스텝 길이, 현재 스탠스 풋 대비 수직 오프셋을 샘플링합니다.
  • 서 있는 능력을 활성화하기 위해 "제자리 유지(hold-still)" 모드를 활용합니다.
  • 결정적으로, GS는 시뮬레이션에서만 작동하며, 배포 시에는 시각 기반 추정기나 원격 조종 인터페이스와 같은 작업별 플래너로 대체됩니다.
• 커리큘럼 학습 (Curriculum Learning): 평탄한 지형에서 시작하여 견고한 평면 트래커를 학습한 후, 샘플링된 높이에 적응하는 움직이는 기둥(moving pillars)이 있는 전체 3D 지형에서 미세 조정(fine-tuning)을 수행합니다.

3. 보상 설계 (Reward Design)

보상 함수는 추적 정확도와 자연스러운 보행 스타일 사이의 균형을 맞춥니다:

• 발 디딤 추적 항 (Foothold-Tracking Terms): 스윙 풋의 3D 위치(평면 및 높이)와 요(yaw) 방향의 오차를 명시적으로 벌칙을 부여합니다. 스탠스 보상은 접촉 순간의 정확도를 유지합니다.
• 발 스윙 항 (Feet Swing Term): 게이트 클락에 의해 정의된 특정 스윙 페이즈 구간 동안 발의 높이(clearance)를 확보하도록 장려합니다.
• 스윙 니 높이 항 (Swing Knee Height Term): 계단이나 장애물과의 충돌을 방지하기 위해 타겟 높이에 충분한 여유를 갖도록 스윙 다리의 무릎을 들어 올리도록 장려합니다.
• 보행 스타일 (Locomotion Style): 모션 캡처 데이터에 의존하지 않고 자연스러운 움직임을 강제하는 페널티 항(LocoMuJoCo에서 채택)을 적용합니다.

주요 기여 (Key Contributions)

1. 범용 프레임워크: 고수준 플래너와 무관하며 즉시 배포 가능한 3D 발 디딤 추적 정책 훈련을 위한 모델 프리 프레임워크를 제공합니다.
2. 견고한 타겟 표현: 베이스 로컬라이제이션에 대한 의존성을 제거하여 상태 추정 노이즈에 대한 견고성을 크게 향상시킨 스탠스-풋 프레임(stance-foot frame) 정식화를 도입했습니다.
3. 모듈성: 정책은 시각 기반 플래너나 원격 조종과 같은 다양한 고수준 생성기와 원활하게 결합될 수 있는 독립적인 저수준 컨트롤러 역할을 합니다.
4. 제로샷 심투리얼(Zero-Shot Sim-to-Real) 전이: 단순한 시각 기반 발 디딤 생성기를 사용하여 Booster T1 휴머노이드 하드웨어에 성공적으로 배포함으로써, 외부 로컬라이제이션 시스템 없이도 본 프레임워크의 실행 가능성을 입증했습니다.

실험 결과 (Experimental Results)

본 프레임워크는 시뮬레이션과 실제 하드웨어(Booster T1)에서 광범로 검증되었습니다.

시뮬레이션 실험

• 목표 도달 (Goal Reaching): 발 디딤 추적(FT) 정책은 최신 속도 추적(VT) 베이스라인보다 훨씬 빠르고 정확하게 타겟에 도달했습니다. 성공 임계값이 엄격해질수록 VT 정책의 성능은 급격히 저하되었으나(18.9% 시간 증가), FT 정책은 안정적(5.3% 시간 증가)으로 유지되었습니다.
• 프레임 절제 실험 (Frame Ablation): 베이스 상태 추정에 노이즈를 주입했을 때, 루트 프레임 정책(FT-R)의 성능은 급격히 저하된 반면, 스탠스-풋 프레임 정책(FT)은 영향을 받지 않아 제안된 정식화의 견고성을 입증했습니다.
• 좁은 다리 횡단 (Narrow Bridge Traversal): 발 너비보다 좁은 0.15m 폭의 다리 시나리오에서 VT 컨트롤러의 성공률은 급격히 떨어졌으나, FT 컨트롤러는 스텝을 명시적으로 중앙에 배치함으로써 거의 완벽한 성공률을 유지했습니다.
• 복잡한 환경:
  • 장애물이 있는 내비게이션: A* 플래너를 사용하여 최대 20개의 장애물이 있는 환경을 성공적으로 통과했습니다.
  • 계단: 다양한 계단 높이와 길이를 가진 직선 및 나선형 계단을 안정적으로 통과함을 보여주었습니다. 정책은 다양한 기하학적 구조에 적응했으며, 실패 모드는 단차 접촉(짧은 계단)에서 균형 문제(긴 계단)로 변화했습니다.
  • 경사로 (Ramps): 이산적인 계단(움직이는 기둥을 통해)에 대해서만 훈련되었음에도 불구하고 연속적인 경사로에 성공적으로 일반화되어 강력한 일반화 능력을 확인했습니다.

실제 환경 배포

• 설정: 블루 컬러의 원형 마커를 탐지하는 온보드 RealSense D452 카메라를 사용하여 Booster T1 휴머노이드에 정책을 배포했습니다.
• 성능: 지정된 타겟을 밟는 데 있어 93.08%의 성공률을 달성하며 안정적인 보행을 유지했습니다.
• 과제: 주요 오차 원인은 움직임으로 인한 이미지 블러(blur)와 깊이 센싱 아티팩트였습니다. 통신 및 추론 지연을 처리하기 위해 간단한 지연 보상 메커즘이 구현되었습니다.
• 결과: 본 실험은 본 프레임워크가 정밀한 로컬라이제이션 시스템 없이도 불완전한 시각적 인지와 결합하여 다운스트림 작업을 지원할 수 있음을 검증했습니다.

의의 및 주장 (Significance and Claims)

본 논문은 이 연구가 휴머노이드 보행의 고수준 계획과 저수준 실행 사이의 근본적인 간극을 해결한다고 주장합니다. 명시적이고 견고한 발 배치 제어를 제공함으로써, 본 프레임워크는 다음을 가능하게 합니다:

• 안전성: 발 배치를 유효하고 안전한 접촉 영역으로 제한하여, 장애물을 밟는 것과 같은 불안전한 행동을 방지합니다.
• 정밀도: 속도 기반 접근 방식에 비해 목표 도달 및 제약된 환경(좁은 다리, 계단) 통과 시 향상된 정확도를 제공합니다.
• 다재다능함: 정밀한 로컬라이제이션이나 복잡한 작업별 파이프라인 없이도 실제 환경에서 작동할 수 있는, 복잡한 로코-매니퓰레이션(loco-manipulation) 작업을 위한 기초적인 블록입니다.

저자들은 본 프레임워크가 상당한 민첩성과 정확도 향상을 보여주지만, 모든 내비게이션 문제를 해결하는 단일 솔루션이라기보다는 다양한 업스트림 플래너와 결합될 수 있도록 설계된 범용 도구임을 강조합니다.