기술 요약: LoComposition

문제 정의

학습 기반의 사족 보행 로봇 이동 제어(locomotion)는 시뮬레이션-투-리얼(sim-to-real) 전이 및 거친 지형 통과 측면에서 상당한 성공을 거두었습니다. 그러나 표준적인 접근 방식은 일반적으로 개념적으로 구별되는 목적들—태스크 명세(속도 추적), 작동 한계(액추에이터 안전), 보행 선호도(예: 특정 접촉 타이밍 또는 공중 체류 시간), 그리고 지형 적응—을 하나의 복잡한 보상 함수로 얽어놓는 경향이 있습니다.

저자들은 이러한 별개의 기능들을 하나의 가중치가 부여된 단일 보상 공식으로 인코딩하는 것이 최적이 아닌 학습 결과를 초래한다고 주장합니다. 구체적으로, 명시적인 보행 스타일 사전 지식(예: 원하는 공중 체류 시간, 접촉 횟수, 발 높이 목표 등)은 학습된 움직임을 특정 패턴으로 편향시키는 엔지니어링 지름길로 작고하며, 이는 더 효율적인 보행의 출현을 방해하고 보상 엔지니어링 과정을 복잡하게 만들 수 있습니다.

방법론: LoComposition

본 논문은 이동 제어를 단일한 보상이 아닌, 각각 특정 방법론적 구성 요소에 의해 처리되는 네 가지 별개의 메커니즘으로 분해하는 학습 공식인 LoComposition을 제안합니다. 저자들은 핵심 구성 요소를 LEP(Limits, Energy, Perception)라고 부릅니다.

1. 태스크 명세 (속도 추적):
   태스크는 연산자가 지정한 평면 및 요(yaw) 속도($v_{cmd}$)를 추적하는 것으로 엄격히 정의됩니다. 이는 가우시안 커널을 사용하여 속도 타겟과의 정렬을 장려하는 표준 보상 함수($r_{track}$)를 통해 처리됩니다.

2. 운영 한계 (제약 조건):
   하드웨어 한계(토크, 관절 속도, 가속도 등) 위반을 보상 내에서 직접 벌점화하는 대신, 저자들은 **종료로서의 제약(Constraints-as-Terminations, CaT)**을 사용합니다.

   • 스칼라 한계($q_i \leq q_{max}$)의 위반은 확률적 종료 확률($\delta_t$)로 매핑됩니다.
   • 한계를 위반할 경우, 위반 크기에 비례하는 확률로 롤아웃(rollout)이 종료됩니다.
   • 이는 스텝당 보상을 스케일링하고 지속 계수(continuation factor)를 감소시켜, 모든 한계에 대해 조밀한 보상 형성(reward shaping)을 요구하지 않고도 안전하지 않은 행동을 효과적으로 억제합니다.
   • 결정적으로, 제약 조건은 보행 스타일이 아닌 오직 물리적/운영적 한계를 위해서만 예약됩니다.

3. 보행 선호도 (에너지 최소화):
   특정 보행(예: 트롯 또는 바운딩)을 보상 항을 통해 규정하는 대신, 이 공식은 기계적 에너지 소비를 최소화합니다.

   • 모든 관절에 걸친 절대 기계적 일률($\sum |\tau_j \dot{q}_j|$)의 합에 비례하는 페널티 항($\ell_{Power}$)이 보상에 추가됩니다.
   • 이 항은 가능한 움직임들 사이에서 선호 신호로 작용하여, 발의 착지 패턴을 명시적으로 정의하지 않고도 낮은 이동 비용(Cost of Transport, COT)을 갖는 보행이 자연스럽게 나타나도록 유도합니다.

4. 지형 적응 (외수용 지각):
   거친 지형에서 예측적인 에너지 최소화를 가능하게 하기 위해, 정책은 외수용 관측값(exteroceptive observations)을 받습니다.

   • 입력에는 LiDAR로부터 유도된 $13 \times 11$ 크기의 신체 중심 지형 고도 맵(해상도 8cm)이 포함됩니다.
   • 이를 통해 정책은 지형이 요구할 때만 선택적으로 에너지를 소비(예: 발 높이 증가)할 수 있으며, 에너지 효율성과 장애물 통과 사이의 긴장 관계를 해결합니다.

훈련 설정: 정책은 Isaac Lab에서 Unitree Go2 로봇을 사용하여 PPO(Proximal Policy Optimization)를 통해 훈련됩니다. 훈련 커리큘럼에는 절차적으로 생성된 불규칙한 지형, 계단, 경사로가 포함됩니다.

주요 기여

1. 이동 제어의 분해: 본 논문은 태스크 추적, 운영 한계, 에너지 최소화, 지각을 별도의 메커니즘으로 분리하여, 단일한 복잡한 보상 함수가 필요 없는 공식을 제시합니다.
2. 사전 지식 없는 보행의 출현: 저자들은 명시적인 보행 사전 지식(공중 체류 시간, 접촉 횟수, 발 높이 등)이 불필요함을 입증했습니다. 제안된 대로 학습 문제가 분해되면 효율적인 지형 적응형 이동이 자연스럽게 나타납니다.
3. 제로샷 심-투-리얼 전이: 결과물인 정책은 특권 정보(privileged information)나 재학습 없이도 LiDAR 기반 고도 맵을 사용하여 물리적인 Unitree Go2로 제로샷 전이되었습니다.

실험 결과 및 절제 연구(Ablations)

저자들은 복잡한 보상 함수(RP)를 사용하는 베이스라인 및 다양한 구성 요소 제거를 비교하는 절제 연구를 통해 접근 방식을 검증합니다.

• 효율성: 복잡한 보상 베이스라인(RP)과 비교했을 때, LoComposition (LEP)은 이동 비용(COT)을 56% 줄이고 운영 한계 위반을 96% 줄였습니다.
• 보행 사전 지식의 역할 (H1): 보행 사전 지식 제약(LEP vs. LCEP/LCP 비교)을 제거하면, 사전 지식을 제약으로 인코딩하는 것이 지형 통과 능력을 해치고 가장 효율적인 보행(트롯)의 출현을 방해함을 보여줍니다.
• 에너지 최소화의 역할 (H2): 에너지 최소화를 제거하면(LP), 지형은 통과하지만 에너지 소모가 큰 "바운딩(bounding)" 보행에 안착하는 정책이 나타납니다. 에너지 최소화를 추가하면 명시적인 규정 없이도 더 낮은 COT를 가진 트롯 패턴으로 동작이 전환됩니다.
• 지각의 역할 (H3): 지각을 제거하면(LE), 에너지 사용을 지형 난이도에 맞게 적응시키지 못해 지형 통과 수준이 저하됩니다. 지각은 로봇이 평지에서는 낮은 발 높이를 유지하다가 장애물이 있을 때만 선택적으로 높일 수 있게 합니다.
• 제약 조건의 필요성 (H4): 운영 한계 제약을 제거하면(EP), 정책이 시뮬레이터의 부정확성을 악용하여 하드웨어 한계를 심각하게 위반하게 됩니다 (LEP의 0.5% 대비 53.4%의 위반율). 이는 정책을 배포 불가능하게 만듭니다.
• 실제 환경 성능: 제로샷 하드웨어 테스트에서, LEP는 에너지 최소화가 되지 않은 변체(LP)가 실패하거나 한계를 위반하는 복잡한 장애물 시퀀스(경사로, 플랫폼)를 성공적으로 통과했습니다. LEP는 베이스라인 대비 하드웨어에서 56% 향상된 에너지 효율을 달s했습니다.

의의 및 주장

본 논문은 명시적인 보행 스타일 사전 지식이 거친 지형의 사족 보행에 불필요하다고 주장합니다. 운영 한계(제약으로 처리)와 보행 선호도(에너지 최소화로 처리)를 분리함으로써, 시스템이 효율적이고 자연스러운 보행을 스스로 만들어낼 수 있도록 합니다.

저자들은 이를 데모의 원칙 변화로 규정합니다: 이동 제어 학습은 로봇이 따라야 할 특정 보행 패턴이 아니라, 로봇이 조율해야 하는 요구사항과 선호도(안전, 태스크, 효율성, 지각)를 중심으로 조직되어야 합니다. 이 접근 방식은 시뮬레이션과 실제 배포 모두에서 복잡한 보상 베이스라인보다 뛰어난, 견고하고 에너지 효율적이며 배포 가능한 정책을 생성합니다.

한계점: 저자들은 결과가 Unitree Go2 및 테스트된 지형 분포에 특화되어 있음을 언급합니다. 또한 이것이 가능한 유일한 분해 방식이라고 주장하지 않으며, 오프 폴리시(off-policy) 방법을 통한 샘플 효율성 개선이나 사용된 확률적 종료 방식 이상의 공식적인 런타임 안전 보장에 대해서도 다루지 않습니다.