LadderMan: Learning Humanoid Perceptive Ladder Climbing

기술 요약: LadderMan

문제 정의

휴머노이드 로봇이 인간 중심의 환경에서 작동하려면 견고한 사다리 등반 능력이 필요합니다. 그러나 이 작업은 평지 보행이나 계단 오르기에 비해 상당한 어려움을 수반합니다. 사다리 등반은 희소하고 불연속적이며 좁은 발 디딤판(foothold)과 손잡이(handhold)에 대해 상체와 하체의 정밀하고 지속적인 협응을 요구합니다. 인지 또는 제어의 작은 오류는 치명적인 실패로 이어질 수 있습니다. 또한, 실제 세계의 사다리는 경사도, 가로대 간격, 구조적 설계가 크게 달라 일반화가 어렵습니다. 기존 방식은 정확한 환경 모델링과 작업별 튜닝을 요구하는 모델 기반 제어에 의pos하거나, 전신 협응을 활용하지 못하고 하체 중심의 동작만을 생성하는 강화 학습(RL) 방법에 의존하는 경우가 많습니다. 또한, 로봇이 균형을 유지하면서 작업을 수행해야 하는 사다리 위 조작(on-ladder manipulation) 문제를 다루는 방법론은 거의 없습니다.

방법론

저자들은 지각 가능한 휴머노이드 사다리 등반 및 사다리 위 조작을 위한 통합 시스템인 LadderMan을 제안합니다. 이 시스템은 확장 가능한 2단계 학습 파이프라인과 조작을 위한 이중 에이전트 프레임워크를 채택합니다.

1. 다중 전문가 정책 학습 (1단계)

다양한 기하학적 구조를 아우르는 대규모 모션 데이터셋의 필요성을 피하기 위해, 저자들은 **하이브리드 모션 트래킹(hybrid motion tracking)**을 도입합니다.

• 단일 참조 모션: 시스템은 단 하나의 참조 모션으로부터 서로 다른 사다리 구성(경사도 $\phi$, 가로대 간격 $z$)에 대응하는 다수의 상태 기반 전문가 정책($\pi_{\phi,z}^{expert}$)을 학습합니다.
• 비대칭 트래킹: 트래킹 보상은 상체와 하체 구성 요소로 분할됩니다. 하체는 안정적인 등반 동작을 보장하기 위해 엄격하게 트래킹되는 반면, 상체는 특정 사다리 기하학에 적응할 수 있도록 완화된 제약 조건 하에 트래킹됩니다.
• 작업 주도 적응: 시스템은 사다리 중심의 접촉 보상과 등반 보상을 포함합니다. 접 contact 위치는 목표 사다리 기하학에 따라 자동으로 생성되어, 모든 구성에 대한 수동 주석 없이도 정책이 접촉 위치를 적응할 수 있게 합니다.

2. 통합 시각-운동 정책 증류 (2단계)

다수의 전문가 정책은 하이브리드 모방 및 강화 학습을 사용하여 단일 깊이 기반 시각-운동 정책($\pi_{visual}$)으로 증류됩니다.

• 하이브리드 목적 함수: 정책은 전문가의 행동을 모방하도록 권장하는 KL-발산 항과 PPO 기반의 RL 목적 함수(전문가와 동일한 보상 사용)의 조합을 사용하여 최적화됩니다. 모방 항의 가중치는 학습 중에 점진적으로 감소(annealing)하여, 모방 주도의 초기화 단계에서 작업 주도의 최적화 단계로 전환되도록 합니다.
• 입력값: 통합 정책은 고유 수용 감각(proprioception), 깊이 관측값(depth observations), 그리고 이진 등반 방향 명령을 입력으로 받습니다.

3. Sim-to-Real 격차 해소

실제 하드웨어로의 제로샷 전이를 가능하게 하기 위해, 저자들은 얇은 사다리 가로대에 매우 중요한 깊이 인지(depth perception)의 sim-to-real 격차를 해결합니다.

• 시각 파운데이션 모델 (VFM): 광범선한 깊이 무작위화(depth randomization)에 의존하는 대신, 시스템은 사전 훈련된 VFM(Fast-FoundationStereo)을 사용하여 실제 스테레오 그레이스케일 이미지를 깊이 맵으로 처리합니다. 이는 더 깨끗하고 기하학적으로 일관된 깊이 관측을 제공합니다.
• 가로대 중심 마스킹 (RFM): 학습 중에 비(非)가로대 영역을 확률 $p=0.1$로 마스킹하여, 정책이 배경 기하학이나 특정 사다리 지지대가 아닌 작업 관련 등반 구조에 집중하도록 강제합니다.

4. 이중 에이전트 학습을 통한 사다리 위 조작

사다리 위에서 조작 작업을 수행하기 위해, 저자들은 안정화와 조작을 분리하는 이중 에이전트 정식화를 사용합니다.

• 하체 에이전트 ($\pi_l$): 안정적인 균형 유지 및 사다리 접촉을 담당합니다.
• 상체 에이전트 ($\pi_u$): 텔레오퍼레이션(원격 조종)되는 조작 목표(팔, 손목, 허리 포즈)를 추적합니다.
• 분리(Decoupling): 별도의 액터-크리틱(actor-critic) 네트워크를 사용함으로써, 시스템은 안정화와 조작 목적 함수 사이의 간섭을 줄여 사다리 위에서 안정적인 전신 텔레오퍼레이션을 가능하게 합니다.

주요 기여

1. 통합 지각 시스템: LadderMan은 단일 참조 모션과 깊이 기반 시각-운동 제어를 사용하여 다양한 기하학적 구조(경사도, 가로대 간격, 구조)에 걸쳐 견고한 제로샷 sim-to-real 사다리 등반을 가능하게 합니다.
2. 하이브리드 모션 트래킹: 완화된 상체 트래킹과 작업 주도 접촉 적응을 결부터 하여 단일 참조 모션으로부터 다수의 전문가 등반 정책을 학습하는 새로운 방법을 제시하며, 이를 통해 대규모 모션 데이터셋의 필요성을 제거합니다.
3. Sim-to-Real 인지: VFM과 가로대 중심 마스킹의 통합을 통해 깊이 인지 격차를 해소하여, 광범위한 수동 튜닝이나 하드웨어 수정 없이 실제 하드웨어에 배포할 수 있게 합니다.
4. 안정적인 사다리 위 조작: 안정적인 균형을 유지하면서 복잡한 조작 작업(예: 그림 조정, 전구 교체)을 성공적으로 수행할 수 있는 이중 에이전트 학습 프레임워크를 제공하며, 이는 표준 전신 텔레오퍼레이션 정책보다 우수한 성능을 보입니다.

실험 결과

시스템은 Intel RealSense D435i 카메라와 NVIDIA Jetson Orin을 장착한 1.3m, 29-DoF Unitree G1 휴머노이드에서 평가되었습니다.

• 실제 세계 성능: LadderMan은 각기 다른 각도, 간격, 재질을 가진 세 가지 다양한 실제 사다리를 제로샷 방식으로 성공적으로 오르내렸습니다. 이는 가로대당 약 3.4초의 등반 속도를 달 기록했으며, 이는 인간의 속도(~3.2 초/가로대)와 유사합니다.
• 조작: 시스템은 균형을 유지하면서 그림 조정, 전구 교체, 박스 전달 작업을 성공적으로 수행했습니다.
• 일반화: 시뮬레이션에서 정책은 가로대 간격 24-28cm, 경사도 55-65도 사이의 사다리에서 95% 이상의 성공률을 달성했습니다. 극한의 경계 구성에서도 약 57%의 성공률을 유지했습니다.
• 절제 연구 (Ablation Studies):
  • 전문가 학습: 표준 모션 트래킹은 참조 모델과 다른 기하학적 구조에서 실패한 반면, 하이브리드 모션 트래킹은 테스트된 모든 구성에서 성공했습니다.
  • Sim-to-Real: VFM, 가로대 중심 마스킹, 또는 증류 단계의 RL 구성 요소를 제거하면 실제 세계 성공률이 크게 감소했으며, 일부 변형은 완전히 실패했습니다.
  • 조작: 이중 에이전트 정책은 조작 중 안정적인 균형을 유지했으나, 최신 베이스라인인 TWIST2는 빈번하게 균형을 잃었습니다.

의의 및 한계점

본 논문은 LadderMan이 하드웨어 수정 없이 지각 가능한 사다리 등반 및 조작이라는 도전적인 문제를 해결함으로써, 산업 환경(건설, 유지보수)에 휴머노이드를 배치하는 데 있어 중요한 이정표가 될 것이라고 주장합니다.

저자들이 인정한 한계점:

• 현재 등반 정책은 최대 75도까지의 경사 사다리에 대해 평가되었으며, 다른 전략과 더 높은 접촉력을 요구하는 수직 사다리에는 아직 확장되지 않았습니다.
• 조작 능력은 현재 하드웨어의 정교한 말단 장치(dexterous end-effectors) 부재로 인해 제한적입니다.

저자들은 모든 훈련 및 추론 코드와 배포 가능한 모델을 오픈 소스로 공개할 것이라고 밝혔습니다.