LHM-Humanoid: Learning a Unified Policy for Long-Horizon Humanoid Whole-Body Loco-Manipulation in Diverse Messy Environments

이 논문은 다양한 혼란스러운 환경에서 장시간의 로코-매니퓰레이션 작업을 단일 통합 정책으로 수행하기 위한 벤치마크 LHM-Humanoid 와 이를 학습하는 프레임워크를 제안하며, 강화학습 기반 교사 정책과 DAgger 를 통한 지식 증류, 그리고 비전 - 언어 - 행동 (VLA) 모델로의 최종 정제를 통해 인간형 로봇의 뛰어난 일반화 능력과 견고성을 입증합니다.

핵심

🤖 1. 이 로봇은 어떤 일을 하나요? (과제)

상상해 보세요. 방이 엉망진창입니다. 소파 위에 노트북이 있고, 복도에는 쓰레기통이 가로막고 있죠.
이 로봇의 임무는 다음과 같습니다:

1. 걸어가서 노트북을 찾습니다.
2. 균형을 잡으며 노트북을 집어 듭니다. (넘어지지 않게 조심해야 해요!)
3. 물건을 들고 장애물을 피해 이동합니다.
4. 제자리에 노트북을 내려놓습니다.
5. 그리고 멈추지 않습니다. 바로 다음 물건 (예: 쓰레기통) 을 찾아서 같은 과정을 반복합니다.

기존 로봇들은 "물건을 집어라"라고 하면 집고, "내려놓아라"라고 하면 내려놓는 식으로 하나씩만 했습니다. 하지만 이 로봇은 환경을 초기화 (Reset) 하지 않은 채 계속 이어지는 긴 작업을 스스로 해결해야 합니다. 마치 게임에서 '게임 오버' 없이 계속 플레이하는 것과 같습니다.

🎓 2. 어떻게 가르쳤나요? (핵심 아이디어)

이렇게 복잡한 일을 한 번에 가르치기는 너무 어렵습니다. 그래서 연구진은 스승 (Teacher) 두 명을 고용해서 로봇을 가르쳤습니다.

• 스승 1 (첫 번째 물건 전문가):

  • 첫 번째 물건을 찾아서 들고, 제자리에 내려놓은 후, 안전하게 물러서는 (Release-and-Retreat) 행동까지 완벽하게 가르칩니다.
  • 비유: 요리사가 요리를 다 하고 난 뒤, 식탁을 정리하고 주방에서 깔끔하게 물러나는 법을 가르치는 거죠.

• 스승 2 (복구 및 다음 물건 전문가):

  • 스승 1 이 물러난 직후의 어색한 자세 (예: 몸을 숙인 채, 혹은 비틀어진 상태) 에서 시작합니다.
  • 그 상태에서 균형을 잡고, 다음 물건을 찾아서 같은 일을 반복하는 법을 가르칩니다.
  • 비유: 요리사가 식탁을 정리하고 물러났는데, 갑자기 또 새로운 손님이 와서 요리 요청을 합니다. 스승 2 는 그 어색한 상황에서 바로 다음 요리를 시작하는 법을 가르칩니다.

• 학생 (로봇 본체):

  • 이 두 스승의 가르침을 받아, 하나의 통합된 두뇌로 학습합니다.
  • 마치 두 명의 명장에게서 배운 제자가, 어떤 상황에서도 스스로 판단하여 모든 일을 해결하는 마스터가 되는 것입니다.

🧠 3. 왜 이 방법이 특별한가요? (기존 방식과의 차이)

기존 방법들은 대부분 조각조각 나뉜 기술을 사용했습니다.

• 비유: "걷기", "잡기", "놓기"라는 별개의 레시피를 따로따로 외운 로봇입니다.
• 문제점: 만약 물건이 예상과 다르게 놓여 있거나, 발이 미끄러지면, "걷기" 레시피는 작동하지만 "잡기" 레시피가 실패해서 전체 시스템이 멈춰버립니다.

이 연구의 방식은 한 번에 모든 것을 연결합니다.

• 비유: 로봇이 직관을 갖게 된 것입니다. 물건이 어디에 있든, 발이 어떻게 되어 있든, "어떻게 하면 다음 단계로 넘어갈까?"를 스스로 고민하며 균형을 유지합니다.

📺 4. 눈과 귀를 가진 로봇 (VLA 모델)

이 연구는 단순히 로봇의 두뇌만 만든 것이 아닙니다. 로봇에게 **눈 (카메라)**과 **귀 (언어 이해)**를 달아주었습니다.

• 사람이 "저기 소파 위의 컵을 치워줘"라고 말하면, 로봇은 그 말을 듣고 카메라로 소파를 비추며 컵을 찾아냅니다.
• 비유: 로봇이 이제 명령어를 듣고 눈으로 직접 확인하며 행동하는, 진짜 인간과 같은 상호작용이 가능해졌습니다.

🏆 5. 결과는 어땠나요?

실험 결과, 이 로봇은 보지 못한 새로운 방 (예: 처음 보는 주방이나 창고) 에 들어가도 잘 작동했습니다.

• 기존 로봇들은 방이 조금만 달라져도 길을 잃거나 넘어졌지만, 이 로봇은 장애물을 피하고 균형을 잡으며 여러 개의 물건을 연속으로 정리해 냈습니다.
• 특히, 물건을 내려놓은 후 다음 작업을 위해 자연스럽게 뒤로 물러나는 동작이 매우 중요하다는 것을 발견했습니다. 이 작은 동작이 전체 미션의 성공률을 크게 높여주었습니다.

💡 요약

이 논문은 **"복잡하고 엉망인 환경에서, 인간형 로봇이 넘어지지 않고 여러 가지 일을 연속으로 해내는 방법"**을 찾아냈습니다.
두 명의 스승을 통해 단계별 기술을 가르치고, 이를 하나로 합쳐 스스로 판단하는 로봇을 만든 것입니다. 이는 미래에 우리가 집에서 로봇에게 "방 정리해 줘"라고 말하면, 로봇이 스스로 모든 물건을 찾아서 깔끔하게 정리해 줄 수 있는 초석이 될 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

이 논문은 다양하고 혼란스러운 (Messy) 환경에서 인간형 로봇 (Humanoid) 이 수행해야 하는 장기적 (Long-Horizon) 전신 이동 조작 (Loco-Manipulation) 문제를 다룹니다.

• 핵심 과제: 로봇은 여러 물체가 제자리에서 벗어나거나 통로를 막고 있는 복잡한 환경에서, 하나의 연속된 에피소드 (Environment Reset 없이) 내에서 다음 작업을 반복 수행해야 합니다.
  1. 목표 물체까지 이동 (Walk)
  2. 균형 제약 하에 다양한 전신 자세로 물체 집기 (Pick)
  3. 장애물을 피하며 물체 운반 (Carry)
  4. 지정된 목표 위치에 물체 놓기 (Place)
• 주요 난제:
  • 장기적 계획: 단일 단계가 아닌 여러 단계의 작업이 연속적으로 이어지며, 각 단계의 실패가 전체 에피소드의 실패로 이어짐.
  • 범용성 (Generalization): 방의 종류 (침실, 거실, 주방, 창고), 물체의 종류/무게/색상, 장애물 배치, 시작/목표 위치가 매우 다양하게 변화함.
  • 단일 정책 (One-Policy): 사전 훈련된 기술 라이브러리를 호출하거나 하드코딩된 상태 전이를 사용하지 않고, 단일 정책이 모든 상황을 처리해야 함.
  • 데이터 부재: 특정 장면에 대한 정답 (Ground-truth) 모션 시퀀스가 없으므로, 모방 학습 (Imitation Learning) 만으로는 해결이 어렵고 목표 기반 학습이 필요함.

2. 방법론 (Methodology)

저자들은 이중 교사 (Dual-Teacher) 지식 증류 (Distillation) 프레임워크를 제안하여 문제를 해결합니다. 전체 학습 파이프라인은 세 단계로 구성됩니다.

2.1. 데이터셋 구성 (LHM-Humanoid Benchmark)

• 4 가지 방 유형 (침실, 거실, 주방, 창고) 에 걸쳐 350 개의 다양한 장면/작업으로 구성.
• 총 79 개의 물체 중 25 개가 이동 가능한 목표 물체.
• 각 에피소드는 환경 리셋 없이 두 번의 연속된 '찾기 - 들기 - 운반 - 놓기' 사이클을 포함.

2.2. 이중 교사 정책 학습 (Dual-Teacher Training)

단일 정책으로 장기 작업을 직접 학습하면 (End-to-End RL) 신용 할당 (Credit Assignment) 문제와 탐험의 어려움으로 인해 수렴이 불가능합니다. 이를 해결하기 위해 두 명의 교사 정책을 훈련합니다.

• Teacher 1 (첫 번째 사이클): 첫 번째 물체를 찾아가서 들고, 목표에 놓은 후, **안정적인 상태로 후퇴 (Release-and-Retreat)**하는 행동을 학습합니다.
  • Release-and-Retreat: 물체를 놓은 후 로봇이 물체와 충돌하지 않고 안전한 거리를 유지하며 후퇴하도록 학습시킵니다. 이는 다음 사이클을 시작할 수 있는 안정적인 초기 상태를 보장합니다.
  • Adversarial Motion Prior (AMP): 인간과 유사한 자연스러운 움직임을 유도하기 위해 AMP 기반의 스타일 보상 (Style Reward) 을 사용합니다.
• Teacher 2 (두 번째 사이클 및 복구): Teacher 1 이 완료한 후의 비정형 (Non-canonical) 상태 (예: 물체를 놓은 후의 다양한 자세, 시선 방향, 장애물 배치) 에서 시작하여 다음 물체 작업을 수행합니다.
  • Teacher 2 는 Teacher 1 이 만든 복잡한 상태 분포에서 균형을 회복하고, 장애물을 피하며 다음 목표를 달성하는 복구 로코모션 (Recovery Locomotion) 능력을 학습합니다.

2.3. 단일 학생 정책으로 증류 (DAgger Distillation)

• DAgger (Dataset Aggregation) 알고리즘을 사용하여 두 명의 교사 정책을 하나의 **단일 엔드 - 투 - 엔드 학생 정책 (Student Policy)**으로 증류합니다.
• 학습 중에는 FSM(유한 상태 기계) 을 통해 현재 에피소드 단계에 따라 Teacher 1 또는 Teacher 2 가 학생을 감독합니다.
• 추론 시에는 리셋 없이 하나의 정책으로 전체 장기 에피소드를 연속적으로 실행합니다.

2.4. VLA (Vision-Language-Action) 모델 확장

• 학습된 단일 정책을 **자전적 RGB 관찰 (Egocentric RGB)**과 자연어 지시를 입력으로 받는 VLA 모델로 다시 증류합니다.
• 이는 실제 배포 환경에서 지시어에 따라 상호작용할 수 있는 능력을 부여합니다.

3. 주요 기여 (Key Contributions)

1. LHM-Humanoid 벤치마크: 장기적, 전신, 이동 조작 작업을 위한 350 개의 복잡한 장면과 79 개의 물체를 포함한 대규모 데이터셋 및 평가 기준 제시.
2. 이중 교사 증류 프레임워크: 'Release-and-Retreat' 메커니즘과 비정형 상태에서의 복구 학습을 통해 장기 작업의 안정성을 확보하고, 이를 단일 정책으로 통합하는 새로운 학습 아키텍처 제안.
3. VLA 모델 통합: 학습된 정책을 RGB 및 언어 기반 모델로 확장하여 실제 상호작용 가능한 인간형 로봇 제어 가능성 입증.
4. 강력한 일반화 성능: 훈련된 환경뿐만 아니라 완전히 새로운 (Unseen) 환경과 더 긴 작업 시퀀스 (2 개 이상) 에서도 기존 방법론을 압도하는 성능 달성.

4. 실험 결과 (Results)

Isaac Gym 시뮬레이션 환경에서 다양한 베이스라인 (End-to-End RL, Curriculum RL, Hierarchical RL, HumanVLA, TokenHSI 등) 과 비교 평가되었습니다.

• 훈련 데이터 (350 개 작업) 성능:
  • 제안된 방법 (LHM-Humanoid-T) 은 **전체 성공률 (Success All)**에서 **72.38%**를 기록하여, 두 번째로 좋은 방법 (Curriculum RL, 47.19%) 보다 월등히 높았습니다.
  • End-to-End RL 은 0% 로 수렴에 실패했습니다.
• 미훈련 데이터 (66 개 Unseen 작업) 성능:
  • 새로운 환경에서 제안 방법은 **63.20%**의 성공률을 보이며, 기존 방법들 (Curriculum RL: 39.50%, Hierarchical RL: 17.26%) 보다 뛰어난 교차 장면 일반화 (Cross-Scene Generalization) 능력을 입증했습니다.
  • 물체 배치 오차 (Dist 1/2) 또한 가장 낮게 유지되었습니다.
• VLA 모델 성능:
  • RGB 와 언어 입력만으로 증류된 VLA 모델도 **63.71%**의 성공률을 달성하여,privileged state(특권 상태 정보) 없이도 강력한 성능을 유지함을 보였습니다.
• 더 긴 시퀀스 (2 개 이상 물체) 확장성:
  • 2 개 물체 작업으로 훈련된 모델을 5 개 물체 작업에 직접 적용했을 때, 기존 방법들은 3 개 물체 이후 성공률이 급격히 떨어졌으나, 제안 방법은 **5 개 물체 연속 작업에서 18.07%**의 성공률을 기록하여 장기적 안정성을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 인간형 로봇이 복잡하고 예측 불가능한 실제 환경에서 장기적인 작업을 수행하기 위한 핵심적인 난제들을 해결한 획기적인 연구입니다.

• 기술적 통찰: 단순히 더 많은 데이터를 학습하는 것이 아니라, 'Release-and-Retreat'와 같은 안정적인 상태 전이 메커니즘과 비정형 상태에서의 복구 학습을 통해 장기 작업의 오류 누적 (Error Accumulation) 문제를 효과적으로 완화할 수 있음을 증명했습니다.
• 실용성: 단일 정책으로 다양한 환경과 작업에 적응할 수 있는 범용 인간형 로봇 제어의 가능성을 열었으며, 이를 VLA 모델로 확장함으로써 자연어 지시 기반의 실제 로봇 적용 가능성을 높였습니다.
• 향후 방향: 시뮬레이션 기반의 결과이므로 실제 하드웨어 적용 시 센서 노이즈, 동역학 오차 등을 고려한 추가 연구가 필요하며, 더 긴 시간 horizon 과 변형 가능한 물체 (Deformables) 처리를 위한 데이터셋 확장이 필요함을 지적합니다.

요약하자면, LHM-Humanoid는 장기적, 복잡한 인간형 로봇 작업을 위해 이중 교사 학습과 지식 증류를 결합한 강력한 프레임워크를 제시하며, 기존 방법론들의 한계를 극복하고 뛰어난 일반화 성능을 입증한 중요한 연구입니다.