SteadyTray: Learning Object Balancing Tasks in Humanoid Tray Transport via Residual Reinforcement Learning

이 논문은 ReST-RL 이라는 계층적 강화학습 아키텍처를 통해 보행 진동과 화물 안정화를 분리 제어함으로써, 인간형 로봇이 외부 방해와 다양한 물체를 운반할 때에도 높은 성공률과 제로샷 시뮬레이션-실제 일반화 능력을 달성함을 보여줍니다.

핵심

🍷 흔들리지 않는 트레일: 로봇이 술잔을 들고 걷는 법 (SteadyTray)

이 논문은 인간형 로봇이 흔들리는 보행 중에도 술잔이나 커피잔 같은 불안정한 물건을托盘 (트레이) 위에 올려놓고 떨어뜨리지 않고 운반하는 기술을 소개합니다.

마치 술잔이 가득 찬 접시를 들고 춤추듯 걷는 웨이터를 상상해 보세요. 보통 로봇은 걷다가 발이 바닥에 닿을 때 몸이 툭툭 흔들리는데, 이때 위에 있는 물체는 쉽게 넘어지거나 쏟아집니다. 이 연구는 그 문제를 해결한 획기적인 방법인 **'ReST-RL'**을 제안합니다.

---

🧠 핵심 아이디어: "두 명의 마술사" (교사와 학생)

이 기술은 마치 **숙련된 마술사 (교사)**와 **그를 돕는 보조 마술사 (학생)**가 팀을 이루어 작동합니다.

1. 기본 마술사 (Base Policy):

   • 이 로봇은 이미 걷는 법을 완벽하게 배웠습니다. 발을 디디고 균형을 잡는 것은 이 로봇의 본능입니다.
   • 하지만 이 로봇은 "위험한 물건을 들고 걷는 것"은 아직 모릅니다. 그냥 걷기만 하면 물체가 흔들립니다.

2. 보조 마술사 (Residual Module):

   • 여기서 ReST-RL이 등장합니다. 이 보조 마술사는 로봇이 걷는 동안 실시간으로 미세한 교정을 해줍니다.
   • 비유: 기본 마술사가 "왼발, 오른발"이라고 걸음을 옮길 때, 보조 마술사는 "아, 지금 술잔이 왼쪽으로 기울었네? 그럼 팔을 살짝 오른쪽으로 움직여서 균형을 맞춰줘!"라고 속삭입니다.
   • 중요한 점은 기본 마술사의 걷는 습관을 망치지 않고, 오직 물체 안정화에만 집중한다는 것입니다.

🎓 훈련 과정: "가상 현실"에서 "실제 세상"으로

로봇을 실제로 훈련시키기 전에, 컴퓨터 속의 **가상 현실 (시뮬레이션)**에서 먼저 훈련시킵니다.

• 특권 정보 (Privileged Information): 가상 세계에서는 로봇이 물체의 정확한 위치, 속도, 중력 방향 등을 '투시'할 수 있습니다. 마치 X-ray 안경을 쓴 상태죠. 이 정보를 이용해 보조 마술사가 어떻게 움직여야 할지 완벽하게 학습합니다.
• 지식 전수 (Distillation): 하지만 실제 세상에서는 X-ray 안경을 쓸 수 없습니다. 카메라로 보는 것만으로는 정보가 부족할 수 있죠. 그래서 가상 세계의 '투시 능력'을 실제 '카메라 눈'으로 변환하는 훈련을 합니다.
  • 마치 **마법사 (가상 훈련)**가 **일반인 (실제 로봇)**에게 "눈으로만 봐도 저 물체가 넘어질 것 같아, 이렇게 손목을 살짝 돌려줘"라고 직관적인 감각을 가르쳐 주는 것과 같습니다.

🌪️ 왜 이 기술이 특별한가요? (기존 기술과의 차이)

기존에는 로봇이 걷는 것과 물체를 잡는 것을 **하나의 거대한 뇌 (End-to-End)**로 통합해서 학습시켰습니다.

• 문제점: 걷는 것과 물체 잡는 것은 서로 충돌하는 목표입니다. (예: 빨리 가려면 몸이 흔들리기 쉽지만, 물체를 안정시키려면 천천히 움직여야 함). 하나의 뇌가 두 가지를 동시에 하려다 보니 둘 다 제대로 못 하는 경우가 많았습니다.
• 이 연구의 해결책: 걷는 기능과 물체 안정화 기능을 분리했습니다. 걷는 기능은 그대로 두고, 물체만 안정시키는 '추가 모듈'을 달아주었습니다. 그래서 걷는 것은 여전히 잘하고, 물체도 떨어뜨리지 않습니다.

🧪 실제 실험 결과: "Unitree G1" 로봇의 활약

이 기술은 실제 Unitree G1이라는 인간형 로봇에 적용되었습니다.

• 상황: 로봇이 걷다가 누군가 밀어붙이거나 (Push), 로봇이 발로 차이는 상황이 발생해도, 로봇은 술잔이 든 트레이를 수평으로 유지하며 넘어지지 않게 합니다.
• 다양한 물건: 커피잔, 물이 든 와인잔, 수술 도구, 밀폐된 음식 용기 등 무게와 모양이 다른 다양한 물건을 재학습 없이도 성공적으로 운반했습니다.
• 성공률: 시뮬레이션에서 약 **97%**의 성공률을 보였으며, 실제 로봇에서도 외부 충격에 매우 강하게 반응했습니다.

💡 요약: 이 기술이 가져올 미래

이 연구는 로봇이 병원에서 수술 기구를 운반하거나, 카페에서 뜨거운 커피를 배달하거나, 노인 요양원에서 물건을 나르는 등, 불안정한 물건을 들고 다니는 일상적인 업무를 인간처럼 자연스럽게 수행할 수 있는 길을 열었습니다.

한 줄 요약:

"로봇이 걷는 본능은 그대로 두고, **'술잔을 흔들리지 않게 잡는 추가 뇌'**를 달아주어, 비틀거리면서도 물건을 안전하게 운반하는 기술을 개발했습니다."

기술 요약

논문 요약: SteadyTray (잔여 강화학습을 통한 휴머노이드 트레이 운반 시 물체 균형 잡기 학습)

1. 문제 정의 (Problem Statement)

• 배경: 휴머노이드 로봇이 비구조화된 환경 (병원, 식당, 요양 시설 등) 에서 물건을 운반할 때, 보행 중 발생하는 진동 (발의 충격, 몸통의 요동) 은 트레이 위에 놓인 고정되지 않은 화물 (액체가 담긴 잔, 깨지기 쉬운 도구 등) 을 넘어뜨리거나 떨어뜨리는 주요 원인입니다.
• 핵심 난제:
  • 비강체 결합 (Non-rigid Coupling): 로봇은 트레이를 잡지만, 트레이 위의 물체는 고정되지 않아 미끄러지거나 기울어질 수 있습니다.
  • 목표 충돌: 보행의 민첩성 (agile gait) 을 유지해야 하는 것과 트레이를 수평으로 유지하여 물체를 안정화해야 하는 두 목표가 상충됩니다.
  • 기존 방법의 한계: 기존 보행 제어나 단순한 엔드이펙터 안정화 (SoFTA 등) 는 보행 중 발생하는 복잡한 동적 교란과 외부 힘 (밀기, 발차기 등) 에 대해 고정되지 않은 물체를 안정적으로 운반하는 데 한계가 있었습니다.
• 목표: 보행 중 외부 교란이 가해지더라도 트레이를 수평으로 유지하고 화물이 넘어지지 않도록 하는 SteadyTray 과제를 해결하는 것입니다.

2. 방법론 (Methodology: ReST-RL)

저자들은 ReST-RL (Residual Student-Teacher Reinforcement Learning) 이라는 계층적 강화학습 아키텍처를 제안했습니다. 이는 보행 제어와 화물 안정화를 명시적으로 분리하여 학습합니다.

• 기본 구조:
  1. Base Policy (기저 정책): 사전 학습된 견고한 보행 정책으로, 트레이를 들고 걸을 때 기본 보행 패턴을 유지합니다.
  2. Residual Module (잔여 모듈): 기저 정책 위에 얹혀져 보행으로 인한 교란을 상쇄하는 보정 동작 (Corrective Actions) 을 생성합니다.
• 학습 단계:
  • 1 단계 (Base Policy Training): 보행과 트레이 수평 유지를 목표로 PPO(Proximal Policy Optimization) 를 사용하여 기저 정책을 학습합니다.
  • 2 단계 (Residual Module Training):
    • Privileged Observations (특권 정보): 로봇의 선형/각속도, 트레이/물체의 위치, 속도, 중력 벡터 등 시뮬레이션에서만 가능한 정밀한 정보를 사용하여 잔여 모듈 (인코더 + 어댑터) 을 학습합니다.
    • 두 가지 아키텍처 비교:
      • Residual Action Adapter: 기저 동작에 보정 동작을 직접 더하는 방식.
      • Residual FiLM Adapter: 기저 정책의 레이어 활성화 값을 FiLM (Feature-wise Linear Modulation) 을 통해 조절하는 방식.
  • 3 단계 (Distillation, 학생 - 교사 학습): 실제 배포 시에는 특권 정보가 불가능하므로, Distillation 과정을 통해 특권 정보를 사용하지 않는 '학생 인코더'를 '교사 인코더' (특권 정보 사용) 에게 학습시킵니다. 어댑터는 고정된 채로 유지됩니다.
• 강화 학습 설계 요소:
  • 관측 지연 (Observation Delay): 실제 센서 지연을 모사하기 위해 물체 관련 관측값에 지연을 도입하여 학습합니다. 이는 시뮬레이션 - 현실 전이 (Sim-to-Real) 성능을 크게 향상시킵니다.
  • 도메인 랜덤라이제이션: 물체의 질량, 마찰, 로봇의 질량 중심, 외부 힘 (밀기/발차기) 등을 무작위화하여 강건성을 확보합니다.
  • 보상 함수: 보행 추적, 몸통 안정화, 트레이 수평 유지, 물체 세우기 (Upright), 물체 - 트레이 접촉 유지 등을 포함합니다.

3. 주요 기여 (Key Contributions)

1. ReST-RL 프레임워크 제안: 사전 학습된 보행 정책에 화물 안정화를 위한 잔여 어댑터를 추가하여, 보행 성능을 저하시키지 않으면서도 복잡한 loco-manipulation 과제를 해결하는 새로운 아키텍처를 제시했습니다.
2. 학습 설계의 중요성 규명: 관측 지연 (Observation Delay), 제어 지연, 도메인 랜덤라이제이션 등이 외부 교란에 대한 강건성과 Sim-to-Real 전이에 결정적임을 입증했습니다.
3. 실제 하드웨어 배포 및 검증: Unitree G1 휴머노이드 로봇을 통해 다양한 물체 (커피컵, 와인잔, 의료 도구 등) 와 외부 힘에 대해 Zero-shot Sim-to-Real 전이 성공을 증명했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 (Isaac Lab):
  • 성공률: ReST-RL 은 다양한 시나리오 (명령 추종, 로봇 밀기, 물체 밀기) 에서 기존 End-to-End 학습 및 기저 정책보다 월등히 높은 성공률을 보였습니다. 특히 FiLM WB 아키텍처는 가변 속도 추종에서 96.9% 의 성공률을 기록했습니다.
  • 강건성: 로봇이나 물체에 가해지는 외부 힘의 크기와 방향이 변해도 74.5% 의 강건성을 유지하며, End-to-End 기반선 (Baseline) 대비 교란 회복 능력이 현저히 뛰어났습니다.
  • 관측 지연 효과: 지연이 포함된 데이터로 학습된 모델이 지연이 없는 경우보다 오히려 더 높은 성공률을 보이며, 지연 처리가 전반적인 안정화 성능을 향상시킵니다.
• 실제 환경 (Unitree G1):
  • Zero-shot Generalization: 재학습이나 미세 조정 (Fine-tuning) 없이도 다양한 크기와 질량을 가진 물체 (액체가 든 와인잔 포함) 를 안정적으로 운반했습니다.
  • 교란 회복: 로봇이 발로 차이거나 물체가 밀리는 상황에서도 전체 신체를 조율하여 즉각적으로 복원하고 트레이를 수평으로 유지했습니다.

5. 의의 및 결론 (Significance)

• 기술적 의의: 이 연구는 휴머노이드 로봇이 보행 중에도 고정되지 않은 불안정한 화물을 인간 수준으로 안정적으로 운반할 수 있음을 증명했습니다. 이는 단순한 보행 제어를 넘어, loco-manipulation (이동 - 조작 결합) 의 새로운 기준을 제시합니다.
• 실용적 가치: 의료 기기 운반, 식당 배달, 요양 시설 지원 등 실제 서비스 환경에서 로봇의 활용도를 크게 높일 수 있는 핵심 기술입니다.
• 향후 과제: 현재는 단일 물체 인식에 국한되어 있으며, 시야각이 제한된 헤드 장착 카메라의 한계를 극복하기 위해 비전 기반 RL 이나 기초 모델 (Foundation Models) 을 활용한 정밀한 물체 표현 학습이 필요하다고 언급했습니다.

결론적으로, SteadyTray 는 잔여 강화학습을 통해 보행과 화물 안정화라는 상충되는 목표를 효과적으로 분리하고 통합함으로써, 동적 환경에서의 휴머노이드 로봇의 실용성을 한 단계 높인 획기적인 연구입니다.