🤖 AI

ZEST: Zero-shot Embodied Skill Transfer for Athletic Robot Control

ZEST는 모션 캡처, 단안 비디오, 애니메이션을 포함한 이질적인 데이터 소스로부터 접촉 라벨, 상태 추정기 또는 광범위한 보상 설계 없이 학습함으로써, 다양한 형태의 휴머노이드 및 사족 보행 로봇에 대해 다양하고 접촉이 빈번한 운동 기술의 강건한 제로샷 배포를 가능하게 하는 효율적인 강화 학습 프레임워크입니다.

원저자: Jean Pierre Sleiman, He Li, Alphonsus Adu-Bredu, Robin Deits, Arun Kumar, Kevin Bergamin, Mohak Bhardwaj, Scott Biddlestone, Nicola Burger, Matthew A. Estrada, Francesco Iacobelli, Twan Koolen, Alexan

게시일 2026-02-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jean Pierre Sleiman, He Li, Alphonsus Adu-Bredu, Robin Deits, Arun Kumar, Kevin Bergamin, Mohak Bhardwaj, Scott Biddlestone, Nicola Burger, Matthew A. Estrada, Francesco Iacobelli, Twan Koolen, Alexander Lambert, Erica Lin, M. Eva Mungai, Zach Nobles, Shane Rozen-Levy, Yuyao Shi, Jiashun Wang, Jakob Welner, Fangzhou Yu, Mike Zhang, Alfred Rizzi, Jessica Hodgins, Sylvain Bertrand, Yeuhi Abe, Scott Kuindersma, Farbod Farshidian

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 춤을 가르치거나, 백플립(뒤공중제비)을 하게 하거나, 상자를 오르게 하고 싶다고 상상해 보세요. 전통적인 방식은 로봇의 손가락 하나하나의 움직임마다 500페이지 분량의 매뉴얼을 작성하고, 로봇이 넘어지지 않을 때까지 수개월 동안 그 지침들을 미세하게 조정하는 것과 같았습니다. 이는 느리고 취약하며, 새로운 기술을 배울 때마다 매번 새로운 매뉴얼이 필요합니다.

이 논문은 ZEST(Zero-shot Embodied Skill Transfer)를 소개합니다. 이는 마치 로봇을 위한 "만능 댄스 강사"와 같습니다. 모든 동작에 대해 매뉴얼을 작성하는 대신, ZEST는 로봇이 영상을 보고, 인간의 모션 캡처 기록을 보거나, 심지어 애니메이션 만화를 보고 스스로 방법을 터득하게 해줍니다.

작동 원리는 다음과 같습니다.

1. "보고 배우는" 접근 방식

ZEST를 어떤 영상 소스로든 배울 수 있는 초능력을 가진 로봇이라고 생각해보세요.

고해상도 모션 캡처: 완벽한 카메라가 설치된 무대 위 전문 무용수를 보는 것과 같습니다.
흔들리는 휴대폰 영상: 공원에서 친구가 휴대폰으로 춤추는 모습을 촬영한 영상(영상이 흔들리거나 흐릿할 수 있음)과 같습니다.
만화/애니메이션: 비디오 게임 캐릭터가 인간의 신체로는 물리적으로 불가능한 동작(예: 공중에서 3 360도 회전)을 하는 것을 보는 것과 같습니다.

ZEST는 이 모든 무질서하고 다양한 소스들을 받아들여 이렇게 말합니다. "좋아, 목표는 파악했어. 물리 법칙은 내가 알아서 계산할게." ZEST는 어떤 발이 땅에 닿아야 하는지, 혹은 언제 발을 차고 나가야 하는지를 인간이 정확히 알려줄 필요가 없습니다. 로봇 스스로 그것을 학습합니다.

2. 사라지는 "보조 바퀴"

백플립 같은 격렬한 동작을 로봇에게 가르치는 것은 매우 어렵습니다. 왜냐하면 연습하는 동안 로봇이 계속 넘어지기 때문입니다. 보통 엔지니어들은 로봇을 돕기 위해 단계별 교육 과정(커리큘럼)을 직접 설계해야 합니다.

ZEST는 **자동 보조 렌치(Automatic Assistive Wrench)**라는 영리한 기술을 사용합니다. 체조 코치가 학생이 백플립을 배우는 동안 허리를 붙잡아주는 모습을 상상해 보세요.

처음에는 코치가 로봇이 넘어지지 않도록 꽉 붙잡습니다.
로봇이 동작에 익숙해짐에 따라, 코치는 잡고 있던 힘을 조금씩 뺍니다.
결국 코치는 완전히 손을 놓고, 로봇은 스스로 백플립을 수행합니다.

ZEST는 이를 자동으로 수행합니다. ZEST는 동작의 난이도를 계산하여 로봇이 중심을 잡을 수 있도록 가상의 "밀어주는 힘"을 주었다가, 로봇이 똑똑해짐에 따라 그 도움을 서서히 제거합니다. 인간이 교육 계획을 직접 작성할 필요 없이, 로봇이 스스로 계획을 만들어냅니다.

3. "모두에게 맞는" 두뇌

대부분의 로봇 컨트롤러는 특정 한 사람만을 위해 맞춤 제작된 정장과 같습니다. 로봇의 크기나 형태가 바뀌면 그 옷은 맞지 않게 됩니다.

ZEST는 신축성 있는 마법의 후드티와 같습니다.

이 시스템은 거대하고 무거운 로봇(성인 크기의 보스턴 다이내믹스 Atlas)에서 테스트되었습니다.
더 작고 가벼운 로봇(Unitree G1)에서도 테스트되었습니다.
네 발 달린 로봇 개(Spot)에서도 테스트되었습니다.

동일한 "두뇌"(소프트웨어)가 거대한 인간형 로봇을 걷게 하고, 작은 인간형 로봇을 춤추게 하며, 네 발 달린 개가 백플립을 하도록 만들었습니다. 각 로봇에 맞춰 다시 튜닝할 필요 없이, 그저 적응했을 뿐입니다.

4. "제로샷(Zero-Shot)"의 마법

"제로샷"이라는 용어는 가장 흥식한 부분입니다. 보통 로봇에게 새로운 기술을 가르치려면 해당 기술을 위해 며칠 또는 몇 주간의 전용 훈련을 거쳐야 합니다.

ZEST를 사용하면, 로봇이 훈련을 마친 후 새로운 동작(예: 상자 오르기)의 영상을 보여주기만 하면, 추가 훈련 없이 즉시 그 동작을 수행할 수 있습니다. 이는 누군가 사다리를 오르는 영상을 본 직나마, 별도의 연습 없이 즉시 사다리를 오를 수 있게 되는 것과 같습니다.

실제로 무엇을 달성했나요?

이 논문은 이 시스템이 단순히 컴퓨터 시뮬레이션 속에서만 작동하는 것이 아니라 실제 하드웨어에서도 작동함을 보여줍니다. 연구진은 로봇이 다음 동작들을 성공적으로 수행하도록 만들었습니다:

복잡한 인간의 동작: 브레이크댄스, 기어가는 동작(army crawling), 카트휠(옆돌기), 앞구르기 등.
영상-투-로봇(Video-to-Robot): 인간이 춤을 추거나 상자를 오르는 영상을 가져와 로봇에게 입력하면, 로봇은 첫 시도에 완벽하게 그 동작을 수행했습니다.
불가능한 동작: 애니메이션을 사용하여 네 발 달린 로봇인 Spot이 연속 백플립을 하도록 가르쳤습니다. 이는 실제 강아지(혹은 로봇)가 자연적으로는 할 수 없는 동작입니다.

핵심 요약

ZEST는 인간의 움직임(완벽한 춤, 흔들리는 휴대폰 영상, 혹은 만화 캐릭터의 움직임 등)을 로봇의 기술로 전환하는 효율적인 방법입니다. 이는 엔지니어가 로봇의 세부적인 움직임을 일일이 프로그래밍해야 하는 번거로움을 없애주며, 로봇이 훨씬 더 민첩하고 적응력이 뛰어나며 새로운 기술을 즉각적으로 배울 수 있게 만들어 줍니다.

기술 요약: ZEST (운동 로봇 제어를 위한 제로샷 체화된 기술 전이)

문제 정의

휴머노이드 로봇이 민첩하고 접촉이 빈번한 동작을 수행할 수 있도록 견고하고 인간과 유사한 전신 제어를 달성하는 것은 로보틱스의 핵심 과제로 남아 있습니다. 전통적인 접근 방식은 종종 과도한 기술별 엔지니어링, 취약한 컨트롤러 튜닝, 그리고 오프라인 궤적 최적화 이후 온라인 추적을 따르는 복잡한 파이프라인에 의존합니다. 이러한 방법들은 정밀한 환경 모델링, 접촉 라벨링, 상태 추정 및 광범한 보상 설계(reward shaping)를 요구합니다. 또한 높은 불확실성, 복잡한 접촉 시나리오(예: 발 이외의 다중 접촉 상호작용), 그리고 시뮬레이션에서 학습된 정책이 모델링 불일치와 구동 제한으로 인해 하드웨어로 전이되지 못하는 "심-투-리얼(sim-to-real)" 격차 문제를 겪습니다. 강화 학습(RL)이 민첩성 측면에서 유망함을 보여주었으나, 표준적인 "타불라 라사(tabula rasa, 백지상태)" RL은 샘플 효율성이 낮고 보상 설계에 민감하며, 부자연스러운 행동을 피하기 위해 세심한 정규화가 필요한 경우가 많습니다.

방법론: ZEST 프레임워크

ZEST(Zero-shot Embodied Skill Transfer)는 다양한 이질적 데이터 소스로부터 강화 학습을 통해 정책을 학습시키고, 이를 제로샷 전이(zero-shot transfer)를 통해 하드웨어에 배포하도록 설계된 간소화되고 통합된 동작 모방 프레임워크입니다. 이 프레임워크는 접촉 라벨, 참조/관측 윈도우, 상태 추정기, 다단계 학습 파이프라인과 같은 복잡하고 도메인 특화된 기술의 필요성을 제거합니다.

핵심 구성 요소

이질적 데이터 소스: ZEST는 세 가지 뚜렷한 유형의 동작 참조를 사용하여 단일 단계 파이프라인에서 학습합니다.
- 모션 캡처(MoCap): 고충실도 데이터 (예: Xsens, Vicon).
- 비디오 캡처(ViCap): 3D 포즈 추정(예: MegaSaM, TRAM)을 통해 재구성된 노이즈가 있는 단안 비디오 데이터.
- 키프레임 애니메이션: 물리적 제약이 없는 애니메이션으로, 인간에게는 불가능하거나 특정 형태에 맞춤화된 동작을 가능하게 합니다.
- 참고: 프레임워크는 모든 소스에 대해 접촉 라벨링을 가정하지 않으며, 오직 운동학적 정보에만 의존합니다.
MDP 정식화 및 아키텍처:
- 목표 조건부 MDP: 정책은 오직 즉각적인 고유 수용성 신호(관절 위치/속도, IMU 데이터, 중력 벡터, 이전 액션)만을 사용하여 참조 타겟 $g_t$ (참조에서의 다음 타겟 상태)를 추적하도록 학습됩니다.
- 비대칭 액터-크리틱(Asymmetric Actor-Critic): 액터(정책)는 배포 가능성을 보장하기 위해 온보드 센서 데이터만을 사용합니다. 크리틱은 학습을 가속화하고 가치 추정을 개선하기 위해 시뮬레이션에서만 사용 가능한 "특권 정보(privileged information)"(예: 실제 베이스 속도, 접촉력, 전체 루트 상태)를 활용합니다.
- 액션 공간: 정책은 참조 관절 위치에 더해지는 **잔차 액션(residual actions)**을 출력합니다. 이는 관절 레벨의 PD 컨트롤러로 전달됩니다. 이 방식은 참조를 피드포워드 제어에 활용함으로써 RL 정책의 탐색 부담을 줄여줍니다.
학습 강화 기법:
- 적응형 샘플링(Adaptive Sampling): 긴 호흡의 클립과 대규모 모션 라이브러리를 처리하기 위해 궤적을 고정된 기간의 빈(bin)으로 나눕니다. 범주형 샘플러는 실패율이 높은 빈(지수 이동 평균을 통해 추정됨)에 편향되도록 하여, 쉬운 부분에 대한 파괴적 망각 없이 어려운 구간을 확실히 학습하도록 보장합니다.
- 자동 보조 렌치 커리큘럼(Automatic Assistive Wrench Curriculum): 매우 역동적인 동작(예: 백플립, 핸드스탠드)이 조기 종료를 유발하는 경우, 로봇의 베이스에 모델 기반의 가상 보조 렌치(assistive wrench)를 적용합니다. 이 렌치의 크기는 현재 빈의 난이도에 따라 조절되며, 추적 성능이 향상됨에 따라 자동으로 0으로 감쇠되어, 점진적으로 지원을 줄여가는 "코치" 역할을 합니다.
- 액추에이터 모델링: 폐쇄 루프 액추에이터(예: 무릎, 발목)의 심-투-리얼 격차를 줄이기 위해, ZEST는 로컬리 프로젝티드(Locally Projected), 다이내믹 아마チュア(Dynamic Armature), 노미널 아마チュア(Nominal Armature) 모델을 포함한 병렬 링크 액추에이터(PLA)의 점진적 근사치를 채택합니다. PD 게인은 시뮬레이션과 하드웨어 간의 일관성을 보장하기 위해 근사적인 해석적 아마チュア 값에서 유도됩니다.
도메인 랜덤화(Domain Randomization): 강건성을 확보하기 위해 시뮬레이션 내에서 적절한 도메인 랜덤화(예: 충격 푸시, 센서 노이즈, 마찰 변화, 질량 섭동)를 적용하여 전체 학습을 수행합니다.

주요 기여

통합된 미니멀리스트 레시피: ZEST는 접촉 라벨, 상태 추정기 또는 광범한 보상 설계 없이 이질적인 데이터(MoCap, ViCap, Animation)를 처리하는 일반적인 단일 단계 학습 파이프라인을 제공합니다.
제로샷 하드웨어 배포: 이 프레임워크는 작업별 미세 조정 없이 물리적 하드웨어에 정책을 성공적으로 배포하며, 다양한 데이터 결함(예: ViCap의 포즈 지터, 물리적으로 불가능한 애니메이션)에 대한 강건성을 입증했습니다.
다중 접촉 및 역동적 기술: 발 이외의 접촉을 포함한 역동적인 다중 접촉 동작(예: 엎드려 기기, 브레이크댄스)을 수행함으로써, 표준적인 발 중심 보행을 넘어선 상태를 달성했습니다.
형태학적 일반성: 동일한 정책 구조와 학습 레시피가 보스턴 다이내믹스 Atlas(휴머노이드), Unitree G1(휴머노이드), 보스턴 다이내믹스 Spot(사족보행 로봇)을 포함한 서로 다른 형태학에 성공적으로 적용되었습니다.

결과

논문은 세 가지 로봇(Atlas, G1, Spot)에 대해 ZEST를 평가합니다.

MoCap 유래 기술: Atlas에서 ZEST는 앞으로 구르기, 네 발로 구르기, 엎드려 기기, 카트휠, 브레이크댄스 등 복잡한 다중 접촉 기술을 실행합니다. G1에서는 카트휠과 탁구 동작을 성공적으로 수행합니다. 프레임워크는 인간의 미묘한 움직임(예: 뒤꿈치-발가락 롤오버)을 보존하며, 사전 정의된 스케줄 없이 간헐적 접촉을 처리합니다.
ViCap 유래 기술: ZEST는 노이즈가 있는 비디오 데이터에 대한 강건성을 보여줍니다. Atlas에서 축구 킥과 댄스 조각들을 실행합니다. G1에서는 정밀한 박스 위치 피드백 없이도 오직 고유 수용성 입력만을 사용하여 운동 발레 시퀀스와 장면 상호작용 기술(박스 위로 올라가기, 기어 올라가기, 내려오기 등)을 수행합니다. 초기 포즈 변화나 페이로드 추가에도 높은 성공률을 달ach합니다.
애니메이션 유래 기술: Atlas의 경우 핸드스탠드 인버전을 수행합니다. Spot의 경우, 애니메이션을 활용하여 인간의 해부학적 구조로는 불가능한 구성인 연속 백플립, 배럴 롤, 핸드스탠드 밸런스 등의 곡예 동작을 수행합니다.
정량적 지표: 관절 각도에 대한 MAE 및 베이스 방향에 대한 MAD 등 추적 오차가 낮게 유지됩니다. 역동적인 다중 접촉 기술은 단순 보행보다 높은 방향 오차를 보이지만, 실행 가능한 범위 내에 있습니다.
MPC와의 비교: 시뮬레이션에서 ZEST로 학습된 멀티 스킬 RL 정책은 최첨단 MPC 베이스라인보다 역동적인 동작(예: 카트휠, 조깅)에서 우수한 성능을 보이며, 사전 정의된 접촉 스케줄과 엔드 이펙터에 의존하는 MPC 베이스라인이 실행하지 못하는 비-발 접촉 동작(예: 구르기, 기기)을 처리합니다.

의의 및 주장

본 논문은 ZEST가 생물학적 움직임과 로봇 대응물 사이의 확장 가능한 인터페이스를 구축한다고 주장합니다. 주요 의의는 다음과 같습니다:

복잡한 제어의 민주화: 복잡하고 수작업으로 만들어진 파이프라인(접촉 라벨링, 다단계 학습)을 제거함으로써, ZEST는 최소한의 엔지니어링 오버헤드로 다양한 데이터 소스로부터 방대한 기술 레퍼토리를 로봇으로 전이하는 것을 가능하게 합니다.
실제 환경의 불확실성에 대한 강건성: 노이즈가 있는 ViCap 데이터, 물리적으로 불가능한 애니메이션, 복잡한 다중 접촉 상호작용을 처리하는 프레임워크의 능력은 기존의 모델 기반 컨트롤러나 표준 RL이 달성하기 어려웠던 수준의 강건성을 보여줍니다.
체형 전반의 일반성: 서로 다른 크기와 구동 메커니즘을 가진 휴머노이드와 사족보행 로봇 모두에 기술을 성공적으로 전이한 것은 이 프레임워크가 범용적인 제어 인터페이스로서 가질 잠재력을 강조합니다.

저자들은 훈련 분포 외의 미보지 못한 기술에 대한 일반화 평가 부족, 평탄한 지형 가정, 액추에이터 모델링을 위한 수동 시스템 식별 의존성 등의 한계를 인정합니다. 그러나 이 연구는 ZEST를 다리가 달린 로봇의 견고한 인간 수준 물리 지능을 향한 중요한 진전으로 자리매김합니다.