OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction
OmniRetarget은 상호작용 메쉬를 활용하여 체화 격차(embodiment gaps)를 극복하고 인간-객체/환경 간의 핵심적인 관계를 보존함으로써, 복잡한 학습 커리큘럼 없이도 강건한 장기 호라이즌(long-horizon) 휴머노이드 로코매니퓰레이션(loco-manipulation) 및 파쿠르 기술을 위한 고품질 훈련 데이터를 효율적으로 생성하는 상호작용 보존형 데이터 생성 엔진이다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
로봇에게 파쿠르를 하거나, 무거운 의자를 들고 언덕을 오르거나, 벽을 타는 법을 가르치고 싶다고 상상해 보세요. 모든 근육의 움직임을 일일이 수동으로 프로그래밍하려고 시도할 수도 있겠지만, 그것은 마치 물의 저항에 관한 물리학 교과서를 써서 누군가에게 수영하는 법을 가르치려는 것과 같습니다. 너무 어렵고 너무 느립니다.
대신, OmniRetarget의 연구진은 로봇이 인간이 움직이는 것을 관찰하며 배우도록 결정했습니다. 하지만 여기에는 함정이 있습니다. 인간과 로봇은 매우 다르게 생겼다는 점입니다. 단순히 인간의 동작을 로봇에게 그대로 복사하면, 로봇의 발이 바닥에서 미끄러지거나(스케이트를 타는 것처럼), 다리가 의자를 통과하거나, 관절이 불가능한 방향으로 뒤틀릴 수 있습니다.
OmniRetral은 이 문제를 해결하는 새로운 "마법의 번역기"입니다. 다음은 쉬운 비유를 사용한 작동 원리입니다.
1. "상호작용 메쉬" (보이지 않는 거미줄)
인간, 로봇, 의자, 그리고 바닥이 보이지 않는 신축성 있는 거미줄로 연결되어 있다고 생각해보세요.
- 문제점: 인간이 움직일 때, 거미줄은 자연스럽게 늘어납니다. 만약 인간의 포즈를 로봇에게 그대로 복사하면, 로봇의 신체 부위가 서로 다른 위치에 있기 때문에 거미줄이 끊어지거나 찢어지게 됩니다.
- 해결책: OmniRetarget는 인간의 관절과 그들이 접촉하는 물체를 연결하는 디지털 "상호작용 메쉬"(3D 웹)를 구축합니다. 인간의 동작을 로봇으로 변환할 때, 시스템은 로봇의 몸에 맞게 이 웹을 늘리거나 줄이지만, 웹의 형태는 온전히 유지합니다.
- 결과: 만약 인간의 손이 의자에 닿아 있다면, 새로운 버전의 로봇 손도 반드시 의자에 닿아야 합니다. 만약 인간의 발이 지면에 단단히 고정되어 있다면, 로봇의 발도 그 자리에 고정됩니다. 이를 통해 로봇이 물체를 통과하거나 미끄러지는 현상을 방지합니다.
2. "엄격한 코치" (하드 제약 조건)
과거의 이러한 변환 시스템은 "인간처럼 보이려고 노력해봐, 하지만 바닥을 조금 뚫고 지나가도 괜찮아"라고 말하는 코치와 같았습니다.
OmniRetarget는 엄격한 코치입니다. 이 시스템은 다음과 같은 일련의 깨뜨릴 수 없는 규칙(수학적 제약 조건)을 사용합니다.
- "발이 미끄러져서는 안 된다."
- "몸이 의자를 통과해서는 안 된다."
- "관절이 뒤로 꺾여서는 안 된다."
이 시스템은 인간처럼 보이면서도 물리 법칙을 준수하는 방식으로 로봇이 움직일 수 있는 방법을 찾기 위해 복잡한 퍼즐을 해결합니다.
3. "일대다(One-to-Many) 복사기" (데이터 증강)
보통 로봇에게 빨간 상자를 집는 법을 가르치려면, 인간이 빨간 상자를 집는 시연을 보여줘야 합니다. 파란 상자를 집는 법을 가르치려면 새로운 시연이 필요합니다.
OmniRetarget는 똑똑한 복사기와 같습니다.
- 당신이 한 번의 인간 시연(예: 상자 집기)을 보여주면,
- 시스템은 자동으로 수백 가지의 새로운 변형을 생성합니다: 높은 상자 집기, 낮은 상자 집기, 다른 위치에 있는 상자 집기, 또는 더 높은 플랫폼에 올라가기 등.
- 이는 핵심적인 움직임의 논리는 유지하면서, 새로운 시나리오에 맞춰 "거미줄"을 수학적으로 재구성함으로써 가능해집니다. 이를 통해 단 몇 개의 인간 영상으로부터 방대한 훈련 데이터 라이브러리를 만들어냅니다.
핵심 성과: 시뮬레이션에서 현실로
연구진은 이 시스템을 사용하여 강화 학습(시행착오를 통한 학습 방법)을 통해 로봇(Unitree G1 휴머노이드)을 훈련시켰습니다.
- 훈련: 데이터가 매우 깨끗하고 물리적으로 정확했기 때문에, 로봇은 학습을 위해 단 5가지의 간단한 규칙(보상)만을 필요로 했습니다. 실수를 바로잡기 위한 복잡하고 지저분한 지침은 필요하지 않았습니다.
- 결과: 로봇은 의자를 들고, 그 위에 발을 디디고, 뛰어내리고, 구르기까지 포함된 30초짜리 파쿠르 코스를 완수하는 법을 배웠습니다.
- 제로샷 전이(Zero-Shot Transfer): 이것이 가장 인상적인 부분입니다. 로봇은 이 변환된 동작들을 사용하여 컴퓨터 시뮬레이션 내에서 완전히 학습했습니다. 실제 세계에서 로봇을 켰을 때, 추가적인 튜닝 없이 즉시 작동했습니다. 로봇은 실제 콘크리트 위에서 걷는 법을 다시 "배울" 필요가 없었습니다. 그저 무엇을 해야 할지 이미 알고 있었습니다.
요약
요약하자면, OmniRetarget는 인간과 로봇 사이의 "체화 격차(embodiment gap)"를 해결합니다. 이 시스템은 인간의 움직임을 가져와서, 그것이 로봇에게도 의미가 있도록 물리적으로 준수하는 보호용 "웹"으로 감싸고, 이를 통해 끝없는 연습 시나리오를 생성합니다. 이를 통해 로봇은 파쿠르나 물체 조작과 같은 복잡하고 민첩한 기술을 빠르게 배우고, 컴퓨터에서 익힌 기술을 실제 세계로 성공적으로 전이할 수 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.