💻 컴퓨터 과학

TC-IDM: Grounding Video Generation for Executable Zero-shot Robot Motion

이 논문은 합성된 비디오로부터 상상된 도구 궤적을 실행 가능한 6자유도 말단 장치 동작으로 변환함으로써 생성형 월드 모델과 물리적 로봇 제어 사이의 간극을 메우는 도구 중심 역역학 모델인 TC-IDM을 제안하며, 이를 통해 다양한 작업과 말단 장치에 걸친 견고한 제로샷 일반화를 가능하게 한다.

원저자: Weishi Mi, Yong Bao, Xiaowei Chi, Xiaozhu Ju, Zhiyuan Qin, Kuangzhi Ge, Kai Tang, Peidong Jia, Shanghang Zhang, Jian Tang

게시일 2026-01-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Weishi Mi, Yong Bao, Xiaowei Chi, Xiaozhu Ju, Zhiyuan Qin, Kuangzhi Ge, Kai Tang, Peidong Jia, Shanghang Zhang, Jian Tang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 문제: "백일몽 vs. 현실"의 간극

당신에게 완벽한 고화질 영화를 꿈꿀 수 있는 아주 똑똑한 건축가(월드 모델, World Model)가 있다고 상상해 보세요. 이 건축가는 로봇이 작업을 수행하는 영상을 만들어냅니다. 영상 속 로봇은 컵을 잡거나, 셔츠를 접거나, 실로폰을 연주하는 일을 완벽하게 해냅니다.

하지만 큰 문제가 있습니다: 그 영화는 그저 픽셀일 뿐입니다. 그 영화는 실제 로봇 팔이 실제로 어떻게 움직여야 하는지는 알지 못합니다. 만약 당신이 이 영화를 프레임 단위로 그대로 따라 하여 실제 로봇을 제어하려 한다면, 로봇은 벽에 부딪히거나, 컵을 떨어뜨리거나, 팔을 불가능한 방향으로 비틀어 버릴 수도 있습니다. 이것이 바로 "라스트 마일(Last Mile)" 문제입니다. 즉, 아름다운 시각적 꿈과 물리 법칙이 지배하는 복잡한 현실 사이의 간극을 메우는 일입니다.

해결책: TC-IDM ("도구 중심" 번역기)

저자들은 TC-IDM(Tool-Centric Inverse Dynamics Model, 도구 중심 역역학 모델)이라는 새로운 시스템을 제안합니다. TC-IDM을 꿈꾸는 자(비디오 생성기)와 실행하는 자(로봇) 사이에 앉아 있는 특수 번역기라고 생각하세요.

전체 영상을 그대로 복사하려고 노력하는 대신(배경 소음이나 옷감의 주름 같은 혼란스러운 세부 사항이 가득한 영상 말이죠), TC-IDM은 단 한 가지 특정한 것에 집중합니다. 바로 로봇의 "손"(도구 또는 그리퍼)이 이동하는 경로입니다.

작동 방식: 2단계의 댄스

이 시스템은 "계획 및 번역(Plan-and-Translate)" 접근 방식을 사용합니다.

꿈 (계획): 강력한 AI가 작업이 수행되는 영상을 생성합니다.
번역 (TC-IDM):
- 단계 A: 손 찾기. TC-IDM은 영상을 보고 다른 모든 것은 무시합니다. 이 모델은 "스포트라이트"를 사용하여 매 프레임마다 로봇의 그리퍼를 찾아냅니다. 마치 GPS가 자동차를 추적하듯 그리퍼의 3D 경로를 추적합니다.
- 단계 B: 두 개의 머리를 가진 뇌. 경로를 확보하면, 작업은 두 부분으로 나뉩니다.
  - "그립(Grip)" 머리: 영상을 관찰하여 언제 손가락을 열거나 닫을지 결정합니다 (예: "컵이 닿았을 때 그리퍼를 닫아라").
  - "무브(Move)" 머리: 손의 3D 경로를 관찰하고 로봇의 관절이 그 경로를 따르기 위해 정확히 어떻게 움직여야 하는지 계산합니다.

이것이 왜 게임 체인저인가 (비유)

1. "단단한 닻" vs "흔들리는 천"

기존 방식: 셔츠가 움직이는 것을 보고 로봇에게 셔츠 접는 법을 가르치는 것은 어렵습니다. 셔츠는 흐물거리고, 모양이 변하며, 가려지기도 하기 때문입니다. 이는 바람에 날리는 종이를 보고 자동차를 운전하려는 것과 같습니다.
TC-IDM 방식: TC-IDM은 흐물거리는 셔츠를 무시합니다. 오직 로봇의 손만을 관찰합니다. 손은 단단하고 예측 가능합니다. 이는 바람에 날리는 종이가 아니라, 핸들과 타이어를 보고 자동차를 운전하는 것과 같습니다. 이 방식이 로봇을 훨씬 더 안정적으로 만듭니다.

2. "만능 리모컨"

기존 방식: 카메라 각도나 조명이 바뀌면, 로봇은 특정 사진들로 학습되었기 때문에 혼란에 빠집니다.
TC-IDM 방식: TC-IDM은 영상의 색상이 아니라 손의 기하학적 구조(3D 형태와 움직임)에 집중하기 때문에, 카메라나 조명이 바뀌어도 작동합니다. 이는 어떤 TV 브랜드라도 작동하는 만능 리모컨과 같습니다.

3. "제로 샷(Zero-Shot)"의 마법

기존 방식: 로봇에게 새로운 종류의 셔츠를 접는 법을 가르치려면, 보통 사람이 하는 모습을 몇 시간 동안 녹화해야 합니다.
TC-IDM 방식: 이 시스템은 셔츠가 접히는 영상을 보면 (설령 로봇이 본 적 없는 셔츠일지라도) 즉시 어떻게 해야 할지를 알아냅니다. 이는 요리 프로그램을 보고 나서, 재료를 한 번도 본 적 없어도 바로 요리를 할 수 있는 것과 같습니다.

실제로 달성한 성과 (결과)

논문은 이를 실제 세계의 실제 로봇에 테스트했습니다. 결과는 다음과 같습니다.

성공률: 시스템은 모든 작업에서 평균적으로 약 **61%**의 성공률을 보였습니다.
- 단순한 작업(빵을 집는 것 등)의 경우 **77%**의 성공률을 기록했습니다.
- 매우 어려운 작업(젓가락을 작은 관 안에 넣는 것 등)의 경우에도 약 38% 정도의 성공률을 유지했습니다.
변형 가능한 물체: 별도의 특수 훈련 없이도 천이나 셔츠 같은 "말랑말랑한" 물체들을 성공적으로 다루었습니다.
다양한 로봇: 한 종류의 로봇 팔(Frank)로 학습시킨 후, 완전히 다른 로봇(듀얼 암 UR 로봇)을 제어하여 실로폰을 연주하게 했습니다. 재학습 없이도 작동했습니다.
다양한 카메라: 일반 웹캠에서 아이폰 카메라와 같이 완전히 다른 종류의 카메라로 교체해도 완벽하게 작동했습니다.

요약

TC-IDM은 영리한 중간 관리자입니다. 로봇이 작업을 수행하는 "꿈의 영상"을 가져와서, 혼란스러운 배경은 무시하고, 로봇의 손을 추적하며, 그 움직임을 실제 물리적 명령으로 번역합니다. 이를 통해 로봇은 옷처럼 까다로운 물체를 다룰 때나 서로 다른 카메라 및 로봇 몸체를 사용할 때도 이전보다 훨씬 빠르고 안정적으로 새로운 기술을 배울 수 있습니다.

기술 요약: TC-IDM – 실행 가능한 제로샷 로봇 동작을 위한 그라운딩 비디오 생성

1. 문제 정의

현재 임보디드 AI(Embodied AI) 분야는 두 가지 패러다임으로 나뉘어 있으며, 두 방식 모두 상당한 한계에 직면해 있습니다:

시각-언어-행동(VLA) 모델: OpenVLA 및 RT-2와 같은 모델은 대규모 데이터셋을 활용하여 지각 능력을 로보틱스로 전이하지만, 고품질의 특정 작업용 로봇 데이터에 의존하기 때문에 분포 외(Ood) 작업 및 환경에 대한 일반화 능력이 제한됩니다.
생성형 월드 모델(Generative World Models): 소라(Sora), 클링(Kling), 코스모스(Cosmos)와 같은 신흥 비디오 기반 월드 모델은 고충실도의 물리적으로 타당한 미래 상태를 합성함으로써 "시각적 예견(visual foresight)"을 제공합니다. 그러나 픽셀 수준의 계획과 물리적으로 실행 가능한 동작 사이에는 결정적인 "라스트 마일(last-mile)" 격차가 존재합니다. 가공되지 않은 비디오 출력은 로봇의 형태학적 특성과 구동 제한에 대한 그라운디드된 표현이 결여되어 있어, 노이즈가 섞인 궤적, 물리적 환각, 운동학적 불일치 문제를 겪는 경우가 많습니다.

이 간극을 메우려는 기존 방법들(예: AVDC, VidBot)은 불안정한 객체 상태나 전체 픽셀을 추적하는 데 의존하기 때문에, 폐쇄(occlusion), 급격한 움직임, 변형 가능한 객체에 취약합니다. 핵심 과제는 고수준의 픽셀 기반 계획을 저수준의 물리적으로 일관된 조인트 공간(joint-space) 또는 토크 제어 영역의 궤적으로 견고하게 변환하는 것입니다.

2. 방법론: 도구 중심 역역학 모델 (TC-IDM)

이러한 한계를 해결하기 위해, 저자들은 월드 모델이 구상한 로봇 엔드 이펙터(도구)의 안정적이고 잘 정의된 움직임에 제어 정책을 고정하는 프레임워크인 TC-IDM을 제안합니다. 이 "계획 및 변환(plan-and-translate)" 패러다임은 두 개의 뚜렷한 단계로 작동합니다:

A. 시공간 예측 (Spatiotemporal Prediction)

초기 RGB 프레임, 깊이 맵(depth map), 텍스트 명령이 주어지면, 생성형 월드 모델이 상상된 RGB 비디오 시퀀스( $V_{rgb}^{gen}$ )를 생성합니다.

깊이 및 포즈 추정: 시스템은 파운데이션 모델(VGGT)을 사용하여 초기 깊이 맵과 상대적 카메라 포즈를 생성합니다. 이는 컴플리션 네트워크(completion network)를 통해 정교화되고 참조 메트릭 깊이 맵과의 최소제곱 정렬(least-squares alignment)을 통해 메트릭 정렬되어, 완전한 메트릭 카메라 궤적 및 깊이 시퀀스를 생성합니다.

B. 분리된 행동 변환 (Decoupled Action Translation)

TC-IDM은 행동 변환을 최종 제어 벡터를 형성하기 위해 결합되는 두 개의 상호 보완적이고 분리된 스트림으로 분해합니다:

시각 기반 상태 생성 (그리퍼 제어):
- 동결된 시각 인코더(DINOv3)가 생성된 비디오에서 시간적으로 일관된 시맨틱 특징을 추출하여, 객체의 정체성 및 접촉 상태와 같은 작업 단서를 포착합니다.
- 경량화된 작업 조건부 MLP 헤드가 이러한 시맨틱 특징을 바탕으로 연속적인 그리퍼 개구도 파라미터( $A_{gripper}$ )를 예측합니다.
기하학 기반 제스처 생성 (6-DoF 궤적):
- 궤적 추출: 메트릭 정렬된 RGB-D 비디오와 그리퍼 마스크(SAM 3를 통해 생성)를 사용하여, 3D 포인트 트래커(SpatialTrackerv2)가 그리퍼 표면의 조밀한 3D 포인트 궤적을 추출합니다.
- 강체 필터링 (Rigid-Body Filtering): 안정성을 보장하기 위해, 시스템은 강체 변환 일관성을 가장 잘 만족하는 상위- $K$ 개의 궤적을 선택하여 강체 운동 사전 확률(prior)을 적용합니다.
- 포즈 복구: 행동 디코더를 학습하는 대신, 시스템은 연속된 프레임 사이의 필터링된 3D 궤적을 가장 잘 정렬하는 강체 변환( $R, t \in SE(3)$ )을 계산하여 분석적으로 6-DoF 도구 중심점(TCP) 궤적을 복구합니다. 이를 통해 엔드 이펙터 행동( $A_{TCP}$ )을 얻습니다.

이 아키텍처는 특정 엔드 이펙터에 구애받지 않으며, 리타겟팅 모듈을 통해 정교한 핸드(dexterous hands)를 포함한 임의의 도구 형태(embodiment)로 구현될 수 있습니다.

3. 주요 기여

새로운 프레임워크: 월드 모델의 계획과 로봇 제어를 연결하기 위해, 변형 가능한 객체의 추적 대신 도구의 궤적을 견고한 중간 표현으로 사용하는 TC-IDM을 제안하였습니다.
분리된 아키텍처: 물리적 운동 단서(6-DoF 포즈용)와 시맨틱 시각 특징(그리퍼 제어용)이라는 이종 정보 스트림을 명확히 분리하고 활용하는 설계를 제시했습니다.
실험적 검증: 다양한 작업 난이도와 비디오 생성 모델에 대해 실제 환경에서의 실험을 통해, 생성형 월드 모델을 물리적 로봇에 배포하기 위한 새로운 베이스라인을 구축했습니다.

4. 실험 결과

저자들은 다양한 작업 난이도와 비디오 생성 모델에 걸쳐 실제 환경에서 TC-IDM을 평가했습니다.

전반적인 성능: 시스템은 모든 작업에서 평균 **61.11%**의 성공률을 달성했습니다.
- 단순 작업: 77.7% 성공률.
- 제로샷 변형 객체 작업: 38.46% 성공률.
베이스라인과의 비교: TC-IDM은 엔드 투 엔드 VLA 스타일의 베이스라인(예: $\pi_0$ $π_{0}$ , RT-2) 및 AVDC, AnyPos와 같은 다른 역역학 모델(IDM)보다 성능이 월등히 높았습니다.
- 미세한 6-DoF 협응이 필요한 "어려운(Hard)" 작업(예: 젓가락 삽입)에서, TC-ID로 인해 대부분의 베이스라인이 완전히 실패한 반면, TC-IDM은 현저히 높은 성공률을 기록했습니다.
- 행동 재생(action replay) 평가에서, TC-IDM은 쉬운 작업에서 93.3%, 중간 작업에서 53.3%, 어려운 작업에서 28.9%를 달성하며 해당 평가의 상한선(upper bound)을 설정했습니다.
일반화 능력:
- 카메라 변화: 모델은 추가 미세 조정 없이 Realsense D457 학습 데이터로부터 본 적 없는 도메인(Apple Pro, Realsense D435i)으로 성공적으로 전이되었습니다.
- 변형 가능한 객체: 강체 객체에 대해 학습되었음에도 불구하고, 천 조작(제거, 접기)에 대한 제로샷 일반화에 성공했습니다.
- 장기 궤적 작업 (Long-Horizon Tasks): 중간 재계획 없이 6단계 후디 접기 시퀀스를 성공적으로 수행했습니다.
- 교차 형태(Cross-Embodiment): 단일 암(single-arm) Franka 로봇에서 학습된 운동 사전 확률은 재학습 없이 듀얼 암 UR 로봇 및 다양한 정교한 핸드(BrainCo, Inspire-Robots)로 성공적으로 전이되었습니다.

5. 의의

본 논문은 TC-IDM이 엔드 투 엔드 VLA 접근 방식에 비해 배우기 쉽고 형태 간 전이가 용이한 "깨끗하고 견고한 구조"를 제공한다고 주장합니다. 조작되는 객체의 복잡한 상태보다는 도구의 궤적에 집중함으로써, 이 방법은 "계획-행동 간의 간극(planning-action chasm)"을 극적으로 극복합니다.

이 연구의 의의는 생성형 월드 모델이 물리적 실행을 위해 어떻게 효과적으로 그라운딩될 수 있는지를 입증했다는 점에 있습니다. "계획 및 변환" 접근 방식은 에이전트가 시각적 예견을 통해 복잡한 역학(정밀한 파지부터 비정형 접기까지)을 내재화하면서도, 최종 출력이 물리적으로 일관되고 실행 가능하도록 보장합니다. 이는 방대한 양의 특정 작업용 로봇 데이터셋에 의존하지 않는 범용 임보디드 지능을 향한 확장 가능한 경로를 제시합니다.