기술 요약: Uni-Mo 및 Quad-Imaginarium

문제 정의

사족 보행 로봇은 고난도 이동 능력(예: 잔해 통과, 계단 오르기)을 달agi 성취했지만, 그 행동 레퍼토리는 걷기, 트로팅(trotting), 러닝과 같은 기본적인 보행에 국한되어 있습니다. 이는 대규모 인간 동작 데이터셋을 바탕으로 춤추기, 제스처 하기와 같이 표현력이 풍부하고 동반자적인 상호작용이 가능해진 휴머노이드 로봇의 발전 양상과 극명하게 대조됩니다.

사족 보행 로봇에서 이러한 성공을 재현하려는 현재의 시도들은 "동물 루프 내(animal-in-the-loop)" 가설에 의존합니다. 즉, 로봇의 움직임이 실제 동물의 데이터(모션 캡처 또는 비디오 재구성 방식)로부터 유도되어 로-타겟팅(retargeting)된다는 가정입니다. 저자들은 이 파이프라인에서 세 가지 결정적인 실패 모드를 식별했습니다:

1. 데이터 부족: 데이터 수집이 실제 동물의 협조에 의존하기 때문에, 데이터셋이 기본적인 이동 동작에 국한되며 복잡하고 표현력이 풍한 행동은 제외됩니다.
2. 취약한 재구성: 변형 가능한 표면, 자기 폐쇄(self-occlusion), 그리고 인간 모델(SMPL)에 비해 미성숙한 동물 파라메트릭 모델(예: SMAL)로 인해 동물 비디오로부터 3D 동작을 재구성하는 것은 매우 어렵습니다.
3. 부적절한 타겟팅(Ill-Posed Retargeting): 생물학적 골격(예: 유연한 척추와 지행성 다리를 가진 개)에서 강체 로봇(예: 강직한 몸통과 3관절 다리를 가진 사족 보행 로봇)으로 동작을 전이할 때, 형태학적 불일치로 인해 물리적으로 불가능한 동작이 발생하는 경우가 많습니다.

본 논문은 해결책이 동물이라는 중간 단계를 완전히 제거하는 것이며, 동작 획득을 재구성 문제가 아닌 생성 문제로 재정의하는 것이라고 주장합니다.

방법론: Uni-Mo 파이프라인

저자들은 자연어 프롬프트를 배포 가능한 사족 보행 정책(policy)으로 변환하는 완전 자동화된 파이프라인인 Uni-Mo를 제안합니다. 이 과정은 세 단계로 구성됩니다.

1. 정체성 일관성을 갖춘 비디오 생성 (Identity-Consistent Video Generation)

기존의 동물 비디오에 의존하는 대신, 시스템은 직접 동작 비디오를 합성합니다.

• 기반 모델: 비디오 확산 모델(Wan2.2)을 이미지 투 비디오(I2V) 설정으로 미세 조정(fine-tuning)합니다.
• 입력: 대상 로봇(Unitree Go2)의 정준 참조 이미지(canonical reference image)와 대규모 언어 모델(LLM)이 생성한 동작 프롬프트가 사용됩니다.
• 정체성 드리프트(Identity Drift) 문제: 표준 비디오 확산 모델은 생성된 프 frames 전반에 걸쳐 로봇의 신체가 비강체적으로 변형되거나 외형이 변하는 '정체성 드리프트' 현상을 겪으며, 이는 3D 추출에 필요한 강체 가정을 위반합니다.
• 해결책 (정체성 일관성 손실, $L_{IC}$): 저자들은 미분 가능한 **정체성 일관성 손실($L_{IC}$)**을 도입합니다.
  • 로봇의 정준 정체성을 나타내기 위해 DINOv2 임베딩을 사용하여 훈련 데이터로부터 "외형 뱅크(Appearance Bank)"를 구축합니다.
  • 훈련 중, 생성된 프레임의 특징이 외형 뱅크의 가장 가까운 항목과 크게 달라지면 모델에 페널티를 부여합니다.
  • 이 손실은 근본적인 동작 사전 지식(motion prior)을 훼손하지 않으면서 지각적 신뢰성을 확보하기 위해 확산 모델의 저노이즈 전문가(low-noise expert)에만 적용됩니다.

2. 3D 궤적 추출 (3D Trajectory Extraction)

생성된 비디오는 로봇의 구성 공간 내 3D 참조 궤적으로 변환됩니다.

• 2D 키포인트 검출: ViTPose 모델이 각 프레임에서 로봇의 17개 키포인트를 검출합니다.
• 운동학적 최적화(Kinematic Optimization): 2D-to-3D 최적화를 통해 루트 위치, 방향 및 12개의 관절 각도를 구합니다. 카메라 내부 파라미터와 초기 포즈(정준 URDF 상태)는 고정되어, 문제를 시간적으로 제약된 운동학적 적합(kinematic fit) 문제로 축소합니다.
• 제약 조건: 최적화에는 2D 재투영 오차 항, 시간적 매끄러움 페널티, 그리고 미끄러짐을 방지하기 위한 발 접촉 제약 조건이 포함됩니다.

3. 품질 필터링 및 정책 훈련 (Quality Filtering and Policy Training)

실행 가능한 동작만을 사용하기 위해, 훈련 전에 다단계 필터링 프로세스가 적용됩니다.

• CLIP 의미론적 게이트(Semantic Gate): 재렌더링된 궤적을 소스 비디오와 비교하여, 의미론적 유사도가 낮으면 거부합니다.
• 기하학적 게이트(Geometric Gate): 재투영 오차가 높은(평균 >20px, 최대 >100px) 궤적은 폐기합니다.
• 추적 오차 게이트(Tracking-Error Gate): 시뮬레이션에서 PPO 추적 정책을 훈련합니다. 정책이 실패(종료 발생)하는 궤적은 폐기합니다.
• 배포: 생존한 정책들을 실제 로봇으로 전이합니다.

주요 기여

1. Uni-Mo 파이프라인: 자연어 프롬프트를 배포 가능한 사족 보행 정책으로 변환하는 완전 자동화된 시스템으로, 동물과의 협조가 아닌 연산량(compute)을 통해 동작 획득을 확장합니다.
2. 정체성 일관성 손실: 일반 목적의 비디오 생성기로부터 신뢰할 수 있는 3D 동작을 추출할 수 있도록, 생성된 비디오 프레임 간의 구조적 및 외형적 일관성을 강제하는 새로운 미세 조정 목적 함수를 도입했습니다.
3. Quad-Imaginarium 데이터셋: 7,488개의 언어 주석이 달린 사족 보행 동작(18.5시간)을 포함하는 대규모 오픈 소스 데이터셋을 공개합니다. 기존 데이터셋과 달리, 이들은 엔드 투 엔드로 합성되었으며, 이전에는 접근 불가능했던 다양하고 비이동적인 행동(예: 절하기, 춤추기, 백플립)을 특징으로 합니다.

결과

저자들은 Unitree Go2 로봇을 통해 파이프라인을 검증했습니다:

• 비디오 생성: 정체성 일관성 손실을 추가함으로써 시각적 충실도가 크게 향상되었으며(FID가 66.65에서 26.98로 감소), 기본 미세 조정과 비교하여 신체 변형을 방지했습니다.
• 추출 효율성: 생성된 후보 중 68.1%가 모든 기하학적 및 의미론적 게이트를 통과했습니다.
• 시뮬레이션 성능: 7,488개의 유지된 궤적 중 97.6%가 시뮬레이션에서 PPO 정책에 의해 성공적으로 추적되었습니다.
• 실제 배포: 무작위로 샘로된 392개의 동작 세트에서, 파이프라인은 물리적 로봇에서 96.7%의 성공률을 달랐으며, 로봇은 넘어지지 않고 백플립, 댄스, 크롤링과 같은 복잡한 행동을 성공적으로 수행했습니다.

의의 및 주장

본 논문은 표현력이 풍부한 사족 보행 동작 획득이 생물학적 데이터 수집의 한계로부터 분리될 수 있다고 주장합니다. 동작 생성을 확장 가능한 연산 문제로 취급함으로써, Uni-Mo는 이전에 불가능했던 풍부하고 동물 같은 행동을 생성할 수 있게 합니다.

저자들은 이 접근 방식이 더 나은 동물 모델이나 교차 형태학적(cross-morphology) 타겟팅 알고리즘을 필요로 하지 않는다는 점을 강조합니다. 대신, 루프 내에서 동물을 제거하고 합성 비디오에서 정체성 일관성을 강제함으로써, 연구자들이 동반자형 사족 보행 로봇 연구를 위해 사용할 수 있는 "즉시 사용 가능한 기초(ready-to-use foundation)"를 제공합니다. 이 파이프라인의 성공은 생성형 AI를 통해 이동 중심의 로봇과 표현력이 풍부한 동반자 사이의 간극을 메울 수 있음을 입증하며, 단 생성된 데이터가 실제 제어에 필요한 물리적, 구조적 무결성을 유지해야 한다는 전제가 필요함을 보여줍니다.