기술 요약: Imagine2Real

문제 정의

전체 인간형 로봇 - 물체 상호작용 (HOI) 은 현재 고품질 3D 상호작용 데이터의 부족으로 병목 현상을 겪고 있습니다. 비디오 생성 모델은 시각적 및 물리적 사전 지식을 제공하는 유망한 대안을 제공하지만, 이를 HOI 에 활용하려는 기존 방법들은 두 가지 중요한 도전에 직면해 있습니다:

1. 표현 불일치: 2D 비디오에서 3D 운동을 추출하는 것은 일반적으로 명시적인 CAD 모델과 같은 강력한 기하학적 사전 지식을 필요로 하는데, 이는 실제 환경에서는 거의 제공되지 않습니다. 또한, 기존 접근 방식들은 종종 로봇과 물체의 운동을 별도의 도구를 사용하여 독립적으로 추정하여, 공간 및 깊이 오차를 초래하고 저품질의 참조 운동과 추적 실패를 야기합니다.
2. 재할당 복잡성: 전통적인 모션 추적은 특정 인간형 로봇 구현체에 명시적으로 재할당되어야 하는 밀집된 저수준 신호 (예: 관절 위치) 를 필요로 합니다. HOI 시나리오에서 이 과정은 로봇과 물체 메쉬를 정렬하기 위한 집중적인 변형을 요구하여 매우 복잡하며, 이는 본질적으로 비디오 소스로부터의 추정 오차를 증폭시킵니다. 반면, 희소 키 포인트를 추적하는 방법들은 관절 수준의 정보 부족으로 인해 자연스러운 보행 생성에 실패하는 경우가 많습니다.

방법론

저자들은 로봇과 물체의 운동을 통합하고 행동 기반 모델 (BFM) 을 활용하여 기하학적 프리 없이 유연한 상호작용을 달성하도록 설계된 제로샷 HOI 프레임워크인 Imagine2Real을 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소를 포함하는 "비디오 - 모션 - 현실" 파이프라인을 통해 작동합니다:

1. 통합 4D 포인트 궤적 표현

표현 불일치를 해결하기 위해, 이 프레임워크는 기하학적 사전 지식에 의존하지 않습니다. 대신 로봇과 물체의 운동을 통합된 4D 포인트 궤적으로 취급합니다.

• 비디오 합성: 초기 이미지와 텍스트 지시를 기반으로 비디오 생성 모델이 상호작용 비디오를 합성합니다.
• 추출: 세그멘테이션 (SAM3) 과 포인트 추적 (SpaTrackerV2) 을 사용하여 로봇의 베이스, 손, 그리고 대상 물체와 같은 희소 중요 영역에 대한 4D 포인트 궤적을 추출합니다.
• 정렬: 두 엔티티를 공통 프레임 내의 포인트 궤적으로 표현함으로써, 이 방법은 명시적인 CAD 모델이나 독립적인 추정 파이프라인 없이 공간 정렬을 보장합니다.

2. 행동 기반 모델 (BFM) 기반 키 포인트 추적기

재할당 복잡성을 극복하고 희소 신호로 자연스러운 보행을 유지하기 위해, 이 프레임워크는 사전 훈련된 BFM 을 기반으로 구축된 키 포인트 추적기를 활용합니다.

• BFM 백본: BFM 은 먼저 대규모 고유 운동 데이터 (~68.5 시간) 로 사전 훈련되어 컴팩트한 잠재 운동 공간을 구축합니다. 이 모델은 전방향 동역학과 자연스러운 운동 전환을 내재화합니다.
• 희소 추적: 추적기는 전체 몸체 컨트롤러를 재학습하지 않습니다. 대신 희소 참조 운동 (베이스, 손, 물체) 에 조건을 부여하고, 동결된 BFM 백본 위에 잠재 잔차 플래너를 적용합니다.
• 메커니즘: 동결된 예측기는 고유 운동 이력을 기반으로 잠재 사전 지식을 생성하여 자연스러운 보행과 균형을 보장합니다. 그런 다음 플래너는 로봇을 희소 추적 목표 방향으로 유도하기 위해 저차원 잠재 잔차를 출력합니다. 이를 통해 시스템은 오차를 증폭시키는 재할당 과정을 우회하면서도 물리적 안정성을 유지할 수 있습니다.

3. 점진적 훈련 전략

데이터 부족 문제를 해결하기 위해, 이 프레임워크는 세 단계의 점진적 훈련 전략을 채택합니다:

1. BFM 백본: 다양한 전체 몸체 운동으로 훈련되어 견고한 운동 사전 지식을 확립합니다.
2. 키 포인트 추적기: 로코 - 매니퓰레이션 데이터 (~8.86 시간) 로 훈련되어 균형을 유지하면서 희소 포인트를 추적하는 방법을 학습합니다.
3. 상호작용 어댑터: 특정 HOI 데이터 (~0.43 시간) 로 미세 조정되어 물체 조작을 위한 잔차 관절 수준 동작을 학습합니다. 이 어댑터는 운동학적 추적과 물리적 접촉 사이의 간극을 메워 복잡한 보상 공학 없이 정밀한 조작을 가능하게 합니다.

4. 현실 세계 배포 파이프라인

배포 루프는 다음을 포함합니다:

• 비디오 생성: 텍스트에 조건부 상호작용 비디오를 합성합니다.
• 궤적 추출: 비디오 픽셀을 안정적인 4D 포인트 궤적으로 변환합니다.
• 모션 캡처 보정: 단안 비디오 생성에 내재된 스케일 모호성을 해결하기 위해 모션 캡처 (mocap) 시스템을 사용합니다. 시스템은 Unitree G1 인간형 로봇에서 정책을 실행하기 전에 추출된 궤적을 실제 세계 차원으로 스케일링하고 보정하기 위해 초기 글로벌 위치를 캡처합니다.

주요 기여

1. 통합 4D 포인트 궤적 표현: 기하학적 사전 지식에 대한 의존성을 제거하고 로봇과 물체 간의 운동 불일치를 해결하는 HOI 를 위한 새로운 표현 방식.
2. BFM 기반 키 포인트 추적기: 상호작용에 중요한 희소 포인트 (베이스, 손, 물체) 에만 초점을 맞춘 추적 메커니즘. BFM 의 잠재 공간을 검색 영역으로 활용함으로써 복잡한 재할당 없이 안정적이고 자연스러운 보행을 보장하면서 유연한 상호작용을 가능하게 합니다.
3. 점진적 훈련 프레임워크: 대규모 비상호작용 데이터부터 특정 HOI 데이터까지의 다중 스케일 데이터를 효과적으로 활용하여 견고한 제로샷 HOI 를 달성하고, 복잡한 접촉 보상이나 물리적 상태 초기화와 같은 수동 설계 메커니즘의 필요성을 제거하는 전략.

실험 결과

저자들은 Sim2Sim 및 현실 세계 제로샷 배포를 통해 프레임워크를 평가했습니다:

• 운동 자연스러움: 제거 실험에서 BFM 기반 접근 방식은 행동의 부드러움과 보행의 자연스러움 측면에서 직접 관절 공간 추적 및 DAgger 베이스라인보다 훨씬 뛰어난 성능을 보였습니다 ($E_{mpjae}$, $A_{rate}$, $A_{smooth}$가 낮음). 이는 잠재 공간을 검색하는 것이 더 물리적으로 타당한 운동을 생성함을 입증했습니다.
• 작업 성공률: 이 프레임워크는 전체 몸체 HOI 작업에서 높은 성공률을 달성했습니다:
  • 상자 운반: 상호작용 어댑터 사용 시 82.65% 성공률 (미사용 시 0%).
  • 상자 밀기: 어댑터 사용 시 64.91% 성공률 (미사용 시 29.82%).
  • 손, 베이스, 물체에 대한 추적 오차는 센티미터 수준의 정밀도 내에서 유지되었습니다.
• 제로샷 배포: 시스템은 다양한 상자 들어 올리기 및 "아이언맨" 기둥과 같은 의미적으로 풍부한 상호작용 수행을 포함한 다양한 물리적 작업을 실제 Unitree G1 로봇에서 성공적으로 실행하여, 비디오 - 모션 - 현실 파이프라인의 유효성을 입증했습니다.

의의 및 한계

이 논문은 Imagine2Real 이 방대하고 작업별인 3D 데이터셋의 필요성에서 상호작용 학습을 분리함으로써 일반화 가능한 인간형 로봇 제어에 중요한 진전을 이루었다고 주장합니다. 비디오 생성 사전 지식과 통합된 포인트 표현을 활용함으로써, 이 프레임워크는 로봇이 물리적 안정성을 유지하면서 희소 시각적 단서로부터 복잡한 상호작용을 학습할 수 있게 합니다.

그러나 저자들은 현재의 한계를 인정합니다:

• 모션 캡처 의존성: 현실 세계 배포는 현재 외부 모션 캡처 시스템에 의존하며, 이는 근접 접촉 작업 중 마커 가림에 취약합니다.
• 개루프 파이프라인: 현재 시스템은 개루프입니다. 비디오 모델을 반복적으로 프롬프트하는 것이 의사 폐루프 근사치를 제공하지만, 진정한 폐루프 시스템은 물리적 피드백을 사용하여 비디오 생성기와 모션 추적기의 결합 미세 조정이 필요하며, 이는 최상위 비디오 모델의 폐쇄형 소스 성격과 물리적 일관성이 부족한 오픈 소스 대안들 때문에 여전히 어렵습니다.