Bridging the Embodiment Gap: Disentangled Cross-Embodiment Video Editing

기술 요약: 해리된 교차-구현 비디오 편집을 통한 구현 격차 해소

문제 제기
본 논문은 인간 비디오로부터 로봇 조작을 학습하는 데 있어 중요한 '구현 격차 (embodiment gap)'를 다룹니다. 인터넷 규모의 인간 비디오는 로봇공학의 데이터 병목 현상에 대한 확장 가능한 해결책을 제공하지만, 인간 시연자와 로봇 학습자 사이에는 상당한 분포 변화가 존재합니다. 이 격차는 시각적 차이 (외관, 시점) 를 포함하며, 더 중요하게는 서로 다른 운동학, 자유도, 물리적 affordance 에서 비롯된 형태적 및 동적 차이를 포괄합니다. 기존 접근법은 종종 **얽힌 표현 (entangled representations)**을 생성하여 실패하는데, 이는 작업 관련 정보가 인간 특유의 운동학적 편향과 결합되어 적응성을 제한하기 때문입니다. 프로시저 파이프라인에 의존하는 다른 방법들 (예: 인간을 인페인팅하고 로봇 모델을 오버레이하는 방식) 은 종종 하위 정책 학습에 적합하지 않은 비현실적인 비디오 계획을 초래합니다.

방법론
저자들은 작업과 구현의 해리된 표현을 명시적으로 학습하는 교차-구현 비디오 편집을 위한 생성 프레임워크를 제안합니다. 핵심 아키텍처는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 동결된 생성 백본: 이 프레임워크는 고품질이고 시간적으로 일관된 비디오 합성을 위한 강력한 사전 지식을 활용하기 위해, 사전 훈련되고 동결된 비디오 확산 모델 (잠재 확산 트랜스포머인 VACE) 을 생성 백본으로 사용합니다. 이는 전체 모델 재훈련 없이도 이를 가능하게 합니다.
2. 해리된 인코더:
   • 작업 인코더 ($E_{\theta_{task}}$): 소스 인간 비디오의 다중 모달 입력 (텍스트 목표 설명 $T$, 손 동작 시퀀스 $M_s$, 물체 궤적 $O_s$) 을 처리하는 훈련 가능한 인코더입니다. 이는 구현 불변의 작업 임베딩 ($z_{task}$) 을 출력합니다.
   • 구현 인코더 ($E_{\theta_{emb}}$): 대상 에이전트의 엔드 이펙터에 대한 정적 이미지 ($C_s$) 를 처리하여 구현 특정 임베딩 ($z_{emb}$) 을 생성하는 훈련 가능한 인코더입니다.
3. 파라미터 효율적 어댑터: 경량화된 훈련 가능한 어댑터 ($A_\psi$) 가 해리된 잠재 코드를 동결된 확산 트랜스포머에 주입합니다. 이를 통해 모델은 원래 백본 가중치를 수정하지 않고도 여러 특징 수준에서 생성을 유도할 수 있습니다.

학습 목표
작업과 구현 표현이 진정으로 직교하도록 보장하기 위해, 저자들은 표준 Flow Matching (LFM) 재구성 손실과 함께 이중 대비 학습 목표를 사용합니다:

• 해리 (상호 정보 최소화): CLUB 추정기를 사용하여 $z_{task}$와 $z_{emb}$ 사이의 상호 정보를 최소화합니다. 이는 자연스럽게 짝지어진 샘플의 로그 가능도와 무작위로 짝지어진 샘플의 로그 가능도를 대비시킴으로써 달성되며, 두 잠재 공간을 독립적으로 만듭니다.
• 공간 내 일관성 (유사성 최대화): InfoNCE 손실을 작업 공간과 구현 공간에 각각 적용합니다. 이는 동일한 의미 클래스의 임베딩 (예: 동일한 작업의 다른 비디오 또는 동일한 로봇의 다른 이미지) 을 서로 가깝게 묶고 다른 클래스는 멀어지게 하여, 견고하고 구별 가능한 표현을 보장합니다.
• 재구성: 모델은 자신의 해리된 임베딩에 조건부인 노이즈로부터 소스 비디오를 재구성하도록 훈련되며, Flow Matching 을 통해 매개변수를 최적화합니다.

주요 기여

1. 생성적 해리 프레임워크: 본 논문은 시연 비디오를 작업과 구현을 위한 직교 잠재 공간으로 명시적으로 분해하는 새로운 프레임워크를 도입하여, 비디오 학습 (LfV) 의 분포 변화를 직접적으로 해결합니다.
2. 이중 대비 목표: 저자들은 교차-구현 데이터가 짝지어지지 않아도 되면서 작업과 구현 공간 간의 상호 정보를 최소화 (독립성 보장) 하고 공간 내 일관성을 최대화 (안정성 보장) 하는 동시에 학습 전략을 제안합니다.
3. 파라미터 효율적 적응: 동결된 비디오 확산 모델을 훈련 가능한 인코더와 경량 어댑터로 보강함으로써, 최소한의 파라미터 업데이트로 고품질 합성을 달성합니다.
4. 확장 가능한 데이터 솔루션: 이 접근법은 단일 인간 시연으로부터 일관된 로봇 특정 실행 비디오를 합성할 수 있게 하여, 인터넷 규모의 인간 데이터를 로봇 모방 학습에 활용하기 위한 확장 가능한 경로를 제공합니다.

실험 결과
이 프레임워크는 PH2D 데이터셋에서 파생된 데이터를 사용하여 교차-구현 비디오 편집 작업 (예: 잡기, 따르기) 에서 평가되었습니다.

• 정량적 성능: 제안된 방법은 비디오 충실도 지표 (FVD, LPIPS, PSNR, SSIM) 에서 베이스라인 (VACE 및 Phantom) 을 능가했습니다. 특히 VBench 스위트 내에서 동적 및 시간적 품질 지표 (미적 품질, 시간적 스타일, 동작 매끄러움, 전체 일관성) 에서 가장 높은 점수를 달성했으며, 반면 범용 모델들은 동적 타당성에서 어려움을 겪었습니다.
• 정성적 분석: 시각적 비교 결과, 베이스라인들은 잘못된 형태를 환각하거나 (VACE) 비사진적 오버레이를 생성하는 (Phantom) 반면, 제안된 방법은 형태적으로 정확하고 시간적으로 일관된 비디오를 생성했습니다.
• 해리 검증: t-SNE 시각화 및 특징 상관관계 히트맵은 이중 대비 목표가 작업 및 구현 특징을 서로 겹치지 않는 별도의 클러스터로 성공적으로 분리했음을 확인시켜 주었습니다.
• 하류 검증: Unitree H1 휴머노이드 로봇을 사용한 시각적 행동 클로닝 (BC) 실험에서, 생성된 로봇 비디오로 훈련된 정책은 HAT 베이스라인을 통해 정렬된 데이터로 훈련된 정책보다 낮은 검증 오차를 달성했습니다. 이는 생성된 비디오가 로봇의 물리적 구현과 더 잘 정렬된 운동학적 감독을 제공함을 시사합니다.

의의 및 주장
본 논문은 명시적으로 해리된 표현을 학습함으로써 LfV 의 분포 변화라는 근본적인 과제를 해결한다고 주장합니다. 이 방법은 인간-로봇 데이터가 짝지어지지 않아도 다양한 로봇 형태를 위한 인간 기술의 '밀집 시각적 계획'으로의 전환을 가능하게 합니다. 저자들은 이 작업을 로봇공학 데이터 병목 현상에 대한 확장 가능한 해결책으로 위치시키며, 인터넷 규모의 인간 비디오를 범용 구현 에이전트 훈련에 활용할 수 있게 한다고 강조합니다. 그 의의는 하류 정책 학습을 직접적으로 informing 할 수 있는 물리적으로 타당하고 로봇 중심의 시각적 시연을 생성하여 인간 관찰과 로봇 실행 사이의 격차를 해소하는 능력에 있습니다.