CORE: Common Outcome Regularities from Action-Free Visual Demonstrations for Robot Manipulation

기술 요약: CORE – 액션이 없는 시각적 데모로부터의 공통 결과 정규성(Common Outcome Regularities)

문제 정의

로봇 모방 학습은 현재 확장성의 병목 현상에 직면해 있다: 고성능 정책은 일반적으로 비용이 많이 드는 로봇 특화 데모(예: 텔레오퍼레이션 또는 키네스틱 티칭)를 대량으로 필요로 한다. 인터넷상의 인간 비디오와 같이 액션이 없는 시각적 데모는 풍부하고 풍부한 태스크 사전 지식을 담고 있지만, 이를 직접 활용하기는 어렵다. 이러한 비디오들은 로봇이 실행 가능한 액션 라벨이 부족하며, 형태(morphology), 액션 공간, 제어 인터페이스 측면에서 심각한 "엠보디먼트 격차(embodiment gaps)"를 겪는다.

나아가, 작업 목표에 정책을 조건화하려는 기존 방법들은 자연어 지침에 의존하는 경우가 많다. 언어는 높은 수준의 의도(예: "그릇을 쌓아라")를 전달할 수는 있지만, 접촉이 빈번한 조작 작업에서 성공적인 수행을 위해 필요한 정밀한 기하학적, 공간적, 접촉 제약 조건을 명시하는 데는 자주 실패한다. 이러한 미비한 명시는 최종 상태를 달성하는 데 필요한 정밀도를 확보하지 못해 하위 최적(sub-optimal) 정책으로 이어질 수 있다.

방법론: CORE 프레임워크

저자들은 CORE(Common Outcome Regularities)를 제안한다. 이는 명시적인 액션을 전이시키거나 언어에만 의존하는 대신, 액션이 없는 시각적 데모의 성공적인 최종 상태로부터 공유된 구조적 정규성을 추출하는 정책 학습 프레임워크이다. CORE는 세 가지 뚜렷한 단계로 작동한다:

1. 1단계: 최종 결과 표현 학습 (Terminal Outcome Representation Learning)
   프레임워크는 액션이 없는 시각적 데모를 사용하여 최종 결과 인코더($f_\phi^z$)를 학습시킨다. 이 인코더는 동일한 작업의 성공적인 데모로부터 추출된 최종 관측치들을 서로 가깝게 모으고, 비최종 또는 관련 없는 결과물들을 밀어내는 **최종 대비 학습 목적 함수(terminal contrastive objective)**를 통해 최적화된다. 이는 두 가지 보조 작업에 의해 증강된다:

   • 목표 도달 시간 회귀 ($L_{ttg}$): 표현이 목표를 향한 시간적 진행 상황을 인식하도록 장려한다.
   • 최종 분류 ($L_{term}$): 최종 상태와 비최종 상태 간의 구별 능력을 향상시킨다.
     목표는 궤적 특유의 움직임 세부 사항이 아닌, 공유된 최종 구조(물체 배치, 공간적 관계)에 집중하는 표현을 학습하는 것이다.

2. 2단계: 목표 프로토타입 구축 (Goal Prototype Construction)
   성공적인 최종 임베딩을 집계하여 시각적 목표 프로토타입($z_{goal}$)을 형성한다. 견고함을 보장하기 위해, 이 방법은 K-Means를 사용하여 성공적인 최종 임베딩을 클러스터링하고, 지배적인 모드(Top-K)를 선택하여 정적인 태스크 수준의 목표 조건을 계산한다. 이러한 집계는 노이즈가 있거나 희귀한 최종 관측치를 억제하여, 원하는 물리적 최종 상태에 대한 안정적인 표현을 산출한다.

3. 3단계: 백본 불가지론적 목표 주입 (Backbone-Agnostic Goal Injection)
   정책 학습 및 추론 과정에서, 현재 관측치는 결과 임베딩($z_t$)으로 인코딩된다. 이 임베딩은 사전 계산된 목표 프로토타입($z_{goal}$)과 결합되어 글로벌 목표 특징 $g_t = [z_t; z_{goal}]$를 형성한다. 이 특징은 조건화 연산자를 통해 로봇 정책 백본(예: Diffusion Policy, MP1)에 주입된다. 이후 정책은 현재 상태와 원하는 최종 상태 사이의 거리를 최소화하도록 액션 청크(action chunks)를 생성하도록 유도된다. 이 모듈은 확산 기반(diffusion-based) 및 플로우 기반(flow-based) 모델을 포함한 다양한 정책 백본과 호환되도록 설계되었다.

주요 기여

• 결과 수준 학습의 공식화: 본 논문은 시각적 데모 학습을 공통 결과 정규성(Common Outcome Regularities) 추출로 재정의한다. 명시적인 액션을 서로 다른 엠보디먼트 간에 매핑하려고 애쓰는 대신, CORE는 성공적인 최종 상태로부터 공유된 구조를 직접 추출한다.
• 3단계 프레임워크: 저자들은 최종 표현 학습과 프로토타입 구축을 통해 액션이 없는 시각적 데이터를 견고한 시각적 목표 조건으로 변환하는 새로운 파이프라인을 제안한다. 이 설계는 백본 불가지론적(backbone-agnostic)이어서 다양한 다운스트림 정책에 원활하게 통합될 수 있다.
• 언어 조건화 대비 우수성: 본 연구는 시각적 목표 프로토타입이 특히 정밀한 최종 상태 정렬이 필요한 작업에서 텍스트 지침보다 더 구체적인 기하학적 및 물리적 제약 조건을 제공함을 입증한다.

실험 결과

저자들은 두 가지 시뮬레이션 벤치마크(Meta-World 및 RoboTwin 2.0)와 실제 환경 로봇 암 설정(ARX R5)에서 CORE를 평가하였다.

• Meta-World: CORE는 MP1 백본의 평균 성공률을 +3.9%(81.7%에서 85.6%로) 개선하였고, DP3 백본을 +2.5%(81.5%에서 84.0%로) 개선하였다. 개선 효과는 "Hard" 및 "Very Hard" 작업에서 더 두드러졌다. 텍스트 조건화 변형 모델은 이와 비교하여 미미한 이득만을 보였다.
• RoboTwin 2.0: CORE는 상당한 개선을 보여주었으며, MP1 백본을 +11.1%(79.4%까지) 향상시켰고, DP3 백본을 +4.8%(82.3%까지) 향상시켰다. 평가된 모든 작업에서 적어도 하나의 CORE 통합 정책이 최선의 결과를 달고했다.
• 실제 환경: 접촉이 빈번한 작업(예: 서랍 조작, 쌓기)을 수행하는 물리적 로봇에서, CORE는 MP1 백본의 성공률을 +17.0%(69.0%에서 85.0%로) 개선하였고, DP3는 +17.0%(65.0%에서 82.0%로) 개선하였다. 텍스트 조건화 베이스라인은 실제 환경 설정에서 미미한 개선만을 제공했다.
• 절제 연구(Ablation Studies): 보조 손실($L_{ttg}, L_{term}$)이나 현재 결과 임베딩($z_t$)을 제거하면 성능이 크게 저하되었으며, 이는 전체 3단계 설계의 필요성을 확인시켜 준다. 또한, 특화된 최종 인코더를 학습하는 것이 동결된 범용 시각 인코더(예: Uni3D)를 사용하는 것보다 우수함을 보여주었다.

의의 및 주장

본 논문은 인간 비디오를 활용하는 핵심 과제가 단순히 데이터의 가용성 문제가 아니라, 엠보디먼트 격차에도 불구하고 로봇 정책이 사용할 수 있는 감독 신호를 추출하는 것임을 주장한다. CORE는 목표 표현을 "불충분하게 명시된 언어적 의도"에서 "성공적인 관측으로부터 유도된 결과 수준의 목표 조건"으로 전환함으로써 이를 해결한다.

저자들은 공통 결과 정규성에 집중함으로써, 프레임워크가 명시적인 액션을 복구하거나 형태적 격차를 직접 메울 필요 없이 풍부한 액션 없는 인간 데이터를 활용할 수 있게 한다고 단언한다. 결과는 시각적 목표 프로토타입이 언어보다 작업 완료를 위한 더 직접적이고 물리적으로 근거 있는 신호를 제공하며, 제한된 로봇 특화 데모 데이터 환경에서도 더 견고한 조작 정책을 가능하게 함을 시사한다.