기술 요약: Demo-JEPA

문제 제기

로봇 모방 학습은 **구현체 간극 (embodiment gap)**이라는 근본적인 병목 현상에 직면해 있습니다. 이는 시연자 (예: 인간 또는 다른 로봇) 와 학습자 사이의 물리적 및 운동학적 불일치를 의미합니다. 기존 접근법들은 공유된 행동 공간, 명시적인 행동 대응 관계, 휴리스틱 리타게팅, 또는 대규모 다중 구현체 공동 학습에 의존하는 **행동 수준 정렬 (action-level alignment)**을 통해 이 간극을 해소하려 시도해 왔습니다. 그러나 이 방법들은 이질적인 에이전트들에게 근본적으로 한계가 있습니다. 동일한 의미적 의도 (예: "물체 잡기") 가 특정 형태에 따라 완전히 다른 모터 명령, 토크 프로파일, 그리고 관절 구성을 요구하기 때문입니다. 결과적으로, 저수준 행동 정렬을 통한 교차 구현체 기술 학습은 방대한 양의 정렬된 데이터 없이는 불일치하는 형태 간에 일반화되는 데 어려움을 겪습니다.

방법론: Demo-JEPA

저자들은 Demo-JEPA(Joint-Embedding Predictive Architecture) 를 제안합니다. 이는 교차 구현체 모방을 행동 재현이 아닌 **잠재 목표 조건부 계획 (latent goal-conditioned planning)**으로 재정의하는 프레임워크입니다. 핵심 가설은 시연이 행동 실행 방법 (어떻게 수행하는가) 인 운동 원시들의 시퀀스가 아니라, 미래 목표의 암시적 사양 (시연자가 실현하려는 상태는 무엇인가) 으로 간주되어야 한다는 것입니다.

이 프레임워크는 공유된 예측 표현 공간 내에서 세 가지 주요 단계로 작동합니다:

1. 행동 조건부 세계 모델

목표 에이전트는 자체 구현체의 역학을 학습하기 위해 JEPA 기반 세계 모델 (특히 V-JEPA 2.1) 을 활용합니다.

• 인코더 ($E$): 시각 관찰 ($o_t$) 을 잠재 상태 ($z_t$) 로 매핑합니다.
• 역학 예측기 ($F_{wm}$): 현재 잠재 상태, 로봇 상태 ($s_t$), 그리고 행동 ($a_t$) 에 조건부인 전이를 모델링합니다: $\hat{z}_{t+1} = F_{wm}(z_t, s_t, a_t)$.
• 계획: 목표 잠재 상태가 주어지면, 에이전트는 예측된 미래 잠재 상태와 목표 간의 거리를 최소화하는 행동 시퀀스를 최적화하기 위해 **교차 엔트로피 방법 (Cross-Entropy Method, CEM)**을 사용합니다.

2. Dreamer 예측기 (구현체 인식 목표 추론)

이는 소스 시연을 목표 호환성 목표로 변환하는 책임을 지는 새로운 구성 요소입니다.

• 입력: 현재 목표 관찰 ($o^t_k$) 과 시연의 시간적 오프셋을 나타내는 소스 프레임 쌍 ($o^s_k, o^s_{k+n}$).
• 메커니즘:
  • 공유 JEPA 인코더가 관찰을 잠재 표현 ($z^t_k, z^s_k, z^s_{k+n}$) 으로 매핑합니다.
  • 크로스 어텐션 모듈: 두 개의 모듈이 (1) 교차 구현체 대응 관계 ($f_{emb}$) 와 (2) 행동의 시간적 진화 ($f_{mot}$) 를 포착합니다.
  • 3D 합성곱 융합: 특징은 시공간 구조를 보존하기 위해 3D 합성곱 ($\phi$) 을 통해 집계된 후, Transformer 예측기 ($T$) 를 거쳐 융합된 특징을 목표 호환성 잠재 목표 ($\hat{z}^t_{goal}$) 로 디코딩합니다.
• 학습: 예측기는 행동이 없는 교차 구현체 시연을 사용하여 잠재 재구성 손실 ($L_{pred} = \|\hat{z}^t_{goal} - z^t_{k+n}\|^2_2$) 을 최소화하도록 1 단계에서 학습됩니다. 소스 프레임에 시간적 교란을 적용하여 견고성을 강화합니다.

3. 행동 공동 학습 (2 단계)

Dreamer 예측기가 고정되면, 세계 모델의 역학 예측기 ($F_{wm}$) 가 미세 조정됩니다. 목표는 Dreamer 예측기가 제공하는 목표 분포와 세계 모델의 잠재 롤아웃을 정렬하여 계획 손실 ($L_{plan}$) 을 최적화하는 것입니다.

적응형 목표 업데이트를 통한 추론

실행 중 시스템은 고정된 주파수로 소스 참조 프레임을 진행시키지 않습니다. 대신, 새로 관찰된 목표 상태와 현재 목표 간의 잠재 불일치 ($D_k$) 를 계산합니다. 시스템은 $D_k < \epsilon$(목표 달성) 일 때만 다음 소스 참조 쌍으로 진행합니다. 이 적응형 메커니즘은 운동학적 불일치로 인한 누적 오류를 방지합니다.

주요 기여

1. 새로운 공식화: 이 논문은 교차 구현체 모방을 잠재 목표 조건부 계획으로 재정의하여 명시적 행동 정렬의 병목 현상을 효과적으로 우회한다고 제안합니다.
2. Demo-JEPA 프레임워크: 구현체 인식 Dreamer 예측기를 특징으로 하는 순수 비전 기반 프레임워크를 도입합니다. 이 구성 요소는 행동 수준 대응 관계나 공유 행동 공간 없이 소스 시연에서 목표 호환성 미래 잠재 상태를 추론함으로써 형태학적 간극을 해소합니다.
3. 실증적 검증: 시뮬레이션 (RLBench) 과 실제 세계 로봇 조작 작업 모두에서 수행된 광범위한 평가는 Demo-JEPA 가 기존 베이스라인에 비해 보이지 않는 작업과 근본적으로 다른 구현체 구성에 대해 우수한 일반화 성능을 달성함을 보여줍니다.

실험 결과

이 프레임워크는 증가하는 분포 변화가 있는 세 가지 스위트에서 평가되었습니다: 행동 그라운딩(본 작업), 교차 구현체 브리징(본 작업이 아닌 행동), 그리고 제로샷 일반화(본 구성이 아닌 구성).

• 시뮬레이션 (RLBench): Demo-JEPA 는 행동 그라운딩에서 전문 도메인 내 계획기와 동등한 성능을 보였으나, 분포 변화가 증가함에 따라 베이스라인 (VPP, XSkill) 을 크게 능가했습니다. 제로샷 일반화에서 Demo-JEPA 는 0.36의 평균 성공률을 달성한 반면, VPP 와 XSkill 은 각각 0.04와 0.03에 그쳤습니다.
• 실제 세계: 물리적 실험 (UR5e 소스 $\to$ Franka 목표) 에서 Demo-JEPA 는 교차 구현체 브리징에서 0.55의 평균 성공률과 제로샷 일반화에서 0.25의 성공률을 달성하여, 제로샷 시나리오에서 크게 실패한 VPP 와 XSkill 을 능가했습니다.
• 절대화 연구 (Ablation Studies):
  • 3D 합성곱 융합 모듈을 제거하면 복잡한 관절형 작업 (예: "채널 변경") 에서 성능이 저하되어 명시적 시공간 모델링의 중요성을 강조했습니다.
  • "Naive"(직접 잠재 전이) 및 "Oracle"(실제 목표 미래) 베이스라인과의 비교는 Dreamer 예측기가 이질적인 시연을 목표 호환성 목표로 성공적으로 변환하며, 특권 정보를 없이 오라클 성능에 근접함을 확인했습니다.
• 확장성: 연구 결과, 작업별 궤적의 양보다 작업 다양성(다양한 작업 의미에 대한 노출) 이 전이 가능한 잠재 매핑의 더 중요한 동인임이 발견되었습니다.

중요성과 주장

이 논문은 Demo-JEPA 가 시연의 표면적 통계량을 암기하는 대신 시연의 근본적인 예측 역학을 포착함으로써 추상적 작업 진행을 구현체 호환성 목표 공간으로 성공적으로 변환한다고 주장합니다.

• 견고성: 이 방법은 분포 변화가 심할 때 특히 시연을 고정된 행동 시퀀스나 기술 프로토타입으로 사용하는 것보다 잠재 목표를 추론하는 것이 더 효과적임을 보여줍니다.
• 유연성: 행동 수준 대응 관계를 피함으로써 이 프레임워크는 시각적 시연과 목표 에이전트 자신의 상호작용 경험만을 사용하여 이질적인 구현체 간 유연한 모방을 지원합니다.
• 한계: 저자들은 현재 성능이 기존 행동 조건부 세계 모델의 모델링 병목 현상에 의해 제한되어 있으며, 이는 매우 복잡하고 고정밀 작업에서 효과성을 제한한다고 겸손하게 인정합니다. 또한, 현재 파이프라인은 학습 중 시간적 또는 진행 인식 정렬을 여전히 필요로 하며, 향후 연구는 완전히 정렬되지 않은 학습 전략을 개발하는 것을 목표로 합니다.