🤖 AI

UniJEPA: Enhancing Robot Policy via Unified Continuous and Discrete Representation Learning

UniJEPA는 대규모 교육 영상을 통한 사전 학습을 활용하여 연속 및 이산 표현을 통합적으로 학습하는 통합 로봇 정책 프레임워크로, 기존 비전-언어 및 생성 기반 접근법보다 시뮬레이션 및 실제 세계의 분포 외 작업에서 더 뛰어난 성능을 발휘합니다.

원저자: Jianke Zhang, Yucheng Hu, Yanjiang Guo, Xiaoyu Chen, Yichen Liu, Wenna Chen, Chaochao Lu, Jianyu Chen

게시일 2026-05-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jianke Zhang, Yucheng Hu, Yanjiang Guo, Xiaoyu Chen, Yichen Liu, Wenna Chen, Chaochao Lu, Jianyu Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

집안일을 하도록 로봇을 가르치려 한다고 상상해 보세요. 이 논문은 이러한 로봇을 더 똑똑하고 유연하게 만들며, 이전에 본 적 없는 상황도 더 잘 처리할 수 있게 하는 UniJEPA(Unified Joint Embedding Prediction and Action, 통합 결합 임베딩 예측 및 행동) 라는 새로운 방법을 소개합니다.

간단한 비유를 들어 작동 원리를 살펴보면 다음과 같습니다:

문제: "두 개의 머리"를 가진 로봇

현재 로봇의 두뇌는 보통 두 부류로 나뉘며, 둘 다 약점이 있습니다:

"말하는 자"(시각 - 언어 모델): 이 로봇들은 언어와 이미지를 이해하는 데 뛰어납니다. "빨간 컵을 들어 올려"라고 말하면 컵이 무엇인지, '빨간색'이 무엇을 의미하는지 압니다. 하지만 물리 법칙을 예측하는 데는 서툴러서, 너무 세게 잡았을 때 컵이 어떻게 흔들리거나 테이블 위를 어떻게 굴러갈지 직관적으로 알지 못합니다.
"예측자"(생성 모델): 이 로봇들은 다음에 무슨 일이 일어날지 추측하는 데 뛰어납니다. 공이 굴러가는 것을 보면 1 초 후 공이 어디에 있을지 예측할 수 있습니다. 하지만 종종 '상식'이나 언어 이해력이 부족합니다. 어떻게 움직여야 하는지는 알 수 있어도 왜 움직이는지, 혹은 인간이 실제로 무엇을 시켰는지는 모를 수 있습니다.

대부분의 로봇은 둘 중 하나만 사용하거나, 양쪽의 장점을 모두 잃어버리는 방식으로 이를 무리하게 결합하려 합니다.

해결책: "이중 언어 꿈꾸는 자" (UniJEPA)

UniJEPA 는 두 가지 언어를 구사하고 두 가지 방식으로 꿈꾸는 법을 동시에 배우는 로봇과 같습니다. 이는 "말하는 자"와 "예측자"를 하나의 두뇌로 통합합니다.

자동차 운전법을 배우는 학생을 생각해 보세요:

**이산적 학습 **( "말하는 자"): 이는 도로 규칙과 어휘를 배우는 것과 같습니다. "정지 표지판은 멈추라는 뜻", "초록불은 가라는 뜻"입니다. 로봇은 복잡한 지시를 이해하고 말로 자신이 보는 것을 설명하는 법을 배웁니다.
**연속적 학습 **( "꿈꾸는 자"): 이는 자동차의 느낌을 배우는 것과 같습니다. 규칙만 중요한 것이 아니라, 부드러운 움직임의 흐름을 예측하는 것입니다. 핸들을 살짝 돌리면 차가 어떻게 미끄러질까요? UniJEPA 는 흐릿한 비디오가 아닌, 다음에 일어날 일에 대한 고수준의 "느낌"이나 지도로서 미래의 시각적 장면을 예측하는 법을 배웁니다.

훈련 방법 (2 단계 프로세스)

**1 단계: "도서관 & 영화관" 단계 **(사전 학습)
로봇이 실제 물체를 만지기 전에, 연구진은 로봇에게 방대한 양의 데이터를 "읽고" "보는" 시간을 가졌습니다.

로봇은 인간과 로봇이 작업 (서랍 열기나 장난감 줍기 등) 을 수행하는 100 만 개 이상의 비디오를 학습했습니다.
비법: 로봇에게 동시에 두 가지 일을 시켰습니다:
1. 질문 답변: "로봇이 무엇을 하고 있는가?" (이것은 언어와 이해력을 예리하게 만듭니다).
2. 미래 예측: "로봇이 팔을 이렇게 움직인다면 1 초 후 그림은 어떻게 보일 것인가?" (이것은 물리와 움직임에 대한 이해를 예리하게 만듭니다).
두 가지 작업을 병행함으로써 로봇은 단어와 물리적 움직임이 완벽하게 연결된 정신적 모델을 구축합니다.

**2 단계: "운전 학교" 단계 **(파인튜닝)
로봇이 이러한 일반 지식을 습득한 후, 연구진은 로봇이 자신의 몸을 어떻게 움직여야 하는지 구체적으로 가르칩니다.

실제 로봇 팔이나 손에서 나온 데이터를 보여줍니다.
로봇은 자신의 "꿈"(미래 예측) 과 "이해"(언어 지시) 를 행동 토큰(모터를 움직이기 위한 구체적인 명령) 으로 직접 변환하는 법을 배웁니다.
실제 팔을 충돌 없이 움직이는 복잡한 수학을 처리하기 위해 특수한 "전문가" 시스템 (전문가 팀과 같은) 을 사용합니다.

결과: 왜 더 나은가

이 논문은 이 로봇을 두 가지 방식으로 테스트했습니다:

**비디오 게임 **(시뮬레이션): 이전에 본 적 없는 특정 물체를 특정 방식으로 움직이는 등의 과제를 주었습니다. UniJEPA 는 다른 최상위 로봇들보다 압도적인 차이 (약 9-12% 더 우수) 로 승리했습니다.
실제 세계: 실제 로봇 팔과 정교한 12 개의 손가락을 가진 로봇 손에 적용했습니다.
- 마법 같은 점: 로봇에게 완전히 새로운 물체(예: 본 적 없는 장난감이나 낯선 색상) 를 가진 과제를 주었을 때, UniJEPA 는 혼란을 겪지 않았습니다. 특정 이미지를 외우는 것이 아니라 '잡기'와 '움직임'의 개념을 배웠기 때문에, 경쟁 로봇들보다 이러한 "분포 밖"(낯선) 상황을 훨씬 잘 처리할 수 있었습니다.

결론

UniJEPA 는 단순히 지시를 외우거나 물리 법칙만 추측하는 로봇 두뇌가 아닙니다. 이는 언어를 통해 세상을 이해하면서도 동시에 움직임을 통해 미래를 시뮬레이션하는 법을 배웁니다. 이러한 이중 접근 방식은 로봇이 매번 처음부터 다시 훈련할 필요 없이 새로운 작업과 새로운 물체에 적응할 수 있는 "범용 로봇"이 되게 합니다.

기술적 요약: UniJEPA

문제 제기

열린 환경에서 다양한 작업을 처리할 수 있는 범용 로봇 정책의 개발은 embodied AI 분야에서 여전히 핵심적인 과제로 남아 있습니다. 기존 접근법은 일반적으로 의미 이해를 위한 비전 - 언어 모델 (VLM) 이나 시각적 역학을 위한 생성 모델에 의존합니다. 그러나 이러한 방법들은 다음과 같은 중대한 한계를 안고 있습니다:

VLM 기반 접근법은 희소하고 이질적인 로봇 데이터셋으로 미세 조정될 때 기초 능력의 저하를 겪는 경우가 많습니다. 이들은 종종 정적인 비전 - 언어 작업과 동적인 로봇 행동 작업 사이의 근본적인 차이점을 간과합니다.
생성 기반 접근법(예: 비디오 예측)은 동적 표현 학습을 용이하게 하지만, 사전 훈련된 VLM 에 내재된 중요한 비전 - 언어 정렬을 유지하지 못하는 경우가 많습니다.
현재의 통합 모델은 종종 이산 토큰 예측 프레임워크 내에서 이해와 생성을 통합하려 시도하는데, 이는 비전 - 언어 정렬의 견고성과 연속적인 물리적 역학을 효과적으로 모델링하는 능력을 훼손할 수 있습니다.

본 논문은 로봇 정책 학습이 이산적 작업 이해(이해) 와 연속적 미래 상태 표현 학습(계획 및 역학) 을 통합하는 패러다임을 필요로 한다고 주장합니다.

방법론: UniJEPA

저자들은 UniJEPA를 제안합니다. 이는 이산 및 연속 표현 학습을 두 단계 훈련 전략을 통해 통합하는 비전 - 언어 - 행동 (VLA) 프레임워크입니다. 이 아키텍처는 모달리티 특화 전문가를 활용한 **혼합 트랜스포머 **(MoT) 설계를 사용합니다.

1. 통합 비전 - 언어 임베딩 모델링 (1 단계: 사전 훈련)

첫 번째 단계는 텍스트 - 이미지 표현을 학습하기 위한 교차 구현 (cross-embodiment) 사전 훈련 패러다임을 확립합니다.

아키텍처: 모델은 사전 훈련된 VLM(특히 Paligemma) 으로 초기화되며, MoT 프레임워크 내에 생성 전문가와 (후속 단계에서) 행동 전문가가 도입됩니다.
이산 표현 학습: 모델은 대규모 비전 - 언어 데이터셋과 VQA 스타일 형식으로 주석된 embodied 작업 설명으로 훈련되어 장면과 지시를 이해하기 위한 세밀한 언어 표현을 학습합니다.
연속 세계 모델링: 이전 연구들이 원시 이미지 픽셀을 예측한 것과 달리, UniJEPA 는 연속적인 고차원 시각 특징을 예측합니다. 고정된 시각 인코더 (예: SigLIP) 가 미래 관측치를 인코딩하고, 모델은 이러한 연속 특징 ( $\hat{o}_{t+h}$ ) 과 이산 텍스트 토큰 ( $\hat{l}$ ) 을 함께 예측하도록 학습됩니다.
훈련 목적: 모델은 언어 분기에 대한 교차 엔트로피 손실과 연속 시각 예측 분기에 대한 평균 제곱 오차 (MSE) 손실을 결합한 결합 손실 함수를 사용합니다.

2. 통합 행동 모델링 (2 단계: 미세 조정)

두 번째 단계에서 모델은 구현체별 데이터로 미세 조정되어 예측 표현을 행동 토큰에 매핑합니다.

행동 전문가: 행동 공간을 처리하기 위해 처음부터 별도의 전문가가 훈련됩니다. 이는 행동의 연속적이고 본질적으로 다중 모달인 분포를 포착하기 위해 **플로우 매칭 **(flow matching)을 활용합니다.
결합 최적화: 모델은 미래의 연속 시각 상태를 예측하고 행동 시퀀스를 실행하도록 동시에 훈련됩니다. 목적 함수는 연속 시각 예측 손실과 행동 생성을 위한 플로우 매칭 손실을 결합합니다.
데이터 전략: 사전 훈련에는 로봇 비디오 (하위 작업 설명 포함), 인간 시연 비디오, 그리고 일반적인 비전 - 언어 QA 데이터가 혼합되어 사용됩니다. 미세 조정은 시뮬레이션 및 실제 세계 로봇의 VLA 데이터로만 수행됩니다.

주요 기여

새로운 VLA 아키텍처: 이해를 위한 이산 토큰 예측과 역학을 위한 연속 시각 예측을 통합된 MoT 아키텍처 내에서 통합하는 VLA 프레임워크의 도입.
두 단계 훈련 프레임워크: 대규모 사전 훈련 동안 학습된 중간 표현을 유지하면서 행동 표현을 정렬하는 전략으로, 인터넷 규모의 데이터에서 로봇 작업으로의 지식 전이를 효과적으로 수행합니다.
연속 특징 예측: 원시 픽셀이나 이산 토큰이 아닌 연속 시각 특징을 예측하는 것이 행동 생성에 필수적인 동적 정보를 학습하는 데 더 효과적인 신호임을 입증했습니다.

실험 결과

UniJEPA 는 두 개의 시뮬레이션 벤치마크와 두 개의 실제 세계 로봇 플랫폼 (7 자유도 Franka Emika Panda 팔 및 12 자유도 다재다능한 손) 에서 평가되었습니다.

시뮬레이션 벤치마크:
- Calvin 벤치마크: UniJEPA 는 평균 하위 작업 시퀀스 길이 4.11을 달성하여 이전 최고 성능 (4.08 인 UP-VLA) 을 능가했고, GR-1(3.06) 과 같은 베이스라인을 크게 앞섰습니다.
- SimplerEnv: WindowX 및 Google Robot 플랫폼에서 UniJEPA 는 각각 **71.0%**와 **78.4%**의 최첨단 성공률을 달성했습니다. 다른 방법들의 "뾰족한" 성능 프로파일과 달리 모든 하위 작업에서 일관된 고성능을 보였습니다.
실제 세계 실험:
- Franka Panda 팔: UniJEPA 는 새로운 객체가 포함된 보이지 않는 작업을 포함하여 네 가지 작업 카테고리 (들고 옮기기, 버튼 누르기, 케이블 연결, 서랍 열기) 에서 모두 가장 높은 성공률을 달성했습니다.
- 12 자유도 다재다능한 손: 모델은 아홉 가지 기술 카테고리에서 가장 높은 평균 성공률을 달성했으며, 베이스라인 대비 보이지 않는 작업에서 12% 향상을 보였습니다.
**절대 연구 **(Ablation Studies)
- 사전 훈련을 제거하면 실제 세계의 들고 옮기기 작업에서 성공률이 약 16% 감소했습니다.
- 예측을 위해 연속 시각 특징을 사용하는 것은 이 구성 요소가 없는 모델 대비 약 20% 의 성능 향상을 가져왔습니다.
- 연속 인코딩 방법 중 SigLIP특징이 VLM 백본과 가장 잘 정렬되어 DINO 및 증류 기반 접근법을 능가했습니다.

중요성 및 주장

본 논문은 UniJEPA 가 로봇 정책 학습에서 의미 이해와 동적 예측 간의 트레이드오프를 성공적으로 해결했다고 주장합니다. 로봇 및 인간 시연 데이터 모두에 대한 대규모 사전 훈련을 활용함으로써 모델은 강력한 일반화 능력을 획득합니다.

저자들은 그들의 접근 방식이 기존 방법들보다 **완전히 새로운 객체와 분포 외 **(OOD)을 더 효과적으로 처리할 수 있게 한다고 강조합니다. 연속 미래 표현 학습의 통합은 정책이 물리적 역학을 더 잘 예측하도록 허용하며, 유지된 비전 - 언어 정렬은 복잡한 지시를 정확하게 해석하도록 보장합니다. 이러한 결과는 이해, 계획, 그리고 연속 표현 학습을 결합한 통합 접근법이 범용 로봇 정책으로 가는 실현 가능한 길임을 시사합니다.