💬 NLP

ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model

이 논문은 밀집 프레임 기반의 JEPA 분기와 균일하게 샘플링된 VLM 추론 분기를 결합한 이중 시간 경로 프레임워크를 제안하여, 장거리 의미론적 안내와 세밀한 운동 예측을 동시에 달성함으로써 장기적인 롤아웃 성능을 향상시키는 'ThinkJEPA' 모델을 소개합니다.

원저자: Haichao Zhang, Yijiang Li, Shwai He, Tushar Nagarajan, Mingfei Chen, Jianglin Lu, Ang Li, Yun Fu

게시일 2026-03-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haichao Zhang, Yijiang Li, Shwai He, Tushar Nagarajan, Mingfei Chen, Jianglin Lu, Ang Li, Yun Fu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

ThinkJEPA: 로봇에게 '눈'과 '두뇌'를 동시에 심어주다

이 논문은 **"ThinkJEPA"**라는 새로운 인공지능 모델을 소개합니다. 이 모델은 로봇이나 AI 가 앞으로 일어날 일을 예측할 때, 단순히 "무엇이 움직이는지"만 보는 것이 아니라 "왜 움직이는지"까지 이해하도록 돕는 기술입니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제: "빠른 눈"과 "깊은 생각"의 갈등

우리가 앞으로 일어날 일을 예측할 때 두 가지 방식이 있습니다.

빠른 눈 (JEPA 방식):
- 비유: 스포츠 중계에서 고속 카메라로 공이 움직이는 순간순간의 궤적을 쫓는 것 같습니다.
- 장점: 공이 어떻게 튕겨 나가는지, 얼마나 빠르게 움직이는지 아주 정교하게 알 수 있습니다.
- 단점: 하지만 카메라가 너무 가까이서만 찍기 때문에, "이 공이 왜 날아갔는지?", "다음에 누가 잡을지?" 같은 큰 그림이나 맥락은 놓치기 쉽습니다. 마치 미로에서 벽만 보고 길을 잃는 것과 같습니다.
깊은 생각 (VLM 방식):
- 비유: 지혜로운 관찰자가 멀리서 장면을 한눈에 보고 "아, 저 사람이 공을 차려고 하네"라고 추론하는 것입니다.
- 장점: 상황의 맥락과 이유를 잘 이해합니다.
- 단점: 하지만 관찰자는 너무 느립니다. 공이 움직이는 매우 빠른 순간순간의 미세한 움직임을 놓치기 쉽습니다. 또한, 이 관찰자가 "공이 오른쪽으로 3 미터 날아간다"라고 말하려면 복잡한 언어로 번역해야 하므로, 정밀한 수치 예측에는 약합니다.

기존의 문제점:
기존 AI 는 이 두 가지 중 하나만 선택해야 했습니다.要么 (빠른 눈만) 정밀하지만 맥락을 모르고, 要么 (깊은 생각만) 맥락은 알지만 정밀한 움직임을 예측하기 어렵습니다.

2. 해결책: ThinkJEPA (생각하는 JEPA)

ThinkJEPA 는 이 두 가지 장점을 하나로 합친 하이브리드 시스템입니다.

🏗️ 두 개의 눈 (Dual-Temporal Perception)

ThinkJEPA 는 한 번에 두 가지 방식으로 세상을 봅니다.

밀집된 눈 (Dense Branch):
- 역할: 스피드 레이서처럼 아주 짧은 시간 동안의 프레임들을 빠르게 처리합니다.
- 기능: 손가락이 어떻게 움직이고, 물체가 어떻게 접촉하는지 같은 세밀한 물리 법칙을 학습합니다.
넓은 눈 (VLM Thinker Branch):
- 역할: 지혜로운 코치처럼 장면의 핵심 프레임들만 골라 멀리서 봅니다.
- 기능: "저 사람은 컵을 들려고 한다", "상대가 넘어질 것이다" 같은 장면의 의미와 맥락을 파악합니다.

🧠 두뇌 연결 (Hierarchical Pyramid & Guidance)

여기서 핵심은 두 눈이 서로 대화한다는 점입니다.

비유: 스피드 레이서 (빠른 눈) 가 달릴 때, 지혜로운 코치 (넓은 눈) 가 귀에 대고 "조금 전부터 저 사람이 넘어질 준비를 하고 있었어, 조심해!"라고 지시를 내리는 것입니다.
기술적 원리: 코치의 지시를 단순히 듣는 게 아니라, 코치의 **생각 과정 전체 (중간 단계의 추론까지)**를 레이서의 머릿속에 주입합니다. 이렇게 하면 레이서는 단순히 움직임을 따라가는 게 아니라, 이유를 알면서 더 정확하게 미래를 예측할 수 있게 됩니다.

3. 실험 결과: 로봇 손의 미래 예측

이 모델을 사람의 손이 물건을 다루는 영상 (예: 컵을 잡기, 키보드 치기) 에 적용해 보았습니다.

기존 모델 (빠른 눈만): 손이 어디로 갈지 대충 예측했지만, 시간이 지날수록 예측이 빗나가거나 엉뚱한 곳으로 손이 가기도 했습니다.
기존 모델 (깊은 생각만): "컵을 잡을 거야"라고 말은 잘했지만, 손가락이 정확히 어디에 닿을지 모호했습니다.
ThinkJEPA: **"컵을 잡으려고 하니까, 엄지손가락이 저쪽으로 움직일 거야"**라고 맥락과 정밀함을 모두 잡았습니다.
- 결과: 손의 궤적을 예측하는 정확도가 기존 모델보다 훨씬 높았으며, 특히 오래된 시간 (미래) 을 예측할 때 실수가 훨씬 적었습니다.

4. 요약: 왜 이것이 중요한가요?

ThinkJEPA 는 **"빠른 반응"**과 **"깊은 이해"**를 동시에 가진 AI 를 만듭니다.

일상 비유: 마치 운전할 때, 눈으로 차선과 앞차의 움직임을 빠르게 파악하면서도 (JEPA), 뇌로 "저 차가 갑자기 차선을 바꿀 수도 있겠네"라고 상황을 판단 (VLM) 하여 더 안전하게 운전하는 것과 같습니다.

이 기술은 로봇이 복잡한 작업을 하거나, 자율주행차가 예측 불가능한 상황을 대처할 때, 단순히 "무엇이 움직이는지"를 넘어 **"왜, 그리고 어떻게 움직일지"**를 이해하는 데 큰 도움을 줄 것입니다.

1. 문제 정의 (Problem Definition)

최근 잠재 세계 모델 (Latent World Models, 예: V-JEPA) 은 비디오 관측을 통해 미래 상태를 예측하는 데 유망한 성과를 보였습니다. 그러나 기존 접근법은 다음과 같은 두 가지 주요 한계를 가집니다.

제한된 시간적 관점 (Limited Temporal Perspective):
- 기존 모델은 밀집된 프레임 (dense frames) 을 짧은 관측 창 (observation window) 에서만 사용합니다. 이는 세밀한 운동 (fine-grained motion) 을 포착할 수는 있지만, 장기적인 의미 (long-horizon semantics) 나 이벤트 수준의 단서를 놓치게 하여 예측의 범위를 국소적 (local) 으로 제한합니다.
약한 의미 기반 및 일반 지식 부재 (Weak Semantic Grounding):
- 잠재 공간은 주로 자기지도 학습 (self-supervised) 을 통해 학습되므로, 운동 패턴은 잘 포착하지만 개체의 정체성, 속성, 관계 등 개방형 어휘 (open-vocabulary) 개념이나 일반 세계 지식과 정렬되지 않습니다. 이로 인해 특정 도메인을 넘어선 일반화가 어렵습니다.

반면, 대규모 비전 - 언어 모델 (VLM) 은 장기적인 문맥 이해와 추론 능력이 뛰어나지만, 다음과 같은 이유로 밀집된 동역학 예측기 (dense predictor) 로 단독 사용되기 어렵습니다.

계산적 희소성: 메모리 제약으로 인해 균일하게 샘플링된 적은 수의 프레임만 처리 가능하여 고주파 운동 정보를 놓칩니다.
언어 출력 병목: 시각 정보가 텍스트 토큰으로 압축되면서 정밀한 공간적 세부 사항과 연속적인 상호작용 상태가 손실됩니다.
데이터 regime 불일치: 소규모 도메인 특화 데이터셋에 대한 적응 시 일반 지식이 손실될 수 있습니다.

핵심 문제: VLM 의 장기적 의미 추론 능력을 활용하면서, 동시에 밀집된 프레임의 정밀한 동역학을 예측할 수 있는 통합 프레임워크를 구축하는 것입니다.

2. 방법론 (Methodology)

저자들은 ThinkJEPA라는 새로운 프레임워크를 제안합니다. 이는 V-JEPA 스타일의 잠재 세계 모델에 VLM 을 '생각하는 자 (Thinker)'로 통합하여, 밀집된 동역학 모델링과 장기적 의미 지시를 결합합니다.

2.1 이중 시간적 감지 필드 (Dual-Temporal Perception Field)

모순되는 두 가지 요구사항 (고주파 운동 vs 장기적 문맥) 을 해결하기 위해 두 개의 병렬 브랜치를 도입합니다.

밀집 JEPA 브랜치 (Dense JEPA Branch):
- 짧은 시간 창에 있는 모든 프레임을 밀집하게 샘플링합니다.
- V-JEPA 백본을 사용하여 고주파 운동, 접촉 변화, 미세한 상호작용 신호를 포착합니다.
- 미래의 잠재 토큰 (latent tokens) 을 예측하는 주된 동역학 예측기를 담당합니다.
균일 샘플링 VLM-생각자 브랜치 (Uniformly Sampled VLM-Thinker Branch):
- 긴 시간 범위를 커버하기 위해 균일하게 샘플링된 적은 수의 프레임을 입력받습니다.
- Qwen3-VL (Thinking) 과 같은 강력한 VLM 을 사용하여 개체, 속성, 이벤트 관계 등 장기적 의미와 일반 지식을 추론합니다.
- 이 브랜치는 밀집 예측을 직접 수행하지 않고, JEPA 예측기를 안내하는 '지식 제공자' 역할을 합니다.

2.2 계층적 피라미드 표현 추출 (Hierarchical Pyramid Representation Extraction)

VLM 의 어떤 레이어를 활용해야 할지 고민합니다.

문제: 최종 레이어는 언어 생성 목적에 최적화되어 시각적 추론 신호가 약해질 수 있습니다. 반면 중간 레이어는 공간적 민감도와 시각적 추론 신호가 풍부합니다.
해결: VLM 의 다중 깊이 (multi-depth) 레이어 (시각 인코더 토큰 + 언어 모델의 중간 은닉 상태) 를 추출하여 피라미드 형태로 집계합니다. 이를 통해 저수준 시각 단서와 고수준 의미 추론 흔적을 모두 보존합니다.

2.3 계층적 가이드 주입 (Layer-wise Guidance Injection)

추출된 VLM 가이드 신호를 JEPA 예측기에 주입합니다.

FiLM (Feature-wise Linear Modulation) 사용: 추출된 VLM 특징을 JEPA 예측기의 각 레이어에 해당하는 변조 파라미터 ( $\gamma, \beta$ ) 로 변환합니다.
방식: $FiLM(z; \gamma, \beta) = \gamma \odot z + \beta$ 공식을 사용하여, VLM 의 의미 정보가 JEPA 의 잠재 예측 과정에서 레이어별로 조건부 (conditional) 로 작용하도록 합니다. 이는 VLM 이 예측기를 대체하지 않으면서도 예측의 정확도를 높이는 방식입니다.

3. 주요 기여 (Key Contributions)

VLM-가이드 JEPA 잠재 세계 모델 제안: VLM 을 '생각하는 자'로 활용하여 미래 잠재 예측에 의미 기반과 일반 지식을 통합한 새로운 아키텍처를 제시했습니다.
이중 시간적 경로 설계:
- (i) 미세한 동역학 모델링을 위한 밀집 프레임 JEPA 경로.
- (ii) 장기적 문맥과 고수준 개념 포착을 위한 균일 샘플링 VLM 경로.
- 두 경로의 상호 보완적 이점을 극대화했습니다.
계층적 피라미드 표현 추출 모듈: VLM 의 다중 레이어 특징을 집계하여 시각적 추론 단서를 보존하고 JEPA 예측기에 효과적으로 주입하는 모듈을 고안했습니다.
실험적 검증: 손 조작 (hand-manipulation) 궤적 예측 작업에서 강력한 VLM-only 베이스라인과 V-JEPA 예측기 베이스라인 모두를 능가하는 성능을 입증했습니다. 특히 장기적 롤아웃 (long-horizon rollout) 에서의 견고성이 크게 향상되었습니다.

4. 실험 결과 (Results)

실험은 EgoDex와 EgoExo4D 데이터셋의 1 인칭 시점 (egocentric) 손 조작 궤적 예측 태스크에서 수행되었습니다.

정량적 성능:
- ThinkJEPA는 V-JEPA 예측기 (JEPA-only) 와 Qwen3-VL Thinking (VLM-only) 모두보다 우수한 결과를 보였습니다.
- **ADE (평균 변위 오차)**와 **FDE (최종 변위 오차)**가 두 베이스라인보다 현저히 낮았으며, **정확도 (Accuracy)**는 크게 향상되었습니다.
- 잠재 공간 예측 품질 (Feature Distance, SmoothL1, Cosine Distance) 또한 개선되어, 가이드 주입이 하위 태스크 헤드가 아닌 표현 학습 자체에 기여함을 증명했습니다.
장기적 롤아웃 (Recursive Rollout):
- VLM-only 모델은 시간이 지남에 따라 오차가 급격히 증가하는 반면, ThinkJEPA 는 장기 예측에서도 안정적으로 성능을 유지했습니다. 이는 VLM 의 의미적 가이드가 반복 예측 시 오차 누적을 완화한다는 것을 의미합니다.
비교 분석:
- 기존 궤적 예측 베이스라인 (Behavior Cloning, DDPM, Flow Matching 등) 과 비교해도 ThinkJEPA 가 가장 낮은 오차를 기록했습니다.
- Ablation Study: VLM 의 토큰 소스 (인코더 vs AR 토큰) 와 레이어 선택 (최종 vs 중간) 을 비교한 결과, 다중 소스와 계층적 추출이 최적의 성능을 낸다는 것이 확인되었습니다.

5. 의의 및 결론 (Significance and Conclusion)

ThinkJEPA는 비전 - 언어 모델의 추론 능력과 잠재 세계 모델의 동역학 예측 능력을 성공적으로 융합한 사례입니다.

방법론적 혁신: VLM 을 단순히 입력으로 사용하는 것을 넘어, '생각하는 자 (Thinker)'로서 JEPA 예측기의 내부 레이어를 조건부 조절하는 새로운 패러다임을 제시했습니다.
실용적 가치: 물리적 상호작용이 필요한 로봇 제어 및 embodied AI 분야에서, 장기적인 계획 수립과 정밀한 운동 제어 사이의 균형을 잡는 강력한 솔루션을 제공합니다.
미래 전망: 이 프레임워크는 더 넓은 embodied 태스크로 확장 가능하며, 더 긴 비디오와 다양한 상호작용 시나리오를 위한 확장 가능한 가이드 메커니즘 연구의 기초가 될 것입니다.

결론적으로, ThinkJEPA 는 밀집된 동역학 예측의 정밀함과 VLM 의 장기적 의미 이해력을 결합하여, 기존 모델들의 한계를 극복하고 더 견고하고 일반화 가능한 세계 모델을 구축하는 데 중요한 진전을 이루었습니다.