💬 NLP

Temporal-Distance JEPA: Plan-Aware Representation Learning for Latent World Model Predictive Control

이 논문은 보상 없는 오프라인 궤적으로부터 방향성 있는 시간적 비용을 추출하여 표현 학습과 계획 사이의 간극을 메움으로써, 픽셀 재구성이나 명시적인 보상에 의존하지 않고도 더 효과적인 목표 진전 순위 산정을 가능하게 하여 여러 환경에서 기존 JEPA 기반 플래너들을 능가하는 월드 모델 접근 방식인 Temporal-Distance JEPA(TD-JEPA)를 제안한다.

원저자: Jiaxin Bai, Jiaxuan Xiong

게시일 2026-07-29

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Jiaxin Bai, Jiaxuan Xiong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 새로운 세상을 항해하는 법을 가르치고 있다고 상상해 보세요. 하지만 당신에게는 지도나 규칙 목록을 줄 수 없습니다. 당신이 가진 것이라고는 인간이 과업을 완벽하게 수행하는 영상뿐입니다. 이것이 로봇 분야의 "오프라인 학습(offline learning)"이 직면한 과제입니다. 즉, 과거의 영상만을 보고 어떻게 AI가 미래의 움직임을 계획하도록 가르칠 것인가 하는 문제입니다. 과학자들은 이를 해결하기 위해 "월드 모델(world model)"이라는 것을 사용합니다. 월드 모델을 로봇의 뇌 속에 있는 '꿈을 꾸는 기계'라고 생각해보세요. 비디오의 모든 픽셀을 다시 그려내려고 애쓰는 대신(이는 기억만으로 걸작을 그리려는 것과 같습니다), 로봇은 다음에 일어날 일의 '본질'을 예측하는 법을 배웁니다. 로봇은 세상을 단순화되고 추상적인 "잠재 공간(latent space)"—유사한 상황들이 서로 가까이 모여 있는 정신적 지도—으로 압축합니다.

여기서 큰 질문이 생깁니다. 일단 로봇이 이 정신적 지도를 갖게 되면, 어떤 경로를 택할지 어떻게 결정할까요? 보통 로봇은 자신의 위치와 목표 지점 사이의 정신적 지도상 직선 거리를 측정합니다. 하지만 여기에는 함정이 있습니다. 현실 세계에서 지도의 직선거리가 항상 가장 빠른 길은 아니라는 점입니다. 당신은 벽을 통과하는 직선을 그릴 수는 있겠지만, 로봇은 벽을 통과해 걸어갈 수는 없습니다. 로봇은 시간과 순서를 이해해야 합니다. 만약 로봇이 단순히 거리만 본다면, 자신이 목표에 가까워지고 있는지 아니면 제자리에서 뱅글뱅글 돌고 있는지 혼란스러워할 수 있습니다. 이 논문은 바로 그 문제를 다룹니다. 즉, 추가적인 보상이나 인간 교사 없이도, 로봇이 더 잘 계획할 수 있도록 꿈속에서의 "시간의 흐름"을 이해하는 법을 어떻게 가르칠 것인가에 대한 문제입니다.

"직선형" 사고의 문제점

연구진은 LeWM(Latent World Model)이라는 강력한 기존 시스템에서 시작했습니다. 이 시스템은 추상적인 정신 지도 안에서 다음에 어떤 일이 일어날지 예측하는 데 매우 뛰어납니다. 그러나 목표를 향해 경로를 계획할 때, 이 시스템은 "미래의 정신적 이미지가 목표 이미지와 가까울수록 더 좋다"라는 단순한 규칙에 의존합니다. 이는 마치 두 지점 사이의 직선거리(직선거리/공중 거리)만 보고 도시를 항해하려는 것과 같습니다. 탁 트인 들판에서는 잘 작동하겠지만, 건물 주변을 돌아가거나 사다리를 올라가야 한다면 그 직선거리는 거짓말을 하게 됩니다.

저자들은 로봇의 정신 지도가 다음 단계를 예측하는 데는 뛰어나지만, 미래의 가능성들을 그것이 실제로 얼마나 많은 진전을 이루었는지에 따라 순위를 매기는 데는 서투르다는 점을 발견했습니다. 인간이 블록을 미는 영상에서, 로봇은 다음 프레임을 예측할 수는 있지만, 단지 발생한 순서 때문에 프레임 10이 프레임 5보다 목표에 더 가깝다는 것을 본질적으로 알지는 못했습니다. 로봇에게는 방향성이 있는 시간에 대한 감각이 빠져 있었습니다.

해결책: 과거로부터 시간을 채굴하기

이를 해결하기 위해 연구팀은 TD-JEPA(Temporal-Distance Joint-Embedding Predictive Architecture)라는 새로운 시스템을 만들었습니다. 단순히 로봇이 거리를 추측하게 두는 대신, 그들은 로봇이 시연 영상으로부터 시간이라는 개념을 직접 "채굴"하도록 가르쳤습니다.

이 과정을 간단한 비유로 설명하자겠습니다. 당신이 요리 프로그램을 보고 있다고 상상해 보세요. 당신은 달걀을 깨는 것이 휘젓는 것보다 먼저 일어나고, 휘젓는 것이 굽는 것보다 먼저 일어난다는 것을 알기 위해 타이머가 필요하지 않습니다. 사건의 순서 자체가 곧 진전입니다. TD-JEPA는 로봇의 훈련 영상을 보고 이렇게 말합니다. "만약 인간이 단계 A를 하고, 그다음 단계 B를 하고, 그다음 단계 C를 했다면, 단계 C는 확실히 단계 A보다 목표를 향한 경로상에서 더 멀리 나아간 것이다."

이 시스템은 특수한 "방향성 비용(directed cost)"을 학습합니다. 일반적인 거리(집과 공원 사이의 거리가 양방향으로 같은 것과 같은)와 달리, 이 새로운 비용은 방향을 이해합니다. 이 시스템은 "시작"에서 "목표"로 가는 데는 노력이 필요하지만, "목표"에서 "시작"으로 되돌아가는 것은 다른 종류의 여정이라는 것을 알고 있습니다. 영상을 통해 이러한 방향성 있는 흐름을 학습함으로써, 로봇은 "거리"가 단순히 그림이 얼마나 유사한가가 아니라, 목표에 도달하기 위해 필요한 단계 수를 실제로 반영하는 정신적 지도를 구축하게 됩니다.

이 새로운 기술을 사용하는 두 가지 방법

가장 흥-미로운 발견 중 하나는 이 새로운 "시간 인식" 기술이 로봇이 무엇을 하려느냐에 따라 다르게 작동한다는 점입니다. 저자들은 이 새로운 지식을 사용하는 최선의 방법이 과업에 따라 달라진다는 것을 발견했습니다.

항해 및 도달을 위한 작업 (위상적 과업 - Topological Tasks): 로봇이 미로를 통과하거나 공중에 떠 있는 물체를 잡는 것처럼 공간을 이동해야 할 때, 이 새로운 "방향성 시간 비용"은 완벽한 도구가 됩니다. 이는 막다른 길을 무시하고 목표를 향해 똑바로 가리키는 나침반 역할을 합니다. 테스트 결과, 이 새로운 비용을 사용했을 때 로봇은 "Two-Room" 항해 과업을 100% 성공률로 해결하며, 기존 시스템의 성공률인 97.4%를 앞질렀습니다.
접촉 중심의 조작을 위한 작업 (기하학적 과업 - Geometric Tasks): 로봇이 T자형 블록을 밀거나 미는 "Push-T" 과업처럼 물체를 밀거나, 미끄러뜨리거나, 쌓아야 할 때 상황은 까다로워집니다. 이 경우, 접촉의 정확한 모양과 각도가 일반적인 방향보다 더 중요합니다. 이러한 경우, 새로운 시간 인식 시스템은 기존의 "직선거리" 방식에 의해 대체되는 것이 아니라, 이를 보조할 때 가장 잘 작동합니다. 즉, 직선거리가 더 정확해지도록 로봇의 정신 지도를 정교하게 다듬어 줍니다. "OGB-Cube" 과업에서 이 결합 방식은 기존 시스템에 비해 성공률을 14.2포인트 향상시켰습니다.

발견한 것 (그리고 발견하지 못한 것)

연구진은 계획 방법만 제외하고 나머지는 모두 동일하게 유지한 엄격한 테스트를 실시했습니다. 그 결과, TD-JEPA는 모든 환경에서 기존의 최고 방법들(LeWM 및 RC-aux라고 불리는 방법)과 대등하거나 그들을 능가하는 성능을 보였습니다.

하지만 한계점도 발견되었습니다. 복잡한 "Push-T" 과업에 오직 새로운 시간 기반 비용만을 사용했을 때, 로봇은 기존의 기하학적 거리를 사용했을 때(86% 성공)보다 오히려 낮은 성능(69% 성공)을 보였습니다. 왜일까요? 블록을 미는 데는 각도와 접촉점에 대한 미세한 제어가 필요하기 때문입니다. "시간" 신호는 로봇에게 목표에 가까워지고 있다는 것은 알려주었지만, 블록을 어떻게 정확하게 만져야 하는지에 대한 세부 정보는 충분히 제공하지 못했습니다. 로봇은 성공을 위해 기하학적 "모양" 정보가 필요했던 것입니다. 이는 물리적 형상을 이해하는 것이 중요할 때, 시간에 대한 이해가 이를 완전히 대체할 수는 없음을 입증합니다.

핵심 요약

이 논문은 로봇에게 추가적인 보상이나 인간의 피드백 없이, 단지 영상을 보는 것만으로 시간의 "흐름"을 이해하도록 가르칠 수 있음을 보여줍니다. 시연 로그에서 사건의 순서를 채굴함으로써, 그들은 어떤 미래가 진정으로 목표에 "더 가까운지"를 아는 시스템을 만들었습니다. 이 새로운 시스템인 TD-JE파(TD-JEPA)는 로봇이 학습하는 것과 계획하는 것 사이의 간극을 좁혀줍니다. 이는 어떤 과업에서는 로봇이 강물처럼 시간의 흐름을 따라가야 하고, 다른 과업에서는 그 흐름을 사용하여 물리적 형태에 대한 감각을 날카롭게 갈고닦아야 함을 시사합니다. 그 결과, 방을 항해하든 테이블 위에서 블록을 밀든, 현실 세계에서 더 잘 계획할 수 있는 더 똑똑하고 적응력 있는 로봇을 만들 수 있게 되었습니다.

기술 요약: Temporal-Distance JEPA (TD-JEPA)

문제 정의

Joint-Embedding Predictive Architectures (JEPAs)는 픽셀을 재구성하는 대신 미래의 표현(representation)을 예측하도록 학습함으로써 잠재 세계 모델(latent world models)의 효과적인 백본으로 부상했습니다. 그러나 JEPA의 학습 목적 함수와 모델 예측 제어(MPC)의 요구 사항 사이에는 구조적 간극이 존재합니다.

학습-계획 간극 (The Train-Plan Gap): JEPA 학습은 일반적으로 짧은 호라이즌의 잠재 예측을 최적화합니다. 반면, 계획(planning)은 목표 진전도(goal progress)를 기준으로 다단계 상상된 미래들을 순위 매기는 것을 요구합니다.
기하학적 한계 (The Geometry Limitation): 기존의 JEPA 플래너(예: LeWM)는 잠재 유클리드 거리(latent Euclidean distance)를 사실상의 계획 비용으로 의존합니다. 이러한 기하학적 구조가 일부 맥락에서는 진전도와 상관관계가 있을 수 있지만, 이는 "목표까지의 단계 수"나 방향성 있는 도달 가능성을 위해 명시적으로 채굴된 신호라기보다는 표현 학습의 부산물입니다.
과제: 어떻게 하면 보상이 없는 오프라인 데모 로그로부터 시간적 진전 구조를 추출할 수 있을까요? 또한, 이 추출된 구조를 직접적인 계획 비용으로 사용할 것인가, 아니면 기하학적 계획을 위한 표현 형성을 위해 사용할 것인가?

방법론: TD-JEPA

저자들은 LeWM의 인코더-예측기 백본을 유지하면서, 방향성을 가진 시간적 비용 채굴 메커니즘을 추가한 **Temporal-Distance JEPA (TD-JEPA)**를 제안합니다. 이 방법은 세 가지 핵심 구성 요소로 이루어집니다.

1. 백본 및 예측 (Backbone and Prediction)

TD-JEPA는 표준 LeWM 아키텍처를 활용합니다: 관측치를 잠재 상태로 매핑하고 미래 임베딩을 예측하는 액션 조건부 인코더( $Enc_\theta$ )와 예측기( $Pred_\phi$ )입니다. 이는 표현 붕괴를 방지하기 위한 SIGReg 정규화와 표준 1단계 예측 손실( $\mathcal{L}_{pred}$ )을 유지합니다.

2. 방향성 시간적 비용 채굴 (Directed Temporal Cost Mining)

TD-JEPA는 유클리드 거리에만 의존하는 대신, 소스 잠재 상태 $z_s$ 에서 목표 잠재 상태 $z_g$ 에 도달하는 비용을 나타내는 방향성을 가진 비음수 에너지 함수 $d_\psi(z_s, z_g)$ 를 학습합니다.

아키텍처 (MRN Head): 비용 헤드는 Metric-Residual Network (MRN) 파라미터화를 사용합니다. 이는 비용을 대칭적인 구성 항과 비대칭적인 잔차(residual)로 분해합니다:
$d_\psi(z_s, z_g) = \|\phi_{sym}(z_s) - \phi_{sym}(z_g)\|_2 + \max_k \text{ReLU}(\phi_{asym, k}(z_s) - \phi_{asym, k}(z_g))$
이 설계는 비용이 비음수임을 보장하며, 목표 도달의 방향성을 반영하여 본질적으로 비대칭적( $d_\psi(z_s, z_g) \neq d_\psi(z_g, z_s)$ )이 되도록 합니다.
감독 (Temporal Labels): 모델은 조밀한 보상 없이 오프라인 데모 로그를 통해 학습됩니다.
- Positive Samples: 동일 궤적 내에서 $i < j$ 인 인덱스에 대해, 시간 간격 $\tau(i, j) = j - i$ 는 서브골(subgoal)까지의 단계 수에 대한 프록시 역할을 합니다. 모델은 $d_\psi(z_i, z_j)$ 가 $\tau(i, j)$ 를 회귀하도록 학습합니다.
- Negative Samples: 교차 궤적 쌍(cross-trajectory pairs)은 휴리스틱 네거티브로 작용하여, 관련 없는 상태 쌍에 대해 부당하게 낮은 비용이 책정되는 것을 힌지 손실(hinge loss)을 통해 억제합니다.
롤아웃 일관성 (Rollout Consistency): 플래너에서 사용되는 오픈 루프 호라이즌과 학습된 비용을 정렬하기 위해 다단계 교사 강제(teacher-forcing) 손실( $\mathcal{L}_{roll}$ )이 추가됩니다. 이는 $H$ -단계 롤아웃 중 발생하는 누적 오차를 줄여줍니다.

3. 계획 및 배포 (Planning and Deployment)

테스트 시, 플래너(Cross-Entropy Method 또는 iCEM 사용)는 $H$ -단계 잠재 롤아웃 후의 최종 에너지를 최소화하는 액션 시퀀스를 탐색합니다.

이중 배포 전략 (Dual Deployment Strategy): 논문은 작업 구조에 따른 채굴된 신호의 두 가지 구별된 역할을 식별합니다:
1. 위상 지배적 작업 (예: 내비게이션): 채굴된 방향성 비용 $d_\psi$ 를 직접 계획 목적 함수로 배포합니다.
2. 접촉 밀집 작업 (예: 매니퓰레이션): 동일한 시간적 훈련 체크포인트를 사용하지만, 플래너는 잠재 유클리드 거리( $\ell_2$ )에 의존합니다. 여기서 시간적 감독은 표현 신호로서 작용하여 잠재 공간을 형성하고, 기하학적 계획의 효용성을 높입니다.

주요 기여 (Key Contributions)

JEPA 학습-계획 간극의 진단: 저자들은 예측형 JEPA가 로그로부터 역학을 학습하지만, 계획은 종종 학습되지 않은 임베딩 기하학에 의존한다는 점을 입증했습니다. 그들은 방향성 시간적 비용을 채굴하는 것이 이 순위 불일치(ranking mismatch)를 크게 해소함을 보여주었습니다 (Push-T에서 유클리드 거리의 Spearman $\rho$ 가 0.65에서 채굴된 비용의 0.95로 증가).
시간적 거리 채굴 프레임워크: TD-JEPA는 방향성 시간적 감독, 교차 궤적 네거티브, 그리고 호라이즌이 일치하는 롤아웃 일관성을 사용하여 보상이 없는 로그로부터 목표 진전 구조를 추출하는 방법을 도입했습니다.
비용 및 배포의 공동 설계: 논문은 계획 비용(채굴된 시간적 비용 vs 기하학적 비용)의 선택이 작업 구조와 함께 공동 설계되어야 함을 입증합니다. 시간적 비용은 위상적 내비게이션에서 탁월한 성능을 보이는 반면, 기하학적 비용은 접촉이 빈번한 매니퓰레이션에서 여전히 우수합니다.

실험 결과 (Experimental Results)

방법론은 Two-Room (내비게이션), Reacher (리칭), Push-T (매니퓰레이션), OGB-Cube (접촉 밀집 매니퓰레이션)의 네 가지 환경에서 평가되었습니다. 공정한 비교를 위해 LeWM 및 동시 진행된 RC-aux 베이스라인과 비교하여 "잠금(locked)" 프로토콜(고정된 시드, 체크포인트, 에피소드 매니페스트) 하에서 평가가 수행되었습니다.

내비게이션 및 리칭: 채굴된 비용 $d_\psi$ $d_{ψ}$ 를 배포했을 때 성공률이 크게 향상되었습니다.
- Two-Room: 100.0% 성공 달성 (LeWM의 97.4% 대비).
- Reacher: 97.0% 성공 달성 (LeWM의 96.0% 대비).
매니퓰레이션: 접촉 밀집 작업에서 시간적 훈련은 잠재 표현을 개선하여 기하학적 계획에 도움을 주었습니다.
- OGB-Cube: $\ell_2$ 계획과 함께 시간적으로 훈련된 체크포인트를 사용했을 때, LeWM보다 성공률이 14.2 퍼센트 포인트 상승했습니다 (82.2% vs 68.0%).
- Push-T: 83.6% (LeWM)에서 86.0%로 개선되었습니다.
절제 연구 (Ablation Studies): 방향성 잔차(대칭 헤드), 교차 궤적 네거티브, 또는 롤아웃 일관성을 제거하면 모두 성능 저하가 발생하여 각 구성 요소의 필요성을 확인했습니다.
실패 분석: Push-T에서 순수 시간적 비용( $d_\psi$ )은 기하학적 비용( $\ell_2$ )보다 성능이 낮았는데, 이는 실패가 주로 접촉 후 정렬 과정에서 발생했기 때문이며, 이 단계에서는 로컬 기하학이 시간적 진전 순위보다 더 중요하기 때문입니다.

의의 및 주장 (Significance and Claims)

본 논문은 TD-JEPA가 오프라인 로그에서 시간적 진전 구조를 발견하고 계획 시의 비용 형태를 공동 설계함으로써 JEPA 플래너의 학습-계획 간극을 좁힌다고 주장합니다.

완곡한 주장: 저자들은 시간적 비용이 기하학적 비용을 보편적으로 대체한다고 주장하지 않습니다. 대신, 조건부 배포 전략을 제안합니다: 진전이 위상적일 때는 채굴된 방향성 비용을 사용하고, 접촉 기하학이 지배적일 때는 이를 기하학적 계획을 위한 표현 신호로 사용합니다.
경험적 검증: 잠금 평가(locked evaluation) 하에서 TD-JEPA는 모든 환경에서 LeWM과 RC-aux를 능가하거나 대등한 성능을 보였으며, 이는 보상 모델이나 온라인 상호작용 없이도 보상이 없는 시간적 채굴이 잠재 MPC를 개선하는 실행 가능한 경로임을 입증합니다.

코드는 제공된 GitHub 저장소에서 확인할 수 있습니다.