🤖 AI

Traj-LeWM: Path-Aware World-Model Planning via Latent Trajectory Cost

Traj-LeWM은 학습과 계획 과정 모두에서 종단점 거리(endpoint distance)를 보완하는 경로 인식 정보를 포함한 목표 조건부 잠재 궤적 비용(goal-conditioned latent trajectory cost)을 도입함으로써 경량 시각 세계 모델인 LeWM을 향상시키며, 이를 통해 여러 로봇 조작 벤치마크에서 상당한 성능 향상을 이끌어냅니다.

원저자: Xiaodi Huang, Ziyi Ding, Jingtian Wan, Yuchen Liu, Yuan Zhang, Xiao-Ping Zhang, Jiayu Chen, Zhang Zhang, Tao Huang

게시일 2026-08-17

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Xiaodi Huang, Ziyi Ding, Jingtian Wan, Yuchen Liu, Yuan Zhang, Xiao-Ping Zhang, Jiayu Chen, Zhang Zhang, Tao Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 미로를 통과하거나 블록을 특정 위치로 밀도록 가르치고 있다고 상상해 보세요. 인공지능의 세계에서 이는 흔히 '월드 모델(world model)'이라고 불리는 것을 통해 이루어집니다. 월드 모델은 로봇의 내면에 존재하는 '공상가'와 같습니다. 단순히 지금 눈에 보이는 것에 반응하는 대신, 로봇은 이 공상가를 사용하여 미래를 시뮬레이션합니다. "내가 팔을 왼쪽으로 움직이면, 1초 뒤의 세상은 어떤 모습일까? 2초 뒤에는?" 하고 말이죠.

오랫동안 과학자들은 이러한 공상이 더 정확해지도록 만드는 데 힘써왔습니다. 최근 LeWM(Lightweight World Model)이라는 접근 방식은 큰 진전을 이루었습니다. 이 모델은 복잡한 3D 지도 없이 카메라 픽셀로부터 직접 미래를 예측하는 법을 배웠습니다. 하지만 LeWM에게도 사각지대가 있었습니다. 그것은 마치 최종 목적지에만 신경 쓰는 GPS와 같았습니다. 가능한 경로 목록을 살펴보고 그중 끝점이 목표에 가장 가까워 보이는 경로를 선택할 뿐, 그 과정 중에 있는 도로에 과연 구멍이 뚫려 있지는 않은지, 막다른 길은 없는지, 혹은 교통 체증이 있지는 않은지는 제대로 확인하지 않았습니다. 만약 두 경로가 똑같은 지점에서 끝난다면, 로봇은 어떤 경로가 실제로 더 안전하고 매끄러운지 구분할 수 없었습니다. 이 논문인 Traj-LeWM은 로봇에게 결승선뿐만 아니라 여정 전체를 신경 쓰도록 가르침으로써 이 사각지대를 해결하고자 합니다.

문제점: "결승선"의 함정

이 논문의 저자들은 로봇(LeWM 같은 모델)이 의사결정을 내리는 방식에서 재미있는 문제를 발견했습니다. 당신이 캐릭터를 보물 상자로 안내해야 하는 비디오 게임을 하고 있다고 상상해 보세요. 당신 앞에는 두 가지 경로가 있습니다:

경로 A: 보물 상자로 바로 이어지는 곧고 깨끗한 길.
경로 B: 함정이 가득한 숲을 통과하며 구불구불하고 위험하게 이어지지만, 결국 보물 상자 바로 옆에서 끝나는 길.

기존 방식(LeWM 등)은 두 경로의 끝을 보고, 둘 다 보물 상자에 똑같이 가깝다는 것을 확인한 뒤 하나를 무작로 선택합니다. 그것은 경로 B가 중간에 캐릭터를 나무에 부딪히게 할 수도 있다는 사실을 깨닫지 못합니다. 논문은 이것이 로봇이 오직 '종단 거리(endpoint distance)'만을 확인하기 때문에 발생하는 문제라고 주장합니다. 즉, '중간 경로(intermediate path)', 즉 행동이 일어나는 중간의 복잡하고 까다로운 과정들을 무시하는 것입니다.

연구진은 T자형 물체를 밀거나 장애물이 있는 방을 통과하는 것과 같은 복잡한 작업에서, 서로 다른 두 가지 행동 순서가 정확히 같은 지점에서 끝날 수 있지만, 하나는 성공하고 다른 하나는 처참하게 실패할 수 있다는 것을 발견했습니다. 기존의 로봇은 결승선에 너무 집중한 나머지 그 차이를 구분할 수 없었던 것입니다.

해결책: "전체 여정" 성적표

이를 해결하기 위해 팀은 Traj-LeWM을 도입했습니다. 그들은 로봇의 미래 예측 능력은 그대로 유지하면서, **잠재 궤적 비용(Latent Trajectory Cost, LTC)**이라는 새로운 '성적표'를 추가했습니다.

LTC를 엄격한 코치라고 생각해보세요. 코치는 선수가 어디에서 끝났는지만 보는 것이 아니라, 경기 전체를 지켜봅니다.

기존 방식: 코치가 말합니다. "잘했어! 결승선에서 1미터 지점에 도착했구나."
새로운 방식 (Traj-LeWM): 코치가 말합니다. "결승선에서 1미터 지점에 도착하긴 했지만, 너는 세 번이나 비틀거렸고, 벽에 부딪혔으며, 이상한 길로 돌아갔어. 이건 나쁜 주행이야. 똑같은 지점에 도착했지만 매끄럽게 달린 다른 선수를 보자."

새로운 시스템은 가능한 모든 경로에 대해 '비용'을 학습합니다. 만약 어떤 경로가 벽에 부딪히거나 이상한 방향으로 꺾일 것 같다면 비용이 올라갑니다. 반대로 경로가 매끄럽고 논리적이라면 비용은 낮게 유지됩니다. 로보은 이 '매끄러움 점수'를 기존의 '목표까지의 거리' 점수와 결합하여 최선의 행동을 선택합니다.

로봇을 어떻게 가르쳤는가

여정의 중간 과정을 신경 쓰도록 로봇을 가르치는 것은 까다로운 일입니다. 단순히 "벽에 부딪히지 마"라고 말할 수는 없습니다. 왜냐하면 로봇은 아직 벽이 무엇인지 모르기 때문입니다. 그래서 연구진은 **선호도 학습(preference learning)**이라는 영리한 기술을 사용했습니다.

그들은 로봇에게 쌍을 이룬 이야기들을 보여주었습니다:

좋은 이야기: 로봇이 블록을 목표 지점까지 성공적으로 미는 완벽한 경로.
나쁜 이야기: 비슷해 보이지만 실수(예: 벽에 부딪힘)가 있거나, 아예 엉뚱한 목표로 가는 경로.

로봇은 어떤 이야기가 더 나은지 맞히는 질문을 받았습니다. 수천 번의 "이것이 저것보다 낫다"라는 수업을 통해, 로봇은 좋은 경로에는 낮은 비용을, 나쁜 경로에는 높은 비용을 할당하는 법을 배웠습니다. 심지어 로봇이 시뮬레이션 환경에서 계획을 세우도록 허용했고, 만약 충돌이 발생하면 그 충돌을 '나쁜 이야기'로 저장하여 학습에 활용했습니다. 이는 비디오 게임 플레이어가 절벽에서 떨어지면 죽는다는 것을 경험을 통해 배우는 것과 같지만, 이번에는 로봇이 자신의 시뮬레이션된 실수로부터 배우는 것입니다.

연구 결과

팀은 이 새로운 로봇을 네 가지 서로 다른 시뮬레이션 환경에서 테스트했습니다:

Push-T: T자형 물체를 타겟으로 밀기.
OGBench-Cube: 큐브를 특정 위치로 이동시키기.
Reacher: 로봇 팔이 타겟을 향해 뻗기.
Two-Room: 두 개의 방이 있는 미로 통과하기.

이 시뮬레이션들에서 새로운 Traj-LeWM 로봇은 기존 LeWM 로봇보다 현저히 뛰어난 성능을 보였습니다.

Cube 작업에서 성공률이 14 퍼센트 포인트 향상되었습니다 (74%에서 88%로).
Reacher에서 7 퍼센트 포인트 향상되었습니다 (86%에서 93%로).
Two-Room에서 7 퍼센트 포인트 향상되었습니다 (87%에서 94%로).
Push-T에서 3 퍼센트 포인트 향상되었습니다 (96%에서 99%로).

또한 연구진은 실제 물리적인 로봇(Franka FR3 암)을 사용하여 실제 환경에서도 테스트했습니다. 20개의 실제 작업에서 기존 로봇은 10번 성공(50%)한 반면, 새로운 Traj-LeWM 로봇은 14번 성공(70%)했습니다. 비록 작은 규모의 테스트였지만, 이는 이 방법이 컴퓨터 시뮬레이션을 넘어 실제 세계에서도 작동함을 시사합니다.

이것이 왜 중요한가

이 논문은 로봇이 진정으로 똑똑해지려면 단순히 목적지만 바라보는 것이 아니라, 그 여정을 존중해야 한다는 것을 보여줍니다. 로봇에게 단지 최종 지점만이 아니라 계획한 전체 경로를 평가하도록 가르침으로써, 로봇은 함정을 피하고 복잡한 환경을 탐색하는 능력이 훨씬 좋아졌습니다.

연구진은 이러한 개선이 두 가지 요소에서 온다는 것을 확인했습니다:

더 나은 학습: 로봇이 종단 지점만이 아니라 전체 경로를 신경 쓰도록 훈련받았기 때문에, 세상에 대한 더 나은 내부 지도를 학습했습니다.
더 나은 계획: 로봇의 미래 예측이 약간 틀리더라도, '전체 여정' 점수가 더 안전한 옵션을 선택하도록 도와주었습니다.

요컨대, Traj-LeWM은 로봇 계획의 세계에서는 어디에 도달하느냐만큼이나 어떻게 그곳에 가느냐가 중요하다는 것을 증명합니다. 로봇에게 울퉁불퉁하고 위험한 경로보다 매끄럽고 안전한 경로를 선호하도록 가르침으로써, 저자들은 로봇이 복잡하고 예측 불가능한 현실 세계를 다룰 수 있도록 만드는 중요한 발걸음을 내디뎠습니다.

1. 문제 정의

본 논문은 목표 지향적 계획(goal-conditioned planning)을 수행하기 위해 픽셀로부터 잠재 역학(latent dynamics)을 학습하는 결합 임베딩 예측 아키텍처(JEPA)인 LeWM(Lightweight Visual World Model)의 두 가지 구체적인 한계를 다룹니다. LeWM은 단순한 작업에서는 강력한 성능을 보이지만, 더 복잡한 환경(예: Push-T에서의 96%에서 OGBench-Cube에서의 74%로)에서는 성공률이 크게 떨어집니다. 저자들은 이러한 성능 저하의 두 가지 근본 원인을 다음과 같이 식별했습니다:

궤적 수준 감독의 부재 (Missing Trajectory-Level Supervision): LeWM의 학습 목적 함수는 다음 단계 예측(국소적 전이)과 표현 붕괴를 방지하기 위한 정규화 항(SIGReg)에 의존합니다. 두 구성 요소 모두 공유 인코더가 작업 목표와 관련된 전체 궤적에 대한 정보를 보존하도록 명시적으로 요구하지 않습니다. 결과적으로, 잠재 공간은 전체 후보 궤적의 품질을 직접적으로 평가하도록 학습되지 않습니다.
종단점 점수 산정의 민감도 부족 (Endpoint-Only Scoring Insensitivity): 계획 과정에서 LeWM은 예측된 잠재 종단점과 목표 표현 사이의 유클리드 거리에만 기반하여 후보 행동 시퀀스의 순위를 매깁니다. 이 방식은 중간 경로 정보를 무시합니다. 동일한 종단점을 가지지만 서로 다른 중간 진화 과정을 거치는 두 궤적(하나는 성공하고 하나는 실패하는 경우)은 동일한 점수를 받게 되며, 이는 모델의 예측이 실제 실행 결과와 일치하지 않을 때 최적의 후보 선택을 방해하여 하위 최적의 선택을 초래합니다.

2. 방법론: Traj-LeWM

저자들은 LeWM의 원래 국소 역학 목적 함수와 종단점 점정 방식을 유지하면서, **목표 조건부 잠재 궤적 비용(Goal-Conditioned Latent Trajectory Cost, LTC)**을 도입하는 Traj-LeWM 프레임워크를 제안합니다. 이 방법은 세 단계로 작동합니다:

A. 목표 조건부 잠재 궤적 비용 (LTC)
핵심 혁신은 주어진 목표 $g$ 에 대해 완전한 잠재 궤적 $\tau$ 를 평가하는 학습 가능한 스칼라 비용 함수 $S_\psi(\tau | g)$ 입니다. 종단점 거리와 달리, LTC는 전체 경로에 걸친 정보를 집계합니다. 이는 다음과 같이 정의됩니다:
$S_\psi(\tau | g) = \frac{1}{T} \sum_{t=0}^{T-1} \ell_\psi(z_t, \Delta z_t, d^g_t, \eta_t)$
여기서:

$z_t$ : 현재 잠재 상태.
$\Delta z_t$ : 국소적 진화 (인접한 상태 간의 차이).
$d^g_t = z_g - z_t$ : 목표 상대적 양 (조건화).
$\eta_t$ : 정규화된 시간적 단계(temporal phase).
$\ell_\psi$ : 학습 가능한 비음수(non-negative) 단계별 기여 함수.

이 구조를 통해 비용은 단순히 어디에서 끝나는지가 아니라, 상태에 어떻게 도달했는지에 따라 달라질 수 있습니다.

B. 궤적 선호도 감독 (Trajectory-Preference Supervision)
LTC를 학습시키고 공유 인코더를 형성하기 위해, 저자들은 쌍체 로지스틱 손실(pairwise logistic loss)을 사용하는 선호도 기반 학습 메커니즘을 도입합니다. 시스템은 "선호되는"(전문가와 일치하는) 궤적에는 낮은 비용을, "부정적인" 궤적에는 높은 비용을 할당하도록 학습합니다. 두 가지 유형의 부정적 예시가 사용됩니다:

합성 선호도 (Synthetic Preferences):
- 목표 불일치 (Goal Mismatch): 전문가 궤적을 이동된 관련 없는 목표와 쌍으로 구성.
- 종단점 보존 섭동 (Endpoint-Preserving Perturbation): 시작과 끝은 고정한 채 중간 상태에 노이즈를 추가한 전문가 궤적. 이는 모델이 종단점이 동일하더라도 서로 다른 중간 경로를 구별하도록 강제합니다.
폐루프 실패 선호도 (Closed-Loop Failure Preferences):
- 현재 모델은 LTC 없이 종단점 점수만을 사용하여 계획을 수행하고 환경에서 실행합니다.
- 실행 실패 사례를 추출하여 동일한 시작 및 목표를 가진 전문가 궤적과 쌍을 이룹니다.
- 이러한 실제 세계의 실패 사례는 종단점 전용 메트릭이 식별하지 못한 부정적 예시를 제공하여, 모델의 특정 실패 모드에 맞춰 LTC를 교정합니다.

C. 공동 학습 및 계획 (Joint Training and Planning)

학습: 전체 손실은 원래의 LeWM 예측 손실( $L_{LeWM}$ ), 합성 선호도 손실( $L_{path}$ ), 그리고 추출된 실패 손실( $L_{mined}$ )을 결합합니다. 합성 브랜치는 LTC와 공유 인코더를 모두 업데이트하며, 추출된 브랜치는 예측기의 역학 학습을 혼동시키지 않기 위해 (그래디언트 분리(detached gradients)를 통해) LTC만을 업데이트합니다.
계획: 후보들은 **결합 점수(Joint Score)**를 사용하여 순위가 매겨집니다:
$C_\lambda(\hat{\tau}, g) = C_0(\hat{\tau}, g) + \lambda \tilde{S}_\psi(\hat{\tau} | g)$
여기서 $C_0$ 는 원래의 종단점 거리이고, $\tilde{S}_\psi$ 는 교정된 LTC 점수입니다. 이를 통해 플래너는 종단점 예측이 모호하거나 부정확할 때 중간 경로 정보를 활용할 수 있습니다.

3. 주요 기여

잠재 궤적 비용 (LTC): 완전한 예측 궤적을 평가하고, 경로 민감한 계획 신호를 제공하기 위해 목표 상대적 잠재 진화를 집계하는 학습된 목표 조건부 비용을 도입했습니다.
궤적 선호도 학습: 원래의 예측 목적 함수를 변경하지 않고도 LTC를 학습시키고 공유 표현을 형성하기 위해 합성 부정적 예시(목표 불일치 및 중간 섭동)와 추출된 폐루프 실패를 사용하는 메커니즘을 개발했습니다.
포괄적 평가: 네 가지 시뮬레이션 작업(Push-T, OGBench-Cube, Reacher, Two-Room)과 물리적 Franka FR3 로봇에 대한 광범위한 테스트를 통해 베이스라인 대비 개선된 성능을 입증했습니다.

4. 실험 결과

시뮬레이션 결과:
Traj-LeWM은 네 가지 작업 모두에서 LeWM보다 우수한 성능을 보였으며, 성공률 개선 폭은 다음과 같습니다:

Push-T: +3% (96% $\to$ 99%)
OGBench-Cube: +14% (74% $\$ \to$ 88%)
Reacher: +7% (86% $\to$ 93%)
Two-Room: +7% (87% $\to$ 94%)

실제 로봇 평가:
20개의 시작-목표 과업을 가진 물리적 Franka FR3에서, Traj-LeWM은 LeWM의 50%(10/20)와 비교하여 70%(14/20)의 성공률을 달성했습니다. 충돌로 인한 실패는 20%에서 10%로 감소했습니다.

통제된 실험 및 절제 연구 (Ablations):

표현 형성 (Gap 1): 테스트 시점에 LTC를 제거하더라도, (궤적 선호도로 학습된) Traj-LeWM의 공유 인코더는 LeWM에 비해 성공과 실패를 구분하는 데 있어 더 높은 AUC를 가진 종단점 점수를 생성합니다.
경로 인식 (Gap 2): 종단점 예측이 부정확할 때, LTC를 추가하면 후보들의 올로잉(ordering)이 개선됩니다. "종단점 제어" 테스트(시작과 끝 상태가 동일한 경우)에서, LTC는 Reacher에서 94% 이상의 사례에서 성공적인 궤적과 실패한 궤적을 성공적으로 구별해내어 중간 경로 정보를 활용함을 증명했습니다.
상호 보완성: 절제 연구 결과, 궤적 감독(학습)과 명시적 LTC 랭킹(계획)은 상호 보완적임을 보여줍니다. 결합 점수가 가장 좋은 결과를 나타내며, 이는 두 방식이 서로 대체 가능한 것이 아님을 의미합니다.

5. 의의 및 주장

본 논문은 Traj-LeWM이 궤적 수준의 정보를 표현 학습과 후보 랭킹 모두에 통합함으로써 국소 역학 중심의 월드 모델의 한계를 성공적으로 해결했다고 주장합니다.

신중한 주장: 저자들은 짝을 이룬 과업의 수가 20개로 제한되어 있다는 점을 들어, 실제 로봇 결과가 "결정적인 성능 우위라기보다는 실제 로봇 적용 가능성에 대한 예비적 증거"라고 명시적으로 밝히고 있습니다.
핵심 통찰: 본 연구는 종단점 거리만으로는 복잡한 환경에서 신뢰할 수 있는 계획을 수행하기에 불충분하다는 것을 보여줍니다. 완전한 잠재 롤아웃(rollout)에 대한 비용을 학습함으로써, 모델은 종단점 예측이 불확실할 때 중간 경로의 증거를 활용하여 후보들을 더 효과적으로 순위 매길 수 있습니다.
효율성: 이 방법은 모델에 100만 개 미만의 파라미터를 추가하여, 도전적인 조작 및 내비게이션 작업을 수행하면서도 원래의 LeWM과 유사한 경량 아키텍처를 유지합니다.