💻 computer science

PRISM: PRior-guided Imagination Sampling in world Models

PRISM은 고정된 JEPA 스타일의 월드 모델로부터 상태 조건부 행동 사전 확률(action priors)을 직접 추출하고, 이를 파라미터가 필요 없는 가우시안 곱(Product-of-Gaussians) 업데이트를 통해 샘플링 과정에 통합함으로써, 구조적 비대화나 추론 오버헤드 없이 성공률을 크게 향상시키는 경량화된 태스크 불가지론적 프레임워크이다.

원저자: Yuhai Wang, Jiawei Xia, Rongxuan Zhou, Xiao Hu, Yongliang Shi, Jing Du, Yang Ye

게시일 2026-06-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuhai Wang, Jiawei Xia, Rongxuan Zhou, Xiao Hu, Yongliang Shi, Jing Du, Yang Ye

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 테이블 위의 특정 지점으로 블록을 밀도록 가르치고 있다고 상상해 보십시오. 이를 수행하기 위해 로봇은 "내가 왼쪽으로 밀면 블록이 여기로 가고, 오른쪽으로 밀면 저기로 간다"라고 상상할 수 있는 '세계 모델(world model)'—즉, 정신적 시뮬레이션—이 필요합니다.

문제는 로봇이 미래를 상상하지 못하는 것이 아니라, 애초에 무엇을 상상할지 결정하는 방법입니다.

문제점: 어둠 속에서 화살 쏘기

현재 대부분의 로봇은 계획을 세우기 위해 '세계 모델'을 사용하지만, 계획 과정을 시작할 때 무작정 추측하며 시작합니다. 이는 마치 거대하고 어두운 창고에서 특정 열쇠를 찾으려고 애쓰는 것과 같습니다.

기존 방식 (Vanilla MPPI): 로봇은 수천 개의 후보 행동(열쇠)을 공중에 무작ful하게 던져서, 그중 하나가 자물쇠에 안착하기를 바랍니다. 로봇은 각 후보를 확인하고, 유망해 보이는 몇 가지만 남긴 뒤 다시 시도합니다. 이 방식은 작동은 하지만, 느리고 낭비가 심합니다. 로봇은 적절한 열쇠를 찾기 위해 수백 개의 열쇠를 던져야 합니다.
결함: 로봇은 과거의 경험으로부터 배운 '움직이는 법'을 무시합니다. 세상을 보는 법을 배우는 동안 얻은 '직관'을 버려버리는 것입니다.

해결책: PRISM (직관적인 가이드)

저자들은 PRISM을 제안합니다. 이는 PRior-guided Imagination Sampling(사전 정보 기반의 상상 샘플링)의 약자입니다.

PRISM은 로봇에게 열쇠를 던지기 전에 손전등과 지도를 쥐여주는 것과 같습니다.

두 가지 역할을 수행하는 동일한 뇌: 로봇은 세상을 보는 법을 배우는 데 사용했던 것과 정확히 동일한 '뇌'(신경망)를 사용합니다. 보통 이 뇌는 "다음에 무슨 일이 일어날지"만을 예측합니다. PRISM은 이 뇌에 아주 작고 가벼운 부속 장치(작은 '헤드')를 추가하여 다른 질문을 던지게 합니다: "지금 보고 있는 것을 바탕으로, 지금 취해야 할 가장 가능성 높은 행동은 무엇인가?"
가우시안 사전 분포 (The "Confidence" Meter - 확신도 측정기): 이 부속 장치는 단순히 하나의 행동을 추측하는 것이 아니라, 행동의 범위와 결정적으로 그 추측에 대한 확신(confidence) 정도를 추측합니다.
- 높은 확신: "블록을 약간 왼쪽으로 밀어야 한다는 것에 99% 확신해." (범위가 좁음).
- 낮은 확신: "여기서 뭘 해야 할지 전혀 모르겠어." (범위가 넓음).
마법 같은 혼합 (Product of Gaussians): 로봇이 계획을 세울 때, 단순히 무작위로 추측하지 않습니다. 로봇은 자신의 '무작위 추측'과 이 '직관적 추측'을 혼합합니다.
- 만약 직관이 확신에 차 있다면, 로봇은 그 아이디어 주변으로 탐색을 좁혀 집중함으로써 시간을 절약합니다.
- 만약 직관이 불확실하다면(예: 로봇이 생소하거나 낯선 상황에 처했을 때), 수학적 계산에 의해 직관은 자동으로 무시되고 안전한 무작위 추측 방식으로 돌아갑니다. 이는 "우아한 실패(graceful failure)" 메커즘입니다. 즉, 잘못된 추측이 계획을 망치도록 내버려 두지 않습니다.

결과: 더 열심히가 아닌, 더 똑똑하게

저자들은 이 모델을 T자형 블록 밀기와 큐브 움직이기라는 두 가지 작업에서 테스트했습니다.

압도적인 효율성: PRISM을 사용했을 때, 로봇은 동일한 컴퓨팅 파워를 사용하면서도 큐브 작업에서는 성공률이 35% 더 높았고, T-블록 작업에서는 32% 더 높았습니다.
작은 예산, 큰 성과: 가장 큰 개선은 로봇이 매우 적은 횟수의 추측(작은 샘플 예산)만 허용되었을 때 나타났습니다. 이는 어디를 찾아야 할지 알았기 때문에, 창고 전체를 뒤지는 대신 단 한 번의 시도만에 열쇠를 찾아내는 것과 같습니다.
실제 로봇 적용: 그들은 실제 물리적 로봇(Franka arm 및 ARX arm)에서도 테스트를 진행했으며, 코드 변경이나 로봇의 속도 저하 없이도 잘 작동했습니다.

비유 요약

기존 방식: 탐정이 도시의 모든 문을 하나씩 무작위로 두드려보며 용의자를 찾는 것.
PRISM: 탐정이 과거 사건을 바탕으로 '직감(prior)'을 가진 상태입니다. 직감이 강하다면, 용의자가 있을 법한 특정 동네만 집중적으로 조사합니다. 만약 직감이 약하다면, 다시 무작위로 문을 두드리는 방식으로 돌아갑니다.
결과: 탐정은 훨씬 더 빠르고 적은 노력으로 용의자를 찾아내며, 자신의 직감을 믿어야 할 때와 무시해야 할 때를 알기에 결코 길을 잃지 않습니다.

이것이 중요한 이유

이 논문은 로봇을 안내하기 위해 거대하고 비싼 슈퍼컴퓨터나 별도의 '전문가' AI가 필요하지 않다고 주장합니다. 로봇이 기존에 가진 '세계 모델' 뇌로부터 직접 이 가이드를 추출할 수 있습니다. 이는 로봇을 더 무겁거나 느리게 만들지 않고도, 계획을 세우는 데 더 똑똑하게 만드는 방법입니다.

기술 요약: PRISM (PRior-guided Imagination Sampling in world Models)

1. 문제 정의

연속 제어(continuous control)에서 학습된 월드 모델은 에이전트에게 미래 상태를 시뮬레이션할 수 있는 "물리적 직관"을 제공합니다. 그러나 모델 기반 계획(예: 모델 예측 제어, MPC)의 효과는 후보 행동을 어떻게 생성하느냐에 따라 결정적으로 달라집니다. 기존의 플래너들은 일반적으로 제로 평균(zero-mean) 및 고정 분산 가우시안 분포를 사용하여 샘플링 분포를 초기화하거나(정보가 없는 초기화), 전문가의 시연을 사용하여 평균값만을 설정하고 전문가의 상태 조건부 신뢰도(state-conditioned confidence)는 버리는 방식을 사용합니다.

강력한 행동 사전 확률(action prior)을 얻기 위한 기존 방식들은 독립적인 시각 인코더나 대규모 시각-언어 모델(VLM)과 같은 구조적 비대함(architectural bloat)에 의존하는 경우가 많습니다. 이는 월드 모델 자체의 학습된 표현이 이미 에이전트의 "행동 직관"(어떤 행동이 상태를 목표로 이끄는지)을 내포하고 있다는 점을 고려할 때 중복을 초래합니다. 핵심 과제는 상당한 계산 오버헤드를 추가하거나 별도의 무거운 사전 모델을 요구하지 않으면서, 월드 모델 자체로부터 이러한 암묵적 직관을 추출하여 플래너의 샘플링 과정을 가이드하는 것입니다.

2. 방법론: PRISM

PRISM은 표준 JEPA 스타일(Joint-Embedding Predictive Architecture)의 잠재 월드 모델을 사용하여 학습된 행동 사전 확률을 플래너의 샘플링 분포에 직접 통합하는 태스크 불가지론적(task-agnostic) 프레임워크입니다.

2.1 아키텍처

공유 백본(Shared Backbone): PRISM은 현재 관측값( $o_t$ )과 목표 관측값( $o_g$ )을 모두 임베딩하는 단일 고정된 JEPA 인코더( $h_\psi$ )를 활용합니다.
물리적 직관(Physical Intuition): 고정된 예측기( $f_\theta$ )는 임베딩 공간에서 행동 시퀀스를 롤아웃(rollout)하여 이를 목표와 비교하여 점수를 매깁니다(시각적 비용).
행동 직관(Action Intuition - 사전 확률): 고정된 인코더에 직접 부착된 경량화되고 학습 가능한 다층 퍼셉트론(MLP) 헤드( $g_\phi$ $g_{ϕ}$ , 약 100만 개의 파라미터)가 사용됩니다. 이 헤드는 현재와 목표 임베딩을 입력받아 향후 $H$ $H$ -스텝 행동 시퀀스에 대한 가우시안 분포 $(\mu_p, \sigma_p)$ $(μ_{p}, σ_{p})$ 를 매핑합니다.
- 이 헤드는 분산 예측을 안정화하기 위해 $\beta$ -NLL 손실 함수를 사용하여 월드 모델에 사용된 것과 동일한 데이터셋으로 오프라인 학습됩니다.
- 이는 StandardScaler로 정규화된 행동 공간에서 작동합니다.

2.2 정밀도 가중 융합 (Product of Gaussians)

계획 시점에 PRISM은 플래너의 기본 초기화( $N(\mu_\pi, \sigma_\pi^2)$ )와 학습된 사전 확률( $N(\mu_p, (s\sigma_p)^2)$ )을 폐쇄형(closed-form) 가우시안 곱(Product of Gaussians, PoG) 업데이트를 사용하여 융합합니다:

융합 분산: $\sigma_{fused}^2 = (\tau_\pi + \tau_p)^{-1}$ , 여기서 $\tau$ 는 정밀도(precision, $1/\sigma^2$ )를 나타냅니다.
융합 평균: $\mu_{fused} = \sigma_{fused}^2 (\tau_\pi \mu_\pi + \tau_p \mu_p)$ .
스케일링: 스칼라 $s$ 는 사전 확률의 표준 편차를 재조정합니다(실험에서는 1로 설정).

2.3 MPC와의 통합

융합된 분포는 표준 MPPI(Model Predictive Path Integral) 루프를 초기화합니다. 결정적으로, PRISM은 MPPI의 고정 공분산(fixed-covariance) 특성을 유지합니다(반복 과정에서 평균만 업데이트하고 분산은 업데이트하지 않음). 이는 CEM(Cross-Entropy Method)에서 발생하는 것처럼 반복적인 정교화 과정에 의해 덮어씌워지지 않고, 사전 확률의 신뢰도(정밀도)가 전체 최적화 호라이즌 동안 지속되도록 보장합니다.

2.4 우아한 성능 저하(Graceful Degradation)

융합 메커니즘은 본질적으로 견고합니다:

높은 신뢰도: 사전 확률이 확신할 때( $\sigma_p$ 가 작을 때), 그 정밀도가 지배적이 되어 $\mu_p$ 주변으로 탐색 범위를 좁힙지킵니다.
낮은 신뢰도: 사전 확률이 불확실할 때(예: $\sigma_p$ 가 큰 분포 외 상태), 정밀도가 사라지며( $\tau_p \to 0$ ), 초기화는 자동으로 사전 확률이 없는 기존의 베닐라(vanilla) MPPI로 복구됩니다. 이는 별도의 학습된 게이트나 튜닝을 필요로 하지 않습니다.

3. 주요 기여

아키텍처의 단순성: 별도의 무거운 지각 시스템이나 VLM 없이, 학습된 월드 모델의 고정된 인코더에서 직접 행동 사전 확률을 추출할 수 있음을 입증하여 아키텍처적 비대함을 제거했습니다.
파라미터 프리 통합: 추론 시 최적화나 단일 스케일 팩터 외의 하이퍼파라미터 튜닝이 필요 없는 폐쇄형 정밀도 가중 융합 메커니즘을 도입했습니다.
정밀도를 통한 견고성: 단순한 웜 스타트(warm-starting, 분산 정보를 버리는 방식)와 달리, PRISM은 계획 호라이즌 전체에 걸쳐 사전 확률의 상태별 신뢰도를 보존함으로써 사전 확률이 신뢰할 수 없을 때 우아하게 성능이 저하되도록 합니다.
샘플 효율성: 현저히 줄어든 샘플 예산으로도 상당한 성능 향상을 달야내어, 제약이 있는 하드웨어에서의 실시간 제어에 적합하게 만들었습니다.

4. 실험 결과

저자들은 두 가지 시뮬레이션 시각 조작 작업(PushT 및 Cube)에서 PRISM을 평가하였으며, 두 가지 실제 로봇 플랫폼(Franka PushT 및 ARX X5 Cube)에서 검증하였습니다.

성능 향상:
- PushT: PRISM-MPPI는 베닐라 MPPI 대비 성공률을 35 퍼센트 포인트 개선하였으며( $K=128$ 에서 54% vs 89%), 다양한 샘플 예산에 걸쳐 23–35 pp의 향상을 보였습니다.
- Cube: PRISM-MPPI는 베닐라 MPPI 대비 성공률을 32 퍼센트 포인트 개선하였습니다(79% vs 47% @ $K=128$ ).
- 샘플 효율성: PushT에서는 작은 샘플 예산( $K=32$ )을 가진 PRISM이 큰 예산( $K=128$ )을 가진 베닐라 MPPI보다 +25 pp 우수하였고, Cube에서는 +35 pp 우수하였습니다.
절제 연구(Ablation Studies):
- 분산 vs 평균: 사전 확률의 평균만을 사용하는 방식(웜 스타트)은 성능을 개선시키긴 했으나, 샘플 예산에 따라 확장되지 못하거나 때때로 성능이 저하되었습니다. 분산을 포함하는 것(전체 PoG 융합)이 견고한 확장에 필수적이었습니다.
- 플래너 선택 (MPPI vs. CEM): PRism-MPPI(고정 공분산)는 낮은 샘플 예산( $K=32$ )에서 편향된 엘리트들로 인해 분산 재적합이 붕괴되는 CEM(적응형 공분산)보다 유의미하게 높은 성능을 보였습니다.
- 인코더 불가지론: 융데이션 메커니즘은 태스크 학습 인코더를 고정된 DINOv2 인코더로 교체했을 때도 성능 향상을 제공했으나, 절대적인 성능은 인코더의 적합성에 따라 달라졌습니다.
실제 로봇 배포: PRISM은 Franka 및 ARX X5 로봇에 성공적으로 전이되어 각각 35%와 45%의 성공률을 기록하였으며, 제어 루프에서 지연 시간(latency) 오버헤드가 없음을 입증했습니다.
BC/DP와의 비교: 행동 복제(BC) 및 디퓨전 정책(DP)은 유망한 모습을 보였으나 일반적으로 계획법보다 낮은 성능을 보였습니다. 특히, 19.3M 파라미터를 가진 디퓨전 정책이 멀티모달 PushT 태스크에서 41%의 성공률로 붕괴된 반면, PRISM은 89%를 기록하며 1.0M 파라미터 헤드만으로도 멀티모달 환경에서의 견고함을 입증했습니다.

5. 의의 및 주장

본 논문은 PRISM이 플래너가 사전 확률을 활용하는 방식의 변화를 나타낸다고 주장합니다. 별도의 사전 모델을 갖추는 "아키텍처적 비대함"이 불필요하다는 논거를 통해, PRISM은 월드 모델의 잠재 공간에 내재된 구조를 활용합니다.

그 의의는 다음과 같습니다:

효율성: 훨씬 적은 수의 후보 샘플로도 우수한 계획 성능을 달성하여, 더 높은 실시간 제어 빈도를 구현하거나 엣지 디바이스에서 운용할 수 있게 합니다.
견고성: 정밀도 가중 융합을 통해 플래너가 잘못된 사전 확률에 의존하지 않도록 보장하며, 사전 확률이 불확실할 때 자동으로 안전하고 정보가 없는 베이스라인으로 복귀합니다.
단순성: 월드 모델을 재학습하거나 복잡한 추론 시 네트워크를 추가할 필요 없이, 기존 MPPI 파이프라인에 원활하게 통합되는 "파라미터 프리"(추론 시 최적화 관점) 및 폐쇄형 솔루션을 제공합니다.

저자들은 PRISM이 다음과 같은 더 넓은 원칙을 보여준다고 결론짓습니다: 경량화된 학습된 사전 확률을 정밀도 산술(precision arithmetic)을 통해 플래너의 초기화에 통합함으로써, 안전성이나 계산 효율성을 해치지 않고도 연속 제어에서 상당한 이득을 얻을 수 있습니다.