Pixels to Proofs: Probabilistically-Safe Latent World Model Control via Parallel Conformal Robust MPC

기술 요약: SLS2 – 확률적으로 안전한 잠재 세계 모델 제어 (Probabilistically-Safe Latent World Model Control)

문제 정의

본 논문은 오픈 월드 환경에서 원시 픽셀 관측값(예: RGB 이미지)으로부터 직접 로봇을 제어하는 안전한 피드백 모션 플래닝의 과제를 다룹니다. 전통적인 안전 필수 제어 방식은 잘 정의된 저차원 상태 표현과 알려진 역학(dynamics)에 의존하지만, 변형 가능한 물체나 복잡한 시각적 작업이 포함된 환경에서는 이러한 요소들을 추정하기 어렵거나 불가능한 경우가 많습니다. 최근의 잠재 세계 모델(예: JEPA 아키텍처)은 이미지로부터 압축된 상태 표현과 역학을 추론할 수 있지만, 다음과 같은 심각한 안전 위험을 초래합니다:

1. 불완전한 역학: 학습된 잠재 역학은 근사치이며, 다단계 롤아웃(multi-step rollouts) 과정에서 부정확해질 수 있습니다.
2. 제약 조건의 번역 문제: 물리적 안전 제약 조건(예: 장애물 회피, 관절 한계)을 잠재 공간(latent space)으로 번역해야 하는데, 이 과정에서 잠재 공간과 물리적 안전 사이의 관계가 보장되지 않습니다.
3. 보정(Calibration)의 부재: 기존의 잠재 안전 방식은 휴리스틱한 근사에 의존하거나, 예측 오류에도 불구하고 실제 시스템 상태가 안전 범위를 벗어나지 않음을 보장하는 공식적이고 보정된 보증(formal, calibrated guarantees)이 부족합니다.

핵심 문제는, 모델 예측 오류와 분포 변화(distributional shifts)를 고려하면서도, 학습된 잠재 공간 내에서 계획을 수행하는 동시에 실제 물리 시스템에 대한 확률적 안전 보증을 제공하는 제어 정책을 합성하는 것입니다.

방법론: SLS2 (Safe Latent Space System Level Synthesis)

저자들은 학습된 잠재 세계 모델과 시스템 레벨 합성(System Level Synthesis, SLS) 기반의 강건한 모델 예측 제어(MPC), 그리고 **컨포멀 예측(Conformal Prediction, CP)**을 결합한 SLS2 프레임워크를 제안합니다. 이 파이프라인은 세 가지 주요 단계로 구성됩니다.

1. 그래디언트 친화적 잠재 세계 모델 학습

시스템은 이미지 전이 데이터셋 $\mathcal{D} = \{(o_t, u_t, o_{t+1})\}$로부터 압축되고 마르코프 성질을 만족하는 잠재 표현을 학습합니다.

• 아키텍처: 액션 조건부 결합 임베딩 예측 아키텍처(Le-WM과 유사)를 사용합니다. 비전 트랜스포머(ViT) 인코더가 이미지를 잠재 임베딩 $z_t$로 매핑합니다.
• 마르코프 상태 구축: 잠재 상태가 다단계 예측을 위한 마르코프 성질을 충족하도록, 유한 차분 특징(finite-difference features)을 추가하여 상태를 확장합니다: $s^z_t = [z_t, \Delta z_t, \dots, \Delta^K z_t]$.
• 역학 학습: MLP 예측기 $f_\phi$가 전이 $s^z_{t+1} = f_\phi(s^z_t, u_t)$를 학습합니다.
• 학습 목적 함수: 모델은 다단계 잠재 예측 손실(multi-step latent prediction loss), 표현 붕괴를 방지하기 위한 SIGReg 손실, 그리고 매끄러운 잠재 궤적을 장려하기 위한 시간적 직선화(temporal straightening) 손실을 사용하여 학습됩니다. 이러한 설계는 효율적인 그래디언트 기반 궤적 최적화(예: iLQR)를 용이하게 합니다.

2. 컨포멀 불확실성 정량화

학습된 역학 및 잠재 제약 검사기의 부정확성을 처리하기 위해, 저자들은 통계적 보증을 갖춘 불확실성 집합을 보정하고자 **분할 컨포멀 예측(Split Conformal Prediction, CP)**을 사용합니다.

• 잠재 역학 오류: 공분산 모델 $\Sigma_\psi$를 학습하여 오류 분포의 형태를 예측합니다. CP를 사용하여 실제 예측 오류 $e_t$가 확률 $1-\delta$로 타원형 집합 $E(s, u)$ 내에 존재하도록 하는 스케일링 인자 $q$(비정합 점수의 분위수)를 계산합니다.
• 잠재 제약 검사기: 안전성을 점수화하는 잠재 장애물 분류기 $c_\psi$를 학습합니다. CP를 사용하여 분류기가 높은 확률로 안전/불안전 영역을 올바르게 식별하도록 하는 임계값 $\eta$를 결정합니다.
• 인도메인 지원(In-Domain Support): 플래너가 훈련 분포에서 크게 벗어난 영역에서 작동하지 않도록, 보정된 가우시안 하위 레벨 집합(Gaussian sublevel set)으로 정의된 인도메인 집합 $\mathcal{I}$를 정의합니다.

3. SLS를 통한 강건한 MPC

핵심 제어 루프는 잠재 공간에서 강건한 MPC 문제를 해결하기 위해 **시스템 레벨 합성(SLS)**을 사용합니다 피드백 이득(feedback gains)을 직접 최적화하는 대신, SLS는 노이즈를 상태/제어 편차로 매핑하는 폐루프 시스템 응답(행렬 $\Phi_s, \Phi_u$)을 최적화합니다.

• 강건성: CP로 보정된 타원형 오류 집합 $E(s, u)$를 SLS 공식에 교란 집합(disturbance sets)으로 주입합니다. 최적화기는 이 불확실성을 계획 호라이즌(planning horizon) 동안 전파하여 도달 가능 튜브(reachable tubes, $R^s_k, R^u_k$)를 구축합니다.
• 제약 조건: 최적화는 도달 가능한 전체 튜브가 안전한 잠재 집합(보정된 제약 검사기에 의해 정의됨) 및 인도메인 집합 내에 머물도록 강제합니다. 이는 "제약 조건 타이트닝(constraint tightening)"을 유발하며, 최악의 경우 발생할 수 있는 유계 오류(bounded errors) 하에서도 실제 시스템이 안전하도록 명목 궤적(nominal trajectory)을 조정합니다.
• 구현: 고차원 잠재 상태를 처리하고 불확실성 튜브를 효율적으로 전파하기 위한 높은 계산 부하를 감당하기 위해 GPU 가속을 활용합니다.

주요 기여

1. 플래닝을 위한 잠재 세계 모델: 특정 규제화(SIGReg, temporal straightening)를 갖춘 압축된 마르코프 잠재 모델을 학습함으로써, 픽셀로부터 직접 정확한 다단계 롤아웃과 효율적인 그래디언트 기반 최적화를 가능하게 함을 입증했습니다.
2. 컨포멀화된 불확실성 집합: 컨포멀 예측을 사용하여 잠재 역학 오류와 잠재 안전 분류기 오류를 모두 보정하는 방법을 도입하여, 강건한 플래닝을 위한 통계적으로 유효한 불확실성 집합을 제공합니다.
3. 확장 가능한 강건한 MPC: CP로 보정된 불확실성을 GPU 가속 시스템 레벨 합성에 통합함으로써, 이전에는 계산적으로 불가능하다고 여겨졌던 고차원 잠재 공간에서의 도달 가능성 제약 강건 MPC를 실현했습니다.
4. 실증적 검증: 시뮬레이션과 실제 하드웨어 모두에서 다양한 비전 기반 작업(내비게이션, pick-and-place, 변형 가능한 물체 조작)에 대해 검증되었으며, 베이스라인 대비 우수한 안전성과 목표 도달 성능을 보여주었습니다.

실험 결과

저자들은 네 가지 작업(Reacher, OGBench Cube, Push-T, Bimanual Rope)에 대해 SLS2를 평가했습니다.

• 명목 플래닝 성능 (Nominal Planning Performance):

  • SLS2의 명목 플래너(학습된 모델에 iLQR 적용)는 성공률 측면에서 베이스라인(Le-WM, DINO-WM, PLDM)을 크게 능가했습니다.
  • Reacher: 83.5% 성공 (베이스라인 17–40% 대비).
  • Rope: 93.75% 성공 (베이스라인 7–25% 대비).
  • 절제 연구(Ablation studies)를 통해 마르코프 상태 표현과 다단계 학습 손실이 성능에 결정적임을 확인했습니다.

• 강건한 안전 성능 (Robust Safety Performance):

  • 제약 조건이 있는 작업(예: 관절 각도 제한, 높이 임계값, 장애물 회피)에서, SLS2는 시뮬레이션과 하드웨어에서 100% 안전율을 달est한 반면, 비강건 제약 iLQR 및 기타 안전 필터(HJ-filtered, LPB)는 빈번하게 제약을 위반했습니다.
  • 강건한 성공 (Robust Success): SLS2는 안전 제약을 엄격히 준수하면서도 높은 작업 완료율(예: Rope 88.57%, Cube 94.29%)을 유지했습니다.
  • 하드웨어: 실제 KUKA iiwa 암을 이용한 로프 조작 작업에 성공적으로 배치되어, 명시적인 상태 추정 없이 픽셀로부터 직접 목표 상태로 수렴함을 입로 증명했습니다.

의의 및 주장

본 논문은 SLS2가 학습된 세계 모델의 유연성과 안전 필수 제어에 필요한 엄격함 사이의 간극을 메운다고 주장합니다. 컨포멀 예측을 통한 통계적 보정과 시스템 레벨 합성을 통한 확장 가능한 강건 최적화를 결합함으로써, 불완전한 역학을 가진 고차원 잠재 공간에서 작동할 때도 실제 시스템 상태가 안전한 범위 내에 머물도록 하는 확률적 보증을 제공합니다.

저자들은 이 방식이 수동으로 설계된 상태 표현이나 알려진 역학을 요구하지 않으므로, 복잡하고 변형 가능하며 시각적으로 풍부한 작업에 적용 가능하다는 점을 강조합니다. 또한, 방법론이 안전성과 성공률을 크게 개선하지만, 폐루프 잔차 점수(closed-loop residual scores)가 보정 점수(calibration scores)와 교환 가능(exchangeable)하다는 가정에 의존하며, 복잡한 순차적 기동이 필요한 작업(예: Push-T)에서는 등방성 잠재 표현(isotropic latent representations) 가정이 병목이 될 수 있음을 언급했습니다.