기술 요약: 잠재 세계 모델(Latent World Models)은 부분 관측 가능한 안전 제약 조건을 얼마나 잘 이해하는가?

문제 정의

잠재 세계 모델(WM)은 고차원 관측값(예: RGB 이미지)으로부터 상태 표현과 제어 정책을 직접 학습하기 위해, 수동으로 지정된 역학(dynamics)을 대체할 유망한 대안을 제공한다. 그러나 이들의 효용성은 학습된 잠재 상태가 안전 제약 조건을 충족하는 데 필요한 모든 정보를 인코딩하고 있는지 여부에 달려 있다.

본 논문은 학습 데이터에 안전에 결정적인 양을 결정하기 위한 충분한 정보가 부족한 부분 관측 가능성(partial observability) 상황에서의 잠재 세계 모델의 한계를 조사한다. 저자들은 클래식한 상태 추정과는 구별되는 결정적인 실패 모드인 **'알려지지 않은 미지수(unknown unknowns)'**를 식별한다. 칼만 필터와 같은 필터를 통해 불확실성을 정량화할 수 있는 잘 정의된 상태 공간을 다루는 클래식한 설정과 달리, 잠재 세계 모델은 데이터로부터 상태 표현 자체를 추론한다. 만약 관련 안전 변수가 관측값에서 누락되어 있다면, 해당 변수는 학습된 잠재 공간에서도 완전히 부재할 수 있으며, 이는 안전하지 않은 제어 동작으로 이어진다.

저자들은 두 가지 구체적인 실패 모드를 정의한다:

1. 추정 격차 (Estimation Gaps): 현재의 관측값이 안전 제약 조건의 현재 위반 여부를 판단하기에 불충분한 경우 (예: RGB 이미지만으로 온도를 추론하는 경우).
2. 예측 격차 (Prediction Gaps): 실패는 발생한 후에 관측 가능하지만, 누락된 정보로 인해 현재의 관측값으로부터 이를 신뢰성 있게 예측할 수 없는 경우 (예: 병이 채워져 있는지 여부를 모르는 상태에서 액체가 쏟아지는 것을 예측하는 경우).

방법론

관측 가능성 격차 진단

이러한 격차를 정량화하기 위해 저자들은 두 가지 오프라인 진단 지표를 제안한다:

1. 안전 관측 가능성을 위한 상호 정보량 (MI for Safety Observability): 추정 격차를 측정하기 위해, 관측값 $X$(예: RGB 이미지)와 안전 레이블 $Y$ 사이의 상호 정보량 $I(Y; X)$를 추정한다. Barber–Agakov 변분 하한(variational lower bound)을 사용하여, 잠재 임베딩에 대한 선형 프로브(linear probe)를 학습시켜 관측값에 의해 안전 레이블에 대한 불확실성이 얼마나 감소하는지 정량화한다.
2. 롤아웃 기반 예측 정확도 (Rollout-Based Prediction Accuracy): 예측 격차를 측정하기 위해, 오픈 루프 롤아웃(open-loop rollouts)을 통해 미래의 안전 결과에 대한 세계 모델의 예측 능력을 평가한다. 16단계 액션 시퀀스를 시뮬레이션하고 예측된 안전 레이블의 분류 정확도를 측정하며, 특히 단일 모달(unimodal) 모델과 다중 모달(multimodal) 모델이 서로 상충하는 샘플을 집중적으로 분석한다.

완화 전략

본 논문은 각 실패 모드에 대해 서로 다른 전략을 제안한다:

• 추정 격차 대응 (특권적 다중 모달 감독 - Privileged Multimodal Supervision): 실행 시점에는 다중 모달 센서를 요구하지 않는 대신, RGB 입력을 사용하여 세계 모델을 학습시키되 다중 모달 감독을 적용한다. 모델은 RGB 입력으로부터 안전 관련 양상(예: IR 열화상 이미지)을 재구성하도록 과업을 부여받는다. 이러한 "특권적" 감독은 훈련 중에 잠재 표현이 실행 시점에 직접 관측되지 않더라도 안전에 결정적인 양(예: 온도)을 인코딩하도록 형성한다.
• 예측 격차 대응 (공형 리스크 교정 - Conformal Risk Calibration): 잠재 상태가 미래의 실패를 신뢰성 있게 예측할 수 없을 때, 저자들은 안전 제어기의 임계값을 교정하는 방법을 제안한다. **공형 예측(conformal prediction)**을 사용하여, 모델의 실패 예측 정확도에 따라 개입 임계값($\epsilon$)을 조정한다. 이를 통해 모델의 예측 불확실성이 높을 때 제어기가 보수적인 폴백(fallback) 정책을 채택하도록 하여, 안전하지 않은 행동을 허용하는 오탐률(false acceptance rate)을 제한한다.

실험 설정

저자들은 Franka Research 3 매니퓰레이터를 사용하여 두 가지 하드웨어 태스크에 대해 접근 방식을 검증한다:

1. 왁스 녹이기 (추정 격차): 로봇이 72°C를 초 exceed하지 않도록 왁스를 가열해야 한다. 이 태스크는 온도를 추론하는 것에 의존한다. 모델은 RGB 전용 데이터와 RGB+IR 데이터를 사용하여 학습된다.
2. 쌀 따르기 (예측 격차): 로봇이 불투명한 병에서 쌀을 쏟지 않고 따라야 한다. 병은 비어 있거나 가득 차 있을 수 있다. 이 태스크는 기울임 동작이 쏟아짐을 유발할지 예측하는 것에 의존한다. 모델은 RGB 전용 데이터와 RGB+촉각(Tactile) 데이터를 사용하여 학습된다.

주요 결과

진단 결과

• 추정 격차: 왁스 녹이기 태스크에서 RGB 관측값과 안전 레이블(과열) 사이의 상호 정보량($I/H \approx 0.22$)은 IR 관측값($I/H \approx 0.80$)에 비해 현저히 낮았다. 표준 정확도 지표는 이러한 격차에 덜 민감하게 반응하였으며, 이는 MI가 안전 관측 가능성에 대해 더 견고한 진단 도구임을 시사한다.
• 예측 격차: 쌀 따르기 태스크에서 두 모델 모두 발생 후의 쏟아짐은 식별할 수 있었으나, RGB 전용 모델은 오픈 루프 롤아웃에서 이를 신뢰성 있게 예측하지 못했다. 다중 모달 모델은 두 모델이 의견이 일치하지 않는 샘플에서 훨씬 높은 정확도를 달erm했으며, 이는 RGB 전용 잠재 공간이 액션과 미래의 안전 결과 사이의 상관관계를 연결할 표현 능력이 부족했음을 나타낸다.

완화 성능

• 특권적 감독 (왁스 녹이기): RGB 입력을 사용하되 IR 재구성을 통해 감독된 세계 모델(WM_RGB-MM)은 100%의 리프트율(lift rate)(과열 방지)을 달성하여, 완전한 다중 모달 모델의 성능과 일치했다. 반면, RGB 전용 모델은 85%의 확률로 실패했다. 결정적으로, WM_RGB-MM 모델은 다중 모달 모델보다 더 일찍 개입하는 보수적인 정책을 학습했으며, 이는 실행 시점에 IR 입력이 없음에도 불구하고 잠재 상태가 필요한 안전 역학을 성공적으로 인코딩했음을 보여준다.
• 공형 교정 (쌀 따르기): RGB 전용 제어기에 공형 교정을 적용하면 쏟아짐을 예측하지 못하는 능력을 고려하여 임계값이 조정되었다. 이를 통해 RGB 제어기는 매우 보수적으로 변하여(빈 병에 대해 60%의 수행률을 보이는 다중 모달 모델과 달리, 빈 병에 대해 18%만 따르기를 허용함), 실패율을 목표 수준($\alpha = 0.12$) 내로 제한하는 데 성공했다. 이는 교정이 제어 권한을 안전 보장과 맞교환함으로써 예측 격차를 완화할 수 있음을 확인시켜 주었다.

의의 및 주장

본 논문은 잠재 세계 모델이 부분 관측 가능성 하에서 안전한 제어를 위한 충분한 정보를 본질적으로 포착한다는 가정에 도전한다. 저자들은 다음과 같이 주장한다:

1. 실패 모드 식별: "추정 격차"와 "예측 격차"를 잠재 공간 제어에서 발생하는 위험한 행동의 별개 원인으로 명시적으로 식별하고 특징짓는다.
2. 정량적 진단 도구: 배포 전에 이러한 격차를 탐지할 수 있는 실용적인 오프라인 도구(상호 정보량 및 롤아웃 분류)를 제공한다.
3. 완화 가능성: 실행 시점의 모달리티가 제한적이더라도(예: RGB 전용), 풍부한 데이터를 활용한 특권적 감독이나 통계적 리스크 허용치 교정(공형 예측)을 통해 안전을 유지할 수 있음을 입증한다.
4. 보수성과의 트레이드오프: 격차를 완화하는 과정에서 필연적으로 보수성이 증가함을 강조한다. 잠재 상태가 불확실성을 완전히 해소할 수 없을 때, 안전한 제어는 더 이른 개입이나 작업 실행률의 감소를 요구한다.

결론적으로, 세계 모델은 강력하지만, 그 상태 표현은 안전 관측 가능성에 대해 명시적으로 검증되어야 하며, 훈련 데이터가 근본적인 안전 결정적 상태를 완전히 드러내지 못할 경우 완화 전략이 필수적이다.