🤖 machine learning

Diagnosing JEPA World Models with Action-Conditioned Predictive Consistency

본 논문은 비시뮬레이션(bisimulation) 이론에 근거하여 깨끗한 상태 롤아웃과 섭동된 상태 롤아웃 사이의 발산을 측정함으로써 JEPA(Joint-embedding predictive architecture) 월드 모델의 강건성을 정량화하고, 이를 통해 예측 오차와 플래너 비용에 대한 이론적 경계치를 제공하며 다양한 시각적 제어 작업 전반에 걸친 효과를 입증하는 진단 프레임워크인 행동 조건부 예측 일관성(Action-Conditioned Predictive Consistency, ACPC)을 소개한다.

원저자: Guo An, Zijing Wu, Honghua Dong, Yuhao Yan, Zixuan Gui, Haochong Chen, Shanzhao Ruan, Xiang Wang, Yurong Ling, Qi Tian

게시일 2026-08-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Guo An, Zijing Wu, Honghua Dong, Yuhao Yan, Zixuan Gui, Haochong Chen, Shanzhao Ruan, Xiang Wang, Yurong Ling, Qi Tian

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 비디오 게임을 하는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇이 게임의 규칙(물리 법칙, 목표, 그리고 자신의 행동이 세상에 어떤 변화를 주는지)을 학습하여 현명한 결정을 내릴 수 있도록 만들고 싶습니다. 하지만 함정이 하나 있습니다. 로봇은 카메라를 통해 세상을 보는데, 카메라는 까다로울 수 있습니다. 약간의 노이즈, 흐릿함, 혹은 갑작스러운 조명 변화가 로봇을 혼란에 빠뜨려 게임 자체가 바뀌었다고 착각하게 만들어서는 안 됩니다. 인공지능의 세계에서 이것은 '세계 모델(world models)'을 구축하는 과제입니다. 세계 모델이란 AI가 특정 행동을 취했을 때 다음에 어떤 일이 일어날지 예측하기 위해 만드는 내부적인 지도입니다.

최근에는 '결합 임베딩 예측 아키텍처(Joint-embedding predictive architecture, 줄여서 JEPA)'라고 불리는 인기 있는 유형의 AI가 이러한 지도를 만드는 데 선호되고 있습니다. JEPA는 게임 화면의 모든 픽셀을 다시 그려내는 대신(이는 마치 잔디 한 포기의 정확한 색깔까지 모두 외우려는 것과 같습니다), 장면의 압축되고 추상적인 요약을 학습합니다. 이것은 로봇이 "빨간 공이 벽 근처에 있다"라고 배우는 것과 비슷하며, 빨간색의 정확한 색조를 외우는 것과는 다릅니다. 이는 효율적이지만, 숨겨진 결함이 있습니다. 때때로 아주 작은 시각적 오류(예: 렌즈에 붙은 먼지 한 점)가 로봇의 요약 정보를 급격하게 변화시켜 엉뚱한 결정을 내리게 할 수 있다는 점입니다. 연구자들이 던지는 핵심 질문은 이것입니다: 로봇의 내부 지도가 진정으로 견고한 것인지, 아니면 조명이 바뀔 때마다 무너질 준비가 된 카드 집(house of cards)에 불과한 것인지 어떻게 알 수 있을까요?

이 논문은 이 로봇의 두뇌를 테스트하는 영리한 새로운 방법인 **행동 조건부 예측 일관성(Action-Conditioned Predictive Consistency, ACPC)**을 소개합니다. 당신이 깨끗하고 완벽한 게임 영상을 보고 있는 로봇이 있다고 상상해 보세요. 그다음, 똑같은 영상에 노이즈(정전기나 흐림 효과 등)를 약간 추가해서 보여줍니다. 연구자들은 로봇에게 두 상황 모두에서 정확히 동일한 일련의 움직임을 수행하도록 지시했을 때, 로봇의 미래 예측이 서로 얼마나 가깝게 유지되는지 묻습니다. 만약 로봇이 똑똑하고 견고하다면, 시작된 그림은 약간 다르더라도 두 가지 미래 경로는 매우 유사해야 합니다. 만약 로봇이 취약하다면, 두 경로는 멀리 떨어져서 혼란을 야기할 것입니다.

저자들은 단순히 이 단일 비교만을 살펴보는 것이 아니라, 로봇의 성능을 요약할 수 있는 두 가지 구체적인 '건강 검진' 방법을 개발했습니다. 첫 번째는 **불변 반경(Invariance Radius, IR)**입니다. 이것은 입력값이 노이즈가 섞였을 때 로봇의 상상력이 얼마나 흔들리는지를 측정하는 것이라고 생각하면 됩니다. 낮은 IR은 좋은 결과입니다. 즉, 로봇의 예측이 안정적이고 서로 가깝게 유지된다는 뜻이며, 이는 마치 줄타기 곡예사가 크게 흔들리지 않는 것과 같습니다. 두 번째 검사 방식은 **분리율(Separation Rate, SR)**입니다. 이것은 안전망입니다. 우리는 로봇이 모든 차이를 무시할 정도로 너무 안정적이기를 원하지 않습니다. 만약 로봇이 고장 났다면, 어떤 상황을 보더라도 똑같이 지루한 미래만을 예측할 수도 있습니다(이를 '붕괴된' 표현이라고 합니다). SR은 노이즈가 추가된 후에도 로봇이 여전히 차이점을 구별할 수 있는지(예: 공이 왼쪽에 있는지 오른쪽에 있는지)를 확인합니다. 높은 SR은 로봇이 눈을 뜨고 중요한 세부 사항을 여전히 구별해내고 있음을 의미합니다.

연구자들은 이 아이디어를 미로 찾기부터 물체 밀기까지 다양한 네 가지 로봇 제어 작업에 테스트했습니다. 그들은 로봇 모델이 시각적 노이즈를 처리하도록 훈련되었을 때, IR은 낮아지고(더 안정적이 됨) SR은 높아진다는 것을 발견했습니다. 더 중요한 점은, 만약 로봇의 예측이 서로 가깝게 유지된다면(낮은 ACPC), 미래 예측의 오차와 계획 결정 비용이 급격하게 변하지 않는다는 것을 수학적으로 증명했다는 것입니다. 즉, 카메라가 더러워졌을 때 로봇의 상상이 흩어지지 않는다면, 값비싼 실수를 저지를 가능성도 훨씬 낮아집다는 뜻입니다.

또한 그들은 이 진단 도구가 특정 설계에 국한되지 않고 다양한 유형의 로봇 두뇌 전반에 걸쳐 작동한다는 것을 보여주었습니다. 다른 아키텍처에 대해 테스트했을 때도 동일한 패턴이 나타났습니다: 시각적 스트레스 상황에서의 성능이 좋아지면 낮은 IR과 높은 SR을 보였습니다. 그들이 이 문제를 영원히 해결했다고 주장하는 것은 아니지만, 연구 결과는 행동에 따라 예측된 미래가 얼마나 드리프트(drift)하는지를 확인하는 것이, 어떤 모델이 정말로 예측 불가능한 실제 세상을 맞이할 준비가 되었는지 식별하는 강력한 방법임을 강력하게 시사합니다. 이는 마치 배가 가라앉지 않기를 단순히 바라는 것이 아니라, 폭풍우가 몰아칠 때도 나침반이 여전히 북쪽을 가리키는지 확인하는 것과 같습니다.

기술 요약: 행동 조건부 예측 일관성을 통한 JEPA 월드 모델 진단

문제 정의

결합 임베딩 예측 아키텍처(JEPA)는 원시 픽셀을 재구성하는 대신 압축된 잠재 공간에서 타겟 표현을 예측함으로써 월드 모델을 학습한다. 이러한 설계는 불필요한 시각적 세부 사항을 모델링하는 것을 피할 수 있게 해주지만, 학습된 표현이 시각적 섭동(perturbation)에 대해 강건하다는 보장을 제공하지는 않는다. 현재의 진단 방식에는 중대한 격차가 존재한다. 인코더 수준의 거리나 단일 단계(single-transition) 지표는 시각적 섭동이 다단계 롤아웃(multi-step rollouts)을 통해 어떻게 전파되는지를 포착하지 못한다. 구체적으로, 섭동은 초기 인코딩된 표현이 유사해 보이더라도, 동일한 액션 시퀀스 하에서 예측된 궤적을 변화시켜 액션 조건부 예측과 플래너 비용(planner costs)을 크게 변화시킬 수 있다. 핵심 문제는 깨끗한 히스토리(clean history)와 시각적으로 섭동된 뷰(visually perturbed view)의 예측 궤적이 동일한 액션 시퀀스에 의해 앞으로 전개될 때 얼마나 멀어지는지를 결정하는 것이다.

방법론

행동 조건부 예측 일관성 (ACPC)

저자들은 **행동 조건부 예측 일관성(Action-Conditioned Predictive Consistency, ACPC)**을 진단 지표로 도입한다. ACPC는 동일하게 기록된 액션 시퀀스( $a$ ) 하에서 롤포워드(roll forward)되는 두 개의 예측 궤적, 즉 깨끗한 히스토리( $h$ )로부터 생성된 궤적과 시각적으로 섭동된 뷰( $\tilde{h}$ )로부터 생성된 궤적 사이의 발산을 측정한다.

메커니즘: 동결된 인코더가 $h$ 와 $\tilde{h}$ 를 잠재 상태 $z$ 와 $\tilde{z}$ 로 매핑한다. 그 후 동결된 행동 조건부 예측기가 이 상태들을 $H$ 단계 동안 롤포워드한다.
지표: ACPC는 깨끗한 롤아웃과 섭동된 롤아웃의 투영된 잠재 궤적 간의 가중 유클리드 거리를 계산한다.
이론적 경계: 본 논문은 ACPC가 다단계 예측 오차의 섭동 유발 변화를 경계함을 증명한다(Proposition 1). 또한, 후보 액션 시퀀스를 평가할 때, ACPC는 예측된 비용의 변화를 경계한다(Proposition 2). 이러한 경계는 분포적 또는 매끄러움(smoothness) 가정을 요구하지 않고 개별 쌍에 대해 성립한다.

복합 진단: IR 및 SR

체크포인트 전체에 걸쳐 ACPC를 요약하기 위해 저자들은 두 가지 상호 보완적인 척도를 정의한다.

불변 반경 (Invariance Radius, IR): 이는 쌍을 이룬 롤아웃이 시각적 섭동에 대해 갖는 민감도를 요약한다. 이는 많은 히스토리 앵커들에 대한 정규화된 ACPC 값의 분위수(quantile, 예: 90번째)로 계산된다. 낮은 IR은 섭동된 뷰가 깨끗한 대응물과 가깝게 유지됨을 나타낸다.
분리율 (Separation Rate, SR): 이는 모델이 서로 다른 상태 간의 구분을 유지하는지 확인한다. 이는 롤아웃 거리가 IR 및 특정 마진(margin)을 초과하는 서로 다른 상태 쌍의 비율을 측정한다. 높은 SR은 서로 다른 상태들이 롤아웃 후에도 여전히 구별 가능함을 나타낸다.

저자들은 IR만으로는 불충분하다고 강조하는데, 모든 상태가 동일한 점으로 매핑되는 붕괴된 표현(collapsed representation)의 경우 낮은 IR을 보이지만 제어(control)를 지원하는 데 실패하기 때문이다. 반대로, 높은 SR만으로는 섭동에 대한 강건성을 보장할 수 없다. 강건한 체크포인트는 낮은 IR과 높은 SR을 모두 보여야 한다.

평가 프로토콜

본 방법론은 LeWM(Learning World Models) 제품군과 PLDM 아키텍처를 바탕으로 네 가지 시각적 제어 작업(TwoRoom, PushT, Reacher, OGBench-Cube)에서 평가된다.

섭동: 실험에는 가우시안 노이즈(Gaussian noise), 가우시안 블러(Gaussian blur), 이미지 리사이징(image resizing)이 활용된다.
스크리닝: "체크포인트 스크린(checkpoint screen)"은 상대적 IR(증강되지 않은 베이스라인과 비교됨) 및 SR에 대한 임계값을 사용하여 정의된다. 체크포인트는 시각적 변화에 대한 민감도는 감소시키면서(낮은 상대적 IR) 상태 구분을 유지하는(높-SR) 모습을 보일 때 통과한다.

주요 기여

ACPC 도입: 본 논문은 깨끗한 히스토리와 섭동된 히스토리를 공유 액션 하에서 비교하는 쌍 단위 진단인 ACPC를 제안한다. 인코더 거리나 단일 단계 예측에 집중하는 기존 연구와 달리, ACPC는 롤아웃 수준의 효과를 포착한다.
이론적 경계: 저자들은 ACPC가 다단계 예측 오차의 변화와 예측된 플래닝 비용의 변화를 경계한다는 샘플 단위의 증명을 제공한다. 이러한 경계는 왜 ACPC가 다운스트림 플래닝 실패에 대해 유익한 정보를 제공하는지를 설명한다.
진단 프레임워크 (IR 및 SR): 본 논문은 ACPC를 요약하기 위해 불변 반경(IR)과 분리율(SR)을 정의한다. 이 프레임워크는 표현 붕괴를 명시적으로 방지하면서 시각적 변화에 대한 민감도를 측정한다.
실증적 검증:
- 쌍 수준(Pair-Level): ACPC는 인코더 이동이나 단일 단계 ACPC만을 사용하는 베이스라인보다 예측 오차의 드리프트와 섭동으로 인해 발생하는 "선택 후회(selection regret, 추가 비용)"를 예측하는 데 있어 성능이 우수함을 보여준다.
- 체크포인트 수준: 네 가지 작업에 대해, 낮은 IR과 높은 SR을 가진 체크포인트는 가우시안 노이즈 하에서 플래닝 성능을 회복하는 데 성공했다.
- 일반화: 낮은 IR-높은 SR 패턴은 다른 아키텍처(PLDM)에서도 유효하며, 비가우시안 섭동(블러 및 리사이즈)으로 확장 가능하다.

결과

예측 오차 및 플래닝 비용: 교차 검증 실험에서, 다단계 ACPC를 회귀 모델에 추가하는 것은 인코더 이동이나 단일 단계 ACPC만을 사용하는 베이스라인보다 예측 오차의 드리프트와 CEM 플랜 변경에 따른 추가 비용을 예측하는 오차를 유의미하게 감소시켰다.
회복 식별: LeWM에서 IR 및 SR에 대한 임계값을 설정하여, 홀드아웃(held-out) 작업에서 가우시안 노이즈 하의 플래닝 성능을 회복한 체크포인트를 성공적으로 식별해냈다.
표현 붕괴 탐지: 특정 훈련 가중치로 인해 표현 붕괴가 발생한 사례 연구에서, IR은 낮게 유지되었으나(낮은 민감도 표시) SR은 0에 가깝게 떨어져, 상태 구분을 유지하는 데 실패했음을 정확히 식별하였다.
아키텍처 및 섭동 교차 검증: 낮은 IR, 높은 SR의 상관관계는 PLDM에서도 관찰되었다. 또한, 결합 IR-SR 점수 변화( $\Delta S$ )는 블러 및 리사이즈 하에서의 플래닝 성공 이득과 상관관계가 있었으며, 이는 해당 지표가 가우시안 노이즈에 국한되지 않음을 시사한다.

의의 및 주장

본 논문은 행동 조건부 예측 일관성이 정적인 표현 분석을 넘어 월드 모델에 필요한 진단 도구를 제공한다고 주장한다. 쌍을 이룬 관측치를 동일한 액션 하에서 앞으로 전개함으로써, ACPC는 시각적 섭동이 역학 모델(dynamics model)을 통해 어떻게 전파되는지를 드러내며, 표현의 안정성과 플래닝 성능을 직접 연결한다.

저자들은 다음과 같이 단언한다:

다단계 ACPC는 인코더 전용 및 단일 단계 비교가 놓치는 다운스트림 효과를 포착한다.
IR과 SR의 조합은 훈련을 다시 하거나 진단 단계에서 실제 미래 상태(ground-truth future states)에 접근할 필요 없이, 강건한 체크포인트를 식별할 수 있는 실용적인 "스크린"을 제공한다.
이 진단 도구는 아키텍처에 구애받지 않으며(LeWM 및 PLDM 모두에서 유효), 다양한 유형의 시각적 변화에 대해 강건하다.

본 논문은 ACPC가 진단 도구일 뿐 플래너 자체를 수정하는 것이 아니라는 점에서 그 범위를 겸허하게 제한하고 있다. 이론적 경계는 특정 쌍과 고정된 후보 풀에 적용되며, 경험적 스크리닝 결과는 평가된 시각적 변화 및 상태 레이블에 특화되어 있다. 이 연구는 절대적인 강건성을 인증한다고 주장하는 것이 아니라, 섭동 하에서의 플래닝 성공과 강력하게 상관되는 유익한 지표를 제공하는 것을 목적으로 한다.