🤖 machine learning

LpWM: A Case for Sparse Representations in World Models

이 논문은 정류 분포 매칭(Rectified Distribution Matching)에 의해 정규화된 희소하고 비음수적인 잠재 표현을 활용하여, 기존의 조밀한 표현과 비교했을 때 예측기 복잡성을 크게 줄이고 계획 성공도를 높이는 동시에 해석 가능한 모드 분할 역학 구조를 드러내는 결합 임베딩 예측 아키텍처인 LpWM을 소개한다.

원저자: Yilun Kuang, Yash Dagade, Quentin Le Lidec, Lucas Maes, Randall Balestriero, Yann LeCun

게시일 2026-08-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yilun Kuang, Yash Dagade, Quentin Le Lidec, Lucas Maes, Randall Balestriero, Yann LeCun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

기계가 세상을 어떻게 움직이며 학습하는지 이해하기 위해, 아이에게 방을 탐색하는 법을 가르치는 상황을 상상해 보십시오. 아이는 단순히 정적인 지도를 암기하는 것이 아니라, 의자를 밀거나 문을 열었을 때 방이 어떻게 변하는지에 대한 정신적 모델을 구축합니다. 인공지능 분야에서 이 정신적 모델을 "세계 모델(world model)"이라고 부릅니다. 컴퓨터가 경로를 계획하거나 과업을 수행하기 위해서는 현재 상태와 자신이 취하는 행동을 바탕으로 다음에 어떤 일이 일어날지를 예측해야 합니다. 일반적인 접근 방식은 복잡한 시각적 세계를 "잠재 공간(latent space)"이라 불리는 더 단순한 내부 숫자 언어로 변환하는 것을 포함합니다. 이 숨겨진 공간에서 컴퓨터는 이 숫자들을 앞으로 이동시킴으로써 미래를 예측합니다. 그러나 지속적인 문제는 이러한 내부 표현이 너무 조밀해져서, 집합 내의 모든 숫자가 어떤 값을 가지게 됨으로써 예측 작업이 매우 어렵고 오류에 취약해진다는 점이었습니다.

연구자들은 이 내부 언어를 구조화하는 더 나은 방법이 있는지 오랫동안 궁금해해 왔습니다. 만약 모든 슬롯을 정보로 채우는 대신, 대부분의 숫자는 0이고 오직 소수만이 의미를 갖는 희소한(sparse) 언어를 사용한다면 어떨까요? 이 아이디어는 시스템이 선택적으로 정보를 처리하도록 강제함으로써, 세상이 변하는 규칙을 배우기가 더 쉬워질 수 있음을 시사합니다. 이것이 바로 NYU, 듀크 대학교, 브라운 대학교를 포함한 기관의 연구진이 수행한 새로운 연구에서 탐구하는 핵심 질문입니다. 그들은 이 희소한 접근 방식이 인공지능이 환경을 이해하고 제어하는 것을 더 쉽게 만들 수 있는지 테스트하고자 했으며, 특히 이러한 내부 숫자의 기하학적 구조가 작업의 난이도에 어떤 영향을 미치는지 살펴보았습니다.

연구팀은 이러한 희소 표현을 학습하도록 설계된 LpWorldModel이라는 새로운 시스템을 도입했습니다. 내부 코드의 모든 부분이 활성화되도록 권장했던 이전 방식들과 달리, 이 시스템은 코드 내의 대부분의 숫자가 정확히 0으로 유지되도록 보장하는 특정 수학적 제약 조건을 사용합니다. 그들은 두 가지 서로 다른 환경에서 이 시스템을 훈련시켰습니다. 하나는 점이 문을 통해 이동하는 단순한 내비게이션 작업이고, 다른 하나는 로봇 팔이 T자형 블록을 목표 위치로 밀어야 하는 더 복잡한 조작 작업입니다. 단순한 환경에서는 내부 코드가 조밀하든 희소하든 상관없이 시스템이 잘 작동했는데, 이는 움직임의 규칙이 기본적인 예측기조차 처리할 수 있을 만큼 충분히 단순했기 때문입니다. 그러나 결과는 더 어려운 밀기 작업에서 극적으로 바뀌었습니다.

연구진이 다양한 복잡성을 가진 예측기로 시스템을 테스트했을 때, 희소한 접근 방식이 뚜렷한 이점을 제공한다는 것을 발견했습니다. 예측 모델이 조밀하고 혼란스러운 표현을 처리하기에 충분하지 않은 중간 범위의 복잡성 단계에서, 희소 시스템은 밀집된 시스템이 실패한 지점에서 성공했습니다. 구체적으로, 밀기 작업에서 희소 시스템은 중간 정도의 용량을 가진 예측기를 사용할 때 밀집 시스템에 비해 계획 성공률을 최대 57%까지 향면시켰습니다. 이는 정보를 희소한 형식으로 조직함으로써 시스템이 세상의 역학을 모델링하는 데 필요한 복잡성을 줄였음을 시사합니다. 밀집 시스템은 복잡한 상호작용의 그물을 학습해야 해서 고전한 반면, 희소 시스템은 더 단순하고 직접적인 규칙 세트에 의존할 수 있었습니다.

연구진은 희소 표현이 정보를 놀라울 정도로 해석 가능한 방식으로 조직한다는 사실을 발견하여 성능 향상 이상의 성과를 거두었습니다. 시스템은 자연스럽게 세상의 "모드(mode)"와 상태의 구체적인 세부 사항을 분리했습니다. 에이전트가 있는 구역에 따라 물리 법칙이 변하는 테스트 환경에서, 시스템은 특정 숫자들의 존재 여부(즉, "지지 집합(support)")를 사용하여 자신이 어느 구역에 있는지 식별했으며, 이는 마치 물리 법칙의 유형을 결정하는 스위치처럼 작동했습니다. 그 후 0이 아닌 숫자들의 실제 값은 에이전트의 정확한 위치와 같은 연속적인 세부 사항을 포착했습니다. 이러한 분리를 통해 시스템은 단순히 변하는 픽셀의 덩어리를 보는 것이 아니라, 세상의 규칙이 바뀌었다는 것을 이해할 수 있었습니다.

로봇 팔이 큐브와 상호작용하는 더 복잡한 시나리오에서, 연구진은 희소 시스템이 물체의 물리적 상태(예: 팔이 큐브에 닿아 있는지 여부)를 추적할 수 있다는 것을 발견했습니다. 그러나 추가적인 가이드 없이는 시스템이 큐브와의 접촉이라는 느리고 중요한 사건보다는 팔 자체와 같이 빠르게 움직이는 부분에 집중하는 경항을 보였습니다. 시스템이 시간에 따라 안정적이 되도록 유도하는 간단한 제약 조건을 추가함으로써, 연구진은 시스템의 초점을 조정하여 희소 코드가 팔과 큐브 사이의 접촉을 추적하게 만들 수 있었습니다. 이는 희소 표현이 가장 물리적으로 의미 있는 사건을 강조하도록 조정될 수 있음을 보여주었으며, 내부 코드를 세상의 역학에 대한 읽기 가능한 지도로 탈바꿈시켰습니다.

이 연구는 희소 표현이 현재 인공지능에서 사용되는 밀집 방식에 대한 강력한 대안을 제공한다고 결론짓습니다. 시스템이 선택적으로 정보를 처리하도록 강제함으로써, 연구진은 미래를 예측하는 과업을 훨씬 더 쉽게 만드는 것이 가능하다는 것을 보여주었으며, 이를 통해 더 단순한 모델이 더 나은 결과를 달ことも 가능하게 했습니다. 이 결과는 내부 언어의 기하학적 구조가 매우 중요하다는 점을 시사합니다. 즉, 희소하고 구조화된 접근 방식은 밀집되고 구조화되지 않은 방식보다 시스템의 근본적인 규칙을 더 명확하게 드러낼 수 있습니다. 비록 시스템이 올바른 물리적 사건을 추적하도록 세심한 튜닝이 여전히 필요하지만, 이번 결과는 희소성이 더 효율적이고 해석 가능한 세계 모델을 향한 유망한 경로임을 나타내며, 잠재적으로 기계가 더 적은 계산 능력으로 복잡한 행동을 학습할 수 있게 해줄 것입니다.

기술 요약: LpWM: 월드 모델에서의 희소 표현(Sparse Representations)에 대한 논거

문제 정의

결합 임베딩 예측 아키텍처(JEPA)는 픽셀로부터 모델 기반 제어를 위한 유효한 접근 방식으로 부상했습니다. 이 방식은 인코더가 관측치를 잠재 공간(latent space)으로 매핑하고, 예측기가 액션(action) 하에서 잠재 역학을 전개(rollout)하여 모델 예측 제어(MPC)를 통한 계획(planning)을 수행합니다. 표현 붕괴(representation collapse, 상수 또는 저차원 부분 공간으로 퇴화하는 현상)를 방지하기 위해, 기존 방법들은 정보를 최대화하는 안티-콜랩스(anti-collapse) 손실 함수를 사용하며, 일반적으로 특징들을 등방성 가우시안(isotropic Gaussian)과 같은 최대 엔트로피 분포에 일치시킵니다. 이 과정은 모든 잠재 좌표가 0이 아닌 **밀집 표현(dense representations)**을 생성합니다.

그러나 밀집된 기하학적 구조가 제어된 역학을 모델링하는 데 최적인지는 여전히 불분명합니다. 본 연구가 다루는 핵심 질문은 **희소 표현(sparse representations)**이 액션 조건부 잠재 역학을 모델링하는 데 더 유리한 기하학을 제공하는지, 즉 성공적인 계획을 위해 필요한 예측기를 단순화하고 해석 가능한 역학 구조를 드러낼 수 있는지 여부입니다.

방법론

이론적 동기: 희소성을 통한 선형화

저자들은 충분히 고차원적인 희소 표현이 비선형 제어 역학을 선형 잠재 전이로 근사할 수 있다고 제안합니다.

명제 1: 콤팩트한 상태 공간과 리프시츠 연속(Lipschitz continuous) 역학에 대해, 잠재 역학이 정확히 선형( $z_{t+1} = P_\epsilon(a_t)z_t$ )이 되도록 하는 유한 차원의 원-핫(one-hot) 희소 인코딩이 존재한다. 디코딩 오차는 $(L+1)\epsilon$ 으로 제한된다(여기서 $L$ 은 리프시츠 상수이다).
따름정리 1: 인코딩 차원 $N$ 이 증가함에 따라, 롤아웃 오차는 $O(N^{-1/d})$ 로 소멸한다.
시사점: 정확한 원-핫 코드는 최적화하기 어렵지만, 이는 분산 희소 표현(비영(non-trivial) 비율의 좌표가 정확히 0인 형태)이 학습 가능한 완화 모델로서 역학 모델을 단순화할 수 있음을 시사합니다.

LpWorldModel (LpWM) 아키텍처

본 논문은 비음수(non-negative) 및 희소 잠재 코드를 학습하도록 설계된 JEPA 모델인 LpWM을 소개합니다.

인코더 ( $f_\theta$ ): 관측치를 잠재 임베딩으로 매핑하는 비전 트랜스포머(ViT).
예측기 ( $g_\phi$ ): 현재 상태와 액션을 주면 다음 잠재 상태를 예측하는, AdaLN-zero 액션 컨디셔닝을 사용하는 트랜스포머.
정류된 분포 매칭 정규화 (RDMReg): 붕괴를 방지하고 희소성을 유도하기 위해, 모델은 예측 오차 항과 정규화 항 $R(z)$ $R (z)$ 로 구성된 손실을 최소화합니다.
- $R(z)$ 는 잠재 특징의 주변 분포를 정류된 일반화 가우시안(Rectified Generalized Gaussian, RGG) 분포에 일치시킵니다.
- 형상 파라미터 $p=1$ 및 위치 $\mu=0$ 으로 설정하면, 타겟 분포는 정류된 라플라스(Rectified Laplace) 분포가 됩니다. $\ell_1$ 제약 조건 하에서의 이 최대 엔트로피 분포는 희소성을 촉진합니다.
- 손실 함수는 무작위 투영(random projections)을 통한 2-와서스타인(2-Wasserstein) 거리를 사용하여 인코더 출력 분포를 타겟 분포와 일치시킵니다.
활성화 함수: 인코더와 예측기 프로젝터 모두 재매개변수화된 ReLU(RepReLU)를 사용합니다. 순방향 패스에서는 표준 ReLU처럼 동작하여(정확한 0을 생성) 희소성을 확보하고, 역방향 패스에서는 GeLU 성분을 통해 그래디언트가 흐르게 하여 "Dying ReLU" 문제를 완화합니다.

계획 (Planning)

테스트 시, 훈련된 월드 모델은 MPC를 위한 역학 모델 역할을 합니다. 시스템은 현재 관측치와 목표 관측치를 각각 잠재 상태 $z_0$ 와 $z_g$ 로 인코딩한 후, 예측된 롤아웃과 목표 잠재 사이의 거리를 최소화하는 액션 시퀀스를 찾기 위해 교차 엔트로피 방법(CEM)을 사용합니다.

주요 기여

LpWorldModel (LpWM): 역학 모델링 및 계획을 위해 비음수 및 정확히 희소한 잠재 표현을 학습하는 RDMReg 기반의 JEPA 프레임워크.
잠재 선형화를 위한 희소 표현: 고차원 희소 코드가 비선형 역학을 선형 전이로 근사할 수 있다는 직관을 공식화하고, 이를 통해 실용적인 분산 희소 코드를 제안함.
예측기 복잡도 감소: 희소성이 성공적인 계획을 위해 필요한 예측기 용량을 낮춘다는 경험적 증거를 제시함. PushT 환경에서, 희소 LpWM은 중간 용량의 예측기를 사용할 때 밀집된 LeWM(SIGReg 사용)보다 성능이 크게 우수했습니다(최대 57% 높은 성공률). 고용량 예측기를 사용할 때는 성능이 대등해졌습니다.
모드 분해 잠재 역학 (Mode-Factored Latent Dynamics): 학습된 희소 표현이 다음과 같이 해석 가능한 요소로 역학을 조직함을 발견했습니다:
- 서포트 (Support, 이진): 이산적인 역학 레짐(예: 접촉 상태 또는 공간 구역)을 인코딩합니다.
- 크기 (Magnitudes): 연속적인 레짐 내 상태(예: 정밀한 위치)를 포착합니다.

실험 결과

환경

다음 환경에서 실험이 수행되었습니다:

Wall: 문을 통과하는 2D 내비게이션 작업 (단순 역학).
PushT: T자형 블록을 목표 위치로 미는 조작 작업 (복잡하고 접촉이 빈번한 역학).
Piecewise: 알려진 구간별 아핀(piecewise-affine) 역학을 가진 합성 2D 내비게이션 환경 (서로 다른 힘의 장을 가진 구역들).
OGB Bench-Cube: 로봇 팔이 큐브를 조작하는 작업 (접촉이 빈번함).

성능 분석 결과

예측기 용량 vs. 희소성:
- Wall 환경에서는 단순 선형 예측기(LTI)조차 밀집 및 희소 모델 모두에서 100%에 가까운 성공률을 보였는데, 이는 역학 자체가 이미 충분히 단순하여 희소성이 추가적인 이점을 제공하지 않았음을 나타냅니다.
- 역학 모델링이 더 어려운 PushT 환경에서는, 중간 용량의 예측기(예: MLP $\circ$ LTI, MLP $\circ$ LTV)를 사용할 때 희소 LpWM이 밀집된 LeWM을 실질적으로 압도했습니다. 성공률 격차는 24%에서 57%에 달했습니다.
- 고용량 예측기(Deep-AdaLN)를 사용하면 성능 격차가 줄어들었는데, 이는 표현력이 밀집된 기하학적 구조의 단점을 보완할 수 있음을 시사하지만, 모델 용량이 제한될 때는 희소성이 상당한 이점을 제공함을 보여줍니다.
타 정규화 기법에 대한 일반화: LpWM은 여러 예측기 제품군에 대해 VICReg(또 다른 안티-콜랩스 방법)를 사용한 밀집 JEPA 변형보다 우수한 성능을 보였으며, 이는 희소성의 이점이 LeWM에서 사용된 특정 가우시안 타겟을 넘어 확장됨을 의미합니다.
해석 가능성 (Piecewise & OGBench-Cube):
- Piecewise에서, 희소 코드의 이진 서포트는 실제 구역 정체(ground-truth zone identity)를 거의 완벽하게(94~99%) 디코딩한 반면, 크기(magnitude)는 에이전트의 연속적인 위치를 디코딩했습니다. 서포트 자카드 지수(Jaccard index)는 구역 내에서는 높게 유지되다가 경계에서 급격히 떨어지며 밑바닥의 역학 레짐 구조를 복구했습니다.
- OGBench-Cube에서 추가적인 제약 없이 서포트는 빠른 이펙터(effector)의 움직임을 추적하는 경향이 있었습니다. 그러나 시간적 자카드(Temporal Jaccard, TJ) 손실을 추가하자 서포트의 안정성이 높아졌고, 서포트가 단순히 움직임이 아닌 느린 물리적 레짐 변화(예: 접촉 이벤트)를 추적하게 되었습니다.

의의 및 주장

본 논문은 희소 표현이 제어를 위한 잠재 공간의 기하학에 있어 독특한 이점을 제공한다고 주장합니다:

역학의 단순화: 희소성은 액션 조건부 잠재 역학을 모델링하기 쉽게 만들어, 밀집 표현에서는 실패할 수 있는 상황에서도 더 단순한(낮은 용량의) 예측기가 성공적인 계획을 수행할 수 있게 합니다.
해석 가능성: 희소 코드는 자연스럽게 역학을 서포트(이산 레짐)와 크기(연속 상태)로 분리하여, 밀집 임베딩보다 더 해석 가능한 구조를 제공합니다.
실용성: 제안된 LpWM 프레임워크는 이산 범주형 잠재 공간(최적화가 어려운)을 요구하는 대신, 분포 매칭을 통해 연속적이고 비음수인 희소 코드를 학습함으로써 이러한 이점을 달성합니다.

저자들은 밀집 표현이 충분히 표현력이 높은 예측기와 함께라면 잘 작동하지만, 예측기 복잡도를 줄이고 해석 가능한 역학 구조를 드러내기 위해서는 희소 표현이 더 선호되는 기본 방식이라고 결론짓습니다. 특히 복잡하고 접촉이 빈번하거나 구간별로 나뉜 역학이 존재하는 환경에서 그러합니다.