기술 요약: 비가우시안성(Non-Gaussianity) 상황에서의 식별 가능성

문제 정의

본 논문은 월드 모델(World Models)의 시간적 일관성(temporal consistency)에 존재하는 근본적인 한계를 다룬다. JEPA(Joint-Embedding Predictive Architectures)는 특정 조건 하에서 잠재 변수를 복구하는 데 성공하며 성과를 입증해 왔으나, 최근 Klindt, LeCun, 그리고 Balestriero [1]의 연구는 선형 식별 가능성(진정한 잠재 변수의 선형적 복구)이 세계의 잠재 역학이 가우시안 정적 과정(특히 Ornstein-Uhlenbeck 전이)을 따를 때만 달성 가능하다는 것을 확립했다.

저자들은 이러한 가우시안 경계가 물리적 모델링에 심각한 제약을 가한다고 주장한다. 과학적 관심 대상인 대부분의 물리 시스템(예: 투사체, 상전이, 난류 흐름)은 비가우시안(non-Gaussian)이며 평균 회귀적이지 않다. 이러한 시스템의 경우, 현재의 월드 모델에서 사용되는 통계적 정렬 메커니즘은 시간이 지남에 따라 단조 증가하는 표현 오차(representation error)를 발생시킨다. 결과적으로, 통계적 월드 모델은 모델 용량이나 학습 데이터의 양과 관계없이 예측이 신뢰할 수 없게 되는 유한한 "시간적 지평(temporal horizon)"을 갖게 된다. 본 논문은 비가우시안 시스템에 대해 근사 무한한 시간적 일관성을 달는 것이 가능한지, 가능하다면 어떤 건축적 특성이 필요한지를 규명하고자 한다.

방법론

본 논문은 통계적 정렬의 대안으로서 **물리 기반 기호 아키텍처(Physics-Grounded Symbolic Architecture, PGSA)**를 도입하고 정형화한다. 이 방법론은 세 가지 핵심 정의에 의존한다:

1. 원자 레지스트리(Atom Registry): 잘 정의된 도메인을 가진, 알려진 물리 법칙을 나타내는 결정론적이고 실행 가능한 함수 집합($A$).
2. 상태 그래프(State Graph): 유형화된 물리 변수(질량, 속도 등)를 노드로 하고, 하나의 변수를 다른 변수로부터 계산하는 레지스트리의 원자들로 라벨링된 엣지를 갖는 유향 그래프.
3. 인과적 기저(Causal Basis): 원자 레지스트리가 도메인의 조밀한 부분집합(dense subset) 상에서 세계의 진정한 전이 함수 $W$를 정확하게 재현하는 원자들의 합성을 포함하는 조건.

저자들은 이를 통계적 월드 모델(픽셀 공간, 잠재 공간, 트랜스포머 기반 모델 포함)과 대조한다. 통계적 모델은 스펙트럼 정렬(spectral alignment) 또는 변분 목적 함수를 통해 표현을 학습한다.

이론적 주장을 검증하기 위해 저자들은 다음을 수행하였다:

• 증명 정형화: 정리 2, 3, 4, 7의 대수적 핵심을 "sorry" 플레이스홀더 없이 Lean 4(Mathlib4 v4.31.0 사용)를 사용하여 정형화하였다.
• 경험적 비교: 7가지 물리 시스템(보존적 조화 진동기부터 카오스적 로렌츠 어트랙터까지)과 4가지 공학 시스템(솔레노이드, 플레이트, 캔틸레버, 히트 싱크)을 시뮬레이션하였다.
• 지표: 최적의 등방성 가우시안 표현과 실제 잠재 변수 간의 선형 식별 가능성($R^2$)을 측정하고, 오차가 고정된 허용 오차 $\delta$를 초과하는 시점인 시간적 지평($T^*$)을 계산하였다.

주요 기여

1. 식별 가능성 및 일관성에 대한 이론적 증명

본 논문은 PGSA에 관한 세 가지 주요 결과를 증명한다:

• 정리 2 (기호적 식별 가능성): 원자 레지스트리가 세계 생성기에 대한 인과적 기저를 포함하면, PGSA는 잠재 분포 $p(z)$에 관계없이 모든 물리적 영역에서 정확한 선형 식별 가능성($h(z)=z$)과 제로 단일 단계 오차($\epsilon_1=0$)를 달성한다.
• 정리 3 (근사 무한 시간적 일관성): PGSA의 경우, $t$ 단계 동안 누적된 오차는 오직 머신 정밀도($\mu$)와 시스템의 립시츠 상수(Lipschitz constant)에 의해서만 제한된다: $\epsilon_t \le t \cdot \mu \cdot \|W\|_{Lip}^t$. 비카오스 시스템의 경우, 이는 오차가 허용치를 초과하기 전까지 무제한의 전이를 허용한다.
• 정리 4 (통계적 시간 천장): 반대로, 비가우시안 시스템에 대해 스펙트럼 정렬을 통해 훈련된 모든 통계적 월드 모델은 오차가 고정된 허용치를 초과하는 유한한 시간 $T^*$가 존재한다. 이 지평은 가우시안 사전 확률에 의해 유도된 표현 편향 $\kappa(p)$에 의해 결정되며, 모델 용량에 의해 결정되지 않는다.

2. 실패 메커니즘: 표현 편향의 전파

본 논문은 통계적 모델이 왜 시간이 지남에 따라 실패하는지를 설명하기 위해 **보조정리 1 (표현 편향 전파)**을 도입한다. 이는 식별 불가능한 표현이 모델이 제거할 수 없는 상태 의존적 편향 $b(z)$를 설치함을 보여준다. 전이 연산자가 매 단계마다 이 편향된 상태($z + b(z)$) 위에서 작동하기 때문에, 오차는 가산적(또는 카오스 시스템의 경우 지수적)으로 누적된다. 이와 대조적으로, PGSA는 $t=0$에서 단 한 번의 지각 오차를 지불하지만, 그 이후에는 진정한 상태 위에서 작동하여 편향의 누적을 방지한다.

3. 패러다임의 공식 비교

저자들은 시간적 일관성 지평의 엄격한 순서를 설정한다(정리 5):
$$T^*_{\pi} \le T^*_{stat} < T^*_{PGSA}$$

• 픽셀 공간 모델은 비단사적(non-injective) 렌더링으로 인해 구조적으로 실패한다(명제 8).
• 잠재 공간 통계 모델(통계적으로 정렬된 잠재 변수를 사용하는 트랜스포머 포함)은 가우시안 사전 확률에 의한 통계적 천장 $T^*_{stat} = \delta / \kappa(p)$에 의해 제한된다.
• PGSA는 오직 머신 정밀도 $\mu$에 의해서만 제한되며, 통계적 모델과 비교했을 때 약 $10^{13}$배(일반적인 시스템 기준) 높은 지평 비율 $\kappa(p)/\mu$을 갖는다.

4. 근사적 식별 가능성

정리 7은 불완전한 원자 레지스트리의 경우를 다룬다. 저자들은 레지스트리가 역학의 일부($W_{known}$)만을 커버하는 경우, 오차가 커버되지 않은 잔차($W_{unknown}$)의 크기에 의해 제한됨을 증명한다. 결정적으로, 레지스트리에 새로운 원자를 추가하는 것은 재학습 없이 오차를 단조 감소시키며, 이는 새로운 물리적 지식을 통합하기 위해 전체 재학습이 필요한 통계적 모델과 대조된다.

결과

• 선형 식별 가능성: 7가지 물리 시스템에 대한 경험적 측정 결과, 시스템이 가우시안에서 벗어날수록 선형 식별 가능성이 저하됨을 확인하였다. 비카오스 시스템은 $R^2 \approx 0.90$을 보였으나, 카오스 시스템은 가우시안에 더 가까웠음에도($R^2 \approx 0.99$) 리아푸노프 불안정성(Lyapunov instability)에 의해 제한되었다.
• 시간적 지평:
  • 5가지 비카오스 시스템의 경우, PGSA의 지평은 머신 정밀도 경계($\approx 4.5 \times 10^{13}$ 단계)였다.
  • 2가지 카오스 시스템의 경우, 지평은 아키텍처적 한계가 아닌 근본적인 물리적 한계인 리아푸노프 시간($\approx 31$ 리아푸노프 시간)에 의해 제한되었다.
  • 통계적 모델(픽셀, 잠재, 트랜스포머)은 시스템의 비가우시안성에 의해 결정되는 훨씬 짧은 유한한 지평을 갖는 것으로 나타났다.
• 공학적 검증: PGSA 접근 방식은 4가지 공학 시스템(정자기학, 모드 해석, 정적 구조, 열전달)에서 유한 요소 허용 오차 내에서 폐쇄형 해(closed-form solution)를 재현함으로써 검증되었다.

의의 및 주장

본 논문은 **세계 역학의 인과적 생성기(causal generator)에 대한 기호적 접지(symbolic grounding)**가 근사 무한한 시간적 일관성을 달성하기 위한 충분 조건(그리고 비가우시안 영역에서는 유일한 조건)임을 확립한다고 주장한다.

주요 주장은 다음과 같다:

1. 통계적 정렬은 불충분하다: 비가우시안 물리 시스템의 경우, 아무리 많은 모델 용량이나 데이터가 있어도 통계적 정렬 목적 함수에 의해 도입된 구조적 편향을 극복할 수 없다. "가우시안 경계"는 통계적 월드 모델의 강력한 한계이다.
2. 아키텍처가 지평을 결정한다: 월드 모델의 시간적 일관성은 오차가 시스템에 유입되는 지점에 의해 결정된다. 통계적 모델은 매 단계마다 표현 편향을 재적용하지만, PGSA는 단 한 번의 유한한 지각 오차를 분할 상환(amortize)한다.
3. 트랜스포머는 만능 해결책이 아니다: 통계적으로 정렬된 잠재 변수에 의존하는 트랜스포머 기반 월드 모델(Sora, Genie, Cosmos, Dreamer 등)은 잠재 공간 모델과 동일한 통계적 천장의 제약을 받는다. 어텐션 메커니즘은 지평의 상수를 높일 수는 있지만, 편향 $\kappa(p)$를 제거할 수는 없다.
4. 구성적 경로: 본 연구는 인과적 기저(원자 레지스트리)가 존재할 경우, 실행을 통계적 지각으로부터 분리함으로써 장기 지평 일관성을 달성하는 구성적 경로를 제공한다.

저자들은 기호적 아키텍처가 모든 미래 모델보다 보편적으로 우월하다고 주장하는 것이 아니라, Klindt 등이 식별한 가정 하에서 통계적 식별 가능성이 장기적 일관성을 보장하지 못하는 반면, 기호적 인과 실행은 이를 보장한다는 점을 명시하고 있다.