기술적 요약: 예측 - 인과적 간극

문제 제기

이 논문은 세계 모델과 신경 상태 공간 모델부터 차기 토큰 예측을 통해 학습된 대규모 언어 모델 (LLM) 에 이르기까지 다양한 분야에서 지배적인 패러다임인 예측적 표현 학습의 근본적인 실패 모드를 다루고 있습니다. 주류 전제는 관찰치에 대한 예측 오차를 최소화하는 것이 학습된 표현이 근본 시스템의 인과 구조를 자연스럽게 포착하게 만든다는 것입니다.

저자들은 "시스템"($s$) 을 모델러가 관심 있는 자유도로, "환경"($e$) 을 모든 다른 변수로 정의함으로써 이 전제를 도전합니다. 그들은 환경 모드가 시스템 모드보다 느리거나 덜 노이즈가 있을 때, 최적의 예측적 표현이 시스템을 추적하지 않고 대신 환경을 추적함을 보여줍니다. 이러한 현상을 예측 - 인과적 간극이라고 명명합니다. 이는 인과적 목적 함수가 아닌 예측적 목적 함수를 최적화할 때 발생하는 인과적 충실도 (시스템 자유도에 할당된 인코더 민감도의 비율) 의 감퇴를 의미합니다.

방법론

저자들은 이 간극을 특징짓기 위해 3 단계 분석 접근법을 사용합니다:

1. 이론적 증명 (불가능성 정리):

   • 저자들은 모든 선형 인코더를 포함하는 임의의 모델 클래스에 대해, 인구 예측 리스크의 모든 최소화자가 시스템 부분 공간과 엄격하게 불일치하는 안정적인 선형 - 가우시안 역학이 존재함을 증명하는 정리 1을 제시합니다.
   • 이 성질을 보이는 역학의 집합이 매개변수 공간에서 열린 집합이며 양의 측도를 가진다는 것을 보여줍니다. 즉, 이는 드문 모서리 사례가 아니라 일반적인 속성임을 의미합니다.
   • 계 2는 모델 용량을 증가시키는 것 (모델 클래스를 확대하는 것) 이 이 문제를 해결할 수 없음을 증명합니다. 이는 단지 리스크를 더 낮출 뿐이며, 비인과적 (환경 지배적) 인코더에 대한 헌신을 더욱 강화할 뿐입니다.

2. 대규모 선형 - 가우시안 실험:

   • 539 가지 선형 - 가우시안 역학 구성에 대한 매개변수 스윕을 수행하여, 2 층 MLP 인코더를 사용한 2,695 개의 독립적인 학습 실행을 완료했습니다.
   • 실험은 인과적 충실도 ($|\partial \phi / \partial s| / (|\partial \phi / \partial s| + |\partial \phi / \partial e|)$) 와 예측 오차를 측정했습니다.
   • 확장 효과를 테스트하기 위해 고차원 확장 ($N=10, 50, 100$개의 환경 모드) 을 분석했습니다.

3. 비선형 역학 검증:

   • 숨겨진 오렌슈타인 - 울렌벡 환경에 결합된 더핑 진동자에 단일 층 GRU 예측기를 학습시켰습니다.
   • 두 가지 학습 조건을 비교했습니다: 제약 없는 (전체 상태를 예측) 과 운영적 그라운딩 (손실을 시스템 관측 가능량으로만 제한).
   • 환경 분포 이동 하의 분포 외 (OOD) 평가를 통해 견고성을 테스트했습니다.

주요 결과

1. 선형 시스템에서의 체계적 실패

• 160 개의 결정론적 선형 구성에 대한 스윕에서, 최적 인코더가 시스템 (뉴질랜드/NZ 인코더) 에 정렬된 경우는 대각선, 비결합 사례인 25% 에 불과했습니다.
• 75% 의 경우 (모든 0 이 아닌 비대각선 결합) 에 최적 인코더는 시스템 축에서 벗어났습니다.
• 정보 병목 (IB) 정규화를 테스트했으나 실패했습니다. 압축 최적 방향은 예측 최적 방향과 정렬되어 환경 편향을 교정하기보다 오히려 강화했습니다.

2. 신경망 증거

• 2,695 개의 학습 실행 전반에 걸쳐, 최적 신경망 인코더의 평균 인과적 충실도는 0.49였으며, 구성 중 0.70 을 초과한 경우는 2.5% 에 불과했습니다.
• 신경망은 최적 선형 인코더보다 99.3% 낮은 예측 오차를 달성했으나, 이 개선된 예측 성능은 인과적 인코딩으로부터 더 먼 표현에 해당했습니다.
• 고차원 붕괴: 환경 차원 수 ($N$) 가 100 으로 증가함에 따라 인과적 충실도는 $\sim 10^{-8}$ (실질적으로 0) 로 붕괴되었고, 예측 오차 간극은 92% 로 증가했습니다. 최적 인코더는 "인과적으로 맹목"이 되었습니다.

3. 비선형 확인 및 운영적 그라운딩

• 비선형 더핑 - GRU 작업에서, 제약 없는 예측기는 **55%**의 작업에서 환경 지배적 표현을 학습한 반면, 운영적 그라운딩 하에서는 **24%**에 그쳤습니다.
• OOD 견고성: 환경 분포 이동 하에서, 제약 없는 모델은 중앙값 평균 제곱 오차 (MSE) 가 1.82$\times$ 증가한 반면, 그라운딩된 모델은 1.00$\times$로 안정적으로 유지되었습니다.
• 논문은 운영적 그라운딩 (손실을 시스템 관측 가능량으로 제한) 이 간극을 부분적으로 억제하지만, 아키텍처에 명시적인 시스템 - 환경 경계가 없으면 인과적 충실도를 완전히 회복할 수 없다고 지적합니다.

중요성과 주장

이 논문은 예측 - 인과적 간극을 최적화 아티팩트, 유한 데이터 문제, 또는 스케일링으로 해결 가능한 문제가 아닌 학습의 구조적 한계로 식별한다고 주장합니다.

• 스케일링 법칙: 저자들은 경험적 스케일링 법칙 (매개변수/데이터에 따른 손실의 부드러운 멱함수 감쇠) 이 "잘못된 양"을 정량화한다고 주장합니다. 이는 인과 구조로부터 벗어남을 동반할 수 있는 예측 리스크의 감소를 측정합니다. 스케일링은 "잘못된 질문에 대한 답을 더 날카롭게" 만듭니다.
• 자기지도 학습 목적 함수: 이 실패는 분할되지 않은 관찰 공간에서 손실을 계산하는 모든 목적 함수에 내재되어 있습니다. 마스크된 자동 인코딩, 결합 임베딩 예측 아키텍처 (JEPA), 또는 대비 학습을 사용하든, 손실 함수에 명시적인 시스템 - 환경 구분이 없으면 환경 지배적 최소화자가 허용됩니다.
• 운영적 인터페이스: 논문은 인과 구조를 회복하려면 "운영적 인터페이스"가 필요하다고 주장합니다. 즉, 어떤 자유도가 시스템에 속하며 인코더 입력으로 허용되는지를 명시하는 것입니다. RLHF, 지시 미세 조정, 검증 가능한 보상 사후 학습과 같은 기법들은 정렬 오버레이가 아니라, 잘 정의되지 않은 예측 문제를 잘 정의된 식별 문제로 변환하는 데 필요한 운영적 인터페이스로 간주됩니다.

결론적으로, 이 논문은 복합 시스템의 다음 단계를 예측하도록 학습된 모델은 인과적으로 관련된 것이 아니라 (종종 환경처럼) 예측하기 가장 쉬운 것을 추적하도록 학습된다고 주장합니다. 이는 "잘못된 문제에 대한 올바른 답"으로 설명됩니다.