기술적 요약: 관찰을 통한 세계에 대한 이론화 학습

1. 문제 제기

현대 AI 세계 모델은 주로 "이해"를 잠재 공간이나 관찰 공간에서 미래 상태를 정확하게 예측하는 능력으로 실용화합니다. 그러나 발달 인지과학은 인간의 이해가 단순히 예측에서 비롯되는 것이 아니라, 언어 습득 이전에도 종종 세계가 작동하는 방식에 대한 내부적이고 재사용 가능한 이론을 구성함으로써 나타난다고 시사합니다. 이 "이론 이론 (theory-theory)"은 인지 과정이 관찰된 현상에 대한 구조화되고 구성적인 설명을 발견하는 것을 포함한다고 주장합니다.

현재 AI 시스템에는 중요한 격차가 존재합니다. 이러한 시스템들은 예측이나 재구성에 최적화되어 있으며, 종종 상관관계는 포착하지만 체계적 일반화에 필요한 구성적 구조가 결여된 얽힌 복합 변환을 학습합니다. 이러한 모델들은 관찰이 생성되는 방식과 이유를 설명하는 명시적이고 재사용 가능한 메커니즘을 발견하지 못하므로, 분포 변화 하에서나 알려진 요인들의 새로운 조합에 직면했을 때 취약해집니다.

해결하려는 핵심 문제는 다음과 같습니다: 인공지능 시스템이 언어, 작업 레이블, 또는 정답 프로그램 감독에 의존하지 않고 오직 원시적인 비텍스트 감각 입력을 관찰함으로써만 세계에 대한 명시적 설명 이론을 구성할 수 있을까요?

2. 방법론: 이론화 학습 (L2T) 및 NEO

저자들은 원시 관찰 쌍 $(x, y)$로부터 실행 가능한 구성적 프로그램 (이론) 을 추론하는 학습 패러다임인 **이론화 학습 (Learning-to-Theorize, L2T)**을 제안합니다. 여기서 이론은 소스 관찰 $x$를 목표 $y$로 변환하는 재사용 가능한 원시 연산들의 시퀀스로 정의됩니다.

L2T 를 구체화하기 위해, 본 논문은 다음과 같은 핵심 구성 요소를 가진 확률적 신경 모델인 **신경 이론가 (Neural Theorizer, NEO)**를 소개합니다.

2.1. 확률적 프레임워크

NEO 는 잠재 변수인 이산적 프로그램 $\tau$(원시 연산들의 시퀀스) 와 실행 궤적 $s$를 도입하여 조건부 확률 $p_\theta(y | x)$를 모델링합니다. 이 모델은 인코더가 $x$를 초기 잠재 상태로 매핑하고, "이론 프로그래머 (Theory Programmer)"가 원시 연산들을 순차적으로 선택하며, 공유된 전이 모델이 이러한 원시 연산들을 실행하여 최종 상태를 생성한 후 이를 디코딩하여 $y$를 재구성하는 생성 과정을 가정합니다.

2.2. 학습된 사고의 언어

NEO 는 사전 정의된 기호 언어를 사용하는 대신, 데이터로부터 직접 **사고의 언어 (Language of Thought)**를 학습합니다.

• 원시 연산 (Primitives): 모델은 벡터 양자화 VQ-VAE 코드북을 통해 연산의 이산적 어휘를 유도합니다. 이러한 원시 연산들은 사전 정의된 의미를 갖지 않으며, 잠재 상태를 어떻게 변환하는지에 따라 그 의미가 도출됩니다.
• 구성 (Composition): 이론 프로그래머 $q_\phi(z_{ik} | s_k, y)$는 목표 조건부 정책으로 작용하여, 잠재 상태를 목표 $y$로 유도하기 위해 다음 원시 연산을 선택합니다. 이를 통해 모델은 명시적 감독 없이 원시 연산들을 구조화된 프로그램으로 구성할 수 있습니다.

2.3. 최소 설명 길이 (MDL) 원칙

불필요하게 긴 프로그램을 생성하는 과도한 분해를 방지하고 가장 재사용 가능한 원시 연산 집합의 발견을 장려하기 위해, NEO 는 최소 설명 길이 (MDL) 원칙을 적용합니다. 모델은 재구성 정확도와 프로그램 간결성 사이의 균형을 맞추는 최적의 프로그램 길이 $k^*$를 선택합니다:
$$k^* = \arg \min_{k} \lambda_{MDL}^k \cdot \ell(y, \hat{y}_k)$$
이 메커니즘은 모델이 가장 짧은 정확한 설명을 찾도록 유도하여, 얽힌 시퀀스를 암기하는 것보다 근본적인 원시 연산들을 발견하는 것을 자연스럽게 선호하게 합니다.

2.4. 상태 그라운딩

핵심적인 혁신은 **상태 그라운딩 (State Grounding)**입니다. 중간 잠재 상태가 유효한 관찰에 대응되도록 하여 (모델이 데이터 매니폴드에서 벗어난 "단축" 전이를 학습하는 것을 방지), NEO 는 중간 상태에 대해 디코드 - 인코딩 일관성 손실 (decode-encode consistency loss) 을 부과합니다. 이는 추론된 프로그램의 모든 단계가 학습된 잠재 공간 내에서 의미 있는 변환임을 보장합니다.

2.5. 추론 및 테스트 시간 확장

테스트 시, NEO 는 재구성 오차가 임계값 아래로 떨어질 때까지 원시 연산들을 반복적으로 선택함으로써 이론을 추론합니다. 모델이 구성적 구조를 학습하기 때문에 **길이 일반화 (length generalization)**를 지원하여 훈련 중에 본 것보다 긴 프로그램을 처리할 수 있습니다. 또한, 이론 프로그래머의 확률적 특성으로 인해 **테스트 시간 검색 (NEO-S)**이 가능해지며, 이는 여러 후보 이론을 샘플링하여 다수결 투표로 선택함으로써 복잡하고 보지 못한 조합에 대한 정확도를 향상시킵니다.

3. 평가: 관찰 - 이론 유도 벤치마크 (OTIB)

저자들은 프로그램 감독 없이 원시 관찰로부터 재사용 가능한 이론을 추론할 수 있는지를 평가하기 위해 OTIB라는 벤치마크를 도입합니다.

• 설정: 훈련 데이터는 잠재 프로그램에 의해 생성된 관찰 쌍으로 구성됩니다. 훈련 세트는 가능한 프로그램 조합 중 $\alpha$ 비율을 포함하며, 나머지는 구성적 분포 외 (Compositional Out-of-Distribution, OOD) 데이터로 유지됩니다.
• 지표: 성능은 자기 설명 가능성 (Self-Explainability)(지지 쌍으로부터 목표 재구성) 과 전이성 (Transferability)(추론된 이론을 새로운 쿼리 입력 $x'$에 적용하여 $y'$ 예측) 으로 측정됩니다. 전이성은 instance-specific 매핑이 아닌 재사용 가능한 이론이 학습되었는지를 판단하는 핵심 지표입니다.
• 도메인: 이 벤치마크는 세 가지 도메인에서 구현됩니다:
  1. GridWorld: 운동 원시 연산이 있는 10x10 그리드.
  2. 산소 인자 분해: 소수 곱셈을 통한 정수 변환.
  3. 이미지 편집: 회전, 밝기, 마스킹과 같은 연산으로 변환된 CIFAR-10 이미지.

4. 주요 결과

실험 결과, NEO 는 모든 설정에서 단일 블록 베이스라인 (Discrete/Continuous VQ-VAE 및 $\beta$-VAE) 보다 현저히 우수한 성능을 보였습니다:

• 구성적 일반화: 베이스라인은 분포 내 (in-distribution) 성능은 높게 달성하지만, 구성적 OOD 작업에서는 전이성이 거의 0 에 수렴하며 붕괴됩니다. 반면 NEO 는 높은 전이성을 유지합니다 (예: GridWorld OOD 에서 약 0.93). 이는 NEO 가 입력 - 출력 매핑을 암기하는 것이 아니라 재사용 가능한 원시 연산들을 학습했음을 입증합니다.
• 길이 일반화: NEO 는 훈련 중에 관찰된 것보다 긴 프로그램 (예: GridWorld 에서 길이 8, 산술에서 길이 6) 으로 성공적으로 일반화하며, 이는 베이스라인이 완전히 실패하는 영역입니다.
• 원시 연산 발견: 분석 결과, NEO 는 훈련 중에 원시 연산들이 고립되어 관찰되지 않았더라도 (낮은 $\alpha$) 정답 원시 연산 집합을 회복합니다. 모델은 얽힌 훈련 예제들을 원자적이고 재사용 가능한 단위로 성공적으로 분해합니다.
• 테스트 시간 확장: 추론 시 샘플링 기반 검색을 활용하는 NEO-S 변형은 특히 장기 작업에서 성능을 더욱 향상시켜, 구성적 구조가 프로그램 공간의 효과적인 탐색을 가능하게 함을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 AI 학습 목표의 전환, 즉 예측 중심의 세계 모델에서 설명 주도적, 구성적 이해로의 전환을 위한 **개념 증명 (proof of concept)**으로 자신을 위치시킵니다.

• 이론적 기여: 기호 감독 없이 원시 비텍스트 관찰로부터 구조화되고 구성적인 이론들을 유도할 수 있다는 가설을 검증하여, AI 학습 목표를 발달 인지과학의 "아기는 과학자" 관점과 일치시킵니다.
• 방법론적 기여: 학습된 원시 연산을 가진 실행 가능한 프로그램으로 이론을 표현하고 중간 상태를 그라운딩하는 것이, 단일 블록 잠재 표현으로는 달성할 수 없는 체계적 일반화를 가능하게 함을 입증합니다.
• 겸손한 범위: 저자들은 명시적으로 한계를 인정합니다. 현재 공식은 작고 이산적인 원시 연산 집합과 짧은 프로그램 길이를 가정하므로, 매우 복잡하고 연속적이며 확률적인 실제 세계 역동성으로의 확장성은 제한적입니다. 실험은 통제된 합성 벤치마크로 제한됩니다. 이 연구는 배포 준비가 된 시스템이라기보다는 학습 메커니즘에 대한 기초 연구로 제시됩니다.

결론적으로, 본 논문은 학습을 "이론화 학습 (Learning-to-Theorize)"으로 프레임함으로써 AI 시스템이 재사용 가능하고 구성적이며 새로운 현상으로 일반화할 수 있는 내부 설명 구조를 획득할 수 있으며, thereby 더 풍부한 기계 이해의 개념에 한 걸음 더 다가설 수 있다고 주장합니다.