Neural Fields as World Models

이 논문은 감각 피질의 공간적 구조를 보존하는 동형 세계 모델 (isomorphic world models) 을 제안하여, 물리 예측을 추상적 상태 전이가 아닌 기하학적 전파로 수행함으로써 직관적 물리학과 신체 도식이 공간적으로 구조화된 신경 역학에서 공통 기원을 가질 수 있음을 보여줍니다.

핵심

이 논문은 **"뇌가 어떻게 물리 법칙을 예측하고, 자신의 몸을 인식하는가?"**라는 질문에 대한 새로운 답을 제시합니다.

기존의 인공지능 (AI) 모델들은 세상을 예측할 때, 마치 사진을 압축해서 작은 파일로 만드는 것처럼 세상의 공간적 구조를 버리고 추상적인 숫자만 남깁니다. 하지만 이 논문은 **"아니, 뇌는 그렇게 하지 않아. 뇌는 세상의 공간 구조를 그대로 유지하면서 예측해"**라고 주장합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 핵심 아이디어: "지도" vs "비밀 코드"

기존 AI (잠재 공간 모델):
마치 비밀 코드를 사용하는 통신원 같습니다.

• 공이 날아가는 모습을 보면, AI 는 그 이미지를 'A, B, C' 같은 숫자 코드 (잠재 벡터) 로 압축합니다.
• 다음 공의 위치를 예측할 때, 이 숫자 코드를 계산해서 'X, Y, Z'로 바꿉니다.
• 문제점: 이 방식에서는 공이 한 순간에 A 지점에서 C 지점으로 **'순간이동 (Teleportation)'**할 수 있습니다. 물리적으로 불가능한 일이지만, 숫자 계산상 가능하기 때문입니다.

이 논문의 제안 (신경장 모델):
마치 실제 지도 위에 물감을 떨어뜨리는 것 같습니다.

• AI 는 이미지를 압축하지 않고, 실제 공간 지도 (신경장) 위에 공의 모습을 그대로 유지합니다.
• 공이 움직일 때, 지도 위의 물감이 서서히 퍼져나가듯 이동합니다.
• 장점: 공이 A 에서 C 로 가려면 반드시 B 를 거쳐야 합니다. 물리 법칙 (연속성) 이 자연스럽게 지켜지는 것입니다.

2. 실험 1: 공을 잡는 연습 (물리 법칙의 학습)

연구진은 AI 에게 공이 떨어지는 모습을 보여주고, 눈을 감은 상태에서 (시각 입력 차단) 공이 어디로 떨어질지 예측하게 했습니다.

• 기존 AI: 공이 갑자기 벽을 뚫고 건너편으로 '순간이동'하거나, 제자리에서 덜덜 떨리는 등 엉뚱한 예측을 했습니다.
• 신경장 AI: 공이 포물선을 그리며 자연스럽게 이동하는 것을 예측했습니다. 마치 지도 위의 물결이 퍼지듯, 공의 궤적이 부드럽게 이어졌습니다.
• 결론: 공간 구조를 유지하면, AI 는 복잡한 물리 법칙을 따로 외울 필요 없이 자연스럽게 학습합니다.

3. 실험 2: "꿈속 훈련"의 힘 (상상력이 현실이 되다)

이 부분이 가장 놀랍습니다. AI 가 실제 세상과 접촉하지 않고, 오직 '상상 (꿈)'만으로도 공을 잡는 법을 배울 수 있는지 확인했습니다.

• 방법: AI 는 실제 공을 잡는 훈련을 전혀 하지 않았습니다. 대신, 자신이 만든 '가상 세상 (꿈)' 안에서 공이 떨어지는 것을 상상하며 팔을 움직이는 법을 배웠습니다.
• 결과:
  • 신경장 AI: 상상 속에서 배운 대로, 실제 세상에 나가자마자 공을 거의 완벽하게 잡았습니다. (약 81% 성공률)
  • 기존 AI: 상상에서 배운 것을 실제에 적용하려니 실패했습니다. (약 46% 성공률)
• 비유: 마치 비행 시뮬레이터를 잘 다룬 조종사가 실제 비행기를 탔을 때, 시뮬레이터가 현실과 너무 달라서 당황하는 것과 다릅니다. 하지만 이 연구의 AI 는 시뮬레이터가 현실과 똑같은 공간 구조를 가지고 있었기 때문에, 상상한 대로 바로 현실에서도 성공한 것입니다.

4. 실험 3: "내 몸"을 알아차리다 (몸의 지도 형성)

AI 는 "내 몸 (팔)"과 "외부 물체 (공)"를 구분하는 훈련을 받은 적이 없습니다. 그런데도 스스로 자신의 몸을 인식하게 되었습니다.

• 발생: AI 가 팔을 움직일 때, 팔이 움직이는 부분의 신경 활동이 특히 활발해졌습니다. 공이 움직일 때는 그렇지 않았죠.
• 의미: AI 는 "이건 내 몸이야"라고 배우지 않았습니다. 다만, **"내 명령 (모터 신호) 에 따라 움직이는 것은 내 몸"**이라는 통계적 패턴을 발견했을 뿐입니다.
• 비유: 어릴 적 아이가 자신의 손을 보며 "아, 이 손이 내 손이야!"라고 깨닫는 과정과 같습니다. AI 도 자신의 명령과 함께 움직이는 것을 보며 **스스로 몸의 지도 (Body Schema)**를 그렸습니다.

5. 왜 이 연구가 중요한가요?

이 논문은 뇌가 세상을 이해하는 방식에 대해 두 가지 중요한 통찰을 줍니다.

1. 공간은 버리지 마세요: 세상을 예측할 때 공간 구조를 압축해서 없애면, 물리 법칙을 제대로 이해할 수 없습니다. 뇌는 공간 구조를 유지한 채로 예측합니다.
2. 상상력이 실력이다: 뇌는 실제 행동을 하기 전에, 내부에서 '상상 (꿈)'을 통해 연습합니다. 이 '상상'이 현실과 똑같은 공간 구조를 가진다면, 상상만으로도 실력을 기를 수 있습니다.

요약

이 논문의 주인공인 **'신경장 (Neural Field)'**은 마치 실제 지도 위에 그려진 그림처럼 작동합니다.
기존 AI 가 "숫자 계산"으로 공의 위치를 유추했다면, 이 AI 는 **"지도 위의 물결"**이 자연스럽게 퍼지듯 공의 움직임을 예측합니다. 덕분에 AI 는 물리 법칙을 더 잘 이해하고, 상상만으로도 현실을 잘 다룰 수 있으며, 스스로 자신의 몸을 인식하게 됩니다.

결국, 우리가 공을 잡는 법을 배우는 방식과, 뇌가 공의 위치를 예측하는 방식은 본질적으로 같다는 것을 보여주는 흥미로운 연구입니다.

기술 요약

논문 개요: Neural Fields as World Models

이 논문은 기계 학습의 세계 모델 (World Models) 이 감각 입력을 잠재 공간 (latent space) 으로 압축하여 공간적 구조를 잃어버리는 기존 접근법의 한계를 지적하고, 등형성 (isomorphic) 세계 모델을 제안합니다. 저자는 뇌가 물리 법칙을 예측할 때 공간적 위상을 보존하는 신경 역학을 사용한다는 가설을 바탕으로, **신경장 (Neural Fields)**을 활용한 새로운 아키텍처를 설계하고 실험을 통해 검증했습니다.

---

1. 문제 제기 (Problem)

• 기존 세계 모델의 한계: 현재 머신러닝 기반 세계 모델 (VAE-LSTM, 트랜스포머 등) 은 시각 입력을 인코더를 통해 잠재 벡터로 압축합니다. 이 과정에서 **공간적 구조 (spatial structure)**가 손실됩니다. 잠재 공간 내에서는 정보가 연속적으로 전파되지 않고 임의의 차원 간 연결을 통해 "순간 이동 (teleportation)"이 가능해집니다.
• 물리적 현실과의 괴리: 실제 물리 세계에서는 물체가 공간적으로 연속적으로 이동하고, 힘은 인접한 객체에 작용합니다. 그러나 잠재 공간 모델은 이러한 공간적 제약을 따르지 않아, 예측된 물체의 궤적이 불연속적으로 점프하는 오류를 범할 수 있습니다.
• 생물학적 제약의 부재: 뇌는 공간적으로 조직화된 시각 피질 (예: MT 영역) 을 통해 물리 시뮬레이션을 수행하는 것으로 알려져 있습니다. 즉, 뇌는 추상적인 상태 전이가 아니라 공간적으로 조직된 표현 내에서 기하학적 전파를 통해 물리를 예측합니다. 기존 모델은 이러한 생물학적 제약 (공간적 구조 보존, 행동 통합) 을 충족하지 못합니다.

2. 방법론 (Methodology)

저자는 **신경장 (Neural Fields)**을 기반으로 한 등형성 세계 모델을 제안했습니다. 이는 감각 입력의 공간적 위상을 보존하며, 물리 예측을 추상적인 상태 전이가 아닌 기하학적 전파로 만듭니다.

• 핵심 아키텍처:

  • 신경장 (Neural Fields): Amari 의 신경장 방정식을 기반으로 합니다. 각 위치의 활동은 오직 **이웃한 공간 위치 (local lateral connectivity)**와의 상호작용을 통해만 진화합니다. 7x7 커널을 가진 합성곱 (Convolution) 을 사용하여 국소적 연결성을 구현합니다.
  • 모터 게이트 채널 (Motor-gated Channels): 운동 명령 (Motor commands) 을 통합하기 위해 도입된 메커니즘입니다. 특정 채널의 활동이 운동 신호에 의해 **가산적 (multiplicatively)**으로 조절됩니다. 이는 후두정엽 피질 (Posterior Parietal Cortex) 에서 발견되는 이득 조절 (Gain Modulation) 원리를 구현한 것입니다.
  • 동역학: 시각 입력은 초기 몇 프레임 동안만 제공되며, 이후에는 학습된 국소적 연결 커널과 운동 게이트를 통해 자율적으로 활동이 진화하며 미래 프레임을 예측합니다.

• 실험 환경:

  1. 탄도 궤적 예측 (Experiment 1): 중력 하에서 움직이는 공의 궤적을 예측 (32x32 시각 필드).
  2. 근골격계 팔 제어 (Experiment 2-3): 평면 이중 진자 팔을 제어하여 떨어지는 공을 잡는 작업 (120x45 시각 필드).

• 비교 대상: 기존 표준 아키텍처인 VAE-LSTM (인코더 - 잠재 공간 - LSTM - 디코더 구조) 과 비교 분석했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

세 가지 주요 실험을 통해 제안된 모델의 유효성을 입증했습니다.

실험 1: 국소적 연결성에서 비롯된 물리 예측 (Physics from Lateral Dynamics)

• 결과: 신경장 모델은 시각 입력이 끊긴 후에도 공의 궤적이 연속적인 포물선을 그리며 예측되었습니다. 반면, VAE-LSTM 은 예측 중 궤적이 불연속적으로 점프하는 "순간 이동" 현상을 보였습니다.
• 수치: 신경장은 최대 이동 거리가 2.06 픽셀에 불과한 반면, VAE-LSTM 은 21.97 픽셀로 10 배 이상 큰 오차를 보였습니다. 순간 이동 (3 픽셀 이상 점프) 발생률은 신경장 0% vs VAE-LSTM 15.4% 였습니다.
• 의미: 국소적 연결성 제약이 물리 법칙 (연속성) 을 학습하는 데 충분함을 증명했습니다.

실험 2: 꿈 훈련 (Dream Training) 의 현실 전이 (Transferable Motor Control)

• 방법: 실제 환경과 상호작용하지 않고, 학습된 세계 모델 내부에서 정책 (Policy) 을 훈련한 후 (Imagination), 이를 실제 물리 환경에 적용했습니다.
• 결과: 신경장 모델에서 훈련된 정책은 실제 환경에서 **81.5%**의 성공률 (공 잡기) 을 보였습니다. 이는 실제 환경에서 훈련된 정책 (89.0%) 에 근접하며, VAE-LSTM 기반 정책 (46.0%) 보다 약 2 배 높은 성능을 보였습니다.
• 의미: 공간적 구조가 보존된 표현은 실제 행동 계획에 훨씬 더 효과적이며, 시뮬레이션과 현실 간의 격차 (Sim-to-Real Gap) 를 줄여줍니다.

실험 3: 자발적으로 발달하는 신체 스키마 (Emergent Body Schema)

• 현상: 명시적인 "몸"과 "세계" 구별 학습 없이, 오직 **시 - 운동 예측 (Visuomotor prediction)**만 수행하게 한 결과, 모터 게이트 채널이 자발적으로 신체 선택적 인코딩을 발달시켰습니다.
• 결과: 관절 운동을 제어하는 'Reciprocal (R)' 채널은 팔 영역에서 구체적으로 활성화되는 반면, 공 영역에서는 덜 활성화되었습니다. 이는 팔이 운동 명령에 따라 움직이는 대상임을 모델이 스스로 발견했음을 의미합니다.
• 의미: 신체 스키마 (Body Schema) 가 선천적 지식이 아닌, 센서 - 운동 contingencies(연관성) 를 예측하는 과정에서 계산적으로 자연스럽게 발생할 수 있음을 보여줍니다.

4. 의의 및 결론 (Significance & Conclusion)

• 생물학적 타당성: 제안된 모델은 시각 피질의 위상적 조직 (Retinotopy) 과 후두정엽 피질의 이득 조절 메커니즘을 반영하여, 뇌가 세계를 모델링하는 방식에 대한 생물학적으로 타당한 구현체입니다.
• 직관적 물리 (Intuitive Physics) 의 기원: 물리 예측이 추상적인 추론이 아니라, 공간적으로 조직된 신경 활동의 전파를 통해 이루어진다는 것을 시사합니다. 이는 "직관적 물리 엔진"이 별도의 추론 시스템이 아니라 감각 - 운동 역학의 부산물일 수 있음을 보여줍니다.
• 표현의 형식: 잠재 공간 모델이 세계를 "기술 (Description)"하는 반면, 등형성 모델은 세계와 기하학적 형태를 공유하여 세계를 "구성 (Constitution)"합니다. 즉, 위치를 표현한다는 것은 필드 내 특정 위치를 활성화하는 것이며, 궤적을 예측한다는 것은 활동을 공간적으로 전파하는 것입니다.
• 미래 전망: 이 연구는 단순한 2D 환경을 넘어, 3D 공간 구조를 보존하는 신경장이나 다른 공간 구조 아키텍처 (ConvLSTM, 세포 자동자 등) 로 확장될 수 있으며, 복잡한 물리 상호작용과 추상적 추론 시스템 간의 인터페이스에 대한 새로운 통찰을 제공합니다.

요약하자면, 이 논문은 공간적 구조를 보존하는 신경장 (Neural Fields) 을 세계 모델로 사용함으로써, 물리 예측의 정확성을 높이고, 꿈 훈련을 통한 정책 전이 성능을 극대화하며, 심지어 신체에 대한 내적 표현 (Body Schema) 이 자발적으로 형성되는 메커니즘을 규명했습니다.