Neural sampling from cognitive maps enables goal-directed imagination and planning

이 논문은 인지 지도, 확률적 계산, 구성적 코딩을 통합한 신경 샘플링 모델이 대규모 딥러닝 없이도 에너지 효율적인 에지 장치에서 새로운 문제를 해결할 수 있는 목표 지향적 상상력과 계획 능력을 구현할 수 있음을 보여줍니다.

핵심

이 논문은 **"인공지능이 인간의 뇌처럼, 적은 에너지로 새로운 문제를 창의적으로 해결하는 방법"**을 제안합니다.

기존의 강력한 AI(예: 대형 언어 모델) 는 엄청난 전기를 먹고, 새로운 일을 배우려면 처음부터 다시 공부해야 합니다. 하지만 우리 뇌는 20 와트(전구 하나 정도) 만으로 복잡한 일을 해내며, 낯선 상황에도 즉각 적응합니다. 이 연구는 **"뇌가 어떻게 그렇게 할 수 있는가?"**를 분석하고, 그 원리를 모방한 새로운 AI 모델을 만들었습니다.

이 모델을 이해하기 위해 세 가지 핵심 비유를 들어보겠습니다.

---

1. 마음속 지도 (인지 지도, Cognitive Map)

비유: "구름 위의 지도"

우리가 길을 찾을 때, 단순히 "A 에서 B 로 가라"는 명령만 외우는 게 아니라, 전체 지도를 머릿속에 그려놓고 "지금 내가 어디에 있고, 목표는 어디에 있는지"를 파악합니다.

• 기존 AI: "A 에서 B 로 가라"는 경로만 외웠다가, 중간에 길이 막히면 당황해서 다시 처음부터 계산해야 합니다.
• 이 연구의 모델: 마치 뇌가 가진 **지도 (인지 지도)**를 가지고 있습니다. 이 지도는 공간뿐만 아니라 추상적인 개념 (예: 문제 해결 단계) 까지 연결해 놓습니다. 그래서 길을 막아도 "아, 저쪽은 막혔네, 그럼 이쪽으로 우회하자"라고 즉시 생각할 수 있습니다.

2. 상상력 있는 시뮬레이션 (Neural Sampling)

비유: "꿈꾸는 나침반"

이 모델의 가장 큰 특징은 실제로 움직이기 전에 머릿속으로 시뮬레이션 (상상) 을 한다는 점입니다.

• 기존 AI: "가장 확률이 높은 길" 하나만 딱 계산합니다.
• 이 연구의 모델: 뇌처럼 **약간의 '노이즈 (잡음)'**를 섞어서 여러 가지 가능성을 동시에 상상합니다.
  • 마치 등산할 때 "어디로 갈까?"라고 생각할 때, "저기 숲길도 괜찮고, 저기 바위 길도 괜찮고..."라고 여러 갈래의 길을 동시에 머릿속으로 그려보는 것입니다.
  • 이 과정에서 **목표 (나침반)**를 향해 가는 방향을 잡습니다. 잡음이 섞여 있어도, 전체적인 흐름은 목표 지점을 향해 흐릅니다. 이를 통해 예상치 못한 장애물을 만나도 유연하게 우회하는 길을 찾아냅니다.

3. 레고 조립과 분해 (조합적 사고)

비유: "레고 블록으로 새로운 성 만들기"

인간은 본 적이 없는 새로운 모양의 성을 만들 수 있습니다. 왜냐하면 우리는 레고 블록의 조합 원리를 알기 때문입니다.

• 연구 내용: 이 모델은 2 차원 지도뿐만 아니라, 레고 블록을 조립하거나 떼어내는 추상적인 문제도 해결할 수 있습니다.
• 기존 AI: 레고 블록을 5 개로만 조인 것을 배웠다면, 8 개로 조인 새로운 문제는 못 풉니다.
• 이 연구의 모델: "블록을 떼어내면 모양이 어떻게 변하는가?"라는 **원리 (인지 지도)**를 배웠기 때문에, 5 개가 아닌 8 개, 혹은 100 개의 블록으로 이루어진 전혀 새로운 모양도 "어떻게 분해해야 목표 모양이 될까?"를 상상하며 해결합니다. 이는 마치 새로운 문제를 처음 봤을 때, "이건 저거랑 비슷하네, 저렇게 하면 되겠구나"라고 직관적으로 깨닫는 능력과 같습니다.

---

왜 이 연구가 중요한가요?

1. 에너지 효율성: 이 모델은 거대한 데이터 센터가 아니라, **작은 칩 (에지 디바이스)**에서도 작동할 수 있습니다. 배터리로 오래 가는 로봇이나 스마트폰에 적용 가능합니다.
2. 즉각적인 적응: 새로운 목표가 생기거나 환경이 바뀌어도, 다시 학습할 필요 없이 바로 새로운 길을 상상하고 찾아냅니다.
3. 창의성: 단순히 정답을 찾는 게 아니라, 여러 가지 해결책 (메뉴) 을 제시할 수 있습니다. "가장 빠른 길"뿐만 아니라 "가장 아름다운 길", "가장 안전한 길" 등을 상상해 낼 수 있는 것입니다.

한 줄 요약

"이 연구는 AI 에게 '지도'와 '상상력'을 심어주어, 거대한 전기를 쓰지 않고도 새로운 문제를 직관적이고 창의적으로 해결하게 만드는 방법을 제시했습니다."

이 모델은 마치 어둠 속에서 나침반을 들고 길을 찾는 탐험가처럼, 정해진 길만 걷는 기존 AI 와는 다르게, 어떤 장애물이 있어도 목표 지점을 향해 유연하게 길을 찾아내는 지능을 구현합니다.

기술 요약

1. 문제 정의 (Problem)

• 기존 AI 의 한계: 현재의 AI 시스템 (특히 강화학습과 대규모 언어 모델) 은 높은 에너지 소비, 대량의 훈련 데이터, 그리고 목표가 변경될 때마다 재학습이 필요하다는 단점이 있습니다.
• 뇌의 능력: 인간의 뇌는 약 20W 의 에너지로 작동하며, 온라인 학습이 가능하고, 이전에 경험하지 않은 새로운 상태나 목표를 가진 문제에도 즉시 적응하여 해결책을 상상하고 계획할 수 있습니다.
• 핵심 질문: 뇌가 이러한 능력을 발휘하기 위해 사용하는 데이터 구조, 알고리즘, 학습 방법은 무엇이며, 이를 인공 장치에 이식할 수 있는가? 특히, 새로운 문제 (미처 경험하지 않은 상태 포함) 를 해결하는 능력을 어떻게 구현할 것인가?

2. 방법론 (Methodology)

저자들은 뇌가 계획과 문제 해결을 위해 사용한다고 추정되는 세 가지 도구를 통합한 새로운 신경망 모델을 개발했습니다.

A. 핵심 구성 요소

1. 인지 지도 (Cognitive Maps): 상태와 행동 간의 관계 정보를 인코딩하여 경험을 조직화하는 데이터 구조. (공간적 지도뿐만 아니라 추상적 개념 공간에도 적용).
2. 확률적 계산 (Stochastic Computing): 노이즈를 활용하여 다양한 경로를 샘플링하고, 이를 통해 유연한 탐색을 가능하게 함.
3. 구성적 코딩 (Compositional Coding): 알려진 구성 요소들의 새로운 조합을 통해 무한한 새로운 상태와 목표를 표현하는 능력.

B. 모델 아키텍처: 생성형 인지 지도 학습기 (GCML)

기존의 결정론적 모델인 **인지 지도 학습기 (CML)**를 확장하여 **생성형 인지 지도 학습기 (Generative Cognitive Map Learner, GCML)**를 제안했습니다.

• 학습 메커니즘:
  • 자기지도 학습 (Self-supervised Learning): 역전파 (Backpropagation) 나 시간 역전파 (BPTT) 없이, 국소적 시냅스 가소성 (Hebbian learning 등) 만을 사용하여 온라인으로 학습합니다.
  • 임베딩 학습: 관찰 (Observation) 과 행동 (Action) 을 고차원 상태 공간에 매핑하는 임베딩 행렬 $Q$와 $V$를 학습합니다. 이는 미래 상태 예측 (Forward Model) 을 가능하게 합니다.
  • 역모델 학습: 상태 변화 ($s_{t+1} - s_t$) 를 유발한 행동 ($a_t$) 을 역으로 추론하는 역모델 행렬 $W$를 학습합니다. 이 행렬은 현재 상태와 목표 상태의 차이를 목표 방향으로 이동시키는 행동을 선택하는 데 사용됩니다.
• 생성 및 샘플링 과정:
  • 실제 환경 피드백 없이 내부적으로 생성된 상태 예측을 사용하여 가상 행동을 반복적으로 선택합니다 (Bootstrapping).
  • 행동 선택 과정에 가우시안 노이즈를 추가하여 확률적 생성 모델로 변환합니다. 이를 통해 단일 최적 경로가 아닌, 목표 지향적인 다양한 경로 (Trajectories) 의 집합을 샘플링할 수 있습니다.
  • 하드웨어 호환성: 메모리 내 컴퓨팅 (In-memory computing) 및 뉴로모픽 하드웨어에 최적화되어 있으며, 칩 온 학습 (On-chip learning) 이 가능합니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

논문은 세 가지 서로 다른 응용 분야에서 모델의 성능을 검증했습니다.

1) 2D 공간 내비게이션 및 상상 (Spatial Navigation)

• 실험: 설치류의 해마 (Hippocampus) 에서 관찰되는 '장소 세포 (Place cells)'의 재연 (Replay) 현상을 모방했습니다.
• 결과:
  • 학습된 인지 지도에서 목표 지향적 샘플링을 수행하여, 실제 이동 없이도 목표 지점까지의 다양한 가상 경로를 생성했습니다.
  • 학습 중 방문하지 않은 영역 (Unexplored regions) 을 통과하는 경로도 생성하여 강력한 일반화 능력을 입증했습니다.
  • 새로운 장애물이 생겼을 때 이를 우회하는 경로 (Rerouting) 를 유연하게 생성했으며, 이는 기존 MCMC 나 MCTS 와 같은 표준 샘플링 방법으로는 설명하기 어려운 뇌의 특성을 재현한 것입니다.

2) 추상적 개념 공간에서의 문제 해결 (Abstract Concept Spaces)

• 실험: 32 개의 노드로 구성된 무작위 그래프에서 시작 노드에서 목표 노드까지의 최단 경로 찾기 (k-shortest path problem).
• 결과:
  • GCML 은 단일 해답이 아닌, 다양한 길이의 유틸리티가 높은 해답들의 '메뉴'를 제공합니다.
  • 노이즈 수준을 조절하여 해답의 다양성을 제어할 수 있으며, 보상 (Reward) 이 부여된 특정 노드를 경유하는 최적 경로를 찾을 수 있었습니다.
  • 기존 강화학습 (RL) 이나 K*, mA* 같은 알고리즘과 비교했을 때, 재계획 (Replanning) 시 지연 시간이 거의 없으며, 계산 비용이 훨씬 낮았습니다.

3) 구성적 문제 해결 및 일반화 (Compositional Problem Solving)

• 실험: 2D 실루엣을 주어진 블록 (Building Blocks) 으로 분해하거나 조립하는 NP-hard 문제. 이는 인간 뇌의 구성적 사고 능력을 모방한 것입니다.
• 결과:
  • 5 개의 블록으로 학습한 모델이 8 개의 블록으로 구성된 새로운 실루엣을 성공적으로 분해했습니다. (학습 시 경험하지 않은 상태에 대한 일반화).
  • 학습된 인지 지도를 재사용하여, 비어 있지 않은 목표 실루엣으로의 분해나, 분해 후 블록을 다시 **조립 (Composition)**하는 작업도 성공적으로 수행했습니다.
  • 기존 RL(D3QN) 이나 모델 예측 제어 (MPC) 보다 적은 샘플 수로 더 높은 성공률을 보였으며, 학습된 인지 지도의 '방향 감각 (Sense of direction)'이 복잡한 조합 공간에서도 유효함을 입증했습니다.

4. 의의 및 중요성 (Significance)

• 에너지 효율성: 심층 신경망이나 대규모 언어 모델 없이도, 국소적 학습 규칙과 간단한 신경 회로만으로 복잡한 계획과 문제 해결이 가능함을 보였습니다. 이는 에지 디바이스 (Edge Devices) 에 적합한 저전력 AI 솔루션을 제시합니다.
• 생물학적 타당성: 해마의 재연 (Replay), 그리드 세포 (Grid cells), 그리고 목표 지향적 상상 (Goal-directed imagination) 에 대한 생물학적 데이터를 이론적으로 설명하고 실험적으로 검증하는 모델을 제시했습니다.
• 새로운 패러다임: 기존의 강화학습 (RL) 이나 확률적 추론 모델과 달리, 목표가 주어지면 즉시 적응하여 새로운 문제를 해결할 수 있는 "온라인 목표 지향적 샘플링"의 새로운 패러다임을 제시했습니다.
• 실용적 가치: 재학습 없이도 새로운 목표나 환경 변화에 즉시 대응할 수 있어, 동적 환경에서 작동하는 로봇이나 자율 시스템에 적용 가능성이 높습니다.

결론

이 논문은 **GCML(Generative Cognitive Map Learner)**을 통해, 뇌가 인지 지도, 확률적 샘플링, 구성적 코딩을 결합하여 어떻게 에너지 효율적으로 새로운 문제를 해결하고 상상하는지를 성공적으로 모델링했습니다. 이 접근법은 대규모 데이터와 계산 자원에 의존하지 않는 차세대 지능형 시스템의 핵심 기술로 주목받고 있습니다.