기술 요약: 해마 - 내후각피질 영감 세계 모델의 구조 추상화와 일반화

문제 제기

인간은 경험을 구조화된 표현으로 추상화하여 다양한 맥락에서 패턴 추론과 지식 전이를 용이하게 하는 능력을 갖추고 있습니다. 생물학적 해마 - 내후각피질 (HPC-MEC) 회로는 공간과 개념적 공간 모두를 인코딩하는 것으로 알려져 있지만, 연속적이고 고차원적인 역동성으로부터 추상적 구조를 동시에 추출하는 메커니즘은 여전히 잘 이해되지 않고 있습니다. 신경과학의 기존 인지 지도 모델들은 종종 확장성에 어려움을 겪으며, 사전 지도 없이 고차원 실세계 시각 장면으로부터 추상적 구조를 직접 추출하는 방법을 입증하지 못합니다. furthermore, 현재의 세계 모델들은 전이 역동성과 감각 콘텐츠를 서로 얽히게 만들어 서로 다른 객체와 환경 간 구조적 패턴의 일반화 능력을 제한합니다.

이 연구는 두 가지 근본적인 질문에 답합니다:

1. 사전 지도 없이 모델이 어떻게 구체적인 감각 콘텐츠의 표현을 동시에 학습하고 시퀀스로부터 추상적 구조를 추출할 수 있는가?
2. 추출된 이러한 구조를 어떻게 다양한 객체와 환경 간에 견고한 구조적 일반화를 촉진하는 데 활용할 수 있는가?

방법론

저자들은 HPC-MEC 회로의 기능적 분업을 모방하는 계층적, 뇌 영감 세계 모델을 제안합니다. 아키텍처는 구조 추출을 위한 역모델과 예측 세계 모델을 위한 HPC-MEC 결합 모델이라는 두 가지 주요 구성 요소로 이루어져 있습니다.

1. 아키텍처 개요

이 모델은 사전 훈련된 다중 스케일 VQ-VAE 를 사용하여 관찰 임베딩 ($s$) 을 추출하는 원시 비디오 시퀀스를 기반으로 작동합니다. 핵심 처리는 두 가지 구별된 잠재 공간에서 발생합니다:

• 해마 (HPC): 콘텐츠가 풍부한 에피소드 정보를 인코딩합니다. 이는 구체적인 감각 세부 사항과 맥락을 포착합니다.
• 내후각피질 (MEC): 추상적 관계 구조를 인코딩합니다. 이는 속도 기반 경로 적분을 수행하기 위해 연속 어트랙터 신경망 (CANN) 역동성을 사용하여 구현됩니다.

2. HPC-MEC 결합 모델

이 모델은 두 가지 정보 흐름을 사용합니다:

• 시각 추론 흐름: 입력 프레임은 HPC 임베딩 ($p$) 으로 인코딩된 후 저차원 MEC 임베딩 ($g$) 으로 압축됩니다. 이 흐름은 현재 상태를 포착합니다.
• 생성 흐름: 모델은 MEC 임베딩에 잠재 전이를 적용하여 미래 상태를 예측합니다. MEC 역동성은 네트워크가 안정적인 활동 "범프 (bump)"를 유지하는 CANN 로 모델링됩니다. 잠재 전이 ($z_t$) 는 속도 연산자 역할을 하여 이 범프를 네트워크의 측정 축을 따라 이동시켜 다음 상태 ($g_{t+1}$) 를 생성합니다.
  • 업데이트 규칙은 다음과 같이 정의됩니다: $g_{t+1} = g_t \oplus f_{forward}(z_t, g_t)$, 여기서 $\oplus$ 는 위상 이동 연산자입니다.
• 시각 피드백: 자기회귀 경로 적분 고유의 오차 누적을 완화하기 위해 모델은 시각 피드백을 통합합니다. 새로운 관찰이 사용 가능한 경우, 관찰로부터 추론된 MEC 임베딩이 다음 예측 단계 전에 생성된 상태를 수정합니다.

3. 잠재 전이 추론을 위한 역모델

고차원 관찰에서 직접 매핑하는 대신, 역모델은 연속된 MEC 임베딩 ($g_t$ 및 $g_{t+1}$) 의 차이로부터 잠재 전이 ($z_t$) 를 추론합니다.

• $z_t = f_{inverse}(g_{t+1} \ominus g_t)$
• 추상적 MEC 공간의 차이에 대해 작동함으로써, 모델은 HPC 에 인코딩된 중복 시각 특징을 배제하고 저차원 전이 역동성을 분리합니다. 이는 효과적으로 "어떻게" 객체가 움직이는지 (구조) 와 "무엇"인지 (콘텐츠) 를 분리합니다.

4. 훈련 패러다임

이 모델은 명시적 행동 레이블 없이 관찰 시퀀스만을 사용하여 자기지도 방식으로 훈련됩니다. 훈련은 세 단계로 진행됩니다:

1. 1 단계: 관찰 임베딩을 재구성하기 위해 시각 추론 흐름과 디코딩 과정을 훈련하고, 정렬 및 정규화 손실을 통해 감각 입력과 자기운동 단서 간의 일관성을 강제합니다.
2. 2 단계: 역모델을 훈련하여 잠재 전이를 추론하고, 다음 MEC 임베딩을 예측하기 위해 전이 역동성을 학습합니다.
3. 3 단계: 전체 시스템을 공동으로 미세 조정하여 초기 상태와 추론된 잠재 전이 시퀀스에만 의존하는 경로 적분을 사용하여 자기회귀 생성을 수행합니다.

주요 기여

• 자기지도 HPC-MEC 세계 모델: 저자들은 역동성에 대한 명시적 사전 지식이 필요 없이 원시 비디오 시퀀스로부터 추상적 구조를 공동으로 추론하고 세계 모델을 학습하는 프레임워크를 소개합니다.
• 구조 추상화 분석: 기본 변환 역동성 (회전, 이동, 확대/축소) 을 벤치마크로 사용하여, 이 모델이 외관과 역동성을 성공적으로 분리함을 보여줍니다. 이는 주기성과 클래스 내 구조 공유를 나타내는데, MEC 임베딩은 서로 다른 객체 인스턴스 간 공유된 회전 특징을 포착하는 반면, HPC 임베딩은 객체별 고유성을 유지합니다.
• 구조적 일반화: 이 모델은 유사한 전이 역동성으로부터 공유 구조를 추출하고 이를 다양한 환경과 객체 범주 (제로샷 전이) 에서 유연하게 재사용할 수 있는 능력을 보여줍니다. 이는 MEC 에 인코딩된 추상적 구조와 HPC 에 저장된 콘텐츠 세부 사항을 통합함으로써 달성됩니다.

결과

이 모델은 훈련을 위해 Something-Something v2 (SSv2) 데이터셋에서 평가되었고, 3D 객체 전이 (COIL-100, MIRO, OmniObject3D) 및 시뮬레이션 로봇 환경 (Franka Kitchen, Block Pushing) 을 포함한 분포 외 (OOD) 데이터셋에서 테스트되었습니다.

• 예측 성능: 모델은 견고한 1 단계 및 자기회귀 예측을 달성합니다. 자기회귀 작업에서 시각 피드백의 포함은 누적된 경로 적분 오차를 수정함으로써 생성 품질을 크게 향상시킵니다.
• 구조 추상화: 정량적 분석은 MEC 임베딩 ($g$) 이 HPC 임베딩 ($p$) 보다 클래스 내 공유 구조를 포착하는 데 더 효과적임을 보여줍니다. MEC 임베딩으로 훈련된 디코더는 HPC 임베딩으로 훈련된 디코더보다 공유 역동성을 기반으로 객체 범주를 분류하는 데 더 높은 정확도를 달성합니다.
• 전이 디코딩: 모델에서 유도된 잠재 전이 ($z$) 는 HPC 또는 MEC 공간의 상태 전이와 비교하여 전이 유형 (회전, 이동, 확대/축소) 을 디코딩하는 데 가장 높은 정확도 (90.64%) 를 달성하여, $z$ 가 매우 의미론적으로 의미 있고 콘텐츠가 없는 구조를 포착함을 나타냅니다.
• 일반화: 이 모델은 소스 객체 (예: 노란 사과) 에서 타겟 객체 (예: 빨간 사과) 나 다른 장면으로 잠재 전이를 성공적으로 전이하여, 소스의 역동성과 일치하면서 타겟의 콘텐츠를 보존하는 시퀀스를 생성합니다. 이 모델은 OOD 설정, 특히 자연스러운 환경인 Franka Kitchen 에서 기저 모델 (LAPA, Moto, AdaWorld) 보다 우수한 성능을 발휘하며, 기저 모델들은 종종 실패하거나 정적 예측으로 퇴화합니다.
• 절차 분석 연구: 계층적 분리 (통합 잠재 공간) 나 CANN 역동성 (표준 MLP 로 교체) 을 제거하면 성능이 크게 저하되어, 분리된 아키텍처와 CANN 기반 경로 적분이 순수 역동성을 분리하고 일반화를 가능하게 하는 데 필수적임을 확인시켜 줍니다.

중요성과 주장

이 연구는 뇌 영감 자기지도 세계 모델 학습이 재사용 가능한 추상적 지식 획득을 어떻게 촉진하는지 이해하기 위한 새로운 계산 프레임워크를 제공합니다. HPC 와 MEC 의 기능적 분리를 모방함으로써, 이 모델은 의미 있는 계층적 잠재 공간을 유지하면서 실세계 비디오 시퀀스로부터 추상적 구조를 효과적으로 추출할 수 있음을 보여줍니다.

저자들은 그들의 접근 방식이 구조적 일반화를 위한 메커니즘을 제공한다고 주장합니다. 이를 통해 시스템은 추출된 구조적 표현을 새로운 맥락과 유연하게 결합할 수 있습니다. 이 능력은 제한된 데이터에서 일반화 가능한 역동성을 학습하고 이를 보지 못한 객체와 환경에 적용할 수 있는 embodied AI 에서 더 견고한 전이 학습을 위한 경로를 시사합니다. 이 연구는 인지 지도에 대한 이론적 신경과학 모델과 비디오 예측 및 잠재 행동 추출에 대한 실용적 딥러닝 응용 사이의 간극을 연결합니다.