OmniMouse: 1500 억 개의 신경 토큰을 활용한 다중 모달, 다중 태스크 뇌 모델의 확장성 연구

이 논문은 ICLR 2026 에 발표된 'OmniMouse'에 대한 기술적 요약입니다. OmniMouse 는 쥐의 시각 피질에서 기록된 대규모 신경 데이터를 기반으로 한 다중 모달 (multi-modal), 다중 태스크 (multi-task) 기초 모델 (foundation model) 입니다.

1. 문제 정의 (Problem)

기존 인공지능 (AI) 분야, 특히 언어와 컴퓨터 비전에서는 데이터와 모델 크기를 확장 (Scaling) 하는 것이 성능 향상의 핵심 동력이었습니다. 그러나 뇌 과학 분야, 특히 단일 뉴런 수준의 신경 활동 모델링에서는 이러한 확장 법칙이 적용되는지 명확하지 않았습니다.

• 데이터의 한계: 기존 신경 데이터셋은 인터넷 규모의 언어/비전 데이터에 비해 훨씬 작고, 단편적이며, 다양성이 부족했습니다.
• 모델의 한계: 기존 모델들은 대부분 단일 모달리티 (예: 자극만 또는 행동만) 에 국한되거나, 특정 태스크 (예: 예측 또는 해독만) 에만 특화되어 있어 유연성이 부족했습니다.
• 핵심 질문: 뇌 모델링에도 대규모 데이터와 모델 확장이 성능 향상을 가져오는가? 아니면 뇌 모델링은 여전히 데이터 부족에 시달리는가?

2. 방법론 (Methodology)

2.1 데이터셋 (Dataset)

• 규모: 73 마리의 쥐, 323 세션, 총 310 만 개 이상의 뉴런에서 수집된 데이터.
• 토큰 수: 자연스러운 영화, 이미지, 파라메트릭 자극, 그리고 행동 데이터를 포함하여 총 1500 억 개 이상의 신경 토큰을 기록했습니다.
• 데이터 구성:
  • 신경 활동: 광시야 2 광자 칼슘 이미징 (6-14Hz) 으로 포착된 시각 피질 (V1 및 고차 시각 영역) 의 활동.
  • 시각 자극: ImageNet 기반 자연 이미지, 영화, Sports-1M 비디오, Gabor 패치 등 다양한 자극.
  • 행동 변수: 달리기 속도, 동공 위치 (x, y), 동공 확장 및 그 미분값 등 5 가지 행동 지표.

2.2 OmniMouse 아키텍처

OmniMouse 는 단일 아키텍처 내에서 신경 예측, 행동 해독, 신경 예측 (forecasting) 을 유연하게 수행할 수 있도록 설계되었습니다.

• 토큰화 (Tokenization):
  • 신경: 각 뉴런의 칼슘 신호를 시계열 토큰으로 변환하며, 뉴런 ID, 세션 ID, 동물 ID 임베딩을 추가하여 개별 뉴런의 특성을 학습합니다.
  • 시각: Hiera(Vision Transformer) 를 사용하여 비디오 프레임을 시공간 임베딩으로 변환합니다.
  • 행동: 행동 신호를 토큰화하며, 채널별 임베딩을 추가합니다.
• 마스킹 전략 (Masking):
  • 학습 시 119 가지의 구조화된 마스킹 구성을 사용합니다. 이는 임의의 모달리티 조합 (신경, 자극, 행동) 을 입력으로 받거나, 특정 부분을 마스킹하고 복원하는 방식으로 이루어집니다.
  • 이를 통해 신경 예측 (Forecasting), 자극 인코딩 (Stimulus Encoding), 하위 집단 예측 (Sub-population Prediction), 행동 해독 (Behavioral Decoding) 등 모든 태스크를 하나의 모델로 처리할 수 있습니다.
• 아키텍처 구조:
  1. 인코더: 마스킹되지 않은 신경 및 행동 토큰을 고정된 길이의 잠재 벡터로 압축 (Cross-attention 사용).
  2. 멀티모달 퓨전: 잠재 벡터와 시각 자극 특징을 결합하여 멀티모달 Transformer 레이어를 통과시킵니다. 로컬 슬라이딩 윈도우 어텐션과 글로벌 레이어를 교차 배치하여 장기 의존성과 효율성을 모두 확보합니다.
  3. 디코더: 퓨전된 표현을 기반으로 타겟 신경 활동과 행동 궤적을 재구성합니다.

2.3 학습 및 평가

• 학습: 포아손 손실 (신경) 과 MSE 손실 (행동) 을 결합하여 학습. 데이터 확장 실험을 위해 8 세션부터 323 세션까지 중첩된 (nested) 데이터셋으로 학습.
• 평가: SENSORIUM 2022/2023 벤치마크를 기반으로 한 표준화된 프로토콜 사용. 단일 시트 (single-trial) 상관관계를 주요 평가 지표로 채택.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1 확장성 분석 (Scaling Analysis) - 가장 중요한 발견

• 데이터 확장: 데이터 양이 증가함에 따라 모든 모델 크기와 태스크에서 성능이 일관되게 향상되었습니다. 이는 뇌 모델링이 현재 데이터 제한 (Data-limited) 상태임을 의미합니다.
• 모델 크기 확장: 모델 파라미터 수를 증가시켰을 때, 80M 파라미터를 넘어가면 성능 향상이 포화 (Saturation) 되는 현상이 관찰되었습니다.
• 역설적 발견: 언어 모델 (LLM) 에서는 대규모 데이터가 파라미터 확장의 동력이 되어 성능이 계속 향상되지만, 뇌 모델링 (OmniMouse) 에서는 데이터가 충분하지 않아 모델 크기 확장의 이점이 제한적이라는 점이 확인되었습니다. 즉, 뇌 모델링은 "데이터가 부족하여 모델이 커도 소용없다"는 역설적인 상황을 보입니다.

3.2 성능 (Performance)

• SOTA 달성: OmniMouse 는 신경 예측, 행동 해독, 자극 인코딩 등 거의 모든 평가 태스크에서 기존 특화 모델 (MtM, POYO+, CEBRA, Schmidt et al. 등) 을 능가하는 State-of-the-Art 성능을 기록했습니다.
• 데이터 매칭 비교: 동일한 데이터 양 (8 마리의 쥐) 으로 학습된 경우에도 OmniMouse 는 기존 특화 모델들을 압도하여, 아키텍처와 마스킹 설계의 우수성을 입증했습니다.
• 벤치마크: SENSORIUM 2022 및 2023 대회에서 기존 우승 기록을 경신했습니다.

3.3 행동 해독의 확장성

• 행동 예측 (동공, 달리기 속도 등) 태스크는 모델 크기 확장에 따라 성능이 꾸준히 향상되는 경향을 보였으며, 이는 행동 예측이 신경 예측보다 더 큰 모델 용량의 혜택을 받을 수 있음을 시사합니다.

4. 의의 및 시사점 (Significance)

1. 뇌 모델링의 새로운 패러다임: OmniMouse 는 단일 아키텍처로 신경 활동, 시각 자극, 행동을 통합적으로 모델링하는 최초의 대규모 기초 모델 중 하나입니다. 이는 뇌 과학 연구에 'Foundation Model' 접근법을 성공적으로 적용한 사례입니다.
2. 확장 법칙의 재해석: AI 의 일반적인 확장 법칙 (데이터와 모델 크기가 비례하여 성장해야 함) 이 뇌 모델링에는 적용되지 않을 수 있음을 보여줍니다. 뇌 모델링의 성능 향상을 위해서는 모델 크기 확대보다 더 풍부하고 다양한 대규모 신경 데이터셋 확보가 시급하다는 결론을 내립니다.
3. 위상 전이 (Phase Transition) 의 가능성: 언어 모델에서 관찰된 것처럼, 더 풍부하고 대규모의 데이터셋이 확보된다면 뇌 모델에서도 질적으로 새로운 능력 (Qualitatively new capabilities) 이 발현될 수 있는 "위상 전이"의 가능성이 열렸습니다.
4. 유연한 분석 도구: 마스킹을 통해 임의의 맥락 (과거 활동, 하위 집단, 시각 자극, 행동 상태) 을 조합하여 신경 변이성을 정량적으로 분석할 수 있는 도구를 제공함으로써, 뇌의 계산 원리를 이해하는 데 새로운 통찰을 제공합니다.

결론적으로, OmniMouse 는 쥐의 시각 피질 모델링에서 데이터의 중요성을 재확인시켰으며, 뇌 과학과 AI 의 융합을 통해 뇌의 작동 원리를 규명하기 위한 새로운 방향성을 제시했습니다.