Parallelized Hierarchical Connectome: A Spatiotemporal Recurrent Framework for Spiking State-Space Models

이 논문은 시간적 순환성만 지원하는 기존 상태공간 모델 (SSM) 을 공간적 상호작용이 포함된 시공간 순환 네트워크로 확장하여, 생물학적 제약을 준수하면서도 병렬 학습이 가능한 '병렬 계층적 연결체 (PHC)' 프레임워크와 이를 구현한 PHCSSM 모델을 제안하고, UEA 다변량 시계열 데이터에서 경쟁력 있는 성능과 파라미터 효율성을 입증했습니다.

핵심

1. 문제점: "빠르지만 멍청한" 기존 AI vs "똑똑하지만 느린" 뇌

기존의 최신 AI 모델 (SSM 이라고 부릅니다) 은 매우 빠릅니다. 마치 고속도로를 질주하는 레이서처럼 데이터를 한 번에 처리하죠. 하지만 문제는 구조가 너무 단순하다는 것입니다.

• 비유: 이 모델들은 독립된 100 개의 사무실을 나란히 세운 것과 같습니다. 각 사무실 (레이어) 은 앞선 사무실의 결과만 받아서 다음 단계로 넘길 뿐, 옆 사무실과 대화하거나 피드백을 주고받지 못합니다.
• 한계: 그래서 복잡한 문제를 풀 때, 더 깊은 지능을 얻으려면 사무실을 무한히 늘려야 합니다 (층을 쌓아야 합니다). 이렇게 하면 컴퓨터 메모리가 폭발하고, 비용이 너무 많이 듭니다.

반면, 인간의 뇌는 훨씬 복잡합니다.

• 비유: 뇌는 하나의 거대한 도시 같습니다. neuron(신경세포) 들은 서로 수직으로만 연결된 게 아니라, 옆으로, 뒤로, 위로 자유롭게 대화합니다. (흥분성 세포와 억제성 세포가 서로 균형을 이루며, 짧은 시간 동안 기억을 남기기도 합니다.)
• 문제: 뇌는 정말 똑똑하지만, 그 복잡한 연결 때문에 계산이 매우 느립니다. 하나를 계산하려면 이전 단계가 끝날 때까지 기다려야 하니까요.

핵심 질문: "뇌의 복잡한 연결 (똑똑함) 을 유지하면서, 기존 AI 의 빠른 속도 (효율) 를 가질 수 있을까?"

---

2. 해결책: PHC (병렬화된 계층적 연결체)

이 논문은 그 답을 PHC라는 새로운 구조로 제시합니다.

🏗️ 핵심 아이디어: "한 번에 여러 번 순환하는 도시"

기존 AI 는 "층을 100 개 쌓는 것 (수직)"으로 깊이를 만들었다면, PHC 는 **"하나의 층 안에서 신호가 여러 번 돌아다니게 하는 것 (수평)"**으로 깊이를 만듭니다.

• 비유:
  • 기존 방식: 100 개의 층을 가진 빌딩을 짓는 것. (매우 비싸고 무거움)
  • PHC 방식: 1 개의 층을 짓되, 그 안에서 사람들이 정보를 주고받으며 100 번을 돌아다니게 하는 것. (매우 가볍고 효율적)

이게 어떻게 가능한가요? 바로 **'멀티-전송 루프 (Multi-Transmission Loop)'**라는 장치를 썼기 때문입니다.

• 이 장치는 신호가 한 번에 끝나는 게 아니라, 신경세포 (Neuron) 와 시냅스 (Synapse) 사이를 여러 번 왕복하게 합니다.
• 중요한 점은, 이 왕복이 **병렬 (Parallel)**로 일어난다는 것입니다. 즉, 뇌처럼 복잡한 상호작용을 하되, 컴퓨터가 한 번에 다 처리할 수 있게 설계된 것입니다.

---

3. 뇌의 법칙을 AI 에 심어주다 (5 가지 생물학적 제약)

이 모델은 단순히 구조만 바꾼 게 아니라, 인간 뇌의 5 가지 중요한 법칙을 AI 에 그대로 적용했습니다. 이것이 성능을 높이는 비결입니다.

1. 적응형 레이크 (Adaptive Leaky Integrate-and-Fire):
   • 비유: 뇌세포는 피곤하면 반응이 둔해집니다. 이 모델도 "지나치게 자주 신호를 보내면 스스로 진정시켜서" 중요한 정보만 골라냅니다. (과부하 방지)
2. 데일 법칙 (Dale's Law):
   • 비유: 뇌에는 "신호를 보내는 세포 (흥분성)"와 "신호를 막는 세포 (억제성)"가 명확히 구분되어 있습니다. 이 모델도 이를 지켜, 혼란을 방지하고 균형을 맞춥니다.
3. 단기 가소성 (Short-Term Plasticity):
   • 비유: 뇌의 연결 부위는 "방금 전까지 신호가 왔다면" 연결이 강해지거나 약해집니다. 즉, 단기 기억이 생깁니다. 이 모델도 과거의 신호 패턴에 따라 연결 강도를 실시간으로 바꿉니다.
4. 계층적 연결체 (Hierarchical Connectome):
   • 비유: 뇌는 특정 구역끼리 연결되어 있습니다. 이 모델도 세포들을 '구역'으로 나누고, 구역끼리만 특정한 방식으로 연결하여 질서 있는 정보 흐름을 만듭니다.
5. 보상 기반 학습 (Reward-Modulated STDP):
   • 비유: "정답을 맞췄을 때만" 뇌세포 간의 연결을 강화합니다. AI 가 시험을 보고 점수를 받으면, 그 점수에 따라 잘못된 연결을 고치는 현실적인 학습을 합니다.

---

4. 결과: 적은 비용으로 더 큰 성과

이 모델을 실험해 본 결과 놀라운 일이 일어났습니다.

• 압도적인 효율성: 기존 AI 모델들이 100 만 개의 파라미터 (지식 저장소) 를 쓰는데, 이 모델은 1 만 개도 안 되는 파라미터로 같은, 혹은 더 좋은 성능을 냈습니다. (약 10~100 배 더 효율적!)
• 성능: 심박수 분석, 운동 상상력 (뇌파로 조종하는 기술) 등 생체 신호를 다루는 복잡한 작업에서 최고의 기록을 세웠습니다.
• 결론: "뇌처럼 복잡하게 만든다고 해서 느려지거나 비싸지는 않는다. 오히려 뇌의 규칙을 지키는 것이 더 효율적이고 똑똑한 AI 를 만든다"는 것을 증명했습니다.

---

📝 한 줄 요약

"이 논문은 AI 가 뇌처럼 '옆으로, 뒤로' 대화하며 복잡한 문제를 풀 수 있게 만들면서도, 기존 AI 의 '고속도로'처럼 병렬로 빠르게 계산하게 해주는 새로운 건축 방식을 제시했습니다. 그 결과, 훨씬 적은 자원으로 더 똑똑한 AI 를 만들 수 있게 되었습니다."

이 기술은 앞으로 뇌 질환 진단, 저전력 로봇, 그리고 더 자연스러운 AI 비서 개발에 큰 영감을 줄 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 기존 SSM(State-Space Models) 의 한계: S4, Mamba 와 같은 최신 상태 공간 모델 (SSM) 은 병렬 스캔 (Parallel Scan) 을 통해 시퀀스 처리 속도를 획기적으로 개선했으나, 시간적 (Temporal) 순환성만을 지원합니다. 효율성을 위해 상태 전이 행렬을 대각선 (Diagonal) 형태로 제한함으로써, 단일 시간 단계 내에서의 뉴런 간 상호작용 (측면 연결, 피드백, 억제 등) 이 불가능합니다. 이는 생물학적 뇌 회로의 복잡한 공간적 피드백 구조를 반영하지 못합니다.
• 기존 순환 신경망 (RNN/SNN) 의 병목: 생물학적 현실성을 갖춘 스파이킹 신경망 (SNN) 이나 RNN 은 측면 연결과 공간적 역학을 지원하지만, 비선형성과 밀집된 순환 의존성으로 인해 순차적 실행을 강요받습니다. 이는 긴 시퀀스 처리 시 역전파 (BPTT) 의 계산 병목 현상을 유발하여 현대 병렬 하드웨어와 호환되지 않습니다.
• 현재의 해결책과 비용: 기존 모델들은 이러한 한계를 극복하기 위해 독립적인 SSM 블록을 수직으로 쌓는 (Layer Stacking) 방식을 사용합니다. 이는 모델 용량을 늘리지만, 파라미터 복잡도를 $\Theta(D^2L)$로 급증시켜 메모리 부담을 키우고, 뇌의 고정된 연결성 (Connectome) 을 재사용하는 생물학적 원리와는 동떨어진 접근법입니다.

핵심 문제: **학습 가능한 측면 연결 (Lateral Connections)**과 **병렬 스캔 효율성 (Parallel Scan Efficiency)**을 동시에 달성하는 것은 기존 아키텍처에서 상충되는 (Trade-off) 관계였습니다.

---

2. 제안된 방법론: PHC 및 PHCSSM (Methodology)

저자는 **병렬 계층적 연결체 (Parallelized Hierarchical Connectome, PHC)**라는 새로운 아키텍처 프레임워크를 제안하며, 이를 구체화한 모델로 PHCSSM을 소개합니다.

A. 핵심 원리: 시간 - 공간 분리 (Intra-Step Spatiotemporal Decoupling)

기존의 단일 밀집 연산자를 두 개의 기능적 구성 요소로 분해합니다.

1. 뉴런 계층 (Neuron Layer, NL): 개별 뉴런의 고유한 시간적 역학 (막 전위, 적응형 임계값 등) 을 담당. 대각선 (Diagonal) 구조로 유지되어 시간적 병렬 스캔이 가능합니다.
2. 시냅스 계층 (Synapse Layer, SL): 뉴런 간의 모든 상호작용 (측면 연결, 피드백) 을 담당. 생물학적 제약 (Dale's Law, 위상적 마스크) 을 적용한 가중치 행렬을 사용합니다.

B. 다중 전송 루프 (Multi-Transmission Loop)

단일 시간 단계 내에서 NL 과 SL 사이를 $M$번 반복적으로 순환시키는 메커니즘입니다.

• 작동 방식: 입력 신호와 은닉 상태가 NL(스파이크 생성) 과 SL(시냅스 전파) 사이를 여러 번 순환하며, 공간적 깊이를 확보합니다.
• 수렴 조건: 코시 수렴 기준 (Cauchy convergence criterion) 을 사용하여 신호가 안정화되면 루프를 조기 종료 (Early Exit) 합니다.
• 효과: $L$개의 독립적인 레이어를 쌓는 대신, 공유된 파라미터를 가진 단일 공간 차원에서 $M$단계의 공간 순환을 수행하여 $\Theta(D^2)$의 파라미터 복잡도로 깊은 논리 처리를 가능하게 합니다.

C. 생물학적 제약의 통합 (Biological Constraints)

PHCSSM 은 다음 5 가지 생물학적 원리를 아키텍처에 하드코딩하여 통합합니다.

1. 적응형 누설 적분 - 발화 (ALIF) 역학: 뉴런의 적응형 임계값을 통해 과거 활동에 대한 '기억'을 유지.
2. Dale's Law: 흥분성 (Excitatory) 과 억제성 (Inhibitory) 뉴런을 엄격히 분리하여 신경전달물질의 일관성 보장.
3. 단기 가소성 (STP): Tsodyks-Markram 모델을 적용하여 정적 가중치를 상태 의존적 동적 가중치로 변환.
4. 계층적 연결체 위상 (Connectome Topology): 뇌의 거시적 영역 구조 (피드포워드/피드백 연결) 를 모방한 마스크 적용.
5. 보상 조절 스파이킹 시점 의존적 가소성 (R-STDP): 이진 스파이크 타이밍을 기반으로 한 온라인 학습 규칙.

D. 병렬화 전략

• NL 의 모든 역학 (막 전위, 임계값, STP) 은 **로그 도메인 (Log-domain) 병렬 접두사 합 (Parallel Prefix Sums)**으로 재구성되어, $O(\log T)$의 시간 복잡도로 전체 시퀀스를 병렬 처리합니다.
• 이는 기존 SNN 의 $O(T)$ 순차적 병목 현상을 해결하면서도 생물학적 역학을 유지합니다.

---

3. 주요 기여 (Key Contributions)

1. 측면 연결을 가진 최초의 병렬 SSM: PHC 는 SSM 프레임워크 내에서 학습 가능한 측면 연결을 도입하면서도 $O(\log L)$의 병렬 훈련 효율성을 유지합니다. (기존 PD-SSM 은 가중치가 없는 순환만 지원, xLSTM 은 병렬화가 불가능함)
2. 파라미터 효율성: 레이어 쌓기 (Stacking) 를 공유된 연결체와 다중 전송 루프로 대체하여 파라미터 수를 $\Theta(D^2L)$에서 $\Theta(D^2)$로 줄였습니다. 이는 기존 모델 대비 1~2 차수 적은 파라미터로 동급 성능을 달성함을 의미합니다.
3. 병렬화된 생물학적 역학: 포화되는 STP 나 적응형 막 역학 같은 비선형 생물학적 동역학을 로그 도메인 병렬 스캔으로 변환하여 확장성을 유지했습니다.
4. 네이티브 온라인 학습: 이진 스파이크를 기반으로 한 R-STDP 모듈을 도입하여, 연속 값 SSM 이 불가능한 타이밍 기반 국소 학습을 가능하게 했습니다.

---

4. 실험 결과 (Results)

UEA 다변량 시계열 분류 아카이브의 6 개 생리학적 벤치마크에서 평가되었습니다.

• 성능:
  • SCP2: 59.3% 정확도 (LinOSS-IMEX 의 58.9% 를 상회, 해당 벤치마크에서 최고 기록).
  • MotorImagery: 53.7% 정확도 (Mamba 대비 6.0%p 향상).
  • EigenWorms: 83.9% 정확도 (매우 긴 시퀀스에서도 LinOSS-IMEX, Mamba 등을 상회).
  • Heartbeat: 74.2% 정확도 (LrcSSM 등 상회).
• 파라미터 효율성:
  • PHCSSM 은 1,748~9,485 개의 파라미터만 사용했습니다.
  • 비교 대상인 S5(67k206k), Mamba(67k401k) 에 비해 1~2 차수 적은 파라미터로 동급 이상의 성능을 달성했습니다.
• 계산 효율성:
  • 병렬 스캔 덕분에 초당 1,000 스텝 훈련 시간이 27129 초로 매우 빠르며, GPU 메모리 사용량도 1048 MB 로 매우 낮습니다.
• Ablation Study (성분 제거 실험):
  • ALIF, Dale's Law, STP, R-STDP 등 5 가지 생물학적 제약 중 하나라도 제거하면 성능이 저하되었습니다. 이는 각 제약이 단순한 제약이 아니라 **성능을 안정화시키는 유도 편향 (Inductive Bias)**으로 작용함을 증명했습니다. 특히 R-STDP 는 일반화 오차를 줄이는 데 중요한 역할을 했습니다.

---

5. 의의 및 결론 (Significance)

• 생물학적 현실성과 효율성의 조화: 이 연구는 "생물학적 제약이 계산 비용이나 성능 저하를 초래한다"는 기존 통념을 반박합니다. 오히려 Dale's Law 나 STP 같은 생물학적 원리는 강력한 정규화 (Regularization) 및 유도 편향으로 작용하여, 적은 파라미터로도 높은 성능과 안정성을 달성할 수 있음을 보여줍니다.
• 새로운 아키텍처 패러다임: 시간적 병렬성과 공간적 순환성을 동시에 해결하는 '시간 - 공간 분리' 프레임워크를 제시하여, SSM 과 SNN 의 장점을 통합한 새로운 방향성을 제시했습니다.
• 미래 전망: 이 프레임워크는 언어 모델링, 오디오 합성, 유전체 분석 등 다양한 도메인으로 확장 가능하며, 실제 뇌 연결체 (Connectome) 데이터를 기반으로 한 디지털 트윈 구축이나 뉴로모픽 하드웨어와의 호환성 측면에서도 중요한 기반이 될 것입니다.

요약하자면, PHCSSM은 생물학적 뇌의 구조와 역학을 엄격하게 따르면서도 현대적인 병렬 컴퓨팅의 이점을 극대화하여, 매우 적은 파라미터로 최첨단 성능을 달성한 최초의 스파이킹 상태 공간 모델입니다.