The Whale That Outswam Evolution: Swarm Intelligence Maximises Memory in Connectome Reservoirs

기술 요약: 진화를 능가한 고래

문제 제념
리저버 컴퓨팅(Reservoir computing, RC)은 고정된 고차원 순환 신경망을 사용하여 입력을 풍부한 특징 공간으로 매핑하며, 오직 훈련된 선형 판독층(readout)만을 필요로 한다. 표준적인 관행은 이러한 네트워크를 무작위적이고 구조화되지 않은 연결성으로 초기화하는 것이지만, 생물학적 신경 회로는 효율적인 정보 처리를 지원하기 위해 수백만 년의 진화를 거쳐 정교해졌다. 핵심적인 미해결 과제는 생물학적 커넥톰(connectome)이 무작위 리저버가 갖지 못한 계산적 구조를 인코딩하고 있는지, 그리고 만약 그렇다면 원칙적인 그래디언트 프리(gradient-free) 최적화가 이러한 진화적으로 형성된 네트워크의 성능을 더욱 향상시킬 수 있는지 여부이다. 선행 연구는 생물학적 커넥톰이 무작위 리저버보다 우수한 성능을 보임을 입증했으며, 메타 휴리스틱(meta-heuristics)은 그래디언트를 사용하지 않고도 가중치를 개선할 수 있음을 보여주었으나, 통제된 조건 하에서 다양한 종과 작업에 걸쳐 여러 생체 모방 최적화 알고리즘을 체계적으로 비교한 연구는 없었다.

방법론
저자들은 6종의 생물학적 커넥톰으로부터 구축된 에코 상태 네트워크(Echo-State Networks, ESNs)의 엣지 가중치에 적용되는 네 가지 그래디언트 프리 생체 모방 최적화 알고리즘을 평가하는 체계적인 벤치마크를 제시한다. 본 연구는 신경 복잡도가 6개 차수(order of magnitude)에 걸친 6종의 종을 대상으로 한다: C. elegans(279개 뉴런), Drosophila(49개 노드), 생쥐(112개), 쥐(73개), 마카크 원숭이(연속적인 FLNe 시냅스 강도를 가진 29개 영역), 그리고 인간의 구조적 MRI 연결성(83개 파셀).

실험 파이프라인은 다음과 같다:

1. 고정된 토폴로지 (Fixed Topology): 각 생물학적 커넥톰의 희소성 패턴(sparsity pattern)을 고정한다.
2. 최적화 (Optimization): 입자 군집 최적화(PSO), 차분 진화(DE), 회색 늑대 최적화(GWO), 고래 최적화 알고리즘(WOA)의 네 가지 최적화 알고리즘이 비제로(non-zero) 엣지 가중치를 튜닝한다.
3. 초기화 조건 (Initialization Conditions):
   • 생물학적 초기화 (A): 집단(populations)을 생물학적 가중치의 가우시안 섭동(Gaussian perturbations)으로 초기화한다.
   • 무작위 초기화 (B): 대조군인 PSO-B는 생물학적 가중치의 기여도를 격리하기 위해 동일한 토폴로지 상에서 균등 무작위 초기화(uniform random initialization)를 사용한다.
4. 평가 (Evaluation): 성능은 기억 용량(Memory Capacity, MC), 로렌츠 어트랙터(Lorenz attractor) 예측, NARMA-10 시스템 식별, 그리고 Mackey–Glass 카오스 시계열 예측라는 네 가지 표준 벤치마크를 통해 평가된다.
5. 제약 조건 (Constraints): 모든 최적화 알고리즘은 20개의 입자와 50회의 반복(총 1,000회 평가) 예산을 사용한다. 선형 메모리 보유를 극대화하기 위해 스펙트럼 반경은 $\rho=0.97$로 고정된다.

핵심 기여

• 체계적인 교차 종 벤치마크: 본 연구는 여러 커넥톰과 작업에 대해 홀드아웃 평가(held-out evaluation)를 적용하여 여러 생체 모방 최적화 알고리즘을 비교한 최초의 연구이다.
• 귀납적 편향(Inductive Bias)의 입증: 본 연구는 생물학적 가중치 값이 필수적인 귀납적 편향임을 입증한다. 동일한 토폴로지 상에서의 무작위 초기화는 일관되게 최적화되지 않은 생물학적 베이스라인보다 낮은 성능을 보였으며, 이는 주어진 평가 예산 내에서 진화가 기록한 특정 가중치 값이 토폴로지만으로는 회복될 수 없음을 나타낸다. 즉, 토폴로지 자체만으로는 가중치 값을 완전히 복구할 수 없다.
• 우수 최적화 알고리즘 식별: 고래 최적화 알고리즘(WOA)이 모든 종과 작업에서 가장 효과적인 최적화 알고리즘으로 확인되었다.

결과

• 성능 향상: 네 가지 최적화 알고리즘 모두 생물학적 가중치로부터 초기화되었을 때 최적화되지 않은 생물학적 베이스라인보다 일관되게 우수한 성능을 보였다. WOA는 가장 큰 이득을 달성하였으며, 모든 종과 작업에 걸쳐 평균 214%의 개선을 보였다.
  • 기억 용량 (Memory Capacity): WOA는 최대 17배의 향상을 달왔다 (예: C. elegans의 경우 1.39에서 23.91로 증가).
  • 비선형 예측: Mackey–Glass 작업에서 WOA는 정규화된 평균 제곱근 오차(NRMSE)를 최대 89%까지 감소시켰으며(인간 커넥톰 기준), 이는 해당 시스템의 수치 적분 오차에 근접한 수치이다.
• 최적화 알고리즘 비교: WOA가 일관되게 우위를 점했으며, 그 뒤를 GWO, DE, PSO가 이었다. PSO는 가장 미미한 이득을 보였으며, 마카크 커넥톰의 무작위 초기화 사례에서는 오히려 성능을 17% 저하시켰는데, 이는 생물학적 시딩(seeding) 없이 밀도가 높고 잘 구성된 네트워크에서 조기 수렴(premature convergence)의 위험이 있음을 강조한다.
• 작업 특이성 (Task Specificity): 이득은 기억 용량과 Mackey–Glass 작업에서 가장 두드러졌다. NARMA-10의 경우 개선 폭이 더 완만했는데, 이는 해당 작업이 긴밀하게 결합된 비선형 계산과 확장된 메모리를 동시에 요구하기 때문이며, 이 영역에서는 가중치 튜닝만으로는 구조적 변화에 비해 본질적인 한계가 존재한다.
• 종별 변이: C. elegans는 큰 리저버 크기(279개 노드)와 이질적인 가중치 덕분에 가장 큰 상대적 이득(17배)을 보였으나, 마카크는 노드 수는 적음에도 불구하고(29개) 뛰어난 시냅스 밀도(72.7%)에 힘입어 가장 높은 절대적 베이스라인과 유의미한 이득을 달성했다. 이는 최적화 가능성이 계통 발생학적 복잡성보다는 그래프 밀도, 가중치 이질성, 그리고 리저버 크기에 의해 결정됨을 시사한다.

의의
본 논문은 생체 모방 및 생물학적으로 초기화된 최적화가 커넥톰 기반 리저버 컴퓨팅을 위한 원칙적이고 광범위하게 효과적인 전략임을 입증한다. 연구 결과는 생물학적 커넥톰의 고차원적이고 비볼록(non-convex)한 가중치 지형이 생물학적 해(solution) 근처에 잘 위치한 끌개(basin of attraction)를 포함하고 있음을 시사한다. 최적화는 이 끌개 내부의 더 깊은 극소값(minima)을 향해 탐색을 진행하는 반면, 무작위 초기화는 이를 찾아내는 데 실패한다. 따라서 저자들은 생물학적 커넥톰 데이터가 가용할 경우, 선택한 특정 최적화 알고리즘에 관계없이 항상 이를 최적화 집단의 시딩(seeding) 데이타로 사용해야 한다고 주장한다. 이 연구는 인공 시간적 계산(artificial temporal computation)을 위한 출발점으로서 진화적 구조의 유용성을 검증하며, 더 큰 커넥톰과 더 풍부한 최적화 체계로의 확장을 독려한다.