기술 요약: NeuronSoup

문제 정의

현재의 딥러닝 아키텍처는 미분 가능한 계산 그래프와 역전파(backpropagation)의 필요성에 의해 근본적인 제약을 받는다. 이는 동기식의 레이어별 처리, 그리고 설계 시 결정된 고정된 계산 깊이와 정적 토폴로지를 필요로 한다. 결과적으로, 이러한 모델들은 개별 입력의 난이도에 따라 계산 깊이를 자연스럽게 조절할 수 없으며, (어텐션과 같은 메커니즘을 통해 명시적으로 설계되지 않는 한) 처리 경로 간의 내재적인 측면 상호작용(lateral interaction)이 부족하고, 연속적이고 미분 가능한 연산에 국한된다. 반면, 생물학적 신경계는 비동기적으로 작동하며, 시간에 따라 상태를 축적하는 공유 뉴런을 활용하고, 신호 복잡성에 따라 처리 깊이를 적응시킨다.

본 논문은 역전파 없이, 고정된 계산 깊이 없이, 그리고 동기화 없이 작동하면서도, 기존의 신경 진화(neuroevolutionary) 및 스파이킹 신경망(SNN) 방식의 한계를 해결하는 유용한 분류기를 구축하는 과제를 다룬다.

방법론: NeuronSoup 아키텍처

저자들은 NeuronSoup라는 신경 계산 아키텍처를 제안하며, 이는 공유된 뉴런 풀(pool)을 통한 비동기적, 지연 매개 신호 전파(asynchronous, delay-mediated signal propagation)를 기반으로 한다.

핵심 메커니즘

1. 비동기 이산 이벤트 시뮬레이션 (Asynchronous Discrete-Event Simulation): 시스템은 우선순위 큐(min-heap)를 통해 연속적인 값의 신호를 처리한다. 이벤트는 진화된 축삭 지연(axonal delays)에 의해 결정된 도착 시간에 따라 정렬된다. 전역 클록은 존재하지 않으며, 계산은 엄격하게 시간 순서에 따라 진행된다.
2. 공유 뉴런 상태 축적 (Shared Neuron State Accumulation): 독립적이거나 리셋되는 SNN의 뉴런들과 달리, NeuronSoup의 은닉 뉴런들은 축적된 상태($a_n$)를 유지한다. 여러 경로가 동일한 은닉 뉴런을 통과하도록 라우팅될 때, 첫 번째로 도착한 신호가 상태를 업데이트한다. 후속 신호들은 이 수정된 상태와 마주하게 된다. 활성화는 $\alpha = \tanh(a_n + b_n)$로 계산되며, 여기서 $a_n$은 모든 유입 신호의 합이다. 이는 신호의 극성과 도착 타이밍에 따라 건설적 또는 파괴적 간섭을 생성한다.
3. 계산으로서의 시간 지연 (Temporal Delays as Computation): 지연은 노이즈나 규제(regularization)가 아니라, 특징 결합의 순서를 결정하는 주요 기능적 파라미터이다. 짧은 지연은 높은 신뢰도의 특징을 우선시하는 반면, 긴 지연은 맥락적 특징이 나중에 도착하여 초기 처리를 수정하도록 허용한다.
4. 게놈 인코딩 (Genome Encoding): 아키텍처는 14,602개의 유전자로 구성된 평탄한 실수형 게놈으로 인코딩된다. 여기에는 다음이 포함된다:
   • 경로 블록 (Path Blocks): 384개의 잠재적 경로로, 각 경로는 37개의 유전자(활성 플래그, 입력 ID, 출력 ID, 그리고 최대 8개의 홉(hop)을 포함하며, 각 홉은 대상 뉴런, 가중치, 지연 유전자를 가짐)로 정의된다.
   • 편향 (Biases): 은닉 및 출력 뉴런의 편향을 인코딩하는 유전자.
   • 디코딩 (Decoding): $[0, 1]$ 범위의 유전자는 운영 값(예: $[-2, 2]$ 범위의 가중치, $[0.1, 5.0]$ 범위의 지연)으로 매핑된다.

최적화 전략

저자들은 다음과 같은 이유로 경사 하강법 기반 최적화(역전파)가 적용 불가능하다고 주장한다:

• 이산적 토폴로지 (Discrete Topology): 경로 활성화는 이진 결정(0.5에서 임계값 처리)이다.
• 미분 불가능한 순서 (Non-Differentiable Ordering): 지연의 미세한 변화는 이벤트 처리 순서를 바꿀 수 있으며, 이는 출력의 불연속적인 변화를 야기한다.
• 가변적 그래프 크기 (Variable Graph Size): 처리되는 이벤트의 수는 입력과 설정에 따라 달라지므로, 고정된 그래프 언롤링(unrolling)이 불가능하다.

따라서 **유전 알고리즘 (GA)**이 채택되었다. 저자들은 특히 CMA-ES($D=14,602$일 때 $O(D^2)$ 메모리와 $O(D^3)$ 계산 비용 발생)와 표준 연산자인 SBX 또는 DE(구조적 일관성을 파괴함)를 거부한다. 대신, 기능적 회로를 보존하기 위해 개별 유전자가 아닌 전체 경로 블록(37개 유전자)을 교환하는 **경로 인식 교차(path-aware crossover)**를 구현한다. 돌연변이는 연속 값에 가우시안 노이즈를 적용하고 이진 플래그를 반전시킨다.

주요 기여

1. 새로운 계산 모델: 시간 지연이 계산 순서를 결정하여, 명시적인 중단 정책(halting policy) 없이도 적응형 깊이를 가능하게 하는 시스템을 제시한다.
2. 창발적 측면 상호작용 (Emergent Lateral Interaction): 공유 뉴런의 축적이 명시적인 교차 연결 설계 없이도 경로 간의 암묵적인 측면 억제 및 흥분을 생성함을 입증한다.
3. 구조와 파라미터의 공동 진화: 토폴로지(어떤 경로/뉴런이 활성화되는지), 가중치, 그리고 시간적 구조를 동시에 진화시키는 평탄한 게놈 인코딩을 사용한다.
4. 최적화 분석: 왜 유전 알고리즘이 이 문제 클래스에 적합한 도구인지, 특히 이 규모에서 CMA-ES의 실패와 블록 인식 재조합 연산자의 필요성을 강조하며 엄밀하게 논증한다.
5. 모듈형 일반화: 입력 인코더와 출력 뉴론 수에 의해서만 작업이 정의되며, 진화 과정이 배선(wiring)을 자동으로 발견하는 아키텍처를 제공한다.

실험 결과

시스템은 고정된 ResNet18 특징(512차원)을 입력으로 사용하여 10 클래스 MNIST 숫자 분류에 대해 평가되었다.

• 성능: 10,000 세대(generation) 후, 진화된 최적 모델은 홀드아웃 샘플 1,000개에 대해 85.9%의 테스트 정확도를 달성했다.
• 효율성: 훈련된 모델은 115 KB(14,602개의 float64 값)를 차지한다.
• 구조적 특성:
  • 활성 경로: 384개의 가능한 경로 중 204개가 활성화되었다.
  • 공유 뉴런: 사용된 266개의 은닉 뉴런 중 156개가 여러 경로에 의해 공유되었다. 하나의 뉴런이 11개의 서로 다른 경로에 참여했다.
  • 특징 선택: 512개의 입력 특징 중 162개만이 활용되었다.
  • 계산: 추론에는 이미지당 약 500~2,000개의 이벤트가 포함되며, 1,100번 미만의 부동 소수점 연산(FLOPs)을 필요로 한다(ResNet-18의 약 18억 FLOPs와 비교).
• 훈련: 전체 훈련 과정(10,000 세대)은 12코어 CPU에서 약 2시간 51분 만에 완료되었으며, GPU를 전혀 사용하지 않았다.

의의 및 주장

본 논문은 Neuron-Soup이 근본적으로 다른 계산 패러다임, 즉 공유된 진화 그래프를 통한 비동기적 시간 전파의 생존 가능성을 보여준다고 주장한다.

• 역전파의 한계 극복: 이 아키텍처는 미분 가능성, 고정된 깊이, 또는 동기화 없이도 유용한 분류가 가능함을 증명한다. 이는 명시적인 중단 정책 없이도 더 어려운 입력에 더 많은 계산을 할당함으로써 딥러닝의 "고정된 깊이" 문제를 해결한다.
• 창발적 구조: 시스템은 인간의 공학적 설계 없이도 선택 압력만을 통해 공유 뉴런이 통합 허브 역할을 수행하거나 시간 지연이 어텐션과 유사한 우선순위를 생성하는 것과 같은 복잡한 동작을 발견했다.
• 하드웨어적 함의: 이 아키텍처는 뉴로모픽 하드웨어 및 이벤트 기반 시스템에 본질적으로 적합하며, 동기식 행렬 곱셈 아키텍처에 비해 수십 배의 에너지 효율성을 제공한다.
• 보편성: 저자들은 인코더와 출력 뉴론 수만 변경하면 동일한 진화 프레임워크가 오디오, 텍스트, 의료 데이터 등 임의의 도메인에 적용될 수 있으며, 아키텍처의 재설계가 필요하지 않다고 단언한다.

논문은 정확도에 대해 겸허한 입장을 유지하며, 85.9%가 동일한 특징에 대해 경사 기반 모델(92~96%)보다 낮음을 인정한다. 그러나 이는 아키텍처의 한계라기보다 경사 없는 최적화의 비용을 반영하는 것이며, 수렴 곡선이 정체(plateau) 없이 진행된다는 점을 들어 아키텍처의 표현력이 이론적으로 매우 높음을 언급한다. 주요 기여는 비미분적, 비동기적 계산 모델이 범용 CPU 하드웨어에서 확장 가능하다는 것을 입증한 데 있다.