기술 요약: 구현된 신경계산

문제 제기

생물학적 신경망 (BNN) 은 기존 실리콘 기반 아키텍처와 비교하여 높은 적응성, 에너지 효율성, 그리고 독특한 학습 메커니즘을 특징으로 하는 정보 처리를 위한 유망한 기질을 제공합니다. 그러나 BNN 을 신경계산에 광범위하게 활용하는 것을 방해하는 근본적인 병목 현상이 존재합니다. 그것은 디지털 세계와 살아있는 생물학을 연결하기 위한 최적의 인코딩 및 디코딩 메커니즘의 부재입니다. 네트워크 활동의 디코딩은 발전해 왔지만, 구조적 디지털 데이터를 생물학적 네트워크에 의미 있는 전기적 자극으로 변환하는 역방향 과제는 생물학적 시스템의 적응적, 잡음성, 비정상적 특성으로 인해 여전히 어렵습니다. 현재의 접근 방식은 종종 매개변수가 매우 제한된 휴리스틱 또는 임시 자극 프로토콜에 의존하며, 생물학적 인코딩 (주파수, 진폭, 펄스 폭, 파형, 시공간 분포) 의 방대하고 다차원적인 매개변수 공간은 대부분 탐구되지 않고 최적화되지 않은 채 남아 있습니다.

방법론: 구현된 신경계산 프레임워크

저자들은 **구현된 신경계산 (Embodied Neurocomputation)**이라는 시스템 수준의 프레임워크를 제안하며, 이는 바이오-디지털 인터페이스를 다변수 최적화 문제로 개념화합니다. 이 프레임워크는 입력 시퀀스 ($x_t$) 를 네 개의 상호 의존적 모듈을 통해 출력 시퀀스 ($y_t$) 로 변환하는 순차적 피드포워드 매핑으로서 신경계산 $f(\cdot; \theta_t)$을 모델링합니다:

1. 인코딩 ($e$): 작업별 정보를 마이크로 전극 어레이 (MEA) 와 호환 가능한 전기적 자극 행렬 ($u_t$) 로 변환합니다. 여기에는 자극 주파수, 진폭, 펄스 폭, 시간적 분포에 대한 매개변수가 포함됩니다.
2. 생물학적 변환 ($b$): 자극을 반응 행렬 ($v_t$) 로 매핑하는 BNN 의 고유한 비정상적 동역학입니다. 이 매핑은 자극 이력, 피드백, 자발적 적응에 따라 시간에 따라 진화하며, 단순한 선형 필터링이 아닌 정보의 질적 재구성으로 모델링됩니다.
3. 디코딩 ($d$): 생물학적 반응 (전기적 전위 또는 스파이크) 을 작업 관련 출력으로 다시 변환합니다.
4. 피드백 ($r$): 적응을 유도하기 위해 반응 후 전달되는 특수한 형태의 인코딩입니다. 이는 강화 (reinforcing) (긍정적 보상을 위한 구조화된 자극) 또는 가소성 유도 (plasticity-inducing) (부정적 보상을 위한 무작위 자극) 일 수 있습니다.

이 프레임워크는 이러한 모듈들의 구성을 계산 목표를 달성하기 위한 최적의 변환 집합 ($\theta_t = \theta_e \cup \theta_{b,t} \cup \theta_d \cup \theta_r$) 을 찾는 시간 의존적 최적화 문제로 취급합니다.

경험적 평가

이 프레임워크를 검증하기 위해 저자들은 대규모 경험적 연구를 수행했습니다:

• 작업: 6x6 그리드월드에서 시뮬레이션된 목표 지향 항해 작업입니다. 에이전트 (BNN) 는 스칼라 "냄새" 센서에 의해 안내되어 "음식" 원천으로 이동합니다. 행동에는 전진, 좌회전, 우회전이 포함됩니다.
• 규모: Cortical Labs CL1 플랫폼을 통해 연결된 26 개의 개별 BNN 배양체.
• 최적화: 자동화된 하이퍼파라미터 최적화 파이프라인 (Optuna 사용) 이 실시간 상호작용 4,000 시간 동안 약 1,300 개의 인코딩 구성을 스크리닝했습니다.
• 과정:
  • 1 단계: 두 가지 서로 다른 생리물리학적 설정 (그룹 1 및 2) 에서 30 스텝의 짧은 에피소드를 사용하여 1,296 개의 매개변수 조합을 스크리닝했습니다.
  • 2 단계: 상위 64 개 매개변수를 최종 12 개 구성으로 정제하여 더 긴 (150 스텝) 및 다중 에피소드 (휴식 포함 5 에피소드) 조건 하에서 평가했습니다 (그룹 3 및 4).
• 베이스라인: 성능은 비적응성 배양체 베이스라인 (자발적 활동 재생, 시뮬레이션된 무작위 스파이크) 과 동일한 수의 상호작용 스텝으로 훈련된 최적화된 실리콘 기반 딥 Q-네트워크 (DQN) 에이전트와 비교되었습니다.

주요 결과

1. 최적 매개변수 식별

1 단계 데이터에 SHAP (SHapley Additive exPlanations) 분석을 적용한 결과, 저자들은 최대 주파수가 속도 인코딩의 성능을 결정하는 가장 강력한 요인임을 확인했으며, 이는 중간 정도의 값 (40–60 Hz) 을 선호했습니다. 높은 성능을 지원하는 다른 요인으로는 더 높은 자극 진폭, 더 짧은 펄스 폭, 그리고 더 빠른 환경 상호작용 속도가 있었습니다. 이 분석은 검색 공간을 1,296 개에서 일관되고 고성능을 보이는 12 개의 구성으로 축소했습니다.

2. 최적화된 BNN 의 우월한 성능

• 베이스라인 대비: 최적화된 생물학적 에이전트는 비적응성 배양체 베이스라인보다 현저히 우수한 성능을 보였습니다 (그룹에 따라 3.6 배에서 5.6 배).
• 실리콘 (DQN) 대비: 동일한 수의 상호작용 스텝으로 훈련된 DQN 에이전트보다 최적화된 BNN 에이전트가 훨씬 높은 작업 수행 능력을 보였습니다. 구체적으로, BNN 은 그룹 3 (단일 150 스텝 에피소드) 에서 1.18 배, 그룹 4 (다섯 개의 30 스텝 에피소드) 에서 1.25 배의 개선을 보였습니다.
• 학습 역학: BNN 은 특히 휴식 기간을 포함한 여러 에피소드에 걸쳐 학습이 분산되었을 때 (그룹 4) 명확한 학습 진행을 보여주었으며, 이는 장기 적응 과정의 출현을 시사합니다. 행동 흔적은 무작위 이동에서 목표 획득을 위한 "전진" 행동의 전략적 사용으로의 전환을 보여주었습니다.
• 신경 활동: 최종 에피소드까지 네트워크 활동은 인코딩 전극 근처에 국한되었던 것에서 디코딩 영역 전체로 다양하고 분산된 형태로 전환되어 성공적인 내부 상태 적응을 나타냈습니다.

중요성 및 주장

이 논문은 폐루프 환경에서 BNN 에이전트의 인코딩 구성에 대한 최초의 대규모 매개변수 최적화를 제시한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 프레임워크 정립: 고립된 개념 증명 자극을 넘어 구조화된 다변수 최적화 접근법으로 이동하는 구현된 신경계산에 대한 공식적이고 시스템 수준의 정의를 제공합니다.
2. 데이터 기반 기반: 약 1,300 개의 구성을 스크리닝함으로써 인코딩 매개변수가 네트워크 생리물리학과 어떻게 결합되어 견고한 가소성과 학습을 생성하는지 이해하기 위한 데이터 기반 기반을 확립합니다.
3. 성능 검증: 결과는 적절하게 인터페이스된 살아있는 신경 기질이 목표 지향 행동을 지원할 수 있으며 동등한 훈련 예산 하에서 표준 실리콘 강화 학습 알고리즘보다 우수한 성능을 발휘할 수 있음을 보여줍니다.
4. 미래 방향: 이 연구는 효율적이고 적응적이며 실시간 계산을 수행할 수 있는 하이브리드 바이오-실리콘 아키텍처 개발을 지원합니다. 또한 BNN 의 계산 잠재력은 생물학 고유의 특성뿐만 아니라 바이오-실리콘 인터페이스의 구조에 결정적으로 의존함을 시사합니다.

저자들은 일반화 가능성에 대해 겸손한 입장을 유지하며, 현재 연구가 저차원 스칼라 감각 입력을 사용했음을 지적합니다. 검색 공간이 도메인 전문 지식에 의해 제한되었으며, 다중 에피소드 개선을 뒷받침하는 시간적 의존성에 대한 추가적인 특성이 필요함을 인정합니다. 그러나 이 작업은 점점 더 복잡한 환경에서의 향후 체계적 검증과 신경계산을 위한 전 분야 벤치마크 개발의 기초를 마련한다고 주장합니다.