기술 요약: 다중 목표 학습을 위한 맥락 인식 증거 게이팅 가소성 (Context-Aware Evidence-Gated Plasticity) 기반 스파이킹 신경망

문제 정의

생물학적 영감을 받은 스파이킹 신경망(SNN)은 적응적 행동을 모델링하는 프레임워크를 제공하지만, **지속적인 다중 목표 학습(continual multi-goal learning)**에는 어려움을 겪는다. 공유된 네트워크 아키텍처 내에서, 서로 다른 탐색 목표에 의해 유도된 시냅스 업데이트는 서로 간섭할 수 있다. 구체적으로, 표준 온라인 보상 변조 STDP/RL(reward-modulated spike-timing dependent plasticity)을 사용하여 여러 목표로의 항해를 학습할 때, 한 타겟과 관련된 업데이트가 이전에 학습된 다른 타겟들에 대한 정책을 저하시키는 경우가 빈번하다. 이러한 간섭는 학습 후 에이전트가 잘못된 목표로 항해하게 되는 "오답 타겟 끌림(wrong-target attraction)" 현상과, 온라인 가소성을 비활성화했을 때 성능이 붕괴되는 현상으로 나타난다. 핵심 과제는 SNN이 공유된 시냅스 기질 내에서 파괴적인 간섭 없이 여러 개의 뚜렷한 항해 정책을 습득하고 유지할 수 있도록 하는 학습 메커니즘을 개발하는 것이다.

방법론

모델 아키텍처

저자들은 Python의 NEURON/NetPyNE 시뮬레이션 환경을 사용하여 구현된, 엔토라이날-해마 회로에서 영감을 받은 폐쇄 루프 스파이킹 항해 모델을 개발하였다. 아키텍처는 다음과 같다:

• 공간 표현: 에이전트의 현재 위치를 인코딩하는 그리드 세포 유사($E_{Grid}$) 및 장소 세포 유사($E_{Place}$) 인구 집단.
• 타겟 표현: 활성화된 목표 위치를 인코딩하는 유사 인구 집단($EV_{Grid}$, $EV_{Place}$).
• 연합 층(Association Layer): 공간 및 타겟 맥락을 통합하는 행동 특이적 흥분성 인구 집단($E_{AN}, E_{AS}, E_{AE}, E_{AW}$).
• 운동 출력: 네 가지 방위 방향으로의 움직임을 구동하는 인구 집단($E_{MN}, E_{MS}, E_{ME}, E_{MW}$).
• 억제: 흥분성을 조절하기 위한 빠른 스파이킹 및 저역치 억제 인구 집단.
• 가소성: 연합 층에서 운동 층으로의 흥분성 투사($E_A \to E_M$)에 국한됨.

학습 규칙

본 연구에서는 세 가지 학습 레짐을 비교하였다:

1. 표준 보상 변조 STDP/RL: 100ms 이내의 전-후 스파이크 타이밍에 의해 생성된 적격성 흔적(eligibility traces)이 스칼라 보상 신호에 따라 즉각적으로 시냅스 가중치 변화로 전환되는 온라인 학습 규칙.
2. 글로벌 증거 게이팅 가소성 (EGP): 빠른 후보 생성과 느린 공고화(consolidation)를 분리하는 2단계 메커니즘.
   • TRAIN 단계: 후보 시냅스 수정 사항이 일시적인 제안 저장소($P$)에 축적되지만, 영구적인 가중치 행렬($W$)을 즉시 변경하지는 않는다.
   • TEST 단계: 네트워크는 제안된 가중치를 사용하여 행동을 평가한다. 공고화는 TEST 보상이 TRAIN 보상을 초과할 때만 발생하며, 이는 정규화된 보상 개선 신호($x$)로 정량화된다.
   • 정류된 시그모이드 함수가 공고화를 게이팅하여, 양(+)의 증거만이 가중치를 강화하도록 보장한다.
3. 타겟-맥락 EGP (Target-Context EGP): 타겟 간의 간섭를 방지하기 위해 설계된 EGP의 변형.
   • 단일 글로벌 제안 저장소 대신, 각 활성 타겟 맥락($k$)에 대해 별도의 제안 버퍼($P^{(k)}$)와 보상 추정치가 유지된다.
   • 후보 업데이트는 공고화되어 공유된 영구 가중치 행리에 합쳐지기 전, 각 타겟에 대해 독립적으로 축적되고 평가된다.
   • "필요 기반(need-based)" 가중치 메커니즘은 성과가 낮은 타겟에 대한 공고화 압력을 높인다.

실험 프로토콜

• 환경: 무작위 시작 위치가 있는 2D 정사각형 아레나 (100x100 픽셀).
• 태스크:
  • 단일 타겟: 중앙 타겟(50,50)에 도달하는 학습.
  • 다중 타겟: 5개의 타겟(4개 사분면 및 중앙 1개)에 대해 각각 800 에피소드 동안 순차적으로 학습.
  • 평가: 성능은 타겟 적중률, 누적 보상, 체류 시간 혼동 행렬(올바른 타겟 대 잘못된 타겟 근처에서의 체류 시간 분석)을 통해 측정되었다. 시뮬레이션에는 가소성을 비활성화한 후의 사후 학습 평가가 포함되었다.

주요 기여

1. 간섭의 입증: 본 논문은 표준 온라인 STDP/RL이 단일 타겟 정책은 학습할 수 있지만, 공유된 SNN 내에서 여러 정책을 견고하게 유지하는 데 실패하며, 이는 심각한 타겟-타겟 간섭 및 가소성 비활성화 시 성능 저하를 초래한다는 것을 실증적으로 보여준다.
2. 증거 게이팅 가소성 (EGP): 저자들은 후보 시냅스 변화의 생성과 그 공고화를 분리하는 다중 타임스케일 학습 규칙을 도입하였다. EGP는 제안을 축적하고 이후의 행동 증거와 비교함으로써 불안정한 업데이트를 필터링한다.
3. 타겟-맥락 게이팅: 타겟-맥락 EGP의 참신한 기여는 서로 다른 목표를 위한 별도의 제안 저장소와 신용 할당(credit assignment)을 유지하는 것이다. 이 메커니즘은 공고화 전 서로 충돌하는 항해 맥락으로부터 오는 후보 업데이트의 혼합을 명시적으로 방지한다.
4. 생물학적 타당성: 이 프레임십은 시냅스 태깅 및 포착(synaptic tagging and capture), 재현(replay), 맥락 의존적 게이팅과 같은 생물학적 메커니즘을 SNN에 적합한 계산 모델로 추상화하여, 로컬 가소성 규칙을 느린 공고화 과정과 연결한다.

결과

단일 타겟 학습

표준 STDP/RL은 단일 타겟 항해 정책을 성공적으로 학습하였다. 네트워크는 목표 지향적 행동을 습득하였으며, 가소성을 비활성화한 후에도 성능이 안정적으로 유지되어 정책이 시냅스 가중치에 저장되었음을 확인하였다.

다중 타겟 학습 시 STDP/RL의 양상

여러 타겟에 대해 훈련할 때, 표준 STDP/RL은 초기 학습은 수행했으나 심각한 간섭을 겪었다:

• 타겟별로 성능이 크게 변동하였다.
• 가소성을 비활성화했을 때 성능이 하락했으며, 에이전트는 잘못된 타겟으로 끌리는 현상(혼동 행렬의 비대각 성분 체류)을 보였다.
• 공유된 시냅스 기질은 정책을 깨끗하게 분리할 수 없었다.

EGP 변형 모델의 성능

• 글로벌 EGP 대 타겟-맥락 EGP: 10개의 연결 시드(connectivity seeds) 전체에서 타겟-맥락 EGP가 글로벌 EGP보다 유의미하게 우수한 성능을 보였다.
  • 후기 단계 보상: 타겟-맥락 EGP는 학습의 마지막 단계에서 더 높은 누적 보상을 달로했다.
  • 최약체 타겟 성능: 타겟 간 최소 보상값이 크게 개선되어, 보다 균형 잡힌 학습이 이루어졌음을 나타냈다.
  • 성공률: 양의 보상을 달성한 타겟의 비율이 약 50%(글로벌)에서 약 82%(타겟-맥락 EGP)로 증가했다.
• 간섭 감소: 체류 시간 혼동 행렬은 타겟-맥락 EGP가 "오답 타겟 끌림"을 획기적으로 줄였음을 보여주었다. 올바른 타겟 체류 시간 대 오답 타겟 체류 시간의 비율이 약 12(STDP/RL)에서 약 31(타겟-맥락 EGP)로 증가했다.
• 장기 역학: 2000 에피소드로 연장된 시뮬레이션에서 타겟-맥락 EGP는 모든 타겟에 대해 점진적인 보상 증가를 보였다. 축적된 시냅스 제안의 크기는 시간이 지남에 따라 증가했으며, 시스템은 무작위 시작 위치에 대해서도 일반화 가능한 안정적이고 타겟 선택적인 정책을 성공적으로 공고화했다.

의의 및 주장

본 논문은 생물학적 영감을 받은 SNN이 로컬 가소성을 사용하여 목표 지향적 행동을 학습할 수 있지만, 강건한 다중 목표 학습을 위해서는 공고화 과정에서 맥락 특이적 신용 할당을 보존하는 메커니즘이 필요하다고 주장한다.

저자들의 논지는 다음과 같다:

1. 간섭이 주요 병목 구간이다: 표준 온라인 가소성은 하나의 목표를 위한 업데이트가 다른 목표를 덮어쓰거나 충돌하기 때문에 다중 목표 설정에서 실패한다.
2. 타임스케일의 분리가 필수적이다: 빠른 후보 생성(TRAIN)과 증거 기반 공고화(TEST)를 분리함으로써, 네트워크는 시냅스 변화를 확정하기 전에 그 효용성을 평가할 수 있으며, 이는 생물학적 기억 안정화를 모방한다.
3. 맥락은 필수적이다: 서로 다른 목표를 위한 별도의 제안 저장소를 유지하는 것(타겟-맥락 EGP)은 간섭을 줄이는 데 필요하며, 이를 통해 공유 네트워크가 파괴적 망각 없이 뚜렷한 정책을 학습할 수 있게 한다.
4. 생물학적 관련성: 이 연구 결과는 다중 타임스케일 및 맥락 게이팅 가소성이 생물학적 시스템의 지속적 학습에서 근본적인 구성 요소라는 가설을 뒷받침하며, 시냅스 태깅 및 포착과 같은 개념을 스파이킹 네트워크를 위한 기능적 학습 알고리즘으로 추상화한다.

결론적으로, 타겟-맥락 EGP는 지속적 강화 학습에서 간섭을 줄이기 위한 생물학적 동기 부여 메커니즘을 제공하며, 스파이킹 항해 회로가 여러 목표를 효과적으로 학습하고 유지할 수 있게 한다.