기술 요약: NeuroSynth – 생물학적 영감을 받은 연속 강화 학습 아키텍처

문제 정의

인공지능 시스템, 특히 강화 학습(RL) 분야는 빈번하게 파괴적 망각(catastrophic forgetting) 문제를 겪습니다. 이 현상은 새로운 태스크를 순차적으로 학습하는 신경망이 이전의 행동에 필수적이었던 파라미터를 덮어씀으로써, 기존 지식이 급격히 퇴화하는 현상을 의미합니다. 생물학적 학습 시스템은 신속한 해마 부호화와 느린 피질 공고화 사이의 상호작용, 즉 상보적 학습 시스템을 통해 이러한 간섭을 완화하지만, 대부분의 기존 인공 강화 학습 아키텍처는 명시적인 메모리 시스템 분리가 결여되어 있습니다. 기존의 솔루션들은 대개 단일한 적응형 표현 공간에 의존하며, 이로 인해 새로운 태스크를 우선시하는 그래디언트 업데이트가 이전 태스크를 희생시키는 상황에 취약합니다.

방법론

실험 프레임워크

본 연구는 생물학적 영감을 받은 아키텍처인 NeuroSynth를 두 가지 표준 연속 학습 베이스라인과 비교 평가합니다:

1. PPO (Proximal Policy Optimization): 특정 연속 학습 메커니즘이 없는 표준 액터-크리틱(actor-critic) 방법으로, 파괴적 망각을 보여주는 참조 모델 역할을 합니다.
2. EWC (Elastic Weight Consolidation): 피셔 정보 행렬(Fisher Information matrices)을 사용하여 이전 태스크에 중요했던 파라미터의 업데이트를 제한하는 정규화 기반 접근 방식입니다.

평가는 Gymnasium 프레임워크를 기반으로 구축된 커스텀 연속 RL 환경인 NeuroMaze-CL에서 수행됩니다. 이 환경은 8×8 그리드 월드로, 에이전트는 부분적으로 관찰 가능한(partially observable) 에고센트릭(egocentric) 7×7 RGB 관측치를 사용하여 특정 목표 위치로 이동합니다. 실험은 세 개의 순차적 태스크(Task A → Task B → Task C)로 구성되며, 목표 위치가 변경됩니다. 결정적으로, 본 설정은 비재방문(non-revisitation) 방식입니다. 즉, 한 태스크 단계가 종료되면 에이전트는 해당 태스크에 대해 다시 학습하지 않으며, 이는 모델이 내부적인 유지 메커즘에 의존하도록 강제합니다.

NeuroSynth 아키텍처

NeuroSynth는 상보적 학습 시스템(CLS) 이론을 기능적 알고리즘 프레임워크로 변환하여, **이중 경로 메커니즘(dual-pathway mechanism)**을 통해 신속한 습득과 장기 공고화를 분리합니다:

1. 해마 영감 "Plan" 경로:

   • 시간차 학습(temporal-difference learning)을 통해 초기 태스크(Task A)에 대한 표현을 신속하게 습득합니다.
   • Task A 학습이 완료되면, 초기 표현을 보존하기 위해 모든 플래닝 파라미터를 **동결(frozen)**합니다.
   • 이 동결된 네트워크의 지수 이동 평균(EMA) 복사본이 후속 단계에서 "교사(teacher)" 역할을 수행합니다.

2. 피질 영감 "Habit" 경로:

   • 태스크 B와 C 동안 가소성(plasticity)을 유지하여 에이전트가 새로운 목적을 학습할 수 있도록 합니다.
   • 다음 두 가지 메커니즘을 통해 Task A의 망각을 방지합니다:
     • 리플레이(Replay): 리저버 샘플링 버퍼(reservoir sampling buffer)가 과거의 Task A 상태들을 저장합니다. 새로운 학습 중에 Habit 경로는 현재 태스크의 경험과 리플레이된 이전 태스크의 경험이 혼합된 데이터에 노출됩니다.
     • 정책 증류(Policy Distillation): 동결된 Plan 경로(교사)와 Habit 경로(학생)를 재현된 Task A 상태들에 대한 쿨백-라이블러(KL) 발산 손실을 사용하여 정렬합니다. 이는 동결된 플래너를 재학습시키지 않고도 초기 상태와 관련된 정책 행동을 안정화합니다.

훈련 프로토콜

• 시드(Seeds): 통계적 신뢰성을 위해 6개의 독립적인 랜덤 시드가 사용되었습니다.
• 단계(Steps): Task A (100k steps), Task B (100k steps), Task C (200k steps). 표현 간섭을 높이기 위해 Task C의 단계를 연장했습니다.
• 평가: 훈련 후 각 태스크당 50 에피소드로 구성된 결정론적 스케줄을 사용합니다. 성공률은 목표에 도달한 에피소드의 비율로 정의됩니다.

주요 결과

본 연구는 순차적 훈련 후 세 가지 태스크에 대한 성능을 보고하며, 이전 태스크의 유지 능력과 최종 태스크의 습득 능력에 초점을 맞춥니다.

• Task A 유지력 (Task C 이후):

  • PPO: 거의 완전한 망각을 겪었으며, **0.33%**의 성공률을 기록했습니다.
  • NeuroSynth: **18.00%**의 성공률을 달성했습니다.
  • 유의성: 차이는 통계적으로 유의미하며($p = 0.014929$), 효과 크기가 큽니다 (Cohen's $d = 1.49$).

• Task B 유지력 (Task C 이후):

  • PPO: **0.00%**의 성공률을 기록했습니다.
  • NeuroSynth: **35.33%**의 성공률을 달성했습니다.
  • 유의성: 차이는 매우 유의미하며($p = 0.002376$), 매우 큰 효과 크기를 보입니다 (Cohen's $d = 2.31$).

• Task C 습득 (최종 성능):

  • EWC: **2.00%**의 성공률을 기록했으며, 이는 파라미터 제약이 새로운 태스크에 대한 적응력을 제한했음을 나타냅니다.
  • NeuroSynth: **9.00%**의 성공률을 달성했습니다.
  • 유의성: NeuroSynth가 EWC보다 우수한 성능을 보였으나, 통계적으로 유의미한 차이는 아니었습니다 ($p = 0.226643$), 다만 중간 정도의 효과 크기를 보였습니다 (Cohen's $d = 0.56$).

핵심 기여

1. 아키텍처적 분리: NeuroSynth는 생물학적 해마-피질 상호작용을 모방하여 신속한 습득(Plan)과 느린 공고화(Habit)를 명시적으로 분리하는 이중 경로 설계를 도입했습니다.
2. 하이브리드 안정화: 이 아키텍처는 정적인 파라미터 정규화에만 의존하지 않고, 리플레이(데이터 재현)와 정책 증류(행동 정렬)를 결려 표현을 안정화합니다.
3. 경험적 검증: 본 연구는 이 생물학적 영감 기반 접근 방식이 이전 지식을 유지하는 데 있어 표준 PPO보다 우수하며, 안정성과 가소성의 균형을 맞추는 데 있어 EWC보다 개선된 성능을 제공함을 입증했습니다.

의의 및 주장

본 논문은 NeuroSynth가 연속 강화 학습에서의 안정성-가소성 트레이드오프(stability-plasticity tradeoff) 문제를 성공적으로 해결한다고 주장합니다. 새로운 태스크를 학습하는 메커니즘과 이전 태스크를 유지하는 메커니즘을 분리함으로써, 아키텍처는 새로운 태스크의 그래디언트 업데이트가 이전 태스크의 핵심 파라미터를 덮어쓰는 것을 방지합니다.

저자는 생물학적 영감을 받은 공고화 메커니즘—특히 메모리 경로의 분리와 리플레이 가이드 증류의 사용—이 안정적인 평생 학습(lifelong learning) 시스템을 개발하는 데 유망한 방향임을 결론짓습니다. 결과는 이러한 아키텍처가 표준 그래디언트 기반 방법(PPO)이나 경직된 정규화 방법(EWC)이 동시에 달성하기 어려운, 이전의 행동을 유지하면서도 새로운 환경에 적응하는 능력을 갖출 수 있음을 시사합니다.

한계 및 향후 과제

논문은 다음과 같은 몇 가지 한계를 겸허히 인정합니다:

• 환경 복잡도: 실험은 저차원의 이산적 그리드 월드에서 수행되었으며, 이는 고차원 센서 입력이나 연속 제어의 복잡성을 완전히 포착하지 못합니다.
• 태스크 범위: 단 세 개의 순차적 태스크만을 사용했습니다. 더 큰 규모의 평생 학습 벤치마크에 대한 확장성은 아직 테스트되지 않았습니다.
• 베이스라인 비교: 비교 대상이 PPO와 EWC로 제한되었습니다. 하이브리드 또는 트랜스포머 기반 메모리 시스템과의 더 폭넓은 비교가 필요합니다.
• 생물학적 충실도: 본 모델은 생물학적으로 "사실적"이라기보다 "영감을 받은" 모델이며, 수면 의존적 리플레이나 시냅스 변조와 같은 복잡한 과정을 단순화했습니다.

저자가 제안하는 향후 연구 방향에는 로봇 공학 및 연속 제어 환경에서의 NeuroSynth 테스트, 희소 보상(sparse-reward) 시나리오 조사, 그리고 정적인 동결 방식보다는 적응형 공고화 메커니즘(예: 동적 경로 동결)을 탐구하는 것이 포함됩니다.