기술 요약: 지속적 강화 학습을 위한 교정된 부분 재설정 (Calibrated Partial Resets, CPR)

1. 문제 정의

심층 신경망은 지속적인 비정상성(non-stationary) 학습 과정에서 흔히 가소성 상실(loss of plasticity) 문제를 겪으며, 이는 지속적 강화 학습(Continual Reinforcement Learning, RL)에서 매우 중요한 이슈입니다. 이러한 환경에서 정책 업데이트는 에이전트의 미래 데이터 분포를 변화시키며, 작은 최적화 불안정성이 누적되어 파괴적인 정책 저하(catastrophic policy degradation)로 이어지는 피드백 루프를 생성합니다 (Juliani & Ash, 2024).

CBP(Continual Backpropagation), ReDo, ReGraMa와 같은 기존의 가소성 상실 해결책들은 **이진 뉴런 재설정(binary neuron resets)**에 의존합니다. 이 방법들은 낮은 효용성을 가진 뉴런(활성화 또는 그래디언트 통계 기반)을 식별하여 완전히 재초기화합니다. 그러나 저자들은 이진 재설정이 두 가지 별개의 설계 선택지를 혼동하고 있다고 주장합니다: 즉, 어떤 유닛을 새로고침할 것인가와 얼마나 강하게 변화시킬 것인가의 문제입니다.

• 불안정성: 이진 재설정의 "전부 아니면 전무(all-or-nothing)" 방식은 급격한 파라미터 변화와 그래디언트 스파이크를 유발하여, 장기적인 RL 학습을 불안정하게 만들고 정책 붕괴(policy collapse)를 초래할 수 있습니다.
• 취약성: 완전한 재초기화는 나가는 가중치(outgoing weights)를 0으로 만들어, 레이어 정규화(layer normalization)가 없는 경우 후속 레이어에 분포 변화를 일으킵니다.
• 균등 감쇠의 한계: Shrink & Perturb와 같은 대안적 방법은 모든 유닛에 균등한 감쇠를 적용하는데, 이는 부드럽기는 하지만 무차별적이어서 특정 유닛을 타겟팅하여 새로고침하는 데 실패합니다.

핵심 문제는 정책 붕괴를 방지하면서도 정점의 성능을 유지하기 위해, 선택적(낮은 효용 유닛을 타겟팅)이면서도 부드러운(급격한 파라미터 점프를 피하는) 방법이 부족하다는 것입니다.

2. 방법론: 교정된 부분 재설정 (CPR)

저자들은 **교정된 부분 재설정 (Calibrated Partial Resets, CPR)**을 제안합니다. 이는 뉴로의 효용성에 따라 규모가 조절되는 방식으로, 주기적으로 뉴런을 초기화 상태로 끌어당기는 옵티마이저입니다. 이진 재설정과 달리, CPR은 연속적이고 부분적인 조정을 적용합니다.

2.1 효용성 추정 (Utility Estimation)

CPR은 최근 연구에서 더 유리한 척도를 보여준 그래디언트 기반 효용 점수를 활용합니다 (Liu et al., 2025).

• 원시 점수 ($S_i^\ell$): 레이어 $\ell$의 유닛 $i$에 들어오는 가중치의 그래디언트 크기의 평균입니다.
• 정규화된 점수 ($u_i^\ell$): 레이어 간 및 시간 간 비교 가능성을 보장하기 위해, 원시 점수는 레이어 평균으로 나누어 레이어 정규화되며, 감쇠 파라미터 $\beta$를 사용하는 지수 이동 평균(EMA)을 통해 평활화됩니다.

2.2 재설정 메커니즘

매 $f$ 스텝마다, CPR은 다음 식에 따라 레이어 $\ell$의 모든 뉴런 $i$의 가중치를 업데이트합니다:
$$W_i^{\ell, :} \leftarrow (1 - r_i^\ell) W_i^{\ell, :} + r_i^\ell \xi_i^{\ell, :}$$
$$W_{:, i}^{\ell+1} \leftarrow (1 - r_i^\ell) W_{:, i}^{\ell+1}$$

여기서:

• $\xi$는 초기화 분포(예: Kaiming)에서 추출된 가중치입니다.
• $r_i^\ell$은 재설정 계수이며, 최대 재설정 비율 $\rho \in (0, 1]$에 의해 제한됩니다.
• 계수는 정규화된 효용 $u_i^\ell$의 단조 감소 함수 $\phi$에 의해 결정됩니다:
  $$r_i^\ell = \rho \cdot \phi(u_i^\ell)$$

2.3 변환 함수 (The Transformation Function)

함수 $\phi$는 효용을 재설정 강도로 매핑합니다. 저자들은 시그모이드 기반 형태를 사용합니다:
$$\phi(u_i^\ell) = \min\left(2\sigma[-\kappa(u_i^\ell - 1)], 1\right)$$

• 선택성: 레이어 평균보다 효용이 낮은 유닛($u < 1$)은 최대 $\rho$에 가까운 재설정 비율을 받습니다. 효용이 높은 유닛($u > 1$)은 점진적으로 더 작은 재설정을 받습니다.
• 부분성: 가장 낮은 효용을 가진 유닛이라 할지라도, 재설정은 완전한 재초기화가 아닌 $\rho$만큼 초기값 쪽으로 끌어당기는 부분적인 과정입니다. 이는 이진 재설정과 관련된 그래디언트 스파이크를 방지합니다.
• 날카로움 ($\kappa$): 효용이 증가함에 따라 재설정 비율이 얼마나 급격히 떨어지는지를 제어합니다. 저자들은 다양한 범위에서 견고함을 보여준 아블레이션 연구를 바탕으로 $\kappa=16$으로 고정했습니다.

3. 주요 기여

1. 불안정성 원인 식별: 본 논문은 이진 뉴런 재설정이 장기적인 지속적 RL에서 불안정성의 주요 원인임을 밝히며, 유닛의 선택과 업데이트 크기를 구분하였습니다.
2. CPR 옵티마이저: 완전한 재초기화의 취약성을 피하면서 재설정 방식의 선택성을 유지하는, 효용 기반 규모 조절 부분 재설정 옵티마이저를 도입했습니다.
3. 경험적 검증: SlipperyAnt 환경에서 4억 스텝 동안 CPR이 정책 붕괴를 방지함을 입증했습니다. 이 환경은 Adam이나 이진 재설정 방식들이 실패하는 구간입니다.
4. 트레이드오프 제어: 아블레이션 연구를 통해 최대 재설정 비율 $\rho$가 가소성(적응력)과 정점 성능 사이의 조절 가능한 트레이드오프를 제공하며, 정밀한 하이퍼파라미터 튜닝 없이도 붕괴를 방지할 수 있음을 보여주었습니다.

4. 결과

저자들은 네 가지 벤치마크(SlipperyAnt, SlipperyHumanoid, Continual MetaWorld, Continual MinAtar)에서 CPR을 평가했습니다.

• 정책 붕패 방지: SlipperyAnt (400M 스텝)에서 CPR은 15개 시드 중 정책 붕괴가 전혀 발생하지 않은 유일한 방법이었습니다. 반면, Adam은 붕괴되었고, 이진 재설정 방식(ReDo, ReGraMa)은 상당한 성능 저하나 붕괴를 보였습니다.
• 성능: CPR은 SlipperyAnt와 SlipperyHumanoid에서 가장 높은 사분위 평균(IQM) 에피소드 리턴을 달 기록했습니다. 또한 Continual MetaWorld와 Continual MinAtar에서도 베이스라인(CBP, ReDo, ReGraMa, Shrink & Perturb)을 능가했습니다.
• 안정성 지표:
  • 휴면 뉴런 (Dormant Neurons): CPR은 CBP와 유사하게 낮고 평탄한 휴면 뉴런 비율을 유지했으나, Adam에서 보이는 후기 학습 단계의 드리프트 현상은 나타나지 않았습니다.
  • 그래디언트 노름 (Gradient Norms): CPR은 이진 재설정 베이스라인들에 비해 액터 그래디언트 노름의 변동이 작았으며, 이는 정책 붕괴를 피하는 능력과 상관관계가 있었습니다.
  • 파라미터 노름 (Parameter Norms): CPR은 가소성 상실의 원인으로 알려진 파라미터 성장을 억제한 반면, 베이스라인들은 더 높은 파라미터 성장을 보였습니다.
• 아블레이션 (Ablations):
  • 날카로움 ($\kappa$): 성능은 $\kappa \in [2, 20]$ 범위에서 견고하게 유지되었습니다. 낮은 값($\kappa \le 1$)은 재설정을 너무 균등하게 만들어 성능을 저하시켰습니다.
  • 재설정 규모 ($\rho$): $\rho \in [0.01, 0.05]$ 범위의 값은 일관되게 붕괴를 방지했습니다. 낮은 $\rho$는 안정성을 높이지만 적응력을 저해했고, 높은 $\rho$는 가소성을 높이지만 유용한 구조까지 과도하게 재설정할 위험이 있었습니다.

5. 의의 및 주장

본 논문은 CPR이 장기 RL에서 훈련 신뢰성의 질적 변화를 나타낸다고 주장합니다. 전부 아니면 전무 식의 업데이트를 효용 기반의 부분 재설정으로 대체함으로써, CPR은 정책 붕괴를 일으키는 급격한 파라미터 업데이트 없이 필요한 가소성을 주입합니다.

저자들은 CPR이 뉴런별 효용 계산 및 실행 중인 평균값 저장으로 인해 구현 복잡성이 증가하지만, 계산 오버헤드는 미미하며(고차원 작업에서 실제 실행 시간 약 6% 증가), 표준 훈련 파이프라인(예: Optax)에 최소한의 변경만으로 적용 가능한 모듈형 방식임을 강조합니다.

결론적으로, 본 연구는 효용 규모 기반의 재초기화가 지속적 학습을 위한 유망한 방향이며, 안정성과 가소성 사이의 트레이드오프를 조절할 수 있는 튜너블한 메커니즘을 제공한다고 밝힙니다. 저자들은 CPR이 태스크 역학 및 아이덴티티 변화에 집중하고 있으며, 모든 형태의 지속적 RL 불안정성(예: 보상 비정상성 또는 형태 변화)을 해결한다고 주장하지 않는다는 한계점을 인정합니다. 향후 연구에서는 효용 추정, 부분 재초기화, 그리고 다양한 아키텍처에서의 옵티마이저 상태 핸들링의 역할을 분리하여 다룰 것을 제안합니다.