기술 요약: SPHERE - 심층 강화학습의 전문가 혼합 (MoE) 에서 발생하는 스펙트럼 가소성 손실 완화

1. 문제 제기

심층 강화학습 (DRL) 에서 경험 스트림으로 훈련된 에이전트는 종종 **가소성 손실 (plasticity loss)**에 시달립니다. 이는 훈련이 진행됨에 따라 새로운 경험으로부터 새로운 기술을 학습하는 능력이 점진적으로 감소하는 현상입니다. 이러한 현상은 에이전트가 일련의 작업을 순차적으로 마스터해야 하는 연속 강화학습 (CRL) 환경에서 특히 해롭습니다.

전문가 혼합 (MoE) 아키텍처는 DRL 에서 정책 용량을 확장하기 위해 성공적으로 배포되어 왔습니다 (예: 매니퓰레이터, 휴머노이드, 4 족 동물용). 그러나 실증 연구에 따르면 MoE 정책 또한 연속 환경에서 심각한 가소성 손실에 시달리는 것으로 나타났습니다. 훈련이 진행됨에 따라 MoE 성능이 저하될 수 있으며, 이는 아키텍처 자체가 밀집 네트워크에서 관찰된 것과 동일한 용량 손실 메커니즘에 취약함을 시사합니다.

이 논문이 다루는 핵심 과제는 MoE 정책 내에서 가소성 손실에 대한 공식적 특성이 부재하고, 이를 완화할 실용적인 방법이 없다는 점입니다. 밀집 네트워크를 위한 기존 완화 전략 (예: 스펙트럼 정규화, 헤시안 정규화) 은 희소하고 라우팅된 MoE 정책 구조에 직접 적용되지 않습니다.

2. 방법론: SPHERE

저자들은 MoE 정책의 학습 용량을 보존하도록 설계된 원칙적인 정규화기인 SPHERE(Spectral Plasticity via Hyperspherical Expert REgularization, 초구형 전문가 정규화를 통한 스펙트럼 가소성) 를 제안합니다. 방법론은 네 가지 주요 이론적 및 실용적 단계를 거칩니다:

2.1 가소성 손실을 스펙트럼 가소성 손실로 공식화

신경 탄성 커널 (NTK) 이론을 바탕으로, 저자들은 가소성 손실을 스펙트럼 가소성 손실로 공식화합니다.

• 메커니즘: 정책의 업데이트 방향은 네트워크 출력에 대한 파라미터의 야코비안 $J$를 사용하여 정의된 경험적 NTK(eNTK) 행렬 $K = JJ^\top$에 의해 지배됩니다.
• 정의: 가소성 손실은 eNTK 의 **스펙트럼 엔트로피 유효 랭크 (spectral-entropy effective rank, $r_e$)**의 붕괴에 해당합니다. 높은 유효 랭크는 등방성 스펙트럼을 의미하여 다양한 방향의 업데이트를 허용합니다. 반면 낮은 유효 랭크 (스펙트럼 붕괴) 는 업데이트를 소수의 지배적인 방향으로 제한하여 새로운 작업을 학습하는 능력을 저해합니다.
• 관찰: CRL 에서 MoE 정책의 eNTK 스펙트럼이 붕괴하여 유효 랭크가 감소하고 기능적 업데이트가 제한됩니다.

2.2 처리 가능한 대리 변수 도출

대규모 네트워크의 경우 메모리 제약 ($O(N^2P)$) 으로 인해 eNTK 행렬 $K$를 직접 계산하는 것은 불가능합니다. 이를 해결하기 위해 저자들은 파라미터 공간의 가우스 - 뉴턴 (Gauss-Newton, GN) 행렬 ($G_{GN} = \frac{1}{N}J^\top J$) 을 기반으로 한 처리 가능한 대리 변수를 도출합니다.

• 분해: GN 행렬을 게이트 (gate) 및 전문가 (expert) 파라미터에 해당하는 블록 대각 성분으로 분해합니다.
• 레이어별 근사: 블록 대각 근사 하에서 전체 eNTK 의 유효 랭크는 개별 레이어 블록의 유효 랭크들의 혼합으로 표현됩니다.
• 전문가 블록 대용량: 전문가 레이어의 경우, 저자들은 특징 그람 행렬 $A$와 기울기 그람 행렬 $G$를 사용하여 크로네커 대용량 ($\tilde{G}_{GN} = A \otimes G$) 을 활용합니다. 그들은 전문가 블록의 유효 랭크가 이 크로네커 대용량의 조건수에 대한 함수에 의해 하한이 결정됨을 증명합니다.

2.3 SPHERE 정규화기

스펙트럼 가소성의 하한을 최대화하기 위해, 저자들은 특징 그람 행렬 $A$의 조건수를 최소화하고자 합니다.

• 목표: 마지막 숨겨진 전문가 레이어의 **가중치 부여된 전문가 특징 그람 (weighted expert feature Gram, $A_{last}^{exp}$)**에 초점을 맞춥니다. 이 행렬은 Top-K 게팅 확률로 가중치가 부여된 전문가 특징들을 연결하여 구성됩니다.
• 페널티: SPHERE 는 $A_{last}^{exp}$의 이방성 (anisotropic) 성분에 파세발 (Parseval) 페널티(2 차 페널티) 를 적용합니다. 손실 함수는 다음과 같이 정의됩니다:
  $$L_{SPHERE}(A_{last}^{exp}) = \left\| A_{last}^{exp} - \frac{\text{Tr}(A_{last}^{exp})}{m} I_m \right\|_F^2$$
  이 페널티는 특징 그람의 고유값이 동일하도록 (등방성) 유도하여 유효 랭크를 증가시키고 스펙트럼 가소성을 보존합니다.
• 이론적 보장: 저자들은 이 페널티를 최적화하면 **스펙트럼 수축 (spectral contraction)**이 유도되어 대리 변수의 조건수가 단조 감소하고 eNTK 유효 랭크의 하한이 증가함을 증명합니다.

2.4 구현

SPHERE 는 PPO 훈련 루프에 통합됩니다. 각 기울기 업데이트 시, 순전파 (forward pass) 에서 가중치 부여된 전문가 특징 그람이 계산되고, SPHERE 페널티가 액터 (actor) 의 손실 함수에 추가됩니다. 정규화 계수는 액터의 기울기 노름과 SPHERE 기울기 노름의 비율에 기반하여 적응적으로 스케일링됩니다.

3. 주요 기여

1. 공식화: 이 논문은 MoE 정책에서의 가소성 손실을 경험적 NTK 의 스펙트럼 엔트로피 유효 랭크로 정량화된 스펙트럼 가소성 손실로 공식적으로 정의합니다.
2. 처리 가능한 대리 변수: 전체 eNTK 를 구성하는 대신 개별 전문가 특징 행렬에만 의존하는 실용적인 레이어별 대리 변수를 도출하여 스펙트럼 가소성을 다룹니다.
3. 알고리즘 (SPHERE): 스펙트럼 붕괴에 대항하기 위해 가중치 부여된 전문가 특징에 등방성을 부과하는 원칙적인 정규화기인 SPHERE 를 도입합니다.
4. 실증적 검증: 이 방법은 MetaWorld와 HumanoidBench에서 평가되었으며, 정규화되지 않은 MoE 기준선 및 기존 가소성 완화 방법보다 일관된 개선을 보여주었습니다.

4. 실험 결과

저자들은 SPHERE 를 두 가지 로봇 공학 벤치마크에서 평가했습니다:

• MetaWorld (CW10): 10 가지 조작 작업 세트로 구성된 스위트.
• HumanoidBench: H1 휴머노이드를 위한 5 가지 보행 작업 세트로 구성된 스위트.

주요 발견:

• 성능 향상:
  • CRL 하의 MetaWorld에서 SPHERE 는 정규화되지 않은 Top-K MoE 기준선 대비 평균 성공률을 133% 향상시켰습니다.
  • CRL 하의 HumanoidBench에서 SPHERE 는 기준선 대비 평균 성공률을 50% 향상시켰습니다.
  • SPHERE 는 단일 작업 훈련 (표준 RL 설정) 에서도 개선을 보여주었으며, 이는 분포 드리프트로 인해 단일 작업 내에서도 스펙트럼 가소성이 감소할 수 있음을 시사합니다.
• 스펙트럼 가소성 유지: 훈련 내내 SPHERE 는 급속한 스펙트럼 붕괴를 보인 기준선과 비교하여 훨씬 더 높은 유효 랭크 ($r_e(K)$) 를 유지했습니다.
• 애블레이션 연구:
  • 마지막 숨겨진 전문가 레이어만 정규화하는 것이 가장 효과적이었으며, 모든 레이어나 게이트만 정규화하는 경우 성능이 낮았습니다.
  • 교차 전문가 연결 (Cross-expert concatenation)(개별 전문가가 아닌 결합된 특징 그람을 정규화하는 것) 이 성능 향상에 결정적이었으며, 이는 교차 전문가 상관관계를 관리하는 중요성을 나타냅니다.
  • 이 방법은 다양한 활성화 함수 (ReLU, Tanh), 전문가 수, MoE 변형 (Dense-MoE, DS-MoE) 에서 견고했습니다.
• 정성적 분석: t-SNE 시각화는 SPHERE 가 없을 때 상태 표현이 단일 지배적인 특징 방향으로 붕괴되는 것을 보여주었습니다. SPHERE 가 적용되면 표현은 다양하고 등방적으로 유지되었습니다.

5. 중요성 및 주장

이 논문은 SPHERE가 MoE 기반 DRL 에이전트의 가소성 손실 문제에 대한 원칙적인 해결책을 제공한다고 주장합니다. 스펙트럼 이론 (eNTK 유효 랭크) 을 통해 가소성 손실을 조명함으로써, 저자들은 이론적 이해와 실용적 정규화 간의 간극을 메웠습니다.

이 연구의 중요성은 다음과 같습니다:

• 확장 가능한 연속 학습 가능화: MoE 아키텍처가 RL 에이전트 확장 표준이 됨에 따라, SPHERE 는 이러한 모델이 작업의 긴 시퀀스 전반에 걸쳐 새로운 기술을 학습할 수 있는 능력을 유지하도록 보장하여 후속 작업에서의 체계적 실패를 방지합니다.
• 이론적 통찰: 라우팅 메커니즘과 전문가 전문화를 학습 풍경의 스펙트럼 특성과 연결함으로써 MoE 역학에 대한 새로운 관점을 제시합니다.
• 실용적 효능: 이 방법은 계산적으로 효율적이며 (1000 개의 전문가가 있더라도 약 3-6% 의 오버헤드만 추가) 아키텍처 변경 없이 기존 PPO 파이프라인에 원활하게 통합됩니다.

저자들은 한계를 인정하며, 그들의 유도 과정이 이론적 근사 (블록 대각 및 레이어 내 독립성) 에 의존하며 현재 범위가 연속 제어 RL 로 제한됨을 지적합니다. 그들은 대규모 파운데이션 모델로 SPHERE 를 확장하는 것을 향후 연구 방향으로 제시합니다.