Preserving Plasticity in Continual Learning via Dynamical Isometry

기술 요약: 동적 등거리성(Dynamical Isometry)을 통한 지속 학습에서의 가소성 보존

1. 문제 정의

비정상적(non-stationary) 조건 하의 심층 신경망에서의 지속 학습(continual learning)은 종종 **가소성(plasticity)**의 점진적인 상실로 인해 어려움을 겪습니다. 이 현상은 네트워크가 새로운 태스크에 적응하는 능력이 저하되어, 후속 데이터 분포에서 성능이 퇴화하는 방식으로 나타납니다. "죽은 ReLU(dying ReLUs)", 강화 학습(RL)에서의 우선순위 편향(primacy bias), 급격한 손실 지형을 유발하는 가중치 노름(weight norm)의 증가와 같은 구체적인 실패 모드들이 잘 문서화되어 있지만, 이들은 흔-히 개별적으로 연구되어 왔습니다. 저자들은 이러한 실패 모드들의 공통 분모가 모든 관련 출력 공간 방향으로 네트워크를 업데이트하는 경사 하강법의 효율성이 저하되는 것이라고 주장합니다. 이는 수학적으로 경험적 뉴럴 탄젠트 커널(Neural Tangent Kernel, NTK)의 이방성(anisotropy, 조건수) 증가로 표현됩니다.

2. 이론적 프레임워크

본 논문은 가소성에 대한 기능적 정의를 확립하고 이를 파라미터-함수 맵의 기하학적 구조와 연결합니다:

• 가소성의 정의: 가소성은 단순히 손실을 최소화하는 능력이 아니라, 고정된 자원 예산(예: 최적화 단계) 내에서 "달성 가능한 초과 손실(excess achievable loss, 현재 성능과 함수 클래스의 최적 손실 사이의 간극)"을 제거하는 효율성으로 정의됩니다.
• NTK와 이방성: 1차 경사 하강법 하에서 국소적 진행은 경험적 NTK의 레이리 계수(Rayleigh coefficient)에 의해 지배됩니다. 태스크 불가지론적(task-agnostic) 가소성을 위해서는 NTK가 등방성(identity matrix에 비례)을 유지하여, 경사 하강법이 모든 출력 공간 방향에서 유사한 진전을 이룰 수 있어야 합니다.
• 대리 지표로서의 동적 등거리성: 유한한 네트워크에서 정확한 NTK 등방성은 달성하기 어렵습니다. 그러나 저자들은 **동적 등거리성(dynamical isometry)**을 다룰 수 있는 태스크 불가지론적 대리 지표로 제안합니다. 네트워크가 동적으로 등거리적이라는 것은 층별 입력-출력 자코비안(Jacobian)의 특잇값들이 1 근처에 집중되어 있음을 의미합니다. 이는 섭동(perturbation)이 네트워크를 통해 전파될 때 체계적인 확장이나 수축 없이 전달되도록 하여, 등방성 입력 사전 확률(prior)에 대한 기대값 측면에서 NTK 스펙트럼이 양호한 조건(well-conditioned)을 유지하도록 보장합니다.

3. 방법론

저자들은 동적 등거리성을 보존하고 결과적으로 가소성을 유지하기 위한 다각적인 접근 방식을 제안합니다:

• 구조적 존재 증명: 본 논문은 GroupSort 네트워크(특히 MaxMin 활성화 함수)와 직교 선형 층(orthonormal linear layers)의 결합을 재검토합니다. 이 네트워크들은 **거의 모든 곳에서(a.e.) 등거리적(isometric)**임이 증명되었습니다. 등거리성을 유지함에도 불구하고, 이들은 보편적 리프시츠 함수 근사기(universal Lipschitz function approximators)로 남으며, 이는 엄격한 등거리성 제약이 표현 가능한 비선형 표현과 양립할 수 있음을 보여줍니다.
• 일반 아키텍처를 위한 정규화: 정확한 등거리성이 불가능한 요소별 활성화 함수(예: ReLU)를 사용하는 표준 네트워크를 위해, 저자들은 효율적인 **등거리성 촉진 정규화 항(isometry-promoting regularizer)**을 도입합니다. 이 페널티는 그람 행렬(Gram matrix, $W^\top W - I$ 또는 $WW^\top - I$)의 프로베니우스 노름 편차를 최소화함으로써 가중치 행렬의 특잇값을 1로 유도합니다.
• ReLU 회생 메커니즘: 새로운 기여는 이 정규화 항이 "죽은" ReLU 유닛을 어떻게 재활성화하는지에 대한 메커니즘을 식별한 것입니다. 정규화 항이 직교성을 유지하기 위해 가중치 행렬의 행들을 결-합하기 때문에, 태스크 손실에 따른 활성 뉴런의 움직임은 비활성 가중치 벡터의 회전을 유도합니다. 이는 이전에 휴면 상태였던 유닛들을 양의 사전 활성화(pre-activation) 영역으로 다시 밀어 넣어, 명시적인 태스크 기반 그래디언트 없이도 효과적으로 회생시킬 수 있습니다.
• AdamO 옵티마이저: 적응형 모멘트 추정 내에서 태스크 그래디언트와 정규화 그래디언트가 혼합되어 불안정한 스케일링을 초래하는 것을 방지하기 위해, 저자들은 AdamO를 도입합니다. AdamW의 디커플링된 가중치 감쇠(weight decay)와 유사하게, AdamO는 등거리성 정규화 단계를 적응형 그래디ante 업데이트로부터 분리합니다. 즉, Adam 모멘트는 태스크 그래디언트만을 사용하여 업데이트한 후, 별도의 단계로 등거리성 페널티를 적용합니다.

4. 실험 결과

제안된 방법들은 가소성 상실을 유도하도록 설계된 지도 학습 및 강화 학습 지속 학습 벤치마크에서 평가되었습니다:

• 지도 학습: 무작위 레이블 암기(Random-Label Memorization, 순수 최적화 능력 테스트), Permuted MNIST/CIFAR, Label-Shuffled CIFAR를 포함한 벤치마크에서, 저자들의 방법(특히 AdamO와 함께 사용된 ReLU 또는 MaxMin)은 Normalize-and-Project(NaP), Spectral Norm 정규화, ReDo와 같은 기존 베이스라인들과 일관되게 대등하거나 더 우수한 성능을 보였습니다. 이 방법들은 긴 태스크 시퀀스 동안 훈련 정확도와 일반화 능력을 유지하는 데 탁월한 능력을 입증했습니다.
• 강화 학습: 무작위 채널 순열과 태스크 전환이 있는 지속적 MinAtar 및 Octax 환경에서, AdamO 기반 접근 방식은 20 사이클(총 12억 단계) 동안 일관된 성능을 유지했습니다. 반면, 표준 PPO 베이스라인은 시간이 지남에 따라 상당한 성능 저하를 보였습니다.
• 진단: 실험을 통해 제안된 방법들이 베이스라인에 비해 낮은 조건수, 높은 유효 NTK 랭크, 그리고 지속적인 ReLU 활성도를 성공적으로 유지했음을 확인하였으며, 이를 통해 등거리성과 가소성 사이의 이론적 연결을 검증했습니다.

5. 주요 기여

1. 가소성의 기능적 정의: NTK 기하학과 달성 가능한 초과 손실을 제거하는 효율성 관점에서의 가소성 공식화.
2. 동적 등거리성을 목표로 설정: 가소성을 보존하기 위한 원칙적이고 태스크 불가지론적인 메커니즘으로서 층별 동적 등거리성을 식별.
3. 표현력과의 양립 가능성: (GroupSort와 같은) 거의 모든 곳에서 등거리적인 아키텍처가 보편적 근사기임을 증명하여, 등거리성 제약이 모델 용량을 제한한다는 우려를 해소.
4. 실용적인 훈련 도구:
   • 일반적인 아키텍처를 위한 효율적인 등거리성 정규화 항.
   • 직교성 제약을 통해 죽은 ReLU 유닛을 회생시키는 메커니즘 설명 및 활용.
   • AdamO: 적응형 그래디언트 통계치를 손상시키지 않고 등거리성 정규화를 처리하기 위해 설계된 디커플링된 옵티마이저.

6. 의의 및 주장

본 논문은 동적 등거리성을 보존하는 것이 다양한 가소성 상실 현상에 대한 통합적인 기하학적 설명을 제공하며, 지속 학습을 위한 강력한 솔루션을 제공한다고 주장합니다. 네트워크를 등거리 다양체(isometric manifold) 근처에 유지함으로써, 시스템은 현재의 목적 함수와 관계없이 현재 파라미터로부터 유의미한 진전을 이룰 수 있는 능력을 보유하게 됩니다.

저자들은 본 연구를 초기화 이론(등거리성이 신호 전파를 돕는 것으로 알려진 분야)과 지속 학습(등거리성 보존이 가소성 상실을 방지하는 분야) 사이의 가교 역할을 하는 작업으로 위치시킵니다. 또한, 제안된 방법들이 기존 접근 방식보다 우수하지만, 이것이 지속 학습의 모든 측면(예: 가소성 상실과 구분되는 '파괴적 망각')을 해결한다고 주장하지는 않는다는 점을 겸허히 밝히고 있습니다. 향aft후 방향으로는 심층 강화 학습 에이전트와 대규모 언어 모델(LLM)에 이 원칙을 적용하여, 더 깊은 아키텍처에서 훈련을 안정화하고 지속적인 적응력을 향상시키는 것을 제안합니다.