💻 computer science

SingularClip: Preventing Spectral Collapse to Maintain Plasticity in Continual and Reinforcement Learning

이 논문은 비정상적(nonstationary) 태스크를 수행하는 신경망에서 스펙트럼 붕괴(spectral collapse)를 방지하고 가소성(plasticity)을 유지하기 위해 가중치 행렬의 특이값(singular values)을 주기적으로 클리핑하는 방법인 SingularClip을 소개하며, 이를 통해 지속적 지도 학습(continual supervised learning)과 심층 강화 학습(deep reinforcement learning) 모두에서 우수한 성능을 입증한다.

원저자: Tyler Kastner, Nimrod De La Vega, Amir-massoud Farahmand

게시일 2026-08-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tyler Kastner, Nimrod De La Vega, Amir-massoud Farahmand

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

딥러닝은 기계에게 얼굴을 인식하고, 언어를 번역하며, 복잡한 게임을 수행하는 능력을 부여했지만, 이 시스템들은 주변 세계가 변할 때 어려움을 겪습니다. 정적인 교실에서 학생은 교과서를 암기하여 영원히 유용하게 남을 수 있습니다. 하지만 현실 세계에서는 규칙이 끊임없이 변합니다. 자율주행 자동차는 새로운 교통 패턴에 적응해야 하며, 로봇은 걷는 법을 잊지 않으면서 새로운 과업을 배워야 합니다. 이러한 시스템의 수학적 두뇌인 신경망이 오래된 지식 위에 새로운 것을 배우려고 할 때, 그들은 종종 경직됩니다. 그들은 새로운 정보에 맞춰 구부러지고 적응하는 능력을 상실하는데, 과학자들은 이를 '가소성 상실(loss of plasticity)'이라고 부릅니다. 이러한 유연성이 없으면 기계는 얼어붙어 변화하는 환경에 대한 이해를 업데이트할 수 없게 됩니다.

연구자들은 네트워크가 학습함에 따라 내부 계산 과정에서 무언가 잘못된다는 사실을 오래전부터 알고 있었습니다. 그들은 정보가 흐르는 방식을 결정하는 숫자들인 네트워크의 가중치(weights)가 좋지 않은 형태에 갇히고 있다고 의심해 왔습니다. 토론토 대학교와 폴리테크니크 몬트리올의 과학자 팀은 이제 그 나쁜 형태가 정확히 무엇인지, 그리고 어떻게 해결할 수 있는지를 밝혀냈습니다. 그들은 네트워크가 학습함에 따라 내부 구조가 점점 더 불균형해지며, 어떤 방향으로는 길게 늘어나고 다른 방향으로는 붕괴한다는 사실을 발견했습니다. 이러한 왜곡은 네트워크가 새로운 과업을 배우는 것을 매우 어렵게 만듭니다. 이를 해결하기 위해, 그들은 이러한 내부 구조를 재형성하여 기계가 유연성을 유지하고 계속 학습할 수 있게 해주는 간단하고 주기적인 절차를 도입했습니다.

문제의 핵심은 네트워크가 지식을 조직하는 방식에 있습니다. 네트워크를 언덕과 계곡이 가득한 광활한 풍경이라고 상상해 보십시오. 학습이 진행됨에 따라 이 풍경은 변화합니다. 연구자들은 시간이 흐름에 따라 이 풍경이 길고 가는 능선(ridge) 형태로 늘어나는 경향이 있다는 것을 발견했습니다. 대부분의 학습은 이 단일한 능선을 따라 일어나며, 나머지 풍경은 깊고 좁은 협곡으로 평평해집니다. 기술적인 용어로, 연구자들은 이를 '성장하는 이방성(growing anisotropy)'이라고 부릅니다. 이는 네트워크가 특정 방향의 변화에는 매우 민데 민감하지만, 다른 방향의 변화에는 완전히 귀머거리처럼 반응하게 된다는 것을 의미합니다. 새로운 과업이 다른 방향에서의 학습을 요구할 때, 네트워크의 내부 구조가 단일한 지배적 능선으로 붕괴되었기 때문에 네트워크는 반응할 수 없습니다. 새로운 과업을 배우는 데 필요한 신호가 그 평평한 협곡 속에서 길을 잃는 것입니다.

이것이 경직성의 원인임을 증명하기 위해, 연구자들은 인위적으로 이러한 늘어진 형태를 가진 네트워크를 만들어 실험을 진행했습니다. 그들은 이러한 왜곡된 네트워크가 균형 잡힌 네트워크에 비해 학습하는 데 훨씬 더 오랜 시간이 걸리거나 아예 학습에 실패한다는 것을 발견했습니다. 또한 이미지의 무작위 패턴을 인식하는 것부터 가상 로봇을 제어하는 법을 배우는 것에 이르기까지, 실제 과업을 수행하도록 훈련된 네트워크에서도 동일한 늘어남 현상이 자연스럽게 발생하는 것을 관찰했습니다. 늘어남은 단순한 부수 효과가 아니라, 속도 저하의 직접적인 원인이었습니다. 네트워크가 더 많이 늘어날수록, 새로운 정보가 그 안을 통과하기가 더 어려워졌습니다.

연구팀은 '싱귤러클립(SingularClip)'이라 부르는 해결책을 개발했습니다. 이 이름은 문제를 해결하기 위해 사용하는 수학적 연산에서 유래되었습니다. 네트워크가 통제 불능 상태로 늘어나도록 두는 대신, 그들은 주기적으로 훈련 과정을 멈추고 네트워크의 내부 구조의 형태를 점검합니다. 만약 구조가 너무 늘어났다면, 그들은 극단적인 값들을 클리핑(clip, 잘라내기)하여 형태가 더 균형 잡히고 둥근 형태로 돌아오도록 강제합니다. 이것은 기계가 지금까지 배운 모든 것을 지워버리는 완전한 리셋이 아닙니다. 대신, 이는 네트워크가 수집한 정보를 보존하면서도 너무 경직되지 않도록 하는 부드러운 교정입니다. 이는 마치 식물이 너무 높고 가늘게 자랄 때, 식물이 다시 새로운 방향으로 가지를 뻗을 수 있도록 과도한 성장을 잘라내는 정원사의 전정 작업과 같습니다.

이 접근 방식의 결과는 놀라웠습니다. 기계가 일련의 서로 다른 과업을 학습해야 하는 테스트에서, 이 클리핑 기법을 적용한 네트워크는 다른 일반적인 기술들을 사용했을 때보다 훨씬 더 빠르고 정확하게 학습했습니다. 이전의 일부 방법들은 한 방향으로 네트워크가 얼마나 커질 수 있는지만 제한함으로써 문제를 해결하려 했으나, 연구자들은 네트워크가 다른 방향으로 붕괴할 수 있기 때문에 이것이 불충분하다는 것을 보여주었습니다. 다른 방법들은 네트워크를 완전히 리셋하는 방식을 포함했는데, 이는 새로운 것을 배우는 데는 효과적이었지만 기계가 이전에 배웠던 모든 것을 잊게 만들었습니다. 새로운 방법은 그 중간 지점에 위치했습니다. 즉, 기계가 과거의 지식을 지우지 않으면서도 새로운 과업을 배울 수 있을 만큼 충분히 유연하게 유지했습니다.

시행착오를 통해 학습하는 에이전트들이 존재하는 강화 학습의 세계에서, 그 차이는 더욱 극적이었습니다. 주기적인 리셋이 있는 어려운 환경에서, 표준 에이전트는 가혹한 리셋으로부터 회복하지 못해 아무것도 배우지 못했습니다. 그러나 새로운 클리핑 기법을 사용한 에이전트는 이전 지식을 충분히 보유하고 있었기에 결국 성공했으며, 리셋을 전혀 하지 않은 표준 에이전트보다도 뛰어난 성능을 보였습니다. 이는 평생 학습(lifelong learning)의 핵심이 단순히 새로운 것을 배우는 것뿐만 아니라, 그것들을 배울 수 있도록 적절한 내부 형태를 유지하는 데 있음을 시사합니다. 네트워크의 내부 기하학적 구조를 균형 있게 유지함으로써, 기계는 미래를 향해 열려 있으며, 다음에 올 어떤 변화에도 적응할 준비를 갖추게 됩니다.

기술 요약: SINGULARCLIP: 지속 학습 및 강화 학습에서의 가소성 유지를 위한 스펙트럼 붕괴 방지

문제 정의

비정상적(nonstationary) 태스크를 학습하는 심층 신경망은 빈번하게 가소성 상실(loss of plasticity) 문제를 겪는데, 이는 새로운 타겟이나 변화하는 환경에 빠르게 적응하지 못하는 능력을 의미한다. 기존 연구들은 휴면 뉴런(dormant neurons), 오래된 옵티마이저 통계량, 효과적인 학습률 감소와 같은 원인들을 식별해 왔으나, 본 논문은 새로운 메커니즘인 **이방성 유도 가소성 상실(Anisotropy-Induced Plasticity Loss, AIPL)**을 규명한다.

저자들은 학습 과정에서 가중치 행렬의 특이값 분포(singular value distributions)가 점점 더 이방성(anisotropic)을 띠게 된다는 점을 관찰했다. 이는 조건수(condition number)의 증가로 이어지며, 네트워크가 지배적인 부분 공간(dominant subspace)에 표현 용량을 집중시키는 반면 다른 방향들은 억제하게 만든다. 정적인 설정에서는 이것이 무해할 수 있으나, 지속 학습(CL) 및 강화 학습(RL)에서는 향후의 태스크들이 현재의 지배적 부분 공간과 직교하는 방향의 그래디언트를 필요로 하는 경우가 많다. 이러한 상황이 발생하면, 특이값의 왜곡(skewness)으로 인해 이전 레이어로 전달되는 그래디언트 신호가 심하게 감쇠되어 학습이 느려지거나 멈추게 된다. 본 논문은 가장 큰 특이값만을 제한하는 기존 방식들(예: 스펙트럼 정규화)은 조건수가 무한히 커지는 것을 막지 못하기 때문에 AIPL을 방지하는 데 실패한다고 주장한다. 반면, 주기적 리셋(periodic resetting) 방식은 가소성을 회복하는 데는 효과적이지만, 가치 있는 태스크 관련 정보를 과도하게 버리는 지나치게 가혹한 방법이다.

방법론: SingularClip

AIPL을 해결하기 위해 저자들은 모든 가중치 행렬의 특이값을 미리 정해진 대칭 범위 $[1/c, 1/c]$ 내로 주기적으로 클리핑(clipping)하는 절차인 SingularClip을 제안한다.

메커니즘: 고정된 간격(매 $K$ 그래디언트 단계마다)으로 각 선형 및 컨볼루션 레이어의 특이값 분해(SVD, $W = U\Sigma V^\top$ )를 수행한다. 그 후, 어떤 특이값도 $1/c$ 미만이 되거나 $c$ 를 초과하지 않도록 특이값 $\Sigma$ 를 클리핑한다. 행렬은 $W' = U\Sigma' V^\top$ 로 재구성된다.
이론적 근기: 저자들은 SingularClip이 가중치 행렬을 특이값이 $[1/c, c]$ 범위에 있는 행렬들의 집합으로 투영하는 **프로베니우스 노름 투영(Frobenius norm projection)**임을 증명한다. 이 성질은 레이어의 출력을 최소한으로 변형하면서도 이방성을 엄격하게 제한함으로써 개입을 최소화함을 보장한다.
하이퍼파라미터: 이 방법은 두 가지 하이퍼파라미터를 도입한다: 허용 가능한 이방성을 제어하는 클립 비율(clip ratio) $c$ 와 클리핑 주기(clipping period) $K$ 이다. 논문은 $K$ 를 태스크 길이(CL의 경우) 또는 베이스라인 리셋 빈도(RL의 경우)에 따라 설정할 것을 제안한다.

주요 기여

AIPL 식별: 본 논문은 가중치 행렬의 이방성을 휴면 뉴론이나 학습률 감소와 같이 기존에 식별된 요인들과 구별되는, 가소성 상실의 인과적 메커니즘으로 확립한다.
이론적 분석: 단순화된 2층 선형 네트워크 설정에서, 저자들은 새로운 태스크를 해결하는 데 필요한 시간 $T$ 에 대한 이론적 하한선을 도출한다. 이들은 특히 새로운 태스크가 작은 특이값에 해당하는 부분 공간을 채워야 할 때, $T$ 가 가중치 행렬의 조건수에 로그 함수적으로 비례하여 증가함을 보여준다.
알고리즘 혁신 (SingularClip): 가중치 행렬의 정보를 버리지 않으면서도(리셋 방식과 달리) 조건수의 무한한 성장을 방지하는 스펙트럼 클리핑 방법을 도입한다.
실증적 검증: 다양한 지속 지도 학습 벤치마크 및 딥 강화 학습 환경에 대한 포괄적인 평가를 수행한다.

실험 결과

저자들은 SingularClip을 LayerNorm, Periodic Resetting, Normalize and Project (NaP), Spectral Regularization, Shrink & Perturb, 그리고 DASH를 포함한 6가지 베이스라인과 비교 평가하였다.

지속 지도 학습 (Continual Supervised Learning): Permuted MNIST, Random Label MNIST, Random Label CIFAR, Random Label ImageNet, 그리고 Continual ImageNet에 대해 실험을 진행하였다.
- 결과: SingularClip은 온라인 평균 훈련 정확도 측면에서 모든 베이스라인을 일관되게 능가했다.
- 비교: 가장 큰 특이값만을 정규화하는 방식들(Spectral Reg, NaP)은 성능 저하를 방지하는 데 실패했다. 주기적 리셋은 가소성은 유지했으나, 필요한 태스크 관련 정보를 버리기 때문에 복잡한 태스크(예: Random Label CIFAR)에서 성능이 저조했다. SingularClip은 정보 보존과 가소성 유지 사이의 균형을 성공적으로 맞추었다.
강화 학습 (Reinforcement Learning): Soft Actor-Critic (SAC) 에이전트와 BRO 에이전트를 사용하여 DeepMind Control Suite (DMC) 환경에서 실험을 수행하였다.
- SAC 결과: 가소성 상실이 빈번하게 발생하는 높은 UTD(Update-to-Data) 비율에서, SingularClip은 기본 SAC 및 주기적 리셋을 적용한 SAC보다 유의미하게 우수한 성능을 보였다. 특히, "humanoid-stand" 환경에서 리셋 에이전트는 양의 보상을 받지 못한 반면, SingularClip 에이전트는 양의 보상을 달성하며 베이스라인보다 뛰어난 성능을 보였다.
- BRO 결과: 최첨단 모델인 BRO 에이전트의 주기적 리셋 메커니즘을 SingularClip으로 교체했을 때, 통계적으로 유의미한 성능 향상(최대 약 800k 스텝)을 보였으며, 이는 태스크 특화 지식을 유지하는 것이 리셋을 통한 것보다 더 나은 샘플 복잡도(sample complexity)를 제공함을 입증한다.

의의 및 주장

본 논문은 SingularClip이 가소성을 유지하기 위한 최소한의 개입을 제공한다고 주장한다. 단순히 가장 큰 특이값만을 제한하는 것이 아니라 전체 스펙트럼을 제어함으로써, 비정상적 환경에서 그래디언트 전파를 방해하는 스펙트럼 붕괴를 방지한다. 저자들은 이 방법이 리셋과 관련된 정보 손실 없이, 혹은 가장 큰 값만을 제한하는 방식의 불충분한 완화 없이도 두 가지 도메인(지도 학습 및 강화 학습) 모두에서 강력한 실증적 성능을 달성한다고 강조한다. 본 연구는 가중치 행렬의 이방성과 학습 지연 사이의 인과 관계를 제공하며, 이론적으로 근거 있고 실용적으로 효과적인 솔루션을 제시한다.