기술 요약: 파괴적 망각은 저계수(Low-Rank) 특성을 갖는다

문제 정의

연속적 적응(Continual adaptation)—기존의 성능을 유지하면서 새로운 태스크에 맞춰 대규모 사전 학습 모델을 미세 조정하는 것—은 **파괴적 망각(catastrophic forgetting)**에 의해 병목 현상을 겪고 있다. EWC, SI와 같은 파라미터 정규화, 리플레이(replay), 증류(distillation), 그래디언트 투영(gradient projection) 등 기존의 완화 전략들이 존재하지만, 이 분야에는 어떤 출력 공간 방향이 드리프트(drift)에 취약한지에 대한 기계론적 설명이 부족하다. 기존의 이론적 연구들(예: Doan et al., 2021; Bennani et al., 2020)은 태스크 정렬에 기반하여 망각의 크기에 대한 스칼라 경계값은 설정했으나, 망각 벡터의 구체적인 고유 공간(eigenspace) 구조를 식별하거나 왜 특정 출력 방향은 드리프트되고 다른 방향은 안정적으로 유지되는지를 설명하지는 못했다.

방법론: NTK 체제에서의 함수 공간 이론

본 논문은 파괴적 망각을 신경 탄젠트 커널(Neural Tangent Kernel, NTK) 체제 내의 **함수 공간에서의 저계수 간섭(low-rank interference)**으로 재정의한다. 핵심 이론적 프레임워크는 새로운 태스크(Task B)를 학습함으로써 유도되는 이전 태스크(Task A)의 예측값 변화를 분석하는 데 기초한다.

1. 망각 예측기 (The Forgetting Predictor)

저자들은 새로운 태스크의 그래디언트 단계가 수행되기 전, 태스크 A의 예측 벡터 $\Delta f_A$ (태스크 A 예측값의 변화량)에 대한 폐쇄형 예측기를 도출한다. 기존 태스크의 파라미터 $\theta_A$ 주변에서 NTK 선형화를 적용하고, 태스크 B 학습이 정규화된 MSE 손실의 최소화 지점으로 수렴한다고 가정할 때, 망각 벡터는 다음과 같이 주어진다:

$$\Delta f_A = -K_{AB} (K_{BB} + \lambda I)^{-1} r_B$$

여기서:

• $K_{AB} = J_A J_B^\top$는 교차 태스크 커널(Task A와 Task B 자코비안 사이의 상호작용)이다.
• $K_{BB} = J_B J_B^\top$는 태스크 B 커널이다.
• $r_B = f_B(\theta_A) - y_B$는 학습 시작 시점의 태스크 B 잔차(residual)이다.
• 이 예측기는 (수치적 정밀도 측면에서) 고정된 백본과 학습 가능한 선형 헤드(파라미터에 대해 선형)를 사용하는 경우 **정확(exact)**하다. 비선형 어댑터나 전체 미세 조정의 경우, 이는 국소적인 NTK 근사치 역할을 한다.

2. 구조적 특징 (Structural Characterization)

이 예측기는 망각이 균일하게 일어나지 않으며, 출력 공간의 **저계수 부분 공간(low-rank subspace)**에 집중된다는 것을 보여준다:

• 저계수 집중: 망각 벡터는 태스크 A 자코비안의 이미지($Im(J_A)$) 내에 존재한다. 이를 태스크 A 커널($K_{AA}$)의 고유 기저(eigenbasis)로 확장하면, 망각 벡터의 에너지는 소수의 상위 고유 모드에 집중된다 (표준 벤치마크에서 16개의 모드가 에너지의 5090%를 차지함).
• 크로네커 스케일링 규칙 (Kronecker Scaling Rule): 고정된 특징 맵 $\phi(x)$와 $\mathbb{R}^{C \times F}$ 차원의 학습 가능한 선형 헤드 $W$에 대하여, 커널 $K_{AA}$는 정확한 크로네커 인수 분해 $K_{AA} = I_C \otimes G$를 갖는다 (여기서 $G$는 특징 그램 행렬이다). 이는 취약한 부분 공간의 차원이 다음과 같이 스케일링됨을 의미한다:
  $$k^\star \approx C \cdot k_G$$
  여기서 $C$는 출력 클래스의 수이고, $k_G$는 특징 그램 행렬의 유효 계수(effective rank)이다.

3. 제안된 솔루션: 스펙트럼 정규화 (Spectral Regularization)

망각이 특정 저차원 부분 공간에 집중되어 있다는 이론을 바탕으로, 저자들은 스펙트럼 정규화를 제안한다. 모든 파라미터나 모든 출력 방향에 대해 드리프트를 벌칙을 주는 대신(EWC나 LwF 방식), 이 방법은 오직 기존 태스크 커널 $K_{AA}$의 상위 $k$개 고유 벡터를 따르는 드리프트만을 명시적으로 규제한다. 이는 취약한 방향은 보호하면서 나머지 부분 공간에는 완전한 가소성(plasticity)을 부여한다.

주요 기여

1. 폐쇄형 망각 예측기: 사전 학습된 양만을 사용하여 망복 벡터의 방향과 크기를 예측하는 공식(Proposition 1)을 제공한다. 경험적 검증 결과, 트랜스포머 백본과 ResNet 환경의 고정 헤드 적응에서 코사인 유사도가 0.99 이상임을 확인하였다.
2. 취약성의 구조적 특징 규명: 망각이 소수의 NTK 고유 모드에 집중된다는 점을 밝혀냈다. 본 논문은 고정된 백본 선형 헤드에 대한 정확한 크로네커 인수 분해를 제공하여, 출력 수와 특징 계수(feature rank)가 취약한 부분 공간의 차원에 어떻게 연결되는지에 대한 스케일링 규칙($k^\star \approx C \cdot k_G$)을 확립하였다.
3. 방법론 설계를 위한 진단적 렌즈: 이 이론은 왜 파라미터 공간 정규화(EWC 등)가 공유 헤드 벤치마크에서 실패하는지를 설명한다. 즉, 이들은 파라미터 드리프트는 제한하지만, 간섭가 발생하는 특정 출력 공간의 고유 모드와 일치하지 않는다. 반대로, 왜 광범위한 함수 공간 방법(LwF 등)이 성공하는지, 그러나 왜 비효식적일 수 있는지(비취약한 방향까지 규제하기 때문)를 설명한다.

실험 결과

본 논문은 Split-MNIST, Split-CIFAR-10, Split-CIFAR-100(고정 백본 선형 헤드 체제)에서 이론과 제안된 스펙트럼 정규화를 평가한다.

• 파라미터 공간 방법의 실패: 공유 헤드 벤치마크에서 EWC, SI와 같은 파라미터 공간 방법은 정규화를 하지 않았을 때와 성능 차이가 없었으며, 이는 취약성이 파라미터 공간이 아닌 출력 공간에 존재함을 확인시켜 준다.
• 표적 보호 vs 광범위한 보호:
  • Split-MNIST: 스펙트럼 정규화는 드리프트 비율(기타/취약)에서 75:1을 달로, 즉 취약한 드리프트는 거의 완전히 억제하면서 다른 드리프트는 제약 없이 남겨두었다. 반면, EWC나 LwF와 같은 베이스라인은 0.5:1에서 0.8:1에 가까운 비율을 보여, 균일한 억제 또는 타겟팅의 부재를 나타냈다.
  • Split-CIFAR-100: 출력 수 $C$가 클 때(100), 취약한 부분 공간의 차원 $k^\star$도 증가한다. 이러한 조건 하에서는 LwF의 "광범위한" 벌칙이 자연스럽게 취약한 부분 공간과 크게 중첩되므로, 스펙트럼 정규화와 LwF의 성능이 수렴하게 된다(약 40% 정확도).
• 정밀도: 예측기는 고정된 선형 헤드를 가진 ViT 및 DINOv2 백본에서 머신 정밀도 수준의 정확도($1 - \cos \text{sim} \approx 10^{-6}$)를 달성하였다.

의의 및 주장

본 논문은 단순한 스칼라 경계값을 넘어 망각 벡터의 구조적 이해를 제공함으로써, 파괴적 망각에 대한 기계론적 설명을 제공한다고 주장한다.

• 재정의: 망각은 함수 공간에서의 저계수 간섭으로 식별되며, 이는 교차 태스크 커널이 새로운 태스크의 잔차에 작용함으로써 발생한다.
• 실패 원인 설명: 본 연구는 왜 파라미터 공간 정규화가 공유 헤드 태스크에서 실패하는지 명확히 한다. 즉, 이들은 간섭가 집중되는 특정 출력 공간의 고유 모드를 선택적으로 보호할 수 없다.
• 설계 휴리스틱: 도출된 스케일링 규칙($k^\star \approx C \cdot k_G$)은 스펙트럼 정규화의 파라미터를 튜닝하는 원칙적인 방법을 제공한다. 또한 출력 차원이 증가함에 따라 표적 방법과 광범위한 방법이 수렴하는 이유를 설명한다.
• 범위: 저자들은 본 예측기가 선형 헤드에 대해서는 정확하며 비선형 어댑터에 대해서는 국소적 근사치라는 점을 언급하며 적용 범위에 대해 신중한 입장을 취한다. 또한 전체 백본 미세 조정, 크로스 엔트로피 손실(엄격한 블록 디커플링을 깨뜨림), 그리고 오차가 누적되는 긴 태스크 시퀀스에 대한 한계를 인정한다.

결론적으로, 본 논문은 새로운 PEFT 아키텍처를 제안하는 것이 아니라, 망각의 실제 기하학적 구조와 정규화를 일치시키는 이론적 토대와 진단 도구(스펙트럼 정규화)를 제공한다.