기술 요약: 지속 학습에서의 간섭과 보유 (Interference and Retention in Continual Learning)

문제 정의

지속 학습(Continual Learning, CL)은 새로운 태스크 $B$를 순차적으로 학습할 때 이전에 학습한 태스크 $A$의 성능이 저하되는 파괴적 망각(catastrophic forgetting) 문제에 직면한다. 경험 재현(experience replay), 탄성 가중치 통합(EWC), 증류(distillation)와 같은 표준적인 접근 방식들은 대개 간섭이 이미 발생한 후에 이를 수리하려는 교정적(corrective) 메커니즘으로 작용한다. 이러한 방법들은 휴리스틱, 대규모 메모리 버퍼(replay), 또는 계산 비용이 많이 드는 피셔 정보 행렬(Fisher information matrices)에 의존하는 경우가 많다.

본 연구는 망각을 단순히 복구해야 할 손상이 아니라, 특징 공간(feature space)의 기하학적 구조에 의해 지배되는 **태스크 간의 간섭(interference)**으로 직접 모델링해야 한다고 주장한다. 논문은 핵심 질문이 "어떻게 손상을 수리할 것인가"가 아니라, "언제 간섭을 피할 수 있는지, 언제 불가피한지, 그리고 유용한 전이를 희생하지 않으면서 기존 지식을 유지하기 위해 업데이트가 충족해야 하는 구조적 제약 조건은 무엇인지"라고 상정한다.

방법론 및 이론적 프레임워크

1. 간섭 범함수 (The Interference Functional)

본 논문은 고정된 특징 추출기 $\phi(x)$와 학습 가능한 선형 헤드 $w$가 쌍을 이루는 **고정 특징 레짐(frozen-feature regime)**을 중심으로 이론적 프레임워크를 구축한다.

• 간섭 에너지 (Interference Energy): 태스크 $A$를 학습한 후 발생하는 태스크 $B$에 의한 망각은 다음과 같이 간섭 에너지로 정확히 정량화된다:
  $$\Delta L_A = \frac{1}{2} \Delta^\top \Sigma_A \Delta$$
  여기서 $\Delta = w_B - w^*_A$는 업데이트 벡터이며, $\Sigma_A = \mathbb{E}_{x \sim D_A}[\phi(x)\phi(x)^\top]$는 태스크 $A$에 대한 특징의 2차 모멘트 행렬(특징의 공분산)이다.
• 제거 가능성 이분법 (Removability Dichotomy):
  • 직교하는 서포트 (Disjoint Supports): 두 태스크의 활성 특징 부공간(active feature subspaces)이 서로 직교하는 경우(즉, $\text{range}(\Sigma_A) \cap \text{range}(\Sigma_B) = \emptyset$), 망각은 **손실 없이 제거 가능(losslessly removable)**하다. 업데이트를 $\Sigma_A$의 커널($\ker \Sigma_A$) 내로 제한함으로써 태스크 $A$의 손실을 변화시키지 않고 유지할 수 있다.
  • 중첩되는 서포트 (Overlapping Supports): 태스크의 서포트가 갈등하는 방향에서 중첩될 경우, **비제로 왜곡 하한(non-zero distortion floor)**이 불가피하다. 단일 헤드 모델로는 두 태스크를 동시에 완벽하게 적합시킬 수 없으며, 그 비용은 태스크 간의 혼동 가능성과 타겟 불일치에 의해 결정되는 불가피한 오차이다.

2. 딥 네트워크로의 일반화

정확한 항등식은 고정된 특징에서 성립하지만, 본 논문은 이를 엔드 투 엔드(end-to-end) 학습으로 확장하는 **정리 2(Theorem 2)**를 제시한다.

• 특징 드리프트(feature drift)가 발생하는 딥 네트워크에서, 고정된 곡률 $\Sigma_A$는 $w_A$에서 $w_B$로 가는 궤적을 따라 평균을 낸 경로 평균 헤시안(path-averaged Hessian) $\bar{H}_A$로 대체된다.
• 이를 통해 업데이트 세그먼트를 따라 소수의 순방향 패스(forward passes)를 통해 곡률을 추정할 수 있다면, 간섭 범함수가 특징 변화 중에도 망각을 예측하는 유효한 지표로 남을 수 있게 한다.

3. $\Sigma$-직교화를 통한 최적 병합 (Optimal Merging as $\Sigma$-Orthogonalization)

본 논문은 모델 병합(독립적으로 학습된 모델들을 결합하는 것)을 온라인 지속 학습 문제로 재정의한다.

• 최적 병합 조건: 전체 손실은 태스크 벡터들이 **쌍별로 $\Sigma$-직교(pairwise $\Sigma$-orthogonal)**할 때($\Delta_{t'} \in \ker \Sigma_t$) 최소화된다.
• 메트릭: 병합을 위한 올바른 내적은 표준 유클리드 메트릭이 아니라, 태스크 의존적인 $\Sigma$-메트릭이다. 유클리드 직교성은 특징이 등방성($\Sigma \propto I$)일 때만 최적이다.

4. 간섭 게이트 기반 기능 할당 (igfa: Interference-Gated Functional Allocation)

이러한 통찰을 바탕으로, 저자들은 리플레이나 피셔 정보가 필요 없는 구조적 제어기인 igfa를 제안한다.

• 메커니즘: igfa는 점유된 특징 부공간의 저계수 요약(low-rank summary)을 유지한다. 각 새로운 태스크의 그래디언트에 대해 다음을 수행한다:
  1. 그래디언트를 점유된 부공간에 평행한 성분($g_\parallel$)과 직교하는 성분($g_\perp$)으로 분해한다.
  2. 새로운 태스크의 타겟 방향과 기존 부공간 사이의 유사도에 기반하여 **부호가 있는 게이트(signed gate)**를 적용한다.
     • 정렬됨 ($s > s^*$): 방향을 공유한다 (전이를 허용하기 위해 $g_\parallel$ 허용).
     • 충돌함 ($s < s^*$): 직교화한다 (기존 지식을 보호하기 위해 $g_\parallel$ 제거).
• 상태: 이 방법은 저계수 부공간 요약($O(dk)$ 메모리)만을 요구하므로, 예시 버퍼(exemplar buffers)나 전체 피셔 행렬이 필요 없다.
• 드리프트 처리: 딥 네트워크의 특징 드리프트를 처리하기 위해, igfa는 기하학적 구조를 추적하는 재귀적 Gauss-Newton 업데이트를 사용하여, 고정된 오래된 부공간을 사용하는 방식에서 나타나는 "용량 고갈" 문제를 방지한다.

주요 결과

1. 이론적 검증

• 정확한 항등식: 고정 특징 레짐에서, 예측된 간섭 에너지는 측정된 망각과 기계 정밀도 수준($r=1.0$)에서 일치한다.
• 손실 없는 할당: 직교하는 서포트 상에서, igfa는 거의 제로에 가까운 망각을 달면서 새로운 태스크를 학습하여 이론적 하한에 도달한다.
• 왜곡 하한: 갈등하는 타겟을 가진 중첩된 서포트 상에서, 이 방법은 비용을 제거할 수 있는 것이 아니라, 단지 (기존 태스크를 잊는 것에서 새로운 태스크의 적합을 미루는 것으로) 재배치할 수 있을 뿐임을 정확히 식별한다.

2. 벤치마크 성능

• 이질적인 태스크 (Split-Digits, Split-CIFAR-100, CUB-200): 특징 중첩이 낮은 경우, igfa는 직교 투영(OGD/GPM)으로 축소되어 리플레이 및 피셔 프리 방식들 중 최고 수준의 보유 성능을 달면다 (예: Split-Digits에서 0.980의 정확도와 거의 제로에 가까운 망각 달성).
• 유사한 태스크 (Rotated-Digits, ImageNet-R): 구조를 공유하는 경우, 무조건적인 투영(OGD)은 너무 보수적이다. igfa의 유사도 게이트는 공유를 허용하여 OGD보다 성능이 현저히 높다 (예: Rotated-Digits에서 0.771 vs 0.684).
• 확장성: 고정된 ViT 백본을 사용한 실험은 이 방법이 효과적으로 확장됨을 확인시켜 준다. OGD 대비 "게이트 이득(gate gain)"은 스트림의 공유 밀도(share density) (두 태스크 쌍이 유사도 임계값을 넘는 비율)와 상관관계가 있다.

3. 용량과 가소성 (Capacity and Plasticity)

• 본 논문은 점유된 부공간의 누적 랭크가 특징 차원을 초과할 때 성능이 저하되는 "용량 무릎(capacity knee)" 현상을 보여준다.
• igfa는 레이트-왜곡(rate-distortion) 접근 방식을 통해 이를 관리한다. 용량이 가득 차면, 가장 덜 자극된 방향을 우아하게 덮어쓰며, 버려진 방향의 고윳값(eigenvalue)에 의해 유도된 망각을 제한한다.

의의 및 주장

본 논문은 휴리스틱한 교정을 대신하여 예측 가능한 구조적 할당을 제공하는 기하학적 언어를 제공한다고 주장한다.

1. 예측적 vs 교정적: 리플레이나 정규화가 손상을 수리하는 것과 달리, 간섭 범함수는 학습이 시작되기 전에 간섭이 언제 발생하는지, 그리고 그것이 제거 가능한지를 예측한다.
2. 통합된 관점: 오프라인 모델 병합과 온라인 지속 학습을 서로 다른 스케줄 하에서의 동일한 간섭 최소화 문제에 대한 해결책으로 통합한다.
3. 구조적 보장: 고정 특징 레짐(PEFT 및 어댑터 튜닝에서 흔함)에서 보유 보장은 정확하다. 딥 네트워크의 경우, 본 방법은 정량화된 잔차를 가진 1차 근사치를 제공한다.
4. 효율성: igfa는 리플레이 버퍼의 메모리 오버헤드나 피셔 행렬 추정의 계산 비용 없이 강력한 보유 성능을 달성하며, 저계수 부공간 추적에 의존한다.
5. 의사결정 절차: 이 프레임워크는 사전 진단 도구를 제공한다. 태스크 서포트 중첩과 타겟 유사도를 측정함으로써, 데이터 기하학에 기반하여 (시행착오 대신) 구조적 할당(igfa/OGD), 공유, 또는 왜곡 하한이 불가피한지를 판단하여 적절한 메커니즘을 선택할 수 있다.

저자들은 이 방법이 "구조적 보유" 레짐에서는 탁월하지만, 태스크 모호성으로 인한 근본적인 왜곡 하한을 제거하는 것이 아니라, 그 하한의 비용을 망각과 지연된 적합 사이에서 최적으로 배분하는 것임을 강조한다.