The Stable Recovery Manifold: Geometric Principles Governing Recoverability in Continual Learning

기술 요약: 안정적 회복 매니폴드 (The Stable Recovery Manifold)

문제 정의
지속 학습(Continual learning)은 모델이 기존에 학습한 정보를 삭제하지 않고 새로운 지식을 순차적으로 습득할 수 있도록 하는 것을 목표로 한다. 주요 장애물은 **파괴적 망각(catastrophic forgetting)**이며, 이는 전통적으로 인코딩된 표현(representation)의 영구적인 파괴로 간주되어 왔다. 저자들[1]의 선행 연구는 정보가 손실되었다는 가정하에 작동하는 기존의 완화 전략들(정규화, 리플레이, 구조적 격리)에 도전하며, "잊혀진" 지식이 표현 프로빙(representational probing)을 통해 여전히 접근 가능하다는 점을 입증했다. **접근성 붕괴(accessibility collapse)**라고 명명된 이 현상은, 네트워크가 정보 자체를 잃는 것이 아니라 활성 분류기(active classifier)를 통해 정보에 접근하는 경로를 잃는 것임을 시사한다. 그러나 회복 가능한 지식의 기하학적 구조와 시간적 역동성은 아직 규명되지 않았다.

방법론
저자들은 리플레이 버퍼, 예시 메모리(exemplar memory), 또는 정규화 없이 Split CIFAR-100(10개 태스크, 각 태스크당 10개 클래스) 상에서 순차적으로 학습된 ResNet-18 백본을 사용하여 회복 가능성의 기하학적 구조를 조사한다. 본 연구는 다음을 측정하기 위해 6가지 실험을 수행한다:

1. 회복 가능성 ($R_t$): 태스크 $t$로부터 동결된 특징(frozen features)으로 학습된 무작위 재초기화 선형 분류기가 Task 0를 예측하는 정확도.
2. 기하학적 드리프트(Geometric Drift): 주각 드리프트($D_t$)(부공간의 회전)와 투영 에너지($PE_t$)(원래 Task 0 부공간과의 분산 정렬)를 통해 측정.
3. 부공간 차원 ($k_t$): 전체 프로브 정확도의 90%를 보존하는 데 필요한 선형 프로브 가중치 행렬의 최소 랭크(rank).
4. 표현 유사성: 층별 구조 변화를 분석하기 위한 중심 커널 정렬(CKA) 및 참여 비율(Participation Ratio, PR) 사용.

본 연구는 회복 가능성 확산(Recoverability Diffusion)(더 많은 태스크를 학습할수록 회복 부공간의 차원이 단조 증가한다는 가설)을 검증하고, 제안된 안정적 회복 매니폴드(Stable Recovery Manifold, SRM) 가설과 대조한다.

주요 기여 및 결과

1. 회복 가능성 확산의 반증:
   초기 가설과 달리, 회복 부공간의 차원($k_t$)은 증가하지 않는다. $k_t$는 512개 전체 차원 중 약 **8개의 주 방향(principal directions)**에서 놀라울 정도로 일정하게 유지된다 (평균 $k_t = 8.0, \sigma = 0.82$). 이는 네트워크가 과거의 지식을 회복하기 위해 점점 더 복잡한 부공간을 필요로 하지 않음을 나타내며, 회복 능력은 압축적이고 안정적임을 의미한다.

2. 안정적 회복 매니폴드 (SRM) 가설:
   본 논문은 파괴적 망각이 표현의 파괴라기보다는 주로 기하학적 접근성 실패라고 주장한다. 잊혀진 지식은 압축적이고 안정적인 저차원 매니폴드 내에 보존된다. 표현 부공간은 크게 회전하고(평균 주각 드리프트가 65°에 도달) 깊은 층들이 재구성되지만, 정보는 선형 판독(linear readout)을 통해 회복 가능하다.

3. 회복 가능성의 기하학적 예측 가능성:
   세 가지 기하학적 변수인 선형 프로브 정확도($LP_t$), 투영 에너지($PE_t$), 주각 드리프트($D_t$)를 사용하는 선형 회귀 모델은 회복 가능성의 분산을 82% 설명한다 ($R^2 = 0.82$).

• **주각 드리프트 ($D_t$)**가 가장 지배적인 예측 변수이며 (피어슨 $r = -0.862$), 이는 회복 가능성이 정보의 양이 아니라 원래 태스크에 대한 부공간의 *방향성(orientation)*에 의해 결정됨을 나타낸다.
• 네트워크는 정보 자체를 잃기 훨씬 전에 정보에 대한 접근성(분류기 정렬)을 상실한다.

4. 층별 계층화 메커니즘 (Depth Stratification Mechanism):
   참여 비율 분석을 통해 새로운 층별 계층화 효과를 밝혀냈다:

• 초기 층 (L1, L2): 더 분산된 형태(일반적 특징)가 되며, L1은 모든 태스크에 대해 거의 완벽한 유지력(100.02%)을 보인다.
• 깊은 층 (L3, L4): 더 집중된 형태(태스크 특화 압축)가 되며, 상당한 구조적 재구성을 겪는다.
  이러한 계층화는 초기 층은 보편적 특징을 유지하는 반면, 깊은 층이 접근성 붕괴를 유도하는 메커니즘적 근거를 제공한다.

의의 및 주장
본 논문은 파괴적 망각을 정보의 손실 문제가 아닌 부공간 방향성 보존의 문제로 재정의한다. 저자들은 다음과 같이 주장한다:

• 망각은 안정적인 표현 구조와 동적으로 적응하는 분류기 사이의 체계적인 불일치이다.
• "회복 가능성 확산" 가설은 거짓이며, 회복 부공간은 확산되는 것이 아니라 안정적이다.
• 향후 완화 전략은 일반적인 파라미터 드리프트나 정보 용량 보존이 아니라, 매니폴드 방향성 보존(상위 8개 특이 방향의 회전을 방지하는 것)을 목표로 해야 한다.
• 본 연구 결과는 약 8개의 차원만을 보존하는 표적 개입이 전체 체크포인트 저장이나 대규모 리플레이 버퍼의 효율적인 대안으로서 거의 완전한 회복 가능성을 유지할 수 있음을 시사한다.

저자들은 $k_t \approx 8$이라는 발견의 보편성에 대해 신중한 태도를 취하며, 이는 현재 ResNet-18 및 Split CIFAR-100에 대해서만 확립되었으며, 비 잔차(non-residual) 구조 및 더 긴 태스크 시퀀스에 대한 검증이 필요하다고 언급했다.