기술 요약: 필요한 것만 취하라: 지속적 학습에서 암묵적 망각 정규화제로서의 랭크 최소화

문제 정의

지속적 학습 (CL) 은 새로운 지식을 습득하는 능력인 **가소성 (plasticity)**과 이전 지식을 유지하는 능력인 안정성 (stability) 사이의 근본적인 긴장 관계에 직면해 있습니다. 사전 훈련된 모델 (PTM) 의 맥락에서 기존 접근법은 일반적으로 두 가지 영역으로 나뉩니다:

1. 모델 보완: PTM 을 고정하고 외부 모듈 (예: 어댑터, 프롬프트) 을 추가하거나 직교 부분 공간을 유지합니다. 이러한 방법은 안정적이지만, 백본의 능력을 진정으로 향상시키지 않으며 종종 작업별 라우팅 또는 추론 시 선택기를 필요로 합니다.
2. 참고 제약 학습: PTM 가중치를 직접 업데이트하되 저장된 데이터 (리플레이 버퍼) 나 메모리를 사용하여 업데이트를 제약합니다. 이는 높은 훈련 비용을 초래하고 과거 데이터를 저장해야 하며, 종종 치명적인 망각을 여전히 겪습니다.

이 논문이 다루는 핵심 과제는 다음과 같습니다: 과거 데이터, 작업 식별자, 또는 외부 모듈에 의존하지 않고 어떻게 사전 훈련된 백본을 지속적으로 업데이트하여 새로운 지식을 흡수하면서도 기존 능력을 보존할 수 있을까요?

방법론: CoDyRA

저자들은 **지속적 동적 랭크 선택적 LoRA (CoDyRA)**를 제안합니다. 이는 매개변수 업데이트의 **유효 랭크 (effective rank)**를 가소성과 안정성을 균형 있게 조절하는 주요 설계 노브로 간주하는 용량 제어 접근법입니다.

핵심 통찰

1. 제어 노브로서의 랭크: CLIP 에 대한 실증 분석을 통해 저자들은 LoRA 랭크가 가소성 - 안정성 트레이드오프를 직접 지배함을 보여줍니다. 높은 랭크는 새로운 작업 학습 (가소성) 을 촉진하지만 망각을 증가시키는 반면, 낮은 랭크는 망각을 완화 (안정성) 하지만 적응을 제한합니다. 모듈과 작업에 따라 변하는 적정 랭크에서 "적정 지점 (sweet spot)"이 존재합니다.
2. 이론적 경계: 이 논문은 참조 분포에서의 망각 $F(\theta_t)$가 업데이트 $\Delta W$의 프로베니우스 노름 (Frobenius norm) 항에 의해 상한이 결정됨을 보여주는 망각 경계를 유도합니다. 특히, $\|\Delta W\|_F \leq \sqrt{\rho} \|B\|_2 \|A\|_2$이며, 여기서 $\rho$는 유효 랭크입니다. 이는 유효 랭크 $\rho$를 감소시키는 것이 망각 경계를 강화하여 특정 참조 데이터 분포와 관계없이 망각을 효과적으로 정규화함을 확립합니다.

알고리즘 설계

CoDyRA 는 랭크 최소화를 LoRA 훈련 과정에 직접 통합합니다:

• 아키텍처: 비전 및 텍스트 인코더의 모든 어텐션 및 MLP 모듈에 LoRA 어댑터가 삽입됩니다.
• 동적 랭크 선택: 고정된 랭크 $r$대신 업데이트는 랭크 1 성분의 가중 합으로 공식화됩니다:
  $$\Delta W = \sum_{i=1}^r w_i B_{:,i} A_{i,:}$$
  여기서 $w_i$는 학습 가능한 중요도 가중치입니다.
• 정규화 목적 함수: 훈련 목적 함수는 현재 작업에 대한 지도 학습 손실 ($L_{sup}$) 과 중요도 가중치에 대한 $\ell_1$ 정규화 항을 결합합니다:
  $$L_{train} = L_{sup} + \lambda \sum_{m} \|w_m\|_1$$
  이 $\ell_1$ 페널티는 중요도 가중치 $w$의 희소성을 촉진합니다. $w_i$가 0 에 가까워짐에 따라 해당 랭크 1 성분이 효과적으로 가지치기되어 유효 랭크 $\rho$가 감소합니다.
• 최적화: 미분 불가능한 $\ell_1$ 노름은 소프트-스레싱 (soft-thresholding) 을 사용하는 근사 경사법 (proximal gradient method) 으로 처리됩니다. 임계값 $\kappa$는 0 에서 $\kappa_{max}$까지 증가하도록 스케줄링되어, 희소성을 강제하기 전에 초기에 밀집된 업데이트를 허용합니다.

핵심 메커니즘

활성 랭크를 최소화함으로써 CoDyRA 는 암묵적 망각 정규화제로 작용합니다. 이는 모델이 현재 작업에 필요한 최소한의 용량만 유지하도록 강제하여 매개변수 이동을 작은 부분 공간으로 제한하고, PTM 에 인코딩된 일반 능력과 이전 작업의 지식을 방해하지 않도록 합니다.

주요 기여

1. 랭크를 통한 용량 제어: 이 논문은 매개변수 업데이트의 유효 랭크를 모델 수준의 용량 (매개변수 수) 과 구별되는 가소성 - 안정성 트레이드오프에 대한 직접적이고 제어 가능한 레버로 규명합니다.
2. 이론적 연결: 유효 랭크와 망각을 연결하는 공식적 경계를 제공하여, 랭크 최소화가 업데이트의 크기와 차원적 범위를 제약함으로써 과거 데이터에 접근하지 않고도 이전 지식을 보호함을 증명합니다.
3. CoDyRA 프레임워크: 리플레이 버퍼, 작업 ID, 또는 외부 모듈 없이 새로운 작업 학습과 사전 훈련된 능력 유지를 강력하게 균형 있게 달성하는 LoRA 업데이트와 랭크 최소화를 공동으로 훈련하는 방법론을 제안합니다.
4. 실증적 검증: CLIP(MTIL, X-TAIL) 및 LLM(TRACE) 에 대한 광범위한 실험은 CoDyRA 가 정확도와 망각 지표 모두에서 최첨단 방법들을 능가하거나 경쟁함을 보여줍니다.

실험 결과

이 방법은 다음과 같이 평가되었습니다:

• CLIP: 다중 도메인 작업 증분 학습 (MTIL) 및 교차 도메인 작업 무관 증분 학습 (X-TAIL).
• LLM: LLaMA 및 Gemma 모델을 사용한 TRACE 벤치마크.

주요 발견:

• 우수한 가소성 - 안정성 균형: CoDyRA 는 대부분의 설정에서 가장 높은 "전이 (Transfer)" 정확도 (보이지 않는 작업에 대한 사전 훈련된 제로샷 능력 유지) 와 "최종 (Last)" 정확도 (스트림 후 모든 작업의 성능) 를 달성했습니다. 예를 들어, MTIL 에서 CoDyRA 는 제로샷 참조 기준선 (70.1 대 69.4) 을 초과한 반면, 다른 방법들은 그 아래로 떨어지거나 그로 제한되었습니다.
• 최소한의 망각: CoDyRA 는 가장 낮은 역방향 전이 (BWT) 점수를 달성했습니다 (예: CLIP 에서 1.87% 대 고정 랭크 LoRA 의 5% 초과 및 직교 방법의 8% 초과). 이는 치명적인 망각이 크게 감소했음을 나타냅니다.
• 효율성: 모델 보완 방법과 달리 CoDyRA 는 업데이트를 백본에 병합하여 추론 오버헤드가 없으며, 저장된 과거 데이터나 작업 식별자가 필요 없습니다. 또한 많은 베이스라인보다 적은 학습 가능한 매개변수를 사용합니다.
• 구성적 이동: 누적 매개변수 이동 분석은 CoDyRA 의 업데이트가 시간에 따라 아선형적으로 성장하는 반면, 고정 랭크 LoRA 는 거의 선형적으로 성장함을 보여주었습니다. 또한, 누적 이동은 보유된 데이터셋에서 제로샷 성능을 저하시키는 대신 약간 향상시키는 구성적인 것으로 밝혀졌습니다.

중요성과 주장

이 논문은 랭크 최소화가 지속적 학습 영역에서 보편적인 망각 정규화제로 작용한다고 주장합니다. 업데이트의 유효 랭크를 제어함으로써 CoDyRA 는 단일 업데이트 기반 기준 하에서 일반 사전 훈련 능력과 이전 작업 지식을 모두 보호합니다.

저자들은 이 접근법이 다음을 제거한다고 강조합니다:

• 리플레이 버퍼 또는 저장된 참조 데이터.
• 추론 시 작업 식별 또는 라우팅 메커니즘.
• 추론 비용을 증가시키는 외부 보조 모듈.

이 연구는 "필요한 것만 취하는 것 (최소 랭크)"이 사전 훈련된 모델을 지속적으로 업데이트하는 원칙적인 방법이며, 비전 및 언어 모델 전반에 걸쳐 이론적으로 근거 있고 실증적으로 효과적인 가소성 - 안정성 딜레마에 대한 강력한 해결책을 제공함을 시사합니다.