SR$^2$-LoRA: Self-Rectifying Inter-layer Relations in Low-Rank Adaptation for Class-Incremental Learning

기술 요약: SR2-LoRA

문제 정의
클래스 증분 학습 (Class-Incremental Learning, CIL) 은 모델이 이전에 학습한 것들의 성능을 유지하면서 새로운 작업을 순차적으로 학습할 수 있도록 하는 것을 목표로 합니다. 이 분야에서 사전 학습 모델 (Pre-trained Models, PTMs) 과 매개변수 효율적 미세 조정 (Parameter-Efficient Fine-Tuning, PEFT) 의 결합이 성공을 거두었음에도 불구하고, 파국적 망각 (catastrophic forgetting) 은 지속적인 문제로 남아 있습니다. 기존 접근법들은 종종 망각을 잘못된 모듈 선택, 클래스 프로토타입의 이동, 공분산 변화, 또는 기울기 간섭에 기인합니다. 그러나 본 논문은 층간 관계 변화 (inter-layer relation drift) 라는 고유한 메커니즘을 식별합니다. 저자들은 새로운 작업이 학습됨에 따라 모델 내의 층별 표현들 간의 관계가 점진적으로 붕괴된다고 관찰합니다. 이러한 붕괴는 이전에 학습된 작업들의 분류 마진을 감소시켜 성능 저하를 초래합니다.

방법론: SR2-LoRA
이를 해결하기 위해 저자들은 자기 교정 층간 관계 저랭크 적응 (Self-Rectifying inter-layer Relation Low-Rank Adaptation, SR2-LoRA) 을 제안합니다. 이 방법은 사전 학습된 백본을 고정하고 각 새로운 작업에 대해 새로운 저랭크 어댑터 ($\Delta W = BA$) 를 도입하여 학습하는 표준 LoRA 프레임워크 내에서 작동합니다.

1. 층간 관계 구성: 현재 작업의 샘플에 대해, 이 방법은 층별 표현을 기반으로 층간 관계 행렬 ($R$) 을 구성합니다. 이 행렬은 서로 다른 층의 표현들 간의 내적을 포착합니다.
2. 변화 측정: 이 방법은 동일한 현재 작업 샘플에 대해 현재 모델이 유도한 관계 행렬 ($R_t$) 과 이전 모델이 유도한 관계 행렬 ($R_{t-1}$) 을 비교합니다. 이러한 행렬들 간의 불일치는 층간 관계 변화를 정량화합니다.
3. 특이값 정렬: 이전 모델이 현재 작업의 데이터를 보지 못했기 때문에 추정 오차에 민감할 수 있는 행렬의 항목별 정렬 대신, SR2-LoRA 는 두 행렬 모두에 특이값 분해 (SVD) 를 적용합니다. 그런 다음 이전 및 현재 관계 행렬의 특이값만 정렬합니다.
   • 이론적 분석 (명제 1) 은 개별 행렬 항목보다 특이값이 유계 섭동에 대해 더 강건함을 시사합니다.
4. 최적화: 전체 손실 함수는 현재 작업에 대한 표준 교차 엔트로피 손실과 $R_t$ 와 $R_{t-1}$ 의 특이값 차이를 벌칙하는 관계 정렬 손실 ($L_{align}$) 을 결합합니다.

이론적 기여
본 논문은 층간 관계 변화와 파국적 망각을 연결하는 이론적 프레임워크를 제공합니다:

• 보조 명제 1 및 2: 망각은 층 간 잔차 표현의 누적 편차로 상한이 결정되는 분류 마진의 저하에 의해 지배됨을 확립합니다.
• 정리 1 및 2: 누적된 잔차 편차 (즉, 망각) 가 층별 편차의 크기뿐만 아니라 층간 관계 변화에도 의존함을 공식화합니다. 구체적으로, 층간 관계의 불일치가 클수록 성능 저하에 대한 상한이 커집니다.
• 명제 1: 직접적인 항목별 정렬에 비해 특이값 정렬이 추정 노이즈에 대해 더 큰 강건성을 제공함을 입증합니다.

실험 결과
ViT-B/16 백본을 사용하여 CIFAR-100, ImageNet-R, CUB-200, ImageNet-A 의 네 가지 표준 CIL 벤치마크에서 광범위한 실험이 수행되었습니다. 이 방법은 다양한 작업 시퀀스 (5, 10, 20, 50 개 작업) 하에서 평가되었습니다.

• 성능: SR2-LoRA 는 선택 기반, 프로토타입 기반, 공분산 기반, 그리고 직교성 기반 방법을 포함한 바닐라 학습 및 최첨단 베이스라인보다 일관되게 우수한 성능을 보였습니다.
• 확장성: 작업 수가 증가함에 따라 성능 향상은 더욱 두드러졌습니다. 예를 들어, 50 개 작업의 ImageNet-A 에서 SR2-LoRA 는 57.08% 의 최종 정확도를 달성한 반면, 바닐라 학습은 19.93% 였습니다.
• 애블레이션 연구:
  • 정렬 전략: 샘플 수준의 특이값 정렬 (Eigen) 이 직접적인 요소별 정렬 (P2P) 및 배치 수준 평균화보다 우수하여 특이값의 강건성을 확인했습니다.
  • 정렬 깊이: 모든 층을 정렬하는 것이 가장 좋은 결과를 보였으며, 더 깊은 층일수록 망각에 더 직접적인 영향을 미쳤습니다.
  • LoRA 구성: $r=10$의 랭크로 키 및 값 프로젝션 ($W_k, W_v$) 모두를 적응시키는 것이 최적의 성능을 제공했습니다.
• 효율성: 이 방법은 백본 순전달에 비해 SVD 비용이 미미하여 바닐라 LoRA 와 비교할 수 있는 학습 및 추론 시간을 가지며, 계산 오버헤드는 무시할 수 있을 정도로 낮았습니다.
• 시각화: 결정 영역 시각화는 SR2-LoRA 가 이전 작업의 결정 경계 공간 조직을 유지하는 반면, 바닐라 학습은 상당한 구조적 붕괴를 초래함을 보여주었습니다.

의의 및 주장
본 논문은 SR2-LoRA 가 개별 층 표현이나 클래스 프로토타입이 아닌 층 간의 구조적 관계에 초점을 맞춤으로써 파국적 망각을 완화하는 원칙적인 접근법을 제공한다고 주장합니다. 강건한 특이값 정렬을 통해 층간 관계 변화를 제한함으로써, 이 방법은 이전 작업들의 분류 마진을 효과적으로 유지합니다. 저자들은 이 접근법이 단순하고 효과적이며, 변화의 누적이 가장 심각한 긴 작업 시퀀스에서 특히 유익하다고 강조합니다. 이 방법은 복잡한 하이퍼파라미터 튜닝이나 상당한 계산 자원을 요구하지 않으면서도 다양한 백본 아키텍처, 사전 학습 데이터셋, 작업 길이에 걸쳐 강건하게 제시됩니다.