On Catastrophic Forgetting in Low-Rank Decomposition-Based Parameter-Efficient Fine-Tuning

이 논문은 저랭크 분해 기반 파라미터 효율적 미세 조정 (PEFT) 에서 순차 학습 시 발생하는 catastrophic forgetting(과거 지식 망각) 이 업데이트 서브스페이스의 기하학적 구조와 파라미터화 방식에 크게 의존하며, 텐서 기반 분해나 구조적으로 정렬된 파라미터화 방법이 기존 방법보다 망각을 효과적으로 완화할 수 있음을 실증적으로 규명합니다.

핵심

🧠 핵심 비유: "공부하는 학생과 교실"

상상해 보세요. 거대한 AI 모델은 **이미 수만 권의 책을 읽고 지식을 쌓은 '천재 학생'**입니다. 이제 이 학생에게 새로운 과목 (새로운 작업) 을 가르쳐야 합니다.

1. 기존 방식 (Full Fine-Tuning): 학생의 두뇌 전체를 다시 뒤적거리며 모든 지식을 수정합니다. 정확도는 높지만, 공부하는 데 드는 시간과 비용이 어마어마합니다.
2. 새로운 방식 (PEFT, 예: LoRA): 학생의 두뇌 전체는 건드리지 않고, **작은 '메모지'나 '부록'**만 만들어서 새로운 지식을 적어 넣습니다. 이것이 바로 이 논문에서 다루는 기술입니다.

🚨 문제: "새로운 것을 배우면 예전 것을 잊어버린다?"

이 논문은 **"이 작은 '메모지'를 어떻게 만들었느냐에 따라, 학생이 예전 지식을 얼마나 잘 기억하느냐가 결정된다"**는 사실을 발견했습니다.

1. 좁은 메모지 (LoRA, PiSSA) 의 함정

• 비유: 학생에게 아주 작은 '포스트잇' 하나만 주고 새로운 공부를 시켰습니다.
• 현상: 첫 번째 과목 (새로운 것) 을 적을 때 포스트잇에 꽉 차게 적습니다. 그런데 두 번째 과목을 배울 때, 포스트잇이 이미 꽉 차서 예전에 적어둔 내용을 지우고 새로 적어야 합니다.
• 결과: 새로운 것은 잘 배우지만, 이전 과목은 완전히 잊어버리게 됩니다. (이를 '재앙적 망각'이라고 합니다.)
• 특히 PiSSA: 마치 학생이 "가장 중요한 핵심 개념"만 적으라고 지시받은 경우입니다. 새로운 것을 배우려고 하면, 오히려 그 핵심 개념을 뒤흔들어 예전 지식을 더 많이 망가뜨립니다.

2. 똑똑한 메모지 (WeGeFT)

• 비유: 학생이 이미 가지고 있는 '기존 지식의 흐름'을 잘 이해하고, 그 흐름에 맞춰 새로운 내용을 자연스럽게 덧붙이는 방식입니다.
• 현상: 새로운 내용을 적을 때 기존 지식을 지우지 않고, 기존 지식과 조화롭게 연결합니다.
• 결과: 새로운 것도 배우고, 예전 것도 잘 기억합니다.

3. 입체적인 메모장 (LoRETTA)

• 비유: 평평한 종이 (2 차원) 가 아니라, **주사위나 큐브 같은 입체적인 공간 (3 차원 이상)**을 사용합니다.
• 현상: 아주 작은 공간 (매개변수) 에도 더 많은 정보와 구조를 담을 수 있습니다.
• 결과: 메모 공간이 매우 작아도, 정보를 빽빽하게 정리할 수 있어 잊어버리는 일이 거의 없습니다.

---

🔍 연구 결과 요약

연구진은 이 네 가지 방식을 비교하며 다음과 같은 결론을 내렸습니다.

1. 자유도가 중요해요: 메모지 (업데이트 공간) 가 너무 좁고 딱딱하게 정해져 있으면, 새로운 것을 배울 때 예전 것을 밀어내야 해서 망각이 심해집니다.
2. 구조가 핵심이에요:
   • LoRA: 메모지 크기를 키우면 (Rank 증가) 망각이 줄어듭니다. 하지만 자원이 부족하면 망각이 심해집니다.
   • PiSSA: 기존 지식의 '핵심'만 건드리려다 오히려 전체 지식을 흔들어 망각이 가장 심했습니다.
   • WeGeFT & LoRETTA: 기존 지식의 구조를 해치지 않거나 (WeGeFT), 입체적으로 정보를 압축하는 (LoRETTA) 방식이 가장 적은 비용으로 가장 오래 기억하게 해줍니다.

💡 결론: 무엇을 배워야 할까?

이 논문의 메시지는 **"단순히 '작게' 만드는 것만으로는 부족하다"**는 것입니다.

AI 가 새로운 것을 배우면서도 예전 것을 잊지 않게 하려면, **어떻게 새로운 정보를 저장할지 (기하학적 구조)**를 잘 설계해야 합니다.

• 너무 좁은 공간에 억지로 넣지 말고,
• 기존 지식과 잘 어울리도록 배치하거나,
• 입체적으로 정보를 압축하는 기술 (LoRETTA) 을 쓰는 것이 좋습니다.

한 줄 요약:

"AI 에게 새로운 것을 가르칠 때, 기존 지식을 해치지 않는 방식으로 '작은 메모지'를 잘 설계해야, 새로운 것도 배우고 예전 것도 잊지 않는 '완벽한 학생'이 될 수 있습니다."

기술 요약

논문 요약: 저랭크 분해 기반 파라미터 효율적 미세 조정 (PEFT) 에서의 Catastrophic Forgetting

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 저랭크 분해 (Low-Rank Decomposition) 기반의 파라미터 효율적 미세 조정 (PEFT) 방법 (예: LoRA) 은 대규모 사전 학습 모델을下游 작업에 적응시키는 표준으로 자리 잡았습니다.
• 문제: 이러한 방법들이 순차 학습 (Sequential Learning) 환경, 즉 새로운 작업을 순차적으로 학습할 때 발생하는 Catastrophic Forgetting (치명적 망각) 에 어떻게 반응하는지는 충분히 규명되지 않았습니다.
• 핵심 질문:
  1. 저차원 서브스페이스로 업데이트를 제한하는 것이 완전 미세 조정 (Full Fine-tuning) 대비 망각을 완화하는가?
  2. 서로 다른 저랭크 분해 설계가 작업 간 간섭 (Task Interference) 과 지식 유지에 어떤 영향을 미치는가?
  3. 순차 학습에서 더 견고한 PEFT 를 위한 설계 원칙은 무엇인가?

2. 연구 방법론 (Methodology)

• 실험 설정:
  • 기반 모델: ImageNet-1K 로 사전 학습된 Vision Transformer (ViT-Base, ViT-Large).
  • 학습 프로토콜: 4 개의 이미지 분류 작업을 순차적으로 학습하는 순차 학습 (Continual Learning) 환경.
  • 평가 지표: 각 작업 학습 후 이전 모든 작업에 대한 정확도를 평가하여 평균 망각 (Average Forgetting) 을 계산 (Chaudhry et al. [2018] 방식).
• 비교 대상 방법론:
  1. Full Fine-tuning (FF): 모든 파라미터 업데이트 (기준선).
  2. LoRA: 가중치 업데이트를 저랭크 행렬로 분해하여 학습.
  3. PiSSA: 사전 학습 가중치의 주성분 (Principal Singular Values/Vectors) 만 업데이트.
  4. LoRETTA: 텐서-트레인 (Tensor-Train) 분해를 활용한 초소형 파라미터 효율적 어댑터.
  5. WeGeFT: 사전 학습 가중치와 정렬된 (Aligned) 서브스페이스로 업데이트를 제한하고 계층 간 파라미터를 공유.
• 데이터셋: 조류 종 분류 (CUB-200), 토지 이용 분류 (EuroSat), 자연 장면 인식, 스포츠 이미지 분류 등 4 가지 서로 다른 도메인.

3. 주요 결과 및 분석 (Key Results & Analysis)

실험 결과는 업데이트 서브스페이스의 기하학적 구조와 파라미터화 방식이 망각에 결정적인 영향을 미친다는 것을 보여줍니다.

• LoRA (Rank 의존성):
  • 랭크 (Rank) 가 낮을수록 (업데이트 공간이 좁을수록) 작업 간 간섭이 심해 망각이 증가합니다.
  • 랭크가 증가함에 따라 망각이 감소하는 모노톤 (Monotonic) 경향을 보이며, 업데이트의 유연성이 지식 유지에 중요함을 시사합니다.
• PiSSA (심각한 망각):
  • 사전 학습 가중치의 주성분 서브스페이스만 업데이트하므로, 저랭크 설정에서 가장 심각한 망각을 보입니다.
  • 이는 주성분 방향이 모든 작업에 공유되는 일반적 표현을 담고 있어, 새로운 작업 학습 시 기존 지식을 과도하게 덮어쓰기 때문입니다.
• WeGeFT (구조적 정렬의 효과):
  • 업데이트를 사전 학습 가중치가 span 하는 서브스페이스로 제한함으로써, 매우 낮은 망각을 유지하면서도 경쟁력 있는 정확도를 달성합니다.
  • 사전 학습된 표현을 보존하는 구조적 정렬이 순차 학습에 유리함을 입증했습니다.
• LoRETTA (텐서 분해의 이점):
  • 행렬 분해가 아닌 텐서 분해 (Tensor-Train) 를 통해 초소형 파라미터 예산 내에서도 풍부한 구조적 정보를 포착합니다.
  • 극단적인 파라미터 압축 상태에서도 LoRA 나 PiSSA 보다 낮은 망각과 높은 정확도를 보여주어, 단순한 저랭크 행렬을 넘어선 구조적 효율성의 중요성을 강조합니다.

4. 주요 기여 (Key Contributions)

1. 실증적 연구: 저랭크 분해 기반 PEFT 방법들의 순차 학습 성능과 망각 현상에 대한 체계적인 비교 분석을 수행했습니다.
2. 기하학적 통찰: 망각의 정도가 업데이트 서브스페이스의 유연성 (Flexibility) 과 기하학적 구조 (Geometry) 에 의해 결정됨을 규명했습니다.
   • 충분한 유연성 제공: 고랭크 LoRA 또는 텐서 기반 LoRETTA.
   • 구조적 정렬 유지: WeGeFT 와 같이 사전 학습 표현과 정렬된 서브스페이스 사용.
3. 설계 원칙 제시: PiSSA 와 같이 제한된 공유 서브스페이스만 사용하면서 사전 학습 공간을 교란시키는 방식은 망각을 악화시킨다는 것을 발견했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 핵심 통찰: 파라미터 효율성과 순차 학습의 안정성 (지식 유지) 사이의 균형을 맞추기 위해서는 단순히 파라미터 수를 줄이는 것을 넘어, 업데이트 서브스페이스의 크기, 기하학, 구조적 효율성을 종합적으로 고려해야 합니다.
• 실용적 가이드:
  • LoRETTA와 같은 텐서 기반 방법은 극한의 파라미터 제약 하에서도 풍부한 구조 정보를 포착하여 망각을 최소화하는 데 효과적입니다.
  • WeGeFT와 같은 방법은 사전 학습된 표현 공간을 보존하는 메커니즘을 통해 안정적인 학습을 가능하게 합니다.
• 향후 방향: 본 연구는 순차 학습 환경에서 PEFT 방법을 선택하거나 설계할 때, 작업 간 간섭을 줄이고 지식 유지를 극대화하기 위한 구체적인 구조적 설계 지침을 제공합니다.