More Than Memory Savings: Zeroth-Order Optimization Mitigates Forgetting in Continual Learning

이 논문은 영차 (Zeroth-order) 최적화가 continual learning 에서의 망각을 완화하는 안정성 이점을 제공하지만 학습 속성 (plasticity) 을 저하시킨다는 점을 규명하고, 이를 해결하기 위해 영차 최적화를 어댑터 모듈에, 1 차 최적화를 분류기에 적용하는 메모리 효율적인 ZO-FC 방법을 제안합니다.

핵심

🧠 핵심 문제: "기억력 vs. 적응력"의 딜레마

인공지능이 새로운 일을 배울 때 두 가지 큰 고민이 있습니다.

1. 적응력 (Plasticity): 새로운 것을 얼마나 잘 배우는가?
2. 안정성 (Stability): 예전에 배운 것을 얼마나 잘 기억하는가?

기존의 AI 는 새로운 것을 배우는 속도는 빠르지만 (적응력 좋음), 배울 때마다 예전 지식을 지워버리는 '치명적인 망각'이 자주 일어납니다. 반대로, 예전 지식을 잘 지키려고 하면 새로운 것을 배우는 속도가 너무 느려집니다.

🔍 새로운 발견: "조용한 탐색가 (0 차 최적화)"의 등장

이 논문은 AI 가 새로운 것을 배울 때 사용하는 **'학습 방법'**을 바꿔보자는 아이디어를 제시합니다.

• 기존 방법 (1 차 최적화, FO): 마치 정밀한 GPS를 사용하는 것과 같습니다. 정확한 지도 (기울기 정보) 를 보고 가장 빠른 길로 쏜살같이 목적지 (최적점) 로 갑니다. 하지만 목적지가 너무 뾰족하고 좁은 골짜기에 있으면, 조금만 길을 잘못 들어도 다시 원래 위치로 돌아오기 어렵습니다. (새로운 것을 잘 배우지만, 예전 지식을 쉽게 잊음)
• 새로운 방법 (0 차 최적화, ZO): 마치 안개 낀 산을 헤매는 등산가처럼 생각해보세요. 정확한 지도는 없지만, "이쪽으로 가보면 더 높은가, 낮은가?"를 랜덤하게 시도하며 천천히 내려갑니다. 이 방법은 넓고 평평한 골짜기를 찾게 됩니다.

🌟 핵심 통찰:
이 연구는 **"넓고 평평한 골짜기 (Flat Minima) 에 머무는 것이 기억력 (안정성) 에 훨씬 좋다"**는 것을 증명했습니다.

• 정밀한 GPS(기존 방법): 좁은 골짜기에 빠지면, 새로운 지형 (새로운 학습) 이 조금만 바뀌어도 AI 가 미끄러져 예전 지식을 잃어버립니다.
• 등산가 (0 차 방법): 넓은 평평한 골짜기에 있으면, 지형이 조금 변해도 AI 는 그 자리에 단단히 머물러 예전 지식을 잊지 않습니다.

⚠️ 하지만, 함정이 있었습니다!

그런데 이 '등산가' 방식 (0 차 최적화) 을 그대로 적용하니 큰 문제가 생겼습니다.

• 문제: 등산가는 방향 감각이 둔해서 새로운 목적지 (새로운 분류 기준) 에는 너무 느리고 부정확하게 도착합니다. 즉, 새로운 것을 배우는 능력 (적응력) 이 떨어지는 것입니다.

💡 해결책: "하이브리드 전략 (ZO-FC)"

연구팀은 이 두 가지 장점을 합치는 완벽한 조합을 제안했습니다.

"넓은 골짜기를 찾는 등산가 (0 차) 가 '등산로 (특성 추출기)'를 다듬고, 정밀한 GPS(1 차) 가 '정착지 (분류기)'를 정확히 잡는다."

이것이 바로 논문에서 제안한 ZO-FC 방법입니다.

1. 등산가 (0 차) 가 하는 일: AI 의 '눈'과 '뇌'에 해당하는 **특성 추출 부분 (Adapter)**을 넓고 평평한 골짜기로 유도합니다. 이렇게 하면 새로운 것을 배우면서도 예전 지식이 흔들리지 않습니다.
2. GPS(1 차) 가 하는 일: AI 가 최종적으로 판단하는 **결정 부분 (분류기)**은 정밀한 GPS 로 빠르게 조정합니다. 이렇게 하면 새로운 것을 배우는 속도와 정확도를 유지할 수 있습니다.

🏆 결과: "기억도 잘하고, 배우기도 잘하는 AI"

이 방법을 실험해 보니 놀라운 결과가 나왔습니다.

• 기억력: 예전 지식을 잊는 정도가 기존 방법보다 훨씬 적습니다.
• 배우는 힘: 새로운 것도 기존 방법만큼 잘 배웁니다.
• 메모리 효율: 가장 큰 장점은 메모리 사용량이 6 배나 줄었다는 것입니다. 기존 방법은 AI 가 배울 때 모든 과정을 기억해야 해서 메모리가 많이 필요했지만, 이 방법은 중간 과정을 기억할 필요가 없어 스마트폰 같은 작은 기기에서도 쉽게 실행할 수 있습니다.

📝 한 줄 요약

"정밀한 GPS 는 새로운 길을 찾는 데, 넓은 평야를 걷는 등산가는 예전 지식을 지키는 데 유리하다. 이 둘을 섞어 쓰면, AI 는 작은 메모리로도 새로운 것을 배우면서도 예전 것을 잊지 않는 '지속 학습'의 달인이 된다!"

이 연구는 앞으로 우리가 스마트폰이나 사물인터넷 기기에서 AI 를 더 오래, 더 똑똑하게 사용할 수 있는 길을 열어주었습니다.

기술 요약

1. 문제 정의 (Problem)

**지속적 학습 (Continual Learning, CL)**의 핵심 과제는 **가소성 (Plasticity)**과 안정성 (Stability) 사이의 딜레마를 해결하는 것입니다.

• 가소성: 새로운 작업 (Task) 을 빠르게 학습하는 능력.
• 안정성: 이전에 학습한 지식을 유지하며 **재앙적 망각 (Catastrophic Forgetting)**을 방지하는 능력.

기존의 지속적 학습 방법론 (특히 사전 학습된 모델 기반의 PEFT, Parameter-Efficient Fine-Tuning) 은 주로 1 차 미분 (First-Order, FO) 기반의 경사 하강법을 사용합니다. 이는 정밀한 기울기 정보를 바탕으로 손실 함수의 **날카로운 최소점 (Sharp Minima)**으로 빠르게 수렴하게 하여 가소성은 높지만, 새로운 작업을 학습할 때 파라미터가 쉽게 흔들려 기존 지식을 망각하는 낮은 안정성을 보입니다.

또한, 기존 FO 방법은 역전파 (Backpropagation) 를 수행하기 위해 중간 활성화 값을 저장해야 하므로 메모리 사용량이 매우 큽니다. 이는 엣지 디바이스 (On-device) 와 같은 리소스가 제한된 환경에서 CL 을 적용하는 데 큰 병목이 됩니다.

2. 방법론 (Methodology)

저자들은 **0 차 최적화 (Zeroth-Order, ZO)**가 메모리 효율성뿐만 아니라 안정성 향상에도 기여할 수 있다고 가정하고 연구를 진행했습니다.

2.1. 이론적 분석: ZO 와 평탄한 최소점 (Flat Minima)

• 이론적 근거: ZO 최적화 (예: SPSA) 는 무작위 섭동 (Perturbation) 을 통해 기울기를 추정합니다. 이는 본질적으로 손실 함수를 평활화 (Smoothing) 된 형태로 최적화하는 것과 동일합니다.
• 수렴 특성: 평활화된 손실 함수는 **곡률 (Curvature)**이 큰 날카로운 최소점에 페널티를 부과하므로, ZO 는 자연스럽게 **더 넓고 평탄한 최소점 (Flatter Minima)**으로 수렴하는 경향이 있습니다.
• 기억 유지 효과: 평탄한 최소점은 파라미터의 작은 변화에 대해 손실이 크게 변하지 않으므로, 새로운 작업을 학습할 때 기존 작업의 성능이 급격히 떨어지는 것을 방지하여 망각을 줄이는 안정성을 제공합니다.

2.2. 실험적 발견: 단순 대체의 실패

기존 PEFT 기반 CL 방법 (Adapter, Prompt 등) 에 FO 를 ZO 로 단순히 대체 (Naive Substitution) 해본 결과, 성능이 급격히 저하되었습니다.

• 원인: 학습 가능한 분류기 (Learnable Classifier) 에 ZO 를 적용할 때, 정밀하지 않은 기울기 추정치로 인해 결정 경계 (Decision Boundary) 를 올바르게 형성하지 못해 수렴 실패가 발생했습니다.
• 특이점: PEFT 모듈 (Adapter) 에만 ZO 를 적용하고 분류기에는 FO 를 적용하면 학습 손실이 수렴하는 것을 확인했습니다.

2.3. 제안된 방법: ZO-FC (Zeroth-order for PEFT, First-order for Classifier)

이러한 통찰을 바탕으로 ZO-FC를 제안했습니다.

• 구조:
  • PEFT 모듈 (Adapter): ZO 최적화를 적용. (메모리 효율성 + 안정성 확보)
  • 분류기 (Classifier): **FO 최적화 (SGD)**를 유지. (가소성 및 정확한 결정 경계 형성 확보)
• 메모리 효율성: 분류기만 FO 로 업데이트되더라도, 분류기는 모델의 마지막 레이어이므로 역전파가 이전 레이어 (Backbone, Adapter) 로 전파되지 않습니다. 따라서 중간 활성화 값을 저장할 필요가 없어 ZO 의 메모리 효율성 (Inference 와 유사한 수준) 을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 이론적 연결: ZO 최적화가 자연스럽게 평탄한 최소점으로 수렴하여 CL 의 망각을 줄이는 안정성을 제공하지만, 기울기 추정의 부정확성으로 인해 가소성 (새로운 지식 습득) 이 저하될 수 있음을 이론적으로 증명했습니다.
2. 실증적 분석: 기존 PEFT 기반 CL 방법들에 ZO 를 무작정 적용하면 학습 가능한 분류기 때문에 실패함을 발견하고, 이를 해결하기 위한 ZO-FC 아키텍처를 제안했습니다.
3. 성능 및 효율성: ZO-FC 는 FO 기반의 최첨단 (SOTA) 방법과 유사한 정확도를 유지하면서, 학습 메모리 사용량을 6 배 감소시켰습니다.

4. 실험 결과 (Results)

• 데이터셋: CIFAR100, ImageNet-R, DomainNet 에서 클래스 증분 학습 (Class-Incremental Learning) 설정으로 평가.
• 정확도 (Accuracy):
  • ZO-FC 는 CIFAR100 과 ImageNet-R 에서 기존 FO 기반 방법들 (L2P, LAE, APER 등) 과 비교해 동등하거나 더 높은 마지막 작업 정확도 (Last Accuracy) 를 기록했습니다.
  • 특히 ImageNet-R 에서 ZO-FC 는 기존 ZO 기반 방법 (ZO-EASE 등) 보다 12% 이상 높은 정확도를 보였습니다.
• 망각 (Forgetting):
  • ZO-FC 는 다른 모든 PEFT 기반 FO 방법들보다 **낮은 망각 (Forgetting)**을 보였습니다. 이는 ZO 로 최적화된 Adapter 가 안정적으로 작동하여 기존 지식을 잘 보존했음을 의미합니다.
• 메모리 효율성:
  • FO 방법들은 4GB~7GB 이상의 GPU 메모리를 소모하는 반면, ZO-FC 는 약 0.7GB의 메모리만 사용하여 약 6 배의 메모리 절감을 달성했습니다.
• 평탄성 분석 (Flatness Analysis): SAM (Sharpness-Aware Minimization) 기반 측정을 통해 ZO-FC 가 FO 방법보다 더 평탄한 손실 지형 (Loss Landscape) 으로 수렴함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 ZO 최적화가 단순히 메모리를 절약하는 도구를 넘어, 지속적 학습의 안정성 (Stability) 을 강화하는 핵심 메커니즘이 될 수 있음을 입증했습니다.

• 트레이드오프 해결: ZO 의 낮은 가소성 (새로운 학습 능력) 과 높은 안정성 (망각 방지) 사이의 트레이드오프를 해결하기 위해, 각 구성 요소 (Adapter vs Classifier) 에 최적의 최적화 기법을 혼합 (Hybrid) 한 ZO-FC를 제안했습니다.
• 실용적 가치: 리소스가 제한된 엣지 디바이스 (On-device) 에서 대규모 사전 학습 모델을 지속적으로 학습 (Fine-tuning) 해야 하는 현실적인 시나리오에 매우 적합한 솔루션을 제공합니다.
• 미래 연구 방향: ZO 최적화를 CL 에 적용하는 새로운 패러다임을 제시하며, 향후 더 정교한 ZO 추정 기법이나 하드웨어 가속화를 통한 실시간 학습으로의 확장을 기대하게 합니다.

요약하자면, ZO-FC 는 "메모리 효율성 + 안정성 (ZO)"과 "가소성 (FO)"을 동시에 달성하여, 리소스 제약 하에서도 고성능 지속적 학습을 가능하게 하는 획기적인 접근법입니다.