Why Zeroth-Order Adaptation May Forget Less: A Randomized Shaping Theory

기술적 요약: 왜 0 차 적응이 덜 망각할 수 있는지: 무작위 형상화 이론

문제 제기
연속 학습은 모델이 이전 작업에서 획득한 능력을 지우지 않고 새로운 작업에 적응하도록 요구합니다. 최근의 실증 연구 (예: ZeroFlow, ZO-FC) 는 0 차 (ZO) 최적화와 순전파 적응이 1 차 (FO) 강하보다 망각을 더 효과적으로 완화할 수 있음을 시사하지만, 지배적인 견해는 ZO 를 단순히 FO 기울기의 노이즈가 있는 추정치로 취급합니다. 이러한 관점은 ZO 가 왜 더 잘 유지할 수 있는지 설명하지 못합니다. 왜냐하면 추정 정확도는 유입되는 기울기에 관한 반면, 망각은 유도된 매개변수 변위와 그것이 노출시키는 유지 곡률에 의해 지배되기 때문입니다. 본 논문은 유입 신호와 적응 스케일이 일치된 후 망각의 국소적 메커니즘을 격리하여 "노이즈가 있는 FO"라는 서사를 넘어 적응 형상의 기하학적 속성을 이해하고자 합니다.

방법론: 무작위 기울기 형상화
저자들은 망각을 "형상화된 적응 (shaped adaptation)"으로 분석하는 프레임워크를 제안합니다. 최적화 궤적을 비교하는 대신, 그들은 다양한 변위 연산자 $\Delta$에 의해 유도되는 2 차 손상 함수 $Q(\Delta) = \frac{1}{2}\Delta^\top H \Delta$를 비교합니다. 여기서 $H$는 유지 곡률 (예: 과거 손실의 헤세 행렬) 을 나타냅니다.

1. ZO 의 보정: 논문은 실제 유한 차분 ZO 추정치를 세 가지 구성 요소로 분해합니다.
   • 원시 평균 정렬: 원시 ZO 형상은 기대값에서 FO 신호를 보존합니다.
   • 노름 팽창: 원시 ZO 는 기대 2 차 적응 노름을 팽창시킵니다.
   • 노름 일치: 공정한 비교를 보장하기 위해 저자들은 노름이 일치된 ZO 형상 $P = \kappa^{-1/2}Z$를 도입합니다. 여기서 $Z$는 원시 형상 행렬이고 $\kappa$는 팽창 인자입니다. 이는 $E[\|Pg\|^2] = \|g\|^2$를 보장하면서 명시적으로 $\sqrt{q/(q+d+1)}$의 평균 축소 인자를 유도합니다.
2. 이론적 분석: 이러한 노름 일치 비교 하에서 저자들은 기대 형상화 유지 곡률 $\bar{H}_q = E[P^\top H P]$에 대한 정확한 항등식을 유도합니다. 그들은 노름 일치 ZO 가 곡률을 균일하게 축소하지 않고 등방성 성분 (평균 곡률 $\bar{\lambda}I$) 은 보존하면서 이방성 성분 (평균으로부터의 편차) 을 $(1-\tau)$ 인자만큼 축소함을 증명합니다. 여기서 $\tau = d/(q+d+1)$입니다.
3. 망각 간격 항등식: 이 곡률 항등식을 유입 기울기 $g$에 투영함으로써 논문은 정확한 FO–ZO 2 차 망각 간격을 유도합니다. 망각 감소는 FO 방향이 평균 이상의 유지 곡률 영역 ($\lambda > \bar{\lambda}$) 을 통과할 때만 발생합니다. 이러한 영역에서 ZO 는 쿼리 의존적 비율만큼 "곡률 초과" 손상을 감소시킵니다. 반대로, FO 방향이 낮은 곡률 영역에 있는 경우 ZO 는 망각을 증가시킬 수 있으며, 이는 보편적 우위가 아닌 기하학 의존적 위험 통제 결과로 제시됩니다.

주요 기여

1. 형상화된 적응으로서의 국소 망각 공식화: 논문은 FO 와 ZO 간의 비교를 일치된 기대 2 차 적응 노름 하에서 서로 다른 형상 연산자가 어떻게 유지 곡률을 노출시키는지에 대한 문제로 재정의하여, 학습률과 궤적과 같은 교란 변수를 제거합니다.
2. 유한 차분 ZO 의 보정: 원시 평균 정렬, 유한 평활 잔차, 원시 노름 팽창, 그리고 노름 일치 평균 축소를 엄격하게 분리하여 이론적 분석을 위한 공정한 비교 기준을 확립합니다.
3. 정확한 곡률 항등식 및 망각 간격: 저자들은 노름 일치 ZO 가 등방성 유지 바닥을 보존하면서 이방성 성분을 축소함을 증명합니다. 이는 ZO 가 FO 방향이 평균 이상의 유지 곡률을 초과할 때 정확히 평균 2 차 망각을 감소시킨다는 정확한 항등식을 도출합니다.
4. 알고리즘 전이 (RISE): 논문은 RISE(정확 기울기 적응을 위한 유지 인식 등방성 형상화) 를 도입합니다. RISE 는 역전파를 통해 정확한 FO 기울기를 계산하여 (유한 차분 평활 편향을 제거) 하지만 노름 일치 무작위 형상 연산자를 블록 단위로 적용합니다. 이를 통해 이 방법은 ZO 의 유지 곡률 혼합 이점을 가져오면서도 정확한 기울기의 가소성 신호를 유지할 수 있습니다.

결과

• 이론적 검증: 2 차 샌드박스에서 실증 연산자 잔차와 손상 간격은 이론적 예측과 일치 ($R^2 = 0.9999$) 하여, 메커니즘이 기하학 의존적이며 망각 간격의 부호가 방향적 곡률 초과에 따라 예측대로 변함을 확인했습니다.
• 비전 연속 학습: CIFAR100, ImageNet-R, DomainNet 에서 ViT-B/16 백본을 사용하여 RISE 를 ZO-FC 파이프라인에 적용 (표현 측 유한 차분 ZO 를 정확한 기울기 형상화로 대체) 한 결과, 표준 ZO-FC 대비 "Last"(가소성) 정확도가 0.391.39 포인트 향상되었고 "Fgt"(망각) 는 0.281.72 포인트 감소했습니다. 이는 정확한 기울기가 기울기 추정으로 인해 손실된 가소성을 회복하면서도 ZO 형상의 안정성 이점을 유지할 수 있음을 보여줍니다.
• 언어 모델 연속 학습: 다양한 작업 순서 (SeqLoRA 및 O-LoRA) 에 대한 T5 모델에서 RISE 는 "Last" 정확도를 FO 기준선과 가깝게 유지하면서 망각을 크게 감소시켰습니다 (예: 한 SeqLoRA 순서에서 35.57% 에서 7.01% 로 감소). 이는 종종 낮은 가소성 (낮은 "Last" 점수) 을 대가로 망각을 줄이는 원시 ZO 와 대조됩니다.

의의 및 주장
본 논문은 "노이즈가 있는 FO"라는 설명을 넘어, ZO 가 왜 덜 망각할 수 있는지에 대한 최초의 스케일 제어 국소 메커니즘을 제공한다고 주장합니다. 이는 ZO 가 FO 를 균일하게 지배하는 것이 아니라 조건부 개선임을 확립합니다. 즉, ZO 는 특정 유지 기하학이 알려지지 않았을 때 고곡률 방향으로부터 보호하는 "블라인드 최적" 등방성 노출로 작용합니다.

RISE 의 의의는 안정성 메커니즘 (무작위 형상화) 과 가소성 메커니즘 (정확 기울기) 을 분리할 수 있는 능력에 있습니다. RISE 는 정확한 기울기에 보정된 ZO 형상을 적용함으로써, 실용적 ZO 의 유한 평활 편향을 피하면서도 고곡률 영역에서 유지 노출을 감소시키는 곡률 혼합 특성으로부터 혜택을 받는 안정성–가소성 트레이드오프를 제공합니다. 논문은 이 메커니즘이 FO 방향이 평균 이상의 유지 곡률을 가질 때, 그리고 블록 단위 샘플링이 전역 고차원 무작위 방향과 관련된 분산 없이 형상화 효과의 안정적인 실현을 허용할 때 가장 두드러진다고 결론지었습니다.