기술 요약: 제로차 최적화에서의 적응성

문제 제기

본 논문은 대규모 언어 모델 (LLM) 의 메모리 제약 하에서 미세 조정 (fine-tuning) 을 수행하는 데 따른 과제를 다룹니다. 역전파는 미세 조정의 표준이지만, 활성화 캐싱과 고정밀 부동소수점 연산을 위해 상당한 메모리를 요구합니다. 제로차 (ZO) 최적화는 무작위로 교란된 매개변수에 대한 순전파를 통해 기울기를 근사함으로써 메모리 효율적인 대안으로 부상했습니다. 그러나 ZO 방법은 높은 분산을 겪어 1 차 (FO) 방법에 비해 수렴 속도가 느려집니다.

최근 연구는 1 차 및 2 차 모멘트를 좌표별로 추적하는 FO 적응적 방법을 모방하는 적응형 ZO 옵티마이저 (예: ZO-Adam) 를 도입하여 이 분산을 완화하려 시도했습니다. 저자들은 이러한 접근법의 효능에 의문을 제기하며, 적응적 방법이 성공하기 위해 필요한 좌표별 이질성이 고차원 ZO 환경에서는 부재할 수 있다고 가설을 세웠습니다.

방법론 및 분석

ZO 기울기에 대한 이론적 분석

저자들은 고차원에서 ZO 기울기 추정기의 통계적 속성을 분석합니다. 그들은 무작위 교란의 등방성 (isotropic nature) 으로 인해 ZO 기울기 추정치는 FO 기울기에서 발견되는 좌표별 이질성이 결여되어 있음을 입증합니다.

• 명제 3.1: 저자들은 기대되는 제곱 ZO 기울기가 개별 좌표 값이 아닌 실제 기울기의 제곱 노름에 의존하는 전역 항에 의해 지배됨을 증명합니다. 구체적으로, 추정기로 인한 편차는 $1/q$ (여기서 $q$는 노이즈 샘플 수) 에 비례하여 스케일링되며, 고차원 ($q \ll d$) 에서는 좌표 무관해집니다.
• 함의: 좌표별 통계 (Adam 의 2 차 모멘트 등) 를 추적하는 적응 메커니즘은 ZO 기울기의 근본적인 통계와 불일치하여, 수렴 이점을 제공하지 않으면서도 메모리 비효율성을 초래합니다.

제안된 방법: MEAZO

전역 스텝 크기 적응이 충분하다는 통찰을 바탕으로, 저자들은 MEAZO(Memory-Efficient Adaptive Zeroth-order optimizer, 메모리 효율적 적응형 제로차 옵티마이저) 를 제안합니다.

• 설계: 모든 매개변수에 대한 2 차 모멘트 벡터를 유지하는 ZO-Adam 과 달리, MEAZO 는 투영된 기울기의 전역 제곱 노름을 나타내는 단일 스칼라만 추적합니다.
• 업데이트 규칙: 업데이트는 이 스칼라에 의해 전역 스텝 크기를 스케일링하여, 매개변수별 메모리 오버헤드 없이 전역 곡률에 기반하여 학습률을 적응시킵니다.
• 그룹화 확장: MEAZO 는 자연스럽게 그룹화 (블록 좌표) 된 ZO 설정으로 확장되어, 매개변수별이 아닌 블록별 스칼라를 유지함으로써 메모리를 추가로 줄이면서 블록 수준 이질성을 포착합니다.

이론적 보장

본 논문은 표준 가정 (L-스무스, 유계 분산, 유계 기울기) 하에서 MEAZO 에 대한 공식적인 수렴 보장을 제공합니다.

• 분석은 ZO 기울기를 평활화된 목적 함수의 불편추정량으로 취급합니다.
• 정리 4.7: 아핀 분산 경계가 존재할 때 적응형 SGD 의 표준 수렴률과 일치하는 MEAZO 의 수렴률을 확립합니다. 수렴률은 $O(\frac{1}{T} + \frac{\sigma^2}{T} + \frac{d}{q}\sigma^2 + \frac{d^2}{q}\epsilon^2)$로 나타나며, 이 방법이 샘플 수 $q$와 교란 크기 $\epsilon$에 의존하는 노이즈 이웃 크기를 가진 정류점 (stationary point) 으로 수렴함을 확인합니다.

실험 결과

합성 실험

• 2 차 모멘트 행동: 합성 2 차 문제에서 저자들은 차원성이 증가함에 따라 ZO-Adam 의 2 차 모멘트 벡터가 단일 값 (전역 노름) 으로 수렴하는 반면, FO-Adam 은 고유한 좌표별 값을 유지함을 관찰합니다. 이는 고차원 ZO 설정에서 좌표별 적응이 불필요하다는 이론적 주장을 경험적으로 검증합니다.
• 강건성: MEAZO 는 특히 이질적인 블록 구조 설정에서 ZO-SGD 에 비해 스텝 크기 선택에 대한 강화된 강건성을 보여주며, ZO-Adam 의 안정성과 일치합니다.

LLM 미세 조정

LoRA 및 프롬프트 튜닝을 사용하여 여러 모델 계열 (Llama-3.2, Qwen-3, Ministral) 과 작업 (XSum, SST-2, SQuAD) 에서 실험이 수행되었습니다.

• 성능 대 메모리:
  • ZO-SGD 대 ZO-Adam: 적절한 스텝 크기 튜닝을 통해 ZO-SGD 는 고차원 LoRA 미세 조정에서 ZO-Adam 을 능가하거나与之匹敵하며, 좌표별 적응성이 제한된 이점을 제공함을 확인합니다.
  • MEAZO 성능: MEAZO 는 ZO-Adam 과 유사한 성능을 달성하면서도 ZO-SGD 와 동등한 메모리 풋프린트 (전체 벡터 대신 단일 스칼라 추적) 를 가집니다.
• 강건성: 잘 튜닝된 ZO-SGD 는 잘 작동하지만, 비최적 스텝 크기에 취약합니다. MEAZO 는 메모리 비용 없이 적응형 방법의 강건성 (안정적인 학습률 창 확장) 을 유지합니다.
• 그룹화 설정: 그룹화 된 ZO 설정에서 MEAZO 는 그룹별 통계 (예: 더 높은 민감도를 보이는 이전 레이어) 에 적응하여, 그룹화 된 ZO-SGD 가 발산할 수 있는 곳에서 안정적인 수렴을 유지합니다.

주요 기여

1. 이론적 통찰: 본 논문은 고차원에서 ZO 기울기가 본질적으로 동질적임을 규명하여, 좌표별 적응 메커니즘 (ZO-Adam 의 경우 등) 이 수렴을 위해 이론적으로 불필요하며 메모리 비효율적임을 입증합니다.
2. 알고리즘적 혁신: 미미한 메모리 오버헤드로 전역 스텝 크기 적응을 달성하는 스칼라 기반 적응형 ZO 옵티마이저인 MEAZO를 도입했습니다.
3. 경험적 검증: 다양한 LLM 과 작업을 통한 포괄적인 실험을 통해 MEAZO 가 적응형 베이스라인 (ZO-Adam) 의 성능과 일치하면서도 비적응형 베이스라인 (ZO-SGD) 의 메모리 효율성을 유지함을 입증했습니다.
4. 수렴 분석: 비볼록 설정 하에서 MEAZO 에 대한 공식적인 수렴 보장을 제공하여, 적응형 SGD 이론과 제로차 최적화 간의 격차를 해소했습니다.

중요성 및 주장

저자들은 그들의 작업이 제로차 최적화에서 복잡한 적응 메커니즘의 필요성을 재평가한다고 주장합니다. 그들은 고차원 LLM 미세 조정에서 적응성의 주요 이점은 좌표별 스케일링에 있는 것이 아니라 전역 스텝 크기 강건성에 있다고 논합니다.

MEAZO 의 중요성은 메모리 제약 환경(예: 엣지 장치) 을 중심으로 제시됩니다. SGD 의 메모리 효율성과 적응형 방법의 강건성을 동시에 달성함으로써 MEAZO 는 제한된 자원을 가진 더 많은 연구자와 실무자가 대규모 모델의 미세 조정에 참여할 수 있게 합니다. 본 논문은 완벽하게 튜닝된 경우 ZO-SGD 로 충분하지만, MEAZO 는 메모리 패널티 없이 스텝 크기 선택의 취약성을 완화하는 실용적이고 안정적이며 확장 가능한 대안을 제공한다고 겸손하게 결론지었습니다. 향후 작업은 정확한 정류점으로의 수렴을 정교화하고 MEAZO 를 부분공간 ZO 프레임워크로 확장하는 것이 제안됩니다.