기술적 요약: 영차수 최적화의 학습 역학: 커널 관점

문제 제기

고전적 최적화 이론은 영차수 (Zeroth-Order, ZO) 알고리즘이 차원의 저주에 시달린다고 주장합니다. 여기서 수렴 속도는 모델 차원 $d$에 비례하여 선형적으로 증가합니다. 이러한 이론적 한계는 수십억 개의 파라미터를 가진 대규모 언어 모델 (LLM) 과 같은 고차원 모델의 경우 ZO 방법이 극도로 느릴 것이라고 시사합니다. 그러나 최근의 실증적 돌파구는 이러한 비관적인 전망과 모순되며, ZO 방법이 일차수 (First-Order, FO) 방법과 경쟁력 있는 성능으로 LLM 을 성공적으로 파인튜닝할 수 있음을 보여줍니다. 본 논문이 다루는 핵심 문제는 이 역설을 해소하는 것입니다: 이론적 경계가 그 반대를 시사함에도 불구하고, 왜 ZO 방법이 거대한 파라미터 공간으로 효과적으로 확장될 수 있는가?

방법론

저자들은 파라미터 공간 수렴이나 스칼라 손실 값에만 초점을 맞추는 대신, 학습 역학과 **실증 신경 접선 커널 (eNTK)**이라는 렌즈를 통해 ZO 최적화를 분석하는 새로운 프레임워크를 제안합니다.

1. ZO 학습 역학 유도: 논문은 ZO 확률적 경사 하강법 (SGD) 의 한 단계 학습 역학을 유도합니다. 모델 예측의 로그 확률에 테일러 전개를 적용함으로써, 업데이트 규칙이 투영된 eNTK 에 의해 지배됨을 보여줍니다.
2. 커널 투영 공식화: 핵심 이론적 통찰은 ZO 최적화가 유도하는 유효 커널 (ZO-eNTK 라고 명명됨) 이 교란 벡터들이 span 하는 무작위 저차원 부분 공간으로 투영된 표준 FO eNTK 의 기하학적 투영이라는 점입니다.
3. 존슨 - 린덴스트라우스 (JL) 보조정리 적용: 저자들은 이 투영의 충실도를 분석하기 위해 존슨 - 린덴스트라우스 보조정리를 인용합니다. ZO-eNTK 와 실제 FO-eNTK 간의 근사 오차가 고차원 공간에서 내적 보존에 의존함을 확립합니다.
4. 이론적 경계: 분석은 근사 오차 $\epsilon$이 $O(\sqrt{\ln V / P})$로 스케일링됨을 보여주는 엄격한 경계를 유도합니다. 여기서 $V$는 출력 어휘 크기이고 $P$는 교란 횟수입니다. 결정적으로, 이 경계는 거대한 모델 파라미터 차원 $d$와 무관합니다.
5. 실증적 검증: 프레임워크는 다음 실험을 통해 검증되었습니다:
   • LeNet (MNIST): $P$가 증가함에 따라 ZO-eNTK 가 FO-eNTK 로 수렴하는 것을 히트맵과 프로베니우스 노름 오차를 사용하여 시각화.
   • OPT 모델 (SST-2): 125M 에서 1.3B 파라미터까지의 모델을 테스트하여 차원 독립성을 검증.
   • 분포 비교: 가우시안과 라데마허 교란 분포를 비교.

주요 기여

1. ZO 역설에 대한 이론적 해결

본 논문은 ZO 방법의 LLM 확장성에 대한 이론적 근거를 제공합니다. 파라미터 공간에서 함수 공간 (eNTK 를 통해) 으로 분석을 전환함으로써, 저자들은 ZO 업데이트의 충실도가 모델 차원 $d$가 아닌 출력 어휘 크기 $V$와 교란 횟수 $P$에 의해 지배됨을 보여줍니다. 이 "차원 자유 (dimension-free)" 특성은 $d$가 수십억 단위일지라도 ZO 방법이 효율성을 유지하는 이유를 설명합니다.

2. 교란 횟수 ($P$) 의 역할

분석은 ZO-eNTK 의 충실도를 지배하는 주요 요인으로 교란 횟수를 식별합니다. 이론적 경계와 실증적 결과는 $P$를 증가시키면 커널 근사 오차가 $O(1/\sqrt{P})$ 비율로 감소함을 보여줍니다. $P$가 $V$에 의해 결정된 임계값을 초과하면 ZO 학습 궤적은 FO 궤적과 밀접하게 정렬됩니다.

3. 분포 강건성

논문은 교란 분포 (가우시안 대 라데마허) 의 영향을 조사합니다. 고전적 최적화 관점은 분산 감소 측면에서 차이를 시사하지만, 커널 기반 분석은 JL 보조정리의 맥락에서 두 분포 모두 비교 가능한 농도 상수를 산출함을 보여줍니다. 실증적 결과는 $P$가 충분하다면 분포 선택이 장기 수렴에 미미한 영향을 미친다는 것을 확인합니다.

4. 입력 유사성 민감도

이 연구는 ZO-eNTK 근사의 수렴 속도가 입력 쌍 간의 의미적 유사도에 민감함을 강조합니다. 높은 유사도를 가진 쌍 (예: 의미적으로 유사한 숫자나 텍스트) 은 구조적으로 구별되는 쌍보다 FO 기준치에 더 빠르게 수렴하지만, $P$가 증가함에 따라 둘 다 결국 수렴합니다.

결과

• eNTK 수렴: LeNet 실험은 $P$가 1 에서 125 로 증가함에 따라 ZO-eNTK 가 시각적, 수치적으로 FO-eNTK 의 블록 대각 구조를 회복함을 보여줍니다. 상대적 프로베니우스 노름 오차는 단조 감소합니다.
• 차원 독립성: OPT 모델 (125M, 350M, 1.3B) 을 사용한 실험에서 모델 차원 $d$가 한 자리수 증가했음에도 불구하고 FO 역학을 회복하는 데 필요한 $P$의 임계값은 거의 일정하게 유지되었습니다. 이는 학습 역학이 $d$와 분리되어 있음을 확인시켜 줍니다.
• 출력 크기 스케일링: $P$를 고정하고 출력 크기 $V$를 2 에서 1000 으로 변화시킨 통제된 합성 실험은 근사 오차가 $\sqrt{V}$와 일치하는 비율로 증가함을 보여주어 이론적 경계를 검증했습니다.
• 분포 동등성: 가우시안과 라데마허 분포에 대한 수렴 곡선은 모든 지표 (프로베니우스 노름, CKA, 스펙트럴 거리) 에서 거의 구별되지 않았으며, 이는 단순한 이진 교란이 효과적인 커널 근사를 위해 충분하다는 주장을 뒷받침합니다.

중요성과 주장

본 논문은 기존 최적화 중심 관점을 커널 기반 프레임워크로 보완함으로써 미분 없는 학습 역학을 이해하기 위한 새로운 관점을 제시한다고 주장합니다.

• 이론적 정당성: 주요 중요성은 LLM 에서의 ZO 파인튜닝 실증적 성공에 대한 엄밀한 이론적 설명을 제공하여, $d$에 의존하는 최악의 경우 이론적 경계와 실제 성능 사이의 불일치를 해소하는 데 있습니다.
• 실무적 지침: 연구 결과는 실무자들이 거대한 파라미터 수 $d$를 걱정하기보다 출력 어휘 크기 $V$에 상대적인 교란 횟수 $P$를 조정하는 데 집중해야 함을 시사합니다.
• 한계와 범위: 저자들은 겸손하게 분석이 "게으른 학습 (lazy training)" regime (특징이 안정적으로 유지됨) 에 의존하며, 이는 파인튜닝에는 일반적이지만 처음부터 학습하는 시나리오에는 적용되지 않을 수 있음을 지적합니다. 또한 현재 프레임워크는 표준 지도 학습 파인튜닝을 다루며, 시퀀스 길이에 따라 유효 출력 차원이 증가하는 강한 순차적 의존성을 가진 작업 (예: 장기적 추론) 에 대해서는 확장이 필요할 수 있음을 인정합니다.

요약하자면, 본 논문은 고차원 설정에서 ZO 최적화의 성공이 우연이 아니라 신경 접선 커널의 기하학적 속성의 결과이며, 이를 통해 무작위 투영을 통한 차원 자유 근사가 가능함을 주장합니다.