기술 요약: 양자화된 0 차 최적화를 위한 컴팬더 정렬 쿼리 기하학

1. 문제 제기

이 논문은 저정밀도 (양자화된) 대규모 언어 모델 (LLM) 에 적용될 때의 0 차 (Zeroth-Order, ZO) 최적화의 근본적인 한계를 다룹니다. ZO 방법 (MeZO 등) 은 순방향 통과와 스칼라 손실 값에만 의존하여 메모리 효율적인 적응을 가능하게 하지만, 기존 접근 방식은 모델이 저비트 정밀도 (예: NF4) 로 저장되고 쿼리될 때 어려움을 겪습니다.

핵심 문제는 비균일 양자화로 인한 측정 불일치입니다:

• 표준 ZO: 연속 가중치 공간 ($x \pm \mu u$) 에서 가중치를 교란시키고 손실 차이를 측정합니다.
• 양자화 ZO: 엔진은 반올림된 끝점 $Q(x \pm \mu u)$ 를 평가합니다.
• 충돌: 비균일 컴팬딩 양자화기 (예: NF4, $\mu$-law) 의 경우 양자화 셀이 균일하지 않습니다. 고정된 가중치 공간 교란 반경 $\mu$ 는 다음과 같은 결과를 초래할 수 있습니다:
  1. 붕괴: 단일 밀집 양자화 셀 내부에 완전히 떨어지며, 결과적으로 손실 차이가 0 이 됩니다 (기울기 신호 부재).
  2. 과도한 확장: 여러 개의 희소 셀을 가로질러 국소 기울기 대신 비국소 접선을 측정합니다.
  3. 정렬 불일치: 의도된 업데이트 방향 $u$ 와 평행하지 않은 "반올림된 현 (rounded chord)" $Q(x+\mu u) - Q(x-\mu u)$ 를 생성합니다.

이는 쿼리 시 양자화 - 교란 결합을 초래하여, 편향 채널을 도입하고 하강 방향을 왜곡하며 재구성을 위한 코드북 자체가 최적일지라도 정상점에 수렴하는 것을 방해합니다.

2. 방법론: CAQ-ZO

저자들은 CAQ-ZO(Zeroth-Order 최적화를 위한 컴팬더 정렬 쿼리) 를 제안하며, 쿼리 기하학을 가중치 공간에서 컴팬더 좌표 공간으로 전환합니다.

이론적 프레임워크

이 논문은 스칼라 비균일 양자화를 컴팬딩 과정으로 모델링합니다:
$$Q = \phi^{-1} \circ U \circ \phi$$
여기서:

• $\phi$: 단조 좌표 매핑 (압축기).
• $U$: 변환된 공간 $z = \phi(x)$ 에서 격자 간격 $\Delta$ 를 갖는 균일 양자화기.
• $\phi^{-1}$: 가중치 공간으로 되돌리는 확장자 매핑.

알고리즘

가중치 공간에서 $x$ 를 교란하는 대신, CAQ-ZO 는 $z$-공간에서 작동합니다:

1. 좌표 변환: 반복자를 컴팬더 좌표 $z_t = \phi(x_t)$ 에서 유지합니다.
2. 온-격자 스텐실: 1 격자 단계 Rademacher 스텐실을 사용하여 $z$-공간에서 직접 교란을 생성합니다: $z_t \pm \Delta r$, 여기서 $r \in \{-1, +1\}^d$.
3. 쿼리: 끝점을 가중치 공간으로 매핑합니다: $x_{query} = \phi^{-1}(z_t \pm \Delta r)$.
4. 측정: 저정밀도 오라클을 쿼리합니다. 끝점 $z_t \pm \Delta r$ 이 $U$ 의 균일 격자에 정확히 위치하므로, 양자화기 $Q$ 는 쿼리 지점에서 항등 함수로 작용합니다 (끝점에서 반올림 오차가 발생하지 않음).
5. 업데이트: $z$-공간에서 기울기 추정을 계산하고 $z_{t+1}$ 을 업데이트한 후, 향후 쿼리를 위한 불변성을 유지하기 위해 격자에 결과를 투영합니다.

주요 차이점: CAQ-ZO 는 코드북, 옵티마이저 래퍼, 또는 순방향 오라클을 변경하지 않습니다. 오직 양자화기의 내부 격자와 정렬되도록 유한 차분 스텐실의 기하학만 변경합니다.

3. 주요 기여

이 논문은 네 가지 주요 기여를 합니다:

1. 쿼리 기하학의 공식화: 양자화 ZO 를 코드북 비교 문제로 재해석하여 측정 기하학 문제로 전환합니다. 코드북, 쿼리 좌표, 방향 분포, 평활화 반경, 끝점 격자 정렬을 별도의 제어 변수로 분리합니다.
2. 불일치에 대한 이론적 분석:
   • 정리 1: 고정된 가중치 공간 반경 $\mu$ 가 비균일 셀을 전역적으로 보정할 수 없음을 증명합니다. 유효 격자 범위 $\rho$ 는 국소 컴팬더 기울기 $\nabla \phi$ 에 의존합니다.
   • 정리 2: 추정기 오차를 분해하여, 표준 가중치 공간 쿼리는 끝점 반올림으로 인해 $\Delta^2/\mu^2$ 에 비례하는 잔차를 수반하는 반면, CAQ-ZO 는 이 쿼시 잔차를 정확히 0 으로 만든다는 것을 보여줍니다.
   • 정리 3 및 4: 가중치 공간 쿼리가 반올림 편향으로 인해 잔차 바닥을 겪는 반면, CAQ-ZO 는 표준 유한 차분 편향과 확률적 분산에 의해서만 지배되는 수렴을 달성함을 보여주는 정상성 경계를 제공합니다.
3. 알고리즘 설계: 컴팬더 좌표에서 온-격자 Rademacher 유한 차분을 활용하고 격자 정렬을 유지하기 위해 업데이트 시 투영을 강제하는 CAQ-ZO 알고리즘 (알고리즘 1) 을 도입합니다.
4. 실증적 검증:
   • 합성 실험: 끝점 반올림 채널을 분리하여 CAQ-ZO 가 가중치 공간 베이스라인 (Vanilla Gaussian ZO, QuZO) 을 괴롭히는 잔차 채널을 제거함을 보여줍니다.
   • LLM 파인튜닝: NF4 양자화를 사용하여 Qwen-2.5-1.5B 및 Llama-2-7B 에서 개선을 입증합니다. CAQ-ZO 는 동일한 양자화기와 평가 예산 하에서 여러 작업 (SST-2, RTE, CB, SQuAD 등) 에서 가중치 공간 베이스라인 (QuZO) 을 능가합니다.

4. 결과

• 합성: $\mu$-law 및 NF4 스타일 컴팬더를 사용한 고차원 ($d=10,000$) 합성 실험에서 CAQ-ZO 는 최종 - 시작 손실 차이 비율이 가장 낮습니다. 이는 가중치 공간 방법에서 관찰된 "끝점 반올림 잔차"를 특히 제거하며, 이는 반복 횟수가 증가해도 0 이 아닌 상태로 남습니다.
• LLM 파인튜닝: 매칭된 NF4 파인튜닝 실험에서:
  • CAQ-ZO는 두 모델의 모든 지표에서 QuZO(가중치 공간 베이스라인) 보다 일관되게 개선됩니다.
  • 주목할 만한 개선 사항은 Qwen 과 Llama 에 대해 각각 CB 에서 18.8/21.4 정확도 포인트, SQuAD 에서 24.0/28.1 F1입니다.
  • 이러한 결과는 코드북을 고정하면서 유한 차분 끝점을 변경하는 것이 훈련된 양자화 모델의 성능을 향상시킨다는 것을 확인해 줍니다.

5. 중요성과 범위

이 논문은 양자화 ZO 가 코드북만으로 결정되지 않는다고 주장하며, 유한 차분 스텐실과 양자화 셀 간의 상호작용이 동등하게 중요하다고 합니다.

• 핵심 통찰: 정적 재구성에 최적화된 코드북 (예: NF4) 은 쿼리 기하학이 정렬되지 않은 경우 가중치 공간 교란에는 부적합할 수 있습니다. CAQ-ZO 는 쿼리 기하학을 컴팬더와 정렬함으로써 이를 해결합니다.
• 주장의 겸손함: 저자들은 명시적으로 주장의 범위를 규정합니다:
  • 이론은 스칼라 단조 컴팬더(단조 보간을 통한 NF4 포함) 에 적용됩니다.
  • 증거는 제어된 합성 실험과 매칭된 NF4 LLM 파인튜닝으로 제한됩니다.
  • 이 논문은 별도의 검증 없이 모든 비스칼라 코드북 (예: 벡터 양자화기) 에 대한 보편적 전이성이나 더 넓은 대형 모델 주장을 하지 않습니다.
  • 코드북을 수정하거나 스트레이트 스루 추정기를 사용하는 방법과 구별되는 "저정밀도 순방향 통과" 설정에 대한 구체적인 해결책으로 위치합니다.

요약하자면, CAQ-ZO 는 0 차 최적화에서 양자화 반올림으로 인한 편향을 제거하여 양자화 LLM 의 더 효과적인 메모리 효율적 적응을 가능하게 하는 이론적 근거와 실증적 검증을 갖춘 방법을 제공합니다.