기술적 요약: 딥러닝에서의 0 차 최적화는 미탐구된 것이지, 저전력이 아니다

1. 문제 제기

0 차 (ZO) 최적화는 역전파 (BP) 없이 함수 평가의 유한 차분을 사용하여 기울기를 근사하는 방식으로, 메모리 효율성과 블랙박스 또는 그레이박스 파이프라인에 대한 적용 가능성으로 인해 다시 주목받고 있습니다. 이러한 장점에도 불구하고, ZO 방법은 높은 추정기 분산과 불리한 쿼리 복잡성으로 인해 딥러닝에 근본적으로 확장 불가능하다는 이유로 자주 무시됩니다.

본 논문은 이러한 회의론이 잘못되었다고 주장합니다. ZO 최적화의 인식된 한계는 기울기 없는 학습의 고유한 약점에서 비롯된 것이 아니라, "단시적 개발 관행"에서 비롯된 것입니다. 구체적으로, 커뮤니티는 전체 파라미터 공간에서 작동하며 원소별 섭동을 사용하는 추정기 중심 설계를 지나치게 강조해 왔습니다. 이러한 좁은 초점은 ZO 방법의 확장성을 열어줄 수 있는 더 넓은 알고리즘적, 시스템 수준적, 평가적 기회를 가렸습니다.

2. 방법론 및 위치 설정 프레임워크

단일 새로운 알고리즘을 제안하는 대신, 본 논문은 알고리즘, 시스템, 평가 스택을 아우르는 여섯 가지 주장 (P1–P6) 으로 구성된 포괄적인 위치 설정 프레임워크를 제시합니다. 이러한 입장들은 ZO 최적화의 실현 가능성 경계와 기회를 재정의합니다.

기반 및 실현 가능성 경계 (P1–P3)

저자들은 먼저 현재 추정기 중심 설계의 이론적 한계를 재검토합니다:

• (P1) 무작위 방향 선택의 중요성: 섭동 방향 $u$의 선택은 결정적입니다. 표준 가우스 또는 베르누이 벡터가 일반적이지만, 이들은 차원 $d$에 선형적으로 비례하는 분산을 초래합니다. 본 논문은 구조화된 설계 (예: 희소 또는 전처리된 섭동) 가 분산을 줄일 수 있음을 강조하지만, 종종 계산 또는 쿼리 오버헤드를 도입하므로 이를 신중히 고려해야 함을 지적합니다.
• (P2) 쿼리 - 분산 트레이드오프: 분산 감소는 고립되어 고려될 수 없습니다. 쿼리 수를 증가시키는 것 (예: 미니배칭을 통해) 은 분산을 줄이지만 비용을 증가시킵니다. 본 논문은 효과적인 ZO 최적화는 좌표별 추정기의 선형적 확장성을 피하고 문제 차원에 대한 부분 선형 쿼리 비용 성장을 달성해야 한다고 주장합니다.
• (P3) 방향성 도함수 관점: 유한 차분 추정기는 방향성 도함수 (DD) 기준 (순방향 기울기) 과 비교하여 벤치마크되어야 합니다. DD 는 성능에 대한 원칙적인 상한을 제공하며, 실패가 ZO 방법 때문인지 아니면 작업의 고유한 어려움 때문인지 분리하는 데 도움이 됩니다.

진전을 위한 기회 (P4–P6)

본 논문은 ZO 최적화를 발전시킬 세 가지 미탐구된 방향을 제안합니다:

• (P4) 부분공간 및 스펙트럼 관점: 전체 $d$차원 공간에서 작동하는 대신, ZO 방법은 부분공간 투영 (예: S-RGE) 을 활용해야 합니다. 섭동을 저차원 부분공간 ($r \ll d$) 으로 투영함으로써 분산을 $r$배 줄일 수 있습니다. 이 접근법은 ZO 를 스펙트럼 최적화 방법 (Muon 등) 과 연결하여 딥 모델 기울기에서 흔히 발견되는 저랭크 구조를 활용합니다.
• (P5) 시스템 수준의 단순성: ZO 의 "순방향 전용" 특성은 단순한 메모리 절약이 아닌 시스템적 이점입니다. 이는 다음을 가능하게 합니다:
  • 통신 효율성: 분산 환경에서 작업자는 스칼라 유한 차분 값과 공유된 무작위 시드만 전송하여 전체 벡터를 전송하지 않고도 로컬에서 섭동 벡터를 재구성할 수 있습니다.
  • 파이프라인 병렬성: 역전파를 제거함으로써 순방향과 역방향 패스 간의 긴밀한 결합을 없애고, 거의 제로에 가까운 "파이프라인 버블"을 가진 단방향 일정을 허용합니다.
  • 개인정보 보호: ZO 의 고유한 확률성 (가우스 섭동을 통해) 은 명시적인 노이즈 주입 없이도 자연스러운 차등 프라이버시 이점을 제공합니다.
• (P6) 작업 정렬 기반의 비가시화 제거: ZO 파인튜닝의 현재 성공은 종종 작업 정렬 (프롬프트를 사용하여 하류 작업을 사전 훈련 목표와 정렬) 에 의존합니다. 본 논문은 이것이 암묵적인 비가시화 (obfuscation) 로 작용하여 ZO 의 진정한 최적화 능력을 평가하기 어렵게 만든다고 주장합니다. 평가는 작업 정렬 유무에 따른 성능을 명시적으로 비교하여, 성취가 작업 단순화에서 비롯된 것이지 최적화기에서 비롯된 것이 아님을 확인해야 합니다.

3. 주요 기여 및 증거

본 논문은 ZO 연구의 현재 상태에 대한 구조화된 비판을 제공하고 향후 작업을 위한 로드맵을 제시합니다:

• 최근 연구에 대한 실증 분석: 저자들은 최근 논문들 (ICML'25, NeurIPS'25, ICLR'26 등) 을 분석하여, 대부분의 연구가 (P1) 분산 감소를 다루지만 (P2) 쿼리 트레이드오프와 (P3) DD 기준을 largely 무시하고 있음을 발견했습니다. 논문의 표 1 은 소수의 연구만이 세 가지 기반 입장을 동시에 만족함을 보여줍니다.
• 비가시화 제거 실험: 그림 2 는 Gemma2-2B 와 같은 모델을 사용하여 SST-2, RTE, WiC 작업에 대한 파인튜닝 결과를 제시합니다. 데이터는 작업 정렬이 제거되었을 때 ZO 방법 (예: MeZO, Sparse-MeZO) 이 상당한 정확도 하락을 경험함을 보여줍니다. 또한, 정렬된 설정과 비정렬된 설정 사이에서 방법들의 상대적 순위가 변경되어, 작업 정렬이 다양한 ZO 알고리즘의 고유한 능력을 가릴 수 있음을 확인시켜 줍니다.
• 실행 가능한 행동 촉구 (A1–A5): 본 논문은 커뮤니티를 위한 구체적인 단계를 제시합니다:
  • A1: 고정된 쿼리 예산과 순방향 기울기 기준을 갖춘 엄격한 평가 프로토콜을 수립합니다.
  • A2: 부분공간 및 스펙트럼 방법을 통합하고 하이브리드 FO-ZO 접근법을 고려하여 전체 공간 최적화를 넘어섭니다.
  • A3: ZO 추정을 노이즈 제거하기 위해 학습된 기울기 추정기로서 생성 모델 (예: 확산 모델) 을 탐구합니다.
  • A4: ZO 를 FO 중심 프레임워크 (DeepSpeed 등) 로 포팅하는 대신 ZO 네이티브 시스템 스택을 구축합니다. 여기에는 섭동 병렬화와 밀집 파이프라인 스케줄링을 우선시하는 것이 포함됩니다.
  • A5: ZO 가 네이티브 패러다임인 추론 가속 스택 (예: vLLM) 및 양자/하이브리드 양자 - 고전 최적화와 같은 분야로 응용 범위를 확장합니다.

4. 결과 및 주장

본 논문은 새로운 SOTA 알고리즘을 제시하는 것이 아니라, 담론을 재정의하는 위치 설정 논문 (position paper) 입니다. 주요 "결과"는 분석적입니다:

1. 한계의 재정의: 확장성 장벽은 종종 설계 선택 (전체 공간, 추정기 중심) 의 산물이지 근본적인 불가능성이 아님을 보여줍니다.
2. 시스템 시너지: ZO 의 단순성은 분산 및 자원 제약 환경과 자연스럽게 정렬되어, FO 방법이 따라올 수 없는 통신 및 파이프라인 효율성에서 이점을 제공한다고 주장합니다.
3. 평가 편향: 현재 벤치마크는 작업 정렬로 인해 ZO 성능을 과장할 수 있음을 입증하며, 더 정직하고 비가시화가 제거된 평가로의 전환을 촉구합니다.

5. 중요성 및 결론

본 논문은 ZO 최적화가 저전력이 아니라 미탐구된 것이라고 주장합니다. 단순히 기울기 추정기를 개선하는 데 초점을 맞추는 대신 부분공간 구조, 시스템 수준의 단순성, 그리고 엄격한 평가를 활용함으로써, 커뮤니티는 대규모 자원 효율적 학습을 위한 실현 가능한 경로를 열 수 있습니다.

저자들은 ZO 최적화가 제약이 있는, 하이브리드, 그리고 신흥 환경 (디지털 트윈, 물리 정보 시스템, 양자 컴퓨팅 등) 에서 현대 AI 시스템을 훈련하기 위한 실용적인 패러다임으로 변모할 잠재력을 가지고 있다고 결론지었습니다. 그 중요성은 메모리 및 하드웨어 요구 사항을 줄임으로써 대규모 모델 훈련에 대한 접근성을 민주화하고, 역전파가 불가능한 비미분 가능 시스템에서 학습을 가능하게 하는 데 있습니다. 본 논문은 이러한 잠재적 이점을 완전히 실현하기 위해 알고리즘, 시스템, 평가 스택에 대한 체계적인 재고를 요구합니다.