🤖 machine learning

On-Device Fine-Tuning via Backprop-Free Zeroth-Order Optimization

본 논문은 메모리 효율적인 0 차 최적화(MeZO) 가 활성화값과 옵티마이저 상태를 저장할 필요가 없음을 제거함으로써 기존 역전파 방식보다 훨씬 더 큰 모델의 온디바이스 미세 조정을 가능하게 하여, 엄격한 메모리 제약 하에서 증가된 실제 실행 시간을 더 우수한 정확도로 교환함을 보여줍니다.

원저자: Prabodh Katti, Houssem Sifaou, Sangwoo Park, Bipin Rajendran, Osvaldo Simeone

게시일 2026-05-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Prabodh Katti, Houssem Sifaou, Sangwoo Park, Bipin Rajendran, Osvaldo Simeone

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

작은 배터리 구동 장치, 예를 들어 스마트폰이나 스마트워치에 가지고 다닐 수 있는 거대하고 매우 똑똑한 지식 도서관 (대규모 언어 모델) 이 있다고 상상해 보세요. 당신은 이 장치가 클라우드에 있는 거대한 서버를 호출할 필요 없이, 바로 그 자리에서 당신의 필요에 맞춰 새로운 기술을 학습하기를 원합니다. 이 과정은 온디바이스 파인튜닝이라고 불립니다.

문제는 장치의 "두뇌"(메모리) 가 그 도서관에 비해 극히 작다는 점입니다.

구식 방법: "역전파" 배낭

이러한 모델을 가르치는 전통적인 방법은 **역전파 (Backpropagation, BP)**라고 불립니다. 이는 학생이 새로운 과목을 배울 때 시험을 본 후, 나중에 실수를 파악하기 위해 문제를 풀면서 했던 모든 생각, 계산용지, 그리고 중간 계산 과정을 즉시 기록하는 것과 같습니다.

비유: 작은 냅킨 위에서 복잡한 수학 문제를 풀려고 한다고 상상해 보세요. 구식 방법을 사용하려면 문제의 각 레이어마다 취한 모든 단계의 사본을 별도의 종이에 보관해야 합니다.
결과: "냅킨"(장치 메모리) 은 즉시 가득 차게 됩니다. 모든 중간 메모를 저장해야 하므로 장치에는 매우 작고 단순한 도서관만 담을 수 있습니다. 거대한 도서관을 가져가려 하면, 학습을 시작하기도 전에 공간이 부족해집니다.

새로운 방법: "MeZO" 직관

이 논문은 MeZO(메모리 효율적 0 차 최적화) 라는 새로운 방법을 소개합니다. 이 방법은 중간 단계를 기록하지 않습니다. 대신 "시행착오" 방식을 사용합니다.

비유: 미로에서 최상의 경로를 찾으려 한다고 상상해 보세요. 많은 종이를 차지하는 모든 방향 전환을 지도로 그리지 않고, 한 걸음 내디딘 후 벽에 부딪혔는지 확인하고, 다른 방향으로 아주 작은 걸음을 옮겨 그것이 더 나은지 확인합니다. 그곳에 도달한 전체 사고 과정이 아니라, 그 걸음의 결과만 기억합니다.
결과: 무거운 메모 배낭을 들고 다닐 필요가 없습니다. "계산용지"에 공간을 낭비하지 않기 때문에 장치에 훨씬 더 큰 도서관을 담을 수 있습니다.

트레이드오프: 속도 대 크기

이 논문은 트레이드오프에 대해 매우 구체적인 주장을 합니다:

크기 이점: MeZO 는 모든 중간 메모를 저장할 필요가 없으므로, 구식 방법이 허용하는 것보다 최소 2 배 이상 큰 모델을 담을 수 있습니다. 긴 대화 (긴 "컨텍스트") 의 경우 이 이점은 거대하게 커져 최대 25 배까지 커집니다.
- 간단한 수학: 구식 방법이 30 억 단어 사전을 담을 수 있다면, MeZO 는 같은 장치에 130 억 단어 사전을 담을 수 있습니다.
속도 비용: 단점은 MeZO 가 더 느리다는 것입니다. 올바른 방향을 파악하기 위해 메모를 단순히 보는 대신 여러 번 "추측하고 확인"해야 하므로 학습에 더 많은 시간이 걸립니다.
- 논문의 발견: 테스트에서 구식 방법은 빠르게 학습했지만 작은 모델을 사용하도록 강요받았기 때문에 "한계"에 부딪혔습니다. 반면 새로운 방법 (MeZO) 은 느리게 학습했지만, 훨씬 더 크고 똑똑한 모델을 사용했기 때문에 몇 시간 후 더 높은 정확도로 결론에 도달했습니다.

실제 테스트 내용

연구자들은 단순히 수학을 한 것이 아니라, 장치를 시뮬레이션하기 위해 강력한 컴퓨터 칩 (H100 GPU) 에서 실험을 수행했습니다:

그들은 "무거운 배낭" 방식으로 훈련된 작은 모델과 "가벼운" 방식으로 훈련된 훨씬 더 큰 모델을 비교했습니다.
결과: 새로운 방법이 더 많은 시간 (좋은 결과를 얻는 데 약 2 시간) 을 소요했음에도 불구하고, 훈련된 더 큰 모델은 빠르게 훈련된 작은 모델 (75% 미만 정확도) 보다 훨씬 더 똑똑했습니다 (82% 정확도).
그들은 또한 "희소" 훈련 (모델 두뇌의 1% 만 업데이트) 도 테스트했습니다. 이 트릭을 사용했음에도 불구하고, "계산용지"(활성화) 가 여전히 가장 큰 문제였기 때문에 구식 방법은 여전히 새로운 방법보다 더 많은 메모리가 필요했습니다.

결론

이 논문은 제한된 메모리를 가진 장치에서 진정한 지능형 AI 를 실행하고 싶다면 MeZO 가 더 나은 선택이라고 결론 내립니다. 학습이 어떻게 일어나는지를 단순히 모델을 축소하는 것이 아니라 변경함으로써 "작은 메모리"라는 한계를 장점으로 바꾸어, 조금 더 기다려 학습할 의사가 있다면 "더 큰 두뇌"를 에지 (장치) 로 가져올 수 있게 해줍니다.

기술 요약: 역전파 없는 0 차 최적화를 통한 온디바이스 파인튜닝

문제 제기

온디바이스 파인튜닝은 외부 서버에 의존하지 않고 에지 AI 시스템이 특정 에이전트 작업과 진화하는 사용자 요구에 적응할 수 있도록 하는 데 필수적입니다. 그러나 결정적인 병목 현상이 존재합니다. 역전파 (BP) 를 통한 기존 파인튜닝은 추론보다 메모리 집약적이기 때문입니다. BP 는 모든 레이어의 중간 레이어 활성화값과 옵티마이저 상태를 저장해야 하므로, 단일 순전파보다 종종 한 자릿수 이상 더 많은 메모리를 요구합니다. 결과적으로 엄격한 메모리 제약이 있는 에지 장치는 파인튜닝을 위해 추론보다 훨씬 작은 모델을 배포해야 하므로 온디바이스 AI 의 기능이 심각하게 제한됩니다.

방법론

본 논문은 메모리 병목 현상에 대한 해결책으로 메모리 효율적 0 차 최적화 (MeZO) 를 제안하고 분석합니다. BP 와 달리 MeZO 는 순전파 평가 (perturbations) 만을 사용하여 기울기를 추정하므로, 중간 활성화값을 저장하거나 옵티마이저 상태를 유지할 필요가 없습니다.

저자들의 접근 방식은 두 가지 주요 구성 요소를 포함합니다:

이론적 메모리 분석: 본 논문은 디코더 전용 트랜스포머 모델에서 BP 와 MeZO 의 메모리 발자국에 대한 수학적 추정을 유도합니다. 이 분석은 다음을 고려합니다:
- 파라미터 수: 멀티헤드 어텐션 (및 그룹화 쿼리 어텐션 변형) 과 피드포워드 신경망 (FFN) 레이어를 포함합니다.
- 활성화 저장: 컨텍스트 길이 ( $N$ ), 배치 크기 ( $B$ ), 그리고 은닉 차원 ( $D$ ) 에 비례하여 확장되는 BP 를 위한 활성화값 캐싱에 필요한 메모리를 계산합니다.
- 옵티마이저 상태: 활성화 저장의 영향을 격리하기 위해 상태가 없는 SGD 옵티마이저를 가정합니다.
- 구현 요인: 구현별 버퍼링으로 인해 MeZO 가 저장하는 활성화 레이어의 최대 개수를 나타내는 $L' \leq L$ 인자를 도입하여 현실적인 비교를 가능하게 합니다.
실증적 검증: BoolQ 및 MultiRC 데이터셋을 사용하여 단일 H100 GPU 에서 수행된 수치 실험을 통해 이론적 주장을 검증합니다. 이 연구는 다음을 비교합니다:
- 전체 파인튜닝: 고정된 메모리 예산 (~17 GB) 하에서 BP(GPT2-medium 사용) 과 MeZO(Llama2-7B 및 Llama2-13B 사용) 를 비교합니다.
- 파라미터 효율적 파인튜닝 (PEFT): Qwen3 모델을 사용하여 BP 와 MeZO 모두에 대해 희소 업데이트 (파라미터의 1% 만 파인튜닝) 를 평가하여 희소성이 메모리와 정확도에 미치는 영향을 분석합니다.

주요 기여

본 논문은 다음과 같은 구체적인 기여를 합니다:

메모리 분석: 고정된 온칩 메모리 예산 하에서 MeZO 가 BP 보다 최소 2 배 이상 큰 모델을 수용할 수 있음을 보여주는 이론적 비교를 제공합니다. 이 이점은 컨텍스트 길이에 따라 확장되어, 체크포인트 없이 긴 컨텍스트 (예: $N=32768$ ) 의 경우 최대 25 배까지, 활성화 체크포인트 사용 시 약 5 배까지 이릅니다.
확장 통찰: 분석에 따르면 파라미터 메모리는 레이어 수 ( $L$ ) 에 선형적으로 비례하는 반면, BP 의 활성화 메모리는 컨텍스트 길이 ( $N$ ) 에 제곱으로, $L$ 에 선형으로 비례합니다. MeZO 는 제곱 형태의 컨텍스트 페널티를 피하므로 컨텍스트 창이 커질수록 더욱 우월해집니다.
실증적 검증: 수치 결과는 MeZO 가 월클록 시간 측면에서 수렴 속도가 느리지만, 엄격한 메모리 제약 하에서 훨씬 크고 더 강력한 모델의 배포를 가능하게 하므로 우월한 검증 정확도를 달성함을 확인합니다.
PEFT 평가: 연구는 희소 업데이트 (1% 파라미터 튜닝) 를 하더라도 BP 의 메모리 절감은 약 12~13% 로 미미하며, 이는 활성화 메모리가 전체 소비를 지배하기 때문임을 보여줍니다. 반면, MeZO 는 동일한 메모리 예산 내에서 더 큰 모델 (예: 4B 대 0.6B) 의 파인튜닝을 계속 가능하게 하여 더 나은 성능을 달성합니다.

결과

정확도 vs 시간 트레이드오프: BoolQ 데이터셋에 대한 실험은 MeZO 가 BP 보다 월클록 시간에서 수렴이 느리다는 것을 보여줍니다. 그러나 약 2 시간의 파인튜닝 후 MeZO(13B 파라미터 모델 사용) 는 약 82% 의 정확도를 달성하는 반면, 메모리 제한으로 인해 더 작은 0.6B~1.5B 상당 모델을 사용하는 BP 는 75% 미만에 머뭅니다.
메모리 효율성: 메모리 요구 사항의 비율 (BP/MeZO) 은 컨텍스트 길이에 따라 증가합니다. 컨텍스트 길이가 32,768 인 경우, MeZO 는 체크포인트 없이 BP 보다 약 25 배 적은 메모리를 요구합니다.
희소성의 한계: 본 논문은 PEFT 를 통해 업데이트되는 파라미터 수를 줄이는 것이 활성화 저장량이 지배적 요인이기 때문에 BP 의 메모리 부담을 크게 완화하지 못함을 보여줍니다. MeZO 는 활성화 저장 자체를 피함으로써 BP 가 희소해지더라도 여전히 그 우위를 유지합니다.

중요성 및 주장

본 논문은 MeZO 를 온디바이스 파인튜닝 시나리오, 특히 에이전트 에지 시스템과 지속 학습 애플리케이션을 위한 강력한 후보로 위치시킵니다. 주요 중요성은 제약 조건을 "모델 크기"에서 "파인튜닝 시간"으로 전환하는 데 있습니다. 더 긴 월클록 훈련 시간을 수용함으로써 에지 장치는 역전파로 가능한 것보다 수배 더 큰 모델을 파인튜닝할 수 있으며, 이를 통해 장치에서 직접 더 높은 성능 능력을 해제할 수 있습니다.

저자들은 MeZO 가 훈련 메모리 요구 사항을 추론 메모리 수준으로 효과적으로 낮춰, 리소스가 제한된 하드웨어에서 더 큰 모델과 더 긴 컨텍스트 창을 배포할 수 있게 한다고 결론지었습니다. 그들은 현재 분석이 표준 트랜스포머 아키텍처에 초점을 맞추고 있지만, 결론은 현대적 변형 (예: 슬라이딩 윈도우 어텐션, 혼합 전문가 모델) 에 일반화될 수 있으며, 이러한 발견을 뉴로모픽 시스템 및 동적 희소성을 위해 전문화하기 위한 추가 연구가 필요하다고 지적합니다.