💻 computer science

Efficient Zeroth-Order Federated Finetuning of Language Models on Resource-Constrained Devices

본 논문은 모델을 블록 단위로 분할하고 중간 활성화 함수의 효율적인 재사용을 가능하게 하는 전략적 섭동 할당을 통해, 연합 학습의 메모리 및 통신 이점을 유지하면서 자원이 제한된 기기에서 대규모 언어 모델을 미세 조정하는 데 필요한 계산 요구량을 3배 절감하는 새로운 0차 연산 기반 연합 학습 방법을 제안한다.

원저자: Mohamed Aboelenien Ahmed, Kilian Pfeiffer, Ramin Khalili, Heba Khdr, Jörg Henkel

게시일 2026-06-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mohamed Aboelenien Ahmed, Kilian Pfeiffer, Ramin Khalili, Heba Khdr, Jörg Henkel

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 믿기지 않을 정도로 똑똑한 로봇의 뇌(거대 언어 모델, LLM)를 가지고 있고, 이 뇌에게 새로운 기술을 가르치고 싶다고 상상해 보세요. 보통 이 뇌를 가르치려면 엄청난 양의 메모리와 많은 시간이 필요한 거대한 슈퍼컴퓨터가 필요합니다. 하지만 만약 수천 대의 스마트폰이나 스마트 홈 기기처럼 작고 성능이 낮은 기기들을 사용하여, 개인 데이터를 중앙 컴퓨터로 전혀 보내지 않고도 이 뇌를 가르칠 수 있다면 어떨까요? 이것을 **연합 학습(Federated Learning)**이라고 부릅니다.

문제는 이러한 작은 기기들이 '역전파(backpropagation)' 방식(AI를 가르치는 표준적인 방법)을 처리하기에는 너무 약하다는 점입니다. 역전파는 많은 양의 임시 데이터를 저장해야 하기 때문입니다. 만약 기기들이 이를 시도한다면, 메모리가 부족해져서 시스템이 멈춰버릴 것입니다.

기존의 해결책: 제로차 최적화 (Zeroth-Order Optimization, ZO)

메모리 문제를 해결하기 위해, 연구자들은 **제로차 최적화(ZO)**라는 방법을 개발했습니다.

비유: 당신은 지도가 없는 안개 낀 골짜기에서 가장 낮은 지점(로봇을 가르치는 최선의 방법)을 찾으려고 합니다. 기존의 학습 방식(역전파)은 어느 방향이 아래인지 정확히 알려주는 GPS를 가진 것과 같습니다. 반면, ZO 방식은 막대기로 땅을 찔러보는 것과 같습니다. 여러 방향으로 무작위로 땅을 찔러보며 위로 가는지 아래로 가는지 확인하는 것이죠.
함정: 어느 방향이 아래인지 제대로 파악하려면, 많은 방향으로 매우 많이, 아주 많이 땅을 찔러봐야 합니다. 이 방식은 메모리는 적게 사용하지만(GPS 지도가 필요 없으므로), 너무 자주 땅을 찔러야 하기 때문에 매우 느리고 계산 비용이 많이 듭니다.

새로운 해결책: FedSPZO

연구자들은 FedSPZO(Federated Split-Perturbation Zeroth-Order Optimization)라고 불리는 새로운 방법을 제안했습니다. 그들은 정확도를 잃지 않으면서도 이 "찌르는" 과정을 훨씬 더 빠르게 만드는 영리한 방법을 찾아냈습니다.

이들이 어떻게 했는지, '2단계 주방' 비유를 통해 설명하겠습니다.

주방 나누기: 로봇의 뇌를 두 구역으로 나뉜 주방이라고 상상해 보세요.
- 구역 A (준비대): 재료를 다지고 섞는 거대한 공간입니다. 이것이 모델의 "첫 번째 블록"입니다.
- 구역 B (오븐): 최종적으로 요리가 완성되는 더 작은 공간입니다. 이것이 "두 번째 블록"입니다.
기존의 방식 (비효율적): 주방 전체를 개선하는 방법을 알아내기 위해, 기존 방식은 전체 주방(준비대와 오븐 모두)을 무작위로 변경한 뒤 음식을 맛보았습니다. 그리고 다시 바꾸고, 또 바꿨습니다. 주방이 매우 크기 때문에, 매번 아주 작은 변화를 줄 때마다 음식을 맛보는 것은 시간이 너무 오래 걸립니다.
FedSPZO 방식 (효율적):
- 1단계: 오직 준비대(구역 A)만 약간 변경합니다. 오븐(구역 B)은 그대로 유지합니다.
- 2단계: 준비대의 출력값을 가져와서 오븐(구역 B)에 통과시키는데, 이때 오븐에만 무수히 많은 미세한 무작위 변화를 주며 여러 번, 아주 많이 실행합니다.
- 마법 같은 점: 준비대가 변하지 않았기 때문에, 주방은 음식을 테스트할 때마다 재료를 매번 다시 "다질" 필요가 없습니다. 이미 다져진 재료(중간 활성화 값)를 재사용하면서, 오직 오븐을 테스트하는 데에만 집중할 수 있습니다.
- 결과: 이전보다 훨씬 적은 횟수의 "맛보기" 단계만으로도 오븐(그리고 간접적으로 준비대까지)을 어떻게 개선할지에 대한 매우 정확한 아이디어를 얻을 수 있습니다.

연구 결과는 무엇인가요?

연구진은 이 방법을 RoBERTa, OPT, LLaMA와 같은 몇 가지 유명한 AI 모델에 테스트하였고, 다음과 같은 결과를 얻었습니다.

속도: 이 새로운 방식은 다른 유사한 "찌르기" 방식들보다 최대 3배 더 빠릅니다 (컴퓨터 계산량 기준).
메모리: 원래의 "찌르기" 방식처럼 메모리를 매우 적게 사용하여, 스마트폰과 같은 작은 기기에 완벽하게 적합합니다.
통신: 중앙 서버로 매우 적은 양의 데이터(전체 뇌가 아닌 숫자 데이터)만을 보냅니다. 이는 느린 인터넷 연결 환경에서도 매우 유리합니다.
정확도: 로봇은 표준적인 고성능 방식과 거의 비슷하게 새로운 기술을 배웠으며, 성능 저하는 아주 미미했습니다.

핵심 요약

FedSPZO를 거대한 로봇을 작고 성능이 낮은 수많은 기기들을 이용해 가르치는 똑똑한 방법이라고 생각하세요. 모든 기기에게 엄청난 메모리를 잡아먹는 계산을 시키는 대신, 이들은 작업을 두 부분으로 나눕니다. 힘든 작업은 한 번만 수행하고, 그 작업물을 재사용하여 많은 작은 변화들을 빠르게 테스트합니다. 이를 통해, 보통은 감당할 수 없는 기기들로도 강력한 AI를 훈련할 수 있게 하여 시간, 배터리, 그리고 데이터를 절약할 수 있습니다.

기술 요약: 자원 제한된 장치에서의 효율적인 제로 차수 연합 미세 조정 언어 모델 (Efficient Zeroth-Order Federated Finetuning of Language Models on Resource-Constrained Devices)

1. 문제 정의

연합 학습(Federated Learning, FL)은 분산된 데이터 소스 전반에서 대규모 언어 모델(LLM)을 미세 조정하기 위한 프라이버시 보존 프레임워크를 제공합니다. 그러나 자원이 제한된 에지 장치에 이러한 모델을 배포하는 데는 다음과 같은 상당한 장애물이 존재합니다:

메모리 제약: 1차 방법(예: 표준 역전파) 및 LoRA와 같은 매개변수 효율적 기법은 그래디언트 계산을 위해 중간 활성화 함수(intermediate activations)를 저장해야 합니다. 이는 RoBERTa-large의 경우 약 4GB와 같은 메모리 풋프린트를 발생시켜 대부분의 에지 장치의 능력을 초과합니다.
통신 오버헤드: 전체 모델 매개변수나 저차원 적응 행렬(LoRA)을 전송하는 것은 특히 저대역폭 무선 환경에서 상당한 업로드 비용을 초래합니다.
제로 차수(Zeroth-Order, ZO)의 한계: MeZO와 같은 제로 차수 최적화(ZO) 방법은 순방향 패스(forward pass)와 의사 난수 섭동(pseudo-random perturbations)을 사용하여 역전파를 제거하지만, 느린 수렴 속도와 높은 계산 요구량이라는 문제를 안고 있습니다. 안정적인 그래디언트 추정을 달성하기 위해 기존의 ZO-FL 방법들은 매 훈련 단계마다 대량의 섭동(perturbations)을 필요로 하며, 이는 과도한 순방향 전용 연산량(FLOPs)으로 이어집니다.

여기에는 중요한 트레이드오프가 존재합니다: 현재의 ZO 방법은 메모리 효율적이지만 계산 비용이 높고, 1차 방법은 계산 효율적이지만 메모리 집약적입니다.

2. 방법론: FedSPZO

저자들은 ZO-FL의 계산 부담을 줄이면서 메모리 및 통신 이점을 유지하도록 설계된 새로운 프레임워크인 **Federated Split-Perturbation Zeroth-order Optimization (FedSPZO)**를 제안합니다.

핵심 메커즘: 분할 섭동 전략 (Split-Perturbation Strategy)

FedSPZO는 신경망의 순차적 구성 구조를 활용하여 모델을 두 개의 연속된 블록, 즉 $f_1$ (첫 번째, 더 큰 블록)과 $f_2$ (두 번째, 더 작은 블록)로 나눕니다. 여기서 $y = f_2(\theta_2; f_1(\theta_1; B))$ 입니다.

비대칭 섭동 예산 (Asymmetric Perturbation Budgets): 전체 네트워크에 동일한 수의 섭동을 적용하는 대신, FedSPZO는 두 번째의 더 작은 블록( $f_2$ $f_{2}$ )에 더 높은 섭동 예산을 할당합니다.
- 블록 1 ( $\theta_1$ ): $P_1$ 방향으로 섭동됩니다.
- 블록 2 ( $\theta_2$ ): $P_2$ 방향으로 섭동되며, 이때 $P_2 = 2 \times P_1 \times P_s$ 입니다.
활성화 재사용 (Activation Reuse): 핵심적인 효율성 이득은 중간 활성화 함수의 재사용에서 옵나옵니다.
1. 클라이언트는 단일 방향( $+z_1$ )으로 $\theta_1$ 을 섭동시키고 $f_1$ 을 통한 순방향 패스를 수행하여 중간 출력 $+y_l$ 을 생성합니다.
2. 이 단일 $+y_l$ 은 $P_s$ 개의 서로 다른 $\theta_2$ 섭동(양의 방향 및 음의 방향 모두)의 입력으로 사용됩니다.
3. 이 과정은 $\theta_1$ 의 음의 방향( $-z_1$ )에 대해서도 반복되어 $-y_l$ 을 생성하며, 이는 또 다른 $P_s$ 개의 $\theta_2$ 섭동을 위해 재사용됩니다.
그래디언트 추정:
- $\theta_2$ 에 대한 그래디언트는 $f_1$ 의 동일한 입력을 공유하는 $P_2$ 섭동들로부터의 손실 차이를 사용하여 추정됩니다.
- $\theta_1$ 에 대한 그래디언트는 여러 $f_2$ 섭동들의 손실 차이를 평균화하여 추정되며, 이는 $f_2$ 의 확률성(stochasticity)에 의해 도입되는 노이즈를 효과적으로 줄여줍니다.

통신 프로토콜

FedSPZO는 통신 효율적인 설계를 유지합니다:

클라이언트 측: 클라이언트는 $K$ 단계 동안 로컬 훈련을 수행합니다. 모델 매개변수를 업로드하지 않습니다. 대신, 섭동 벡터를 재생성하는 데 사용되는 스칼라 그래디언트 값( $G_1, G_2$ )과 랜덤 시드( $S_1, S_2$ )만을 업로드합니다.
서버 측: 서버는 수신된 시드로부터 섭동 벡터를 재생성하고 스칼라 업데이트를 적용함으로써 정확한 클라이언트 모델을 재구성합니다. 이는 클라이언트가 모델 가중치를 전송할 필요를 없애, 매개변수 기반 FL에 비해 업로드 오버헤드를 수십 배 이상 감소시킵니다.

3. 주요 기여

FedSPZO 프레임워크: 모델을 두 개의 블록으로 분할하고 더 깊은 곳에 있는 작은 블록에 더 큰 섭동 예산을 할당하는 새로운 ZO-FL 방법입니다. 이는 중간 활성화 재사용을 통해 더 적은 순방향 평가로 전체 네트워크를 업데이트합니다.
계산 효율성: 이 방법은 ZO의 메모리 및 통신 이점을 유지하면서 최신 ZO-FL 베이스라인(특히 Fang et al., 2022 및 Li et al., 2025) 대비 최대 3배의 계산 감소를 달성합니다.
포괄적 평가: RoBERTa-large, OPT-1.3B, LLaMA-3-3.2B 모델과 다양한 데이터셋(SST-2, RTE, WiC, MultiRC, SQuAD, BoolQ)에 대한 광범ند한 실험을 통해, FedSPZO가 1차 역전파 방법(약간의 성능 저하와 함께)에 필적하는 정확도를 유지하면서 총 GFLOPs를 크게 줄임을 입증했습니다.
절제 연구 (Ablation Analysis): 저자들은 모델 분할, 섭동 예산, 독립적인 블록별 그래디언트 계산에 대한 연구를 수행하여, 분할 섭동 전략이 독립적 블록 추정 또는 균등 섭동 방식보다 우수함을 검증했습니다.

4. 실험 결과

평가는 FedSPZO를 1차 방법(FedAvg, FedAvg+LoRA) 및 기타 ZO-FL 방법(FedZO, DecomFL)과 비교합니다.

메모리 효율성: FedSPZO는 추론과 유사한 메모리 풋프린트를 유지합니다. 컨텍스트 길이가 256인 RoBERTa-large의 경우, FedAvg는 약 4.9GB, LoRA는 약 3.9GB가 필요한 반면, FedSPZO는 약 1.75GB가 필요합니다. 이는 LoRA와 표준 FL이 불가능한 에지 장치에서 FedSPZO를 실행 가능하게 만듭니다.
통신 오버헤드: FedSPZO는 LoRA에 비해 업로드 비용을 3개 차수(orders of magnitude) 이상 줄였습니다. LoRA가 저차원 행렬(수백 MB)을 업로드하는 반면, FedSPZO는 스칼라 그래디언트와 시드(KB에서 MB 단위)만을 업로드합니다.
계산 비용:
- FedAvg(LoRA) 대비: ZO 방법 특유의 느린 수렴 속도로 인해 FedSPZO는 더 높은 총 계산량(약 17배 더 많음)을 요구합니다.
- 기타 ZO 방법 대비: FedSPZO는 훨씬 더 효율적입니다. 다양한 모델과 데이터셋에서 DecomFL 및 FedZO와 비교했을 때 계산량을 2.1배에서 3배까지 줄입니다.
정확도: FedSPZO는 약간의 성능 저하(예: SST-2에서 <1%, RoBERTa의 RTE에서 ~4%)와 함께 FedAvg(LoRA)에 필적하는 정확도를 달s합니다. 이는 상한선 역할을 하는 전체 FedAvg(역전파)보다는 약간 낮은 성능을 보이지만, 자원 제약 상황을 고려할 때 그 차이는 미미한 수준입니다.
훈련 시간: 시뮬레이션된 에지 환경(Jetson Orin Nano)에서, FedSPZO(RoBERTa/SST-2 기준 2.6시간)는 LoRA(0.45시간)보다는 느리지만, DecomFL(6시간) 및 FedZO(166시간)보다는 현저히 빠릅니다.

5. 의의 및 주장

본 논문은 FedSPZO를 자원 제한된 환경을 위한 실용적인 트레이드오프로 포지셔닝합니다.

에지 장치를 위해: 메모리와 통신 대역폭이 주요 병목 현상인 경우, 즉 LoRA와 표준 역전파가 실패하는 시나리오에서 선호되는 선택지로 제시됩니다.
균형 잡기: 저자들은 FedSPZO가 ZO의 계산 비용을 완전히 제거하는 것이 아니라 이를 유의미하게 완화한다는 점을 인정합니다. 이는 역전파를 위한 활성화 저장이 불가능하거나 모델 업데이트 전송 비용이 너무 큰 장치에서 LLM 미세 조정을 가능하게 하는 실행 가능한 경로을 제공합니다.
향러 전망: 저자들은 FedSPZO가 기존 ZO 방법들에 비해 계산 효율성을 개선했지만, 여전히 순수 속도 면에서는 1차 방법보다 뒤처진다는 점을 언급합니다. 향 향후 연구는 이 격차를 더욱 좁히기 위해 더 낮은 정밀도를 가진 추론 전용 가속기에서의 ZO를 탐구하는 것을 목표로 합니다.

결론적으로, FedSPZO는 1차 FL의 높은 메모리/통신 비용과 전통적인 ZO의 높은 계산 비용을 성공적으로 분리하여, 이전에는 불가능하다고 여겨졌던 시나리오에서도 LLM 미세 조정을 가능하게 합니다.