🤖 machine learning

Unifying Local Communications and Local Updates for LLM Pretraining

본 논문은 로컬 업데이트를 희소한 가십 기반 피어 통신과 결합하여 동기식 All-Reduce 방식의 대역폭 및 이질성 병목 현상을 극복하는 새로운 분산형 사전 학습 알고리즘인 GASLoC을 소개하며, 이는 동질적 및 이질적 네트워크 환경 모두에서 DiLoCo와 같은 최첨단 방식과 대등하거나 더 우수한 성능을 달성합니다.

원저자: Pietro Cagnasso, Eugene Belilovsky, Edouard Oyallon

게시일 2026-06-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pietro Cagnasso, Eugene Belilovsky, Edouard Oyallon

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 문제: "가장 느린 작업자"라는 병목 현상

당신이 32명의 예술가(이들은 컴퓨터 작업자들입니다)와 함께 거대한 벽화를 그리려고 한다고 상Imagine 해보세요. 벽화의 일관성을 유지하기 위해, 모든 예술가는 몇 분마다 한 번씩 자신의 구역을 다른 모든 사람의 구역과 비교하기 위해 멈춰야 합니다. 그들은 원형으로 모여서 서로 손을 잡고, 각자의 색상을 외쳐서 모두의 색상을 평균 내는 방식으로 이 작업을 수행합니다. 이것을 All-Reduce라고 부릅니다.

완벽한 세상이라면 모든 사람이 같은 속도로 그림을 그릴 것입니다. 하지만 현실 세계에서는 어떤 예술가는 손이 느리거나, 페인트 통이 무겁거나, 인터넷 연결이 불안정할 수 있습니다. 현재의 "외치기" 방식에서는 모든 사람이 다음 단계로 넘어가기 전에 가장 느린 예술가를 기다려야 합니다. 만약 한 명의 예술가가 느리다면, 팀 전체가 아무것도 하지 못한 채 서서 시간을 낭비하게 됩니다.

기존의 해결책: "가십(Gossip)" 방식

연구자들은 분산 학습(또는 가십)이라고 불리는 다른 접근 방식을 시도해 왔습니다. 예술가들이 커다란 원형으로 모이는 대신, 바로 옆에 있는 이웃들과만 대화하는 방식입니다. 예술가 A는 B와 대화하고, B는 C와 대화하는 식입니다. 정보는 소문처럼 그룹 전체에 서서히 퍼져나갑니다.

문제는 이 기존의 가십 방식이 효과적으로 학습하기에는 너무 느린 경우가 많다는 점입니다. "소문"은 왜곡되기 쉽고, 결국 팀은 엉망이고 일관성 없는 벽화를 그리게 됩니다. 또한, 대부분의 기존 가십 방식은 오늘날 거대한 AI 두뇌를 훈련하는 데 사용하는 현대적이고 복잡한 도구(옵티마이저)들과 잘 맞지 않습니다.

새로운 해결책: GASLoC

이 논문의 저자들은 GASLoC라는 새로운 방법을 소개합니다. 이것은 두 방식의 장점을 결합한, 훨씬 스마트하고 유연한 방식의 팀 조직법이라고 생각하면 됩니다.

GASLoC가 어떻게 작동하는지 세 가지 간단한 아이디어로 나누어 설명하겠습니다.

1. "로컬 휴식" (Local Steps)

붓질 한 번을 할 때마다 멈춰서 대화하는 대신, 예술가들은 "로컬 휴식"을 가질 수 있습니다. 즉, 누군가와 확인 절차를 거치기 전에 스스로 일정 구간의 벽을 다 그리는 것(여러 번의 로컬 업데이트 수행)입니다. 이는 계속해서 대화를 위해 멈추지 않아도 되기 때문에 시간을 크게 절약해 줍니다.

2. "무작위 악수" (Sparse Peer Communication)

확인할 시간이 되었을 때, 그들은 큰 원형으로 모이지 않습니다. 대신 무작위 악수 시스템을 사용합니다.

어떤 라운드에서 예술가 A는 예술가 B와 악수를 할 수 있습니다.
다음 라운드에서 예술가 A는 예술가 C와 악수를 할 수 있습니다.
그들은 한 번에 한 명 또는 두 명의 사람하고만 대화합니다.

이 방식은 큰 원형으로 모이는 것보다 훨씬 빠릅니다. 설령 예술가 A가 느리더라도, 팀 전체가 아니라 오직 B나 C만을 기다리면 됩니다. "소문"은 결국 그룹 전체로 퍼지지만, 훨씬 더 효율적으로 전달됩니다.

3. "모멘텀 코치" (Outer Optimizer)

이것이 핵심 비결입니다. 기존의 가십 방식에서는 팀이 단순히 색상을 평균 냈습니다. 하지만 GASLoC에는 "코치"(모멘텀이 있는 외부 옵티마이저)가 추가되었습니다.

코치는 팀이 어제 어디를 향해 가고 있었는지를 기억합니다.
예술가들이 로컬 업데이트를 공유할 때, 코치는 그 기억을 사용하여 그들의 경로를 수정합니다.
이 덕분에 팀이 한 번에 몇 명의 사람하고만 대화하더라도 방향을 잃지 않고 올바른 길을 유지할 수 있습니다. 이는 "소문"이 너무 왜곡되는 것을 방지합니다.

이것이 왜 중요한가 (결과)

이 논문은 이 방법을 대규모 AI 모델(LLM) 훈련에 테스트하였고, 두 가지 주요 성과를 발견했습니다.

완벽한 세상에서의 속도: 모두의 인터넷이 빠를 때도, GASLoC는 기존의 가장 좋은 방법들만큼 학습 능력이 뛰어나면서도, 무겁고 느린 "큰 원형" 모임을 필요로 하지 않습니다.
엉망인 세상에서의 초능력: 이것이 핵심입니다. 한 예술가의 인터넷 연결이 매우 느리다고 가정해 봅시다(이런 사람을 "스트래글러/느린 작업자"라고 합니다).
- 기존 방식: 팀 전체가 그 느린 예술가를 기다리며 멈춥니다. 빠른 예술가들은 아무것도 하지 못한 채 그냥 서 있게 됩니다.
- GASLoC: 빠른 예술가들은 자신들의 로컬 구역을 계속 그려 나갑니다. 느린 예술가는 따라잡기 위해 수행해야 하는 "로컬 단계"를 더 적게 수행하도록 허용됩니다. 빠른 예술가들이 느린 사람을 기다릴 필요가 없기 때문에, 팀 전체가 훨씬 더 빠르게 벽화를 완성합니다.

요약

GASLoC는 마치 가장 느린 사람을 기다리는 대신, 각자의 속도에 맞춰 일하게 하고, 한 번에 몇 명의 이웃하고만 대화하며, 모두가 정렬될 수 있도록 스마트한 코치를 사용하는 화가 팀과 같습니다. 이는 거대 AI 모델 훈련을 더 빠르고, 저렴하며, 일부 컴퓨터가 느려지더라도 훨씬 더 탄력적으로 만들어 줍니다.

기술 요약: LLM 사전 학습을 위한 로컬 통신과 로컬 업데이트의 통합 (GASLoC)

문제 정의

대규모 언ونات 모델(LLM) 사전 학습은 클러스터 및 데이터 센터 전반에 걸친 분산 컴퓨팅에 점점 더 의존하고 있습니다. 이 환경에서 주요 병목 현상은 통신이며, 특히 표준 동기식 All-Reduce 연산을 사용할 때 두드러집니다. All-Reduce는 밀접하게 결합된 클러스터에서는 효율적이지만, 비용이 노드 수에 따라 선형적으로 증가하며, 그 동기적 특성으로 인해 스트래글러(연산 속도가 느리거나 대역폭이 낮은 워커)에 매우 취약합니다. DiLoCo(Distributed Low-Communication)와 같은 기존의 통신 효율적 방법들은 글로벌 동기화를 수행하기 전에 여러 번의 로컬 단계를 수행함으로써 통신 빈도를 줄입니다. 그러나 DiLoC는 여전히 글로벌 All-Reduce 컬렉티브에 의존하며, 이는 워커의 속도나 네트워크 대역폭이 크게 다른 이질적인 환경에서 병목 현상으로 남습니다.

탈중앙화된(gossip 기반) 학습은 글로벌 동기화를 로컬 피어 간 교환으로 대체함으로써 대안을 제시합니다. 그러나 현대적인 LLM 학습에 적응형 옵티마이저(AdamW 등)와 다중 로컬 단계를 적용하는 데에는 다음과 같은 과제가 있습니다:

합의 오차(Consensus Error): 글로벌 동기화가 없으면 로컬 모델 복제본들이 서로 멀어져 최적화 성능을 저하시킬 수 있습니다.
통신 가속화: 고전적인 gossip 방식은 DiLoCo에서 발견되는 "외부 모멘텀(outer momentum)" 메커니즘이 부족하여 합의를 가속화하는 데 한계가 있습니다.
이질성(Heterogeneity): 기존의 탈중앙화 방식은 대개 동질적인 데이터나 고정된 통신 패턴을 가정하며, 다양한 워커 속도에 적응하지 못합니다.

방법론: GASLoC

저자들은 로컬 그래디언트 단계, 희소 무작위 피어 통신, 그리고 모멘텀을 가진 외부 옵티마이저를 통합한 탈중앙화 사전 학습 알고리즘인 GASLoC(Generalized Accelerated Sparse Communication Local Computation)를 제안합니다.

핵심 알고리즘

GASLoC는 두 개의 루프로 작동합니다:

내부 루프 (로컬 단계): 각 워커 $i$ 는 내부 옵티마이저(예: AdamW)를 사용하여 $H_i$ 번의 로컬 그래디언트 업데이트를 수행합니다. 스트래글러를 보상하기 위해 로컬 단계의 수 $H_i$ 를 워커별로 조정할 수 있습니다.
외부 루프 (통신 및 집계): 글로벌 All-Reduce 대신, 워커들은 희소하고 무작위적인 피어 투 피어 통신에 참여합니다.
- 무작위 토폴로지: 각 라운드에서 워커들은 희소 통신 그래프를 정의하기 위해 무작위 순열을 샘깁니다. 논문은 1-Peer(무작위로 분리된 쌍)와 2-Peer(무작위 링) 방식을 제안합니다.
- 외부 옵티마이저: 알고리즘은 현재 로컬 상태와 수신된 피어 상태 간의 차이를 기반으로 파라미터를 업데이트하기 위해 외부 옵티마이저(예: Nesterov momentum)를 사용합니다. 이 외부 모멘텀은 통신 가속화 메커로 작용하여, 스펙트럼 갭(spectral gap)에 대한 의존성을 $\chi$ 에서 $\sqrt{\chi}$ 로 줄여줍니다.

주요 이론적 특성

DiLoCo의 일반화: 통신 그래프가 완전 그래프(all-to-all)일 때, GASLoC는 DiLoCo 업데이트 규칙을 정확히 회복합니다. 따라서 GASLoC는 gossip 기반 알고리즘에 대한 DiLoCo의 엄격한 일반화입니다.
수렴성: 논문은 동질적 데이터 설정에 대한 표준 수렴 속도를 증명합니다. 분석에는 최적화 진행도와 합의 오차를 결합한 리아푸노프 함수(Lyapunov function)가 사용됩니다.
이질성에 대한 강건성: 알고리즘은 각 워커가 유연한 수의 로컬 단계( $H_i$ )를 수행할 수 있도록 허용합니다. 대역폭 스트래글러 시나리오에서, 스트래글러는 빠른 워커들의 통신 시간에 맞추기 위해 $H_i$ 를 줄임으로써, All-Reduce 배리어에 내재된 유휴 시간을 제거할 수 있습니다.

통신 방식

1-Peer: 워커들이 무작위로 쌍을 이룹니다. 기대 스펙트럼 갭은 $n$ 에 독립적으로 $O(1)$ 로 스케일링됩니다.
2-Peer: 워커들이 무작위 링을 형성합니다. 이 방식은 1-Peer보다 혼합(mixing)의 분산이 낮으며, 기대치 측면에서 $O(1)$ 의 스펙트럼 갭을 달립니다.
무작위성 vs 결정론: 결정론적인 지수 그래프(exponential graphs)나 사이클(cycles)(큰 $n$ 에 대해 혼합 성능이 저하됨)과 달리, GASLoC의 무작위 순열은 복잡하고 미리 정의된 토폴로지 없이도 효율적인 정보 전파를 보장합니다.

주요 기여

새로운 알고리즘: 통신 가속화(외부 모멘텀), 희소 무작위 피어 통신, 로컬 단계를 통합한 GASLoC를 도입했습니다.
이론적 통합: GASLoC가 gossip 설정에 대한 DiLoCo의 엄격한 일반화이며, 외부 모멘텀 메커니즘이 통신 복잡도를 $\chi$ 에서 $\sqrt{\chi}$ 로 줄인다는 것을 증명했습니다.
희소 통신의 효율성: $k \le 2$ 개의 이웃을 사용하는 것이 표준 All-Reduce보다 통신 및 알고리즘 측면에서 더 효율적임을 입증했습니다.
이질성 처리: 워커별로 로컬 단계 수( $H_i$ )를 조정하는 메커니즘을 통해, 대역폭 스트래글러가 존재하는 상황에서 실제 벽시계 시간(wall-clock time)을 크게 개선했습니다.
실험적 검증: 134M 및 551M 파라미터 모델에 대한 LLM 사전 학습 작업에서 최첨단 베이스라인들과 비교하여 포괄적인 평가를 수행했습니다.

실험 결과

저자들은 FineWeb 데이터셋으로 훈련된 Llama-3 스타일의 디코더 전용 Transformer에 대해 GASLoC를 평가했습니다.

동질적 설정 (표준 대역폭)

단일 단계 레짐 ( $H=1$ ): GASLoC 변형들(특히 GASLoC-2-Peer)은 DAdam과 같은 탈중앙화 베이스라인보다 우수한 성능을 보였으며, 훨씬 더 희소한 통신을 사용했음에도 불구하고 링 및 완전 그래프 토폴로지에서의 성능을 능가하거나 대등한 성능을 보였습니다.
다중 단계 레짐 ( $H=30$ ): GASLoC는 다양한 워커 수(8, 16, 32)에 대해 DiLoCo(All-Reduce를 사용하는 강력한 베이스라인)와 경쟁할 만한 검증 손실(validation loss)을 달성했습니다.
- 특히, DAdam의 혼합을 지연시킨 수정된 베이스라인인 Local-DAdam은 다중 로컬 단계와 함께 잘 확장되지 못한 반면, GASLoC는 안정성을 유지했습니다.
- GASLoC-2-Peer는 글로벌 동기화를 피하면서 DiLoCo의 성능을 따라잡았습니다.

이질적 설정 (대역폭 스트래글러)

시나리오: 한 워커를 표준 대역폭의 10% 또는 20%로 시뮬레이션했습니다.
결과: DiLoCo는 글로벌 All-Reduce 배리어가 모든 워커를 스트래글러가 끝날 때까지 기다리게 함으로써 상당한 지연을 겪었습니다.
GASLoC의 장점: 스트래글러를 위해 로컬 단계( $H_i$ )를 줄이고 희소 피어 교환을 사용함으로써, GASLoC는 스트래글러가 전체 클러스터를 멈추지 않고도 동기화할 수 있게 했습니다. 이는 DiLoCo에 비해 상당한 벽시계 시간 이득(손실 대비 시간 단축)을 가져왔으며, 이질적인 자원에 대한 강건성을 입증했습니다.

민감도 분석

GASLoC는 DiLoCo와 유사한 로컬 단계( $H$ )에 대한 스케일링 특성을 보여주었습니다.
이 방법은 외부 옵티마이저 하이퍼파라미터(학습률 및 모멘텀)의 넓은 범위에서 안정성을 유지했으며, 이는 희소 통신의 도입이 튜닝 복잡성을 급격히 증가시키지 않음을 나타냅니다.

의의 및 주장

이 논문은 글로벌 동기화 비용이 높은 경우, Local SGD 스타일의 LLM 사전 학습이 효과적으로 탈중앙화 피어 투 피어 통신과 결 조합될 수 있다는 첫 번째 증거를 제공한다고 주장합니다.

통합: GASLoC는 DiLoCo(로컬 단계 + 외부 모멘텀)의 실질적인 성공과 gossip 알고리즘(탈중앙화, 결함 허용)의 이론적 이점 사이의 간극을 메웁니다.
실질적 영향: 이 방법은 네트워크 이질성(예: 인터넷 기반 클러스터 또는 혼합 하드웨어)이 흔한 실제 시나리오에서 더 견고하고 효율적인 분산 학습을 위한 경로를 제시합니다.
확장성: 글로벌 컬렉티브에 대한 의존성을 제거함으로써, GASLoC는 현재의 All-Reduce 기반 방식의 확장을 제한하는 대역폭 병목 현상을 완화합니다.

저자들은 자신들의 주장이 테스트된 특정 실험 레짐(동질적 데이터, 특정 모델 크기 및 시뮬레이션된 이질성)에 근거하고 있으며, 이 방법이 기존 최적화 이론으로부터의 급진적인 이탈이라기보다는 기존 프레임워크의 원칙적인 일반화임을 강조합니다.