🤖 AI

Decentralised AI Training and Inference with BlockTrain

이 논문은 중앙 집중식 가속기 클러스터를 요구하지 않고도 분산된 자원 제한 네트워크 전반에서 효율적인 학습과 고처리량 추론을 가능하게 함으로써 프런티어 AI에 대한 접근을 민주화하기 위해, 모델을 독립적으로 최적화되는 블록들로 분할하는 탈중앙화된 학습 프로토콜인 Spheroid BlockTrain을 소개한다.

원저자: Peter Toth

게시일 2026-06-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Peter Toth

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대하고 믿을 수 없을 정도로 똑똑한 백과사전을 만들고 싶다고 상상해 보십시오. 현대 AI의 세계에서 이를 수행하는 일반적인 방법은, 세계에서 가장 강력한 컴퓨터들이 가득 찬 거대한 창고를 소유한 초거대 기업(하이퍼스케일러)을 고용하는 것입니다. 그들은 한 곳에서 동시에 거대한 백과사전 전체를 구축합니다. 만약 당신이 그 창고를 소유하지 못한다면, 백과사전을 만드는 데 도움을 줄 수 없습니다.

Spheroid Labs의 "BlockTrain"은 이 방식을 다르게 제안합니다. 하나의 거대한 창고에서 하나의 거대한 팀이 일하는 대신, 전 세계적인 이웃들이 각자의 일반 가정용 컴퓨터로 백과사전의 단 **한 개의 작은 장(chapter)**만을 만드는 모습을 상상해 보십시오.

이 논문은 이 새로운 방법을 다음과 같은 쉬운 비유를 사용하여 설명합니다.

1. 문제점: "거대한 창고"라는 병목 현상

현재 첨단 AI를 훈련시키는 데는 엄청난 컴퓨팅 파워가 필요하기 때문에, 오직 몇몇 대기업만이 이를 감당할 수 있습니다. 이는 마치 10억 달러짜리 공장을 가진 회사만이 마천루를 지을 수 있다고 말하는 것과 같습니다. 이로 인해 다른 모든 사람들은 배제됩니다. 논문은 우리가 계속해서 "건물 전체"를 한 곳에서 지으려고만 한다면, 진정한 탈중앙화를 결려 결코 달성할 수 없을 것이라고 주장합니다.

2. 해결책: "장별(Chapter-by-Chapter)" 접근 방식

BlockTrain은 게임의 규칙을 바꿉니다. 모든 컴퓨터에게 (홈 컴퓨터로는 불가능한) 전체 백과사전을 메모리에 담으라고 요구하는 대신, AI 모델을 **블록(blocks)**이라고 불리는 작고 독립적인 조각들로 나눕니다.

비유: AI 모델을 긴 이어달리기 경주라고 생각해 보십시오. 기존 방식에서는 모든 주자가 전체 바톤 묶음을 들고 달려야 했습니다. 하지만 BlockTrain에서 경주는 구간별로 나뉩니다. 각 주자(작업자의 컴퓨터)는 자신만의 특정 구간만을 달립니다.
작동 원식: 각 컴퓨터는 특정 로컬 퍼즐을 풀기 위해 자신만의 "블록"(AI의 작은 섹션)을 훈련합니다. 컴퓨터는 자신의 일을 수행하기 위해 전체 그림을 볼 필요가 없습니다. 그저 자신의 특정 부분을 제대로 해내기만 하면 됩니다.

3. 핵심 비결: 퍼즐의 "디노이징(Denoising)"

논문은 DiffusionBlocks라고 불리는 특정 기술을 사용합니다.

비유: 누군가 사진 위에 노이즈(static noise)를 덮어씌워 사진이 어떻게 생겼는지 추측해야 하는 상황을 상상해 보십시오.
- 전통적인 AI에서는 사진 전체를 한 번에 추측하려고 노력합니다.
- BlockTrain에서는 "노이즈"가 단계적으로 제거됩니다. AI의 첫 번째 블록은 무겁고 흐릿한 노이즈(큰 그림)를 제거하는 법을 배웁니다. 다음 블록은 중간 정도의 노이즈를 제거합니다. 마지막 블록은 아주 미세한 먼지를 제거합니다.
마법 같은 점: 각 컴퓨터는 오직 자신에게 할당된 특정 유형의 노이즈를 제거하는 법만 배우면 됩니다. 다른 블록의 노이즈를 어떻게 제거해야 하는지 알 필요가 없습니다. 이 덕분에 작업 규모가 일반 가정용 컴퓨터가 처리할 수 있을 만큼 작아집니다.

4. 퍼즐 맞추기

모든 이웃이 각자의 특정 장(chapter)을 훈련시키고 나면, 그들은 업데이트 내용을 중앙 "애그리게이터(aggregator, 집계기)"로 보냅니다.

조립: 시스템은 블록 1, 블크 2, 블록 3을 가져와서 마치 레고 브릭처럼 서로 딱 맞게 끼워 맞춥니다.
결과: 단 하나의 컴퓨터도 전체 모델을 보유한 적이 없었음에도 불구하고, 최종적으로 조립된 모델은 텍스트를 읽고 쓸 수 있을 만큼 똑똑해집니다. 논문은 실제 텍스트(WikiText)를 사용한 테스트에서, 이 조립된 모델이 거대 데이터 센터에서 훈련된 모델과 거의 유사한 성능을 보였음을 보여줍니다 (특정 오류 척도에서 1.359 대 1.32 기록).

5. "교통 체증" 테스트 (실제 세계의 속도)

연구진은 단순히 한 대의 컴퓨터에서만 테스트한 것이 아니라, 인터넷을 통해 테스트했습니다.

실험: 컴퓨터들이 서로 다른 위치(같은 건물 내에 있거나, 나라 건너편에 있는 경우 등)에 있을 때, "장(chapter)"들이 유실되거나 지연되지 않고 서로 전달될 수 있는지 확인하기 위해 연결했습니다.
결과: 성공적이었습니다. 그들은 공용 인터넷을 통해 "장(데이터)"을 성공적으로 이동시켰습니다. 인터넷 지연이나 느린 연결 속도가 있더라도 시스템은 계속해서 학습을 진행했습니다. 이는 조각(chunk)이 충분히 작다면, 컴퓨터 사이에 초고속 전용 광섬유 케이블이 없어도 일반적인 인터넷으로도 충분하다는 것을 입证明했습니다.

6. "한 번의 이동" 전달 (추론)

보통 탈중앙화된 AI에 질문을 던지면, 질문이 모든 컴퓨터를 하나씩 거쳐 지나가야 하므로 마치 "전화기 놀이(말 전달하기)"처럼 느려집니다.

BlockTrain의 기술: 논문은 이들의 시스템이 다르다고 주장합니다. 모델이 조립되면, 네트워크를 통해 문장이나 단락 전체를 **단 한 번의 통과(single pass)**로 생성할 수 있습니다.
비유: 질문을 한 줄로 늘어선 사람들에게 한 단어씩 전달하는 대신, BlockTrain은 종이 한 장 전체를 줄에 전달하고, 그 줄이 종이 전체를 한꺼번에 처리하는 것과 같습니다. 이 덕분에 답변을 얻는 속도가 훨씬 빨라집니다.

요약된 주장

논문은 실험을 바탕으로 세 가지 구체적인 주장을 합니다:

학습 가능성: 이 "블록별" 방식을 사용하여 실제 텍스트로 실제 AI를 훈련할 수 있으며, 이는 거대 중앙 집중형 모델만큼 똑똑해집니다.
이동 가능성: 공용 인터넷(표준 웹 연결 사용)을 통해 훈련 데이터를 전송할 수 있으며, 여전히 진전이 가능합니다.
서비스 가능성: 완성된 모델을 여러 컴퓨터에 걸쳐 실행하여 질문에 답할 수 있으며, 효율적으로 작동하며 거대한 단일 컴퓨터가 모든 것을 보유할 필요가 없습니다.

논문이 주장하지 "않는" 것:

이 기술이 오늘 당장 상업적 용도로 사용될 준비가 되었다고 주장하지 않습니다.
이것이 모든 보안이나 인센티브 문제(사람들에게 어떻게 보상할 것인가)를 해결한다고 주장하지 않습니다.
이것이 의료 진단이나 기타 특정 실생활 응용 분야에서 작동한다고 주장하지 않습니다.
이 논문은 오직 이 특정 "블록" 방식을 사용하여 모델을 훈련하고 서비스하는 기술적 능력에만 집중합니다.

요약하자면, BlockTrain은 하나의 거대한 방 안에 있는 하나의 거대한 뇌가 아니라, 수천 개의 작고 독립적인 뇌들이 함께 협력하여 거대한 AI 뇌를 구축하는 방법에 대한 청사진입니다.

기술 요약: Spheroid BlockTrain

1. 문제 정의

현재 AI 학습의 최전선은 밀집된 중앙 제어형 가속기 클러스터에 대한 구조적 의존성에 의해 제약을 받고 있습니다. 이 모델은 하이퍼스케일러와 대규모 중앙 집중식 연구소에 유리하며, 특권적인 인프라, 희소한 자본, 특정 데이터 센터 지리적 위치에 접근할 수 없는 독립적 또는 오픈 AI 프로젝트에 장벽을 형성합니다.

기존의 탈중앙화 접근 방식(예: Federated Averaging, Local SGD, DiLoCo, Petals)은 대부분 표준 학습 문제를 그대로 유지한 채 시스템 래퍼(wrapper)만을 변경합니다. 즉, 전체 모델의 복제본이나 파이프라인 스테이지를 학습하는 방식을 취하며, 이는 여전히 워커(worker)가 전체 모델, 전체 옵티마이저 상태(optimizer state), 또는 전체 네트워크에 대한 동기화된 뷰를 보유해야 함을 의미합니다. 결과적으로, 이러한 방식은 전체 옵티마이저 상태가 소비자급 하드웨어의 메모리 용량을 초과하는 핵심 병목 현상을 해결하지 못합니다. 표준 역전파(backpropagation)는 본질적으로 전역적(global)입니다. 초기 레이어의 에러 신호는 후속 모든 레이어의 순전파 및 역전파 계산에 의존하므로, 신뢰할 수 없는 엣지 디바이스 간에 단순하게 샤딩(sharding)하는 것은 결국 중앙 집중식 동기화 패턴으로 회귀하게 됩니다.

2. 방법론: Spheroid BlockTrain

Spheroid BlockTrain은 학습 단위 자체를 하드웨어 네트워크의 입도(granularity)에 맞게 국소화(local)하는 프로토콜을 제안합니다. 핵심 원리는 **목적-하드웨어 정렬(objective-hardware alignment)**입니다. 자연스러운 하드웨어 단위는 하나의 블록 복제본을 소유한 워커이며, 자연스러운 학습 목적은 블록 단위의 로컬 손실(block-local loss)입니다.

핵심 아키텍처

모델 분할 (Model Partitioning): 모델은 $B$ 개의 블록으로 분할된 잔차 디노이징 스택(residual denoising stack)으로 구성됩니다 ( $F_\theta = F_{\theta_B} \circ \dots \circ F_{\theta_1}$ ).
블록 로컬 목적 함수 (Block-Local Objective): 표준 역전파 대신, 각 워커는 글로벌 타겟으로부터 유도된 로컬 디노이징 목적 함수를 학습합니다. 이는 DiffusionBlocks에 기반하며, 잔차 블록을 디노이징 궤적(denoising trajectory)의 단계로 재해석합니다.
- 타겟 $y$ 에 대해, 블록별 구간에서 샘플링된 노이즈 레벨 $\sigma$ 를 사용합니다.
- 블록은 노이즈가 섞인 타겟 $z_\sigma = y + \sigma\epsilon$ 와 컨디셔닝 입력 $x$ 가 주어졌을 때, 타겟 어휘(vocabulary)에 대한 로짓(logits)을 예측합니다.
- 손실 함수는 EDM (Elucidating the Design Space of Diffusion-Based Modeling) 프리컨디셔닝을 활용한 **가중 크로스 엔트로피(weighted cross-entropy)**입니다.
추론 (Inference): 추론은 구성적(compositional)입니다. 시스템은 높은 분산의 가우시안 노이즈로 시작하여 감소하는 노이즈 스케줄을 따라 단계를 밟습니다. 각 단계에서 특정 블록은 로짓을 예측하고, 이는 상태를 정교화하기 위해 기대 임베딩(expected embedding)으로 투영됩니다. 이 과정은 임베딩 공간에서의 오일러 샘플러(Euler sampler)와 유사합니다.
탈중앙화 실행 (Decentralized Execution):
- 워커는 자신에게 할당된 블록 복제본( $\theta_{b,k}$ )과 공유 인터페이스 파라미터만을 학습합니다.
- 업데이트는 블록 레벨 평균화(full-model all-reduce가 아님)를 통해 집계됩니다.
- 비동기 업데이트 (Asynchronous Updates): 시스템은 데드라인 기반 업데이트 수용 방식을 채택합니다. 워커는 업데이트를 제출하며, 애그리게이터(aggregator)는 데드라인 $\tau$ 이전에 도착한 업데이트를 수용합니다. 이는 명목상의 대역폭보다 참여율을 우선시합니다.

주요 기술적 조정

Sigma 범위: 저민값 시그마 범위( $\sigma \in [0, 2]$ )가 "타겟 누출(target leakage)"을 유발하여, 로컬 디노이징 크로스 엔트로피는 우수해 보이지만 추론 시 붕괴되는 현상을 발견했습니다. 고민값 시그마 범위( $\sigma \in [1, 10]$ )는 컨텍스트 조건부 디노이징을 강제하고 학습을 안정화합니다.
메카닉스 포팅 (Mechanics Port): 본 프로토콜은 Sakana DiffusionBlocks의 메카닉스(로그 노멀 시그마 분할, EDM 프리컨디셔닝, 가중 CE)를 단순한 임베딩 MSE 근사를 넘어 바이트 수준의 WikiText로 성공적으로 포팅했습니다.

3. 주요 기여

프로토콜 정식화: 풀 모델 동기식 학습을 블록 로컬 디노이징 목적 함수, 복제본 평균화, 비동기 데드라인 기반 업데이트 수용으로 대체하는 Spheroid BlockTrain을 정의했습니다.
실제 텍스트 구현: Sakana 스타일의 DiffusionBlocks를 바이트 수준의 WikiText로 성공적으로 포팅하여, 로컬 목적 함수가 글로벌 텍스트 생성 품질을 유도할 수 있음을 입증했습니다.
실패 모드 식별: 저시그마 학습이 경로 단축(target leakage)을 만들어 노이즈로부터의 추론을 파괴하는 결정적인 실패 모드를 식별하고, 고민값 시그마 범위를 강제함으로써 이를 해결했습니다.
표현력 분석: 블록의 표현력이 주요 품질 조절 키임을 입증했습니다. 4개의 로컬 레이어를 가진 트랜스포머 블록은 활성 워커 메모리를 최소화하면서도 전체 모델 참조 모델 대비 약 0.04 Cross-Entropy (CE) 이내의 성능을 달 수 있었습니다.
시스템 검증: 세 가지 별도의 환경을 구현하고 테스트했습니다:
- 단일 GPU 비동기 시뮬레이터.
- 6개의 블록 워커를 포함한 공유 8xA100 노드 실행.
- 로컬 및 공인 IP WAN 네트워크 상의 HTTP/TCP 전송 증명.
분산 서빙 벤치마크: 추론 서빙을 측정하여, 전체 출력 시퀀스가 블록 스택의 단일 트래버설(traversal) 내에서 생성되는 "원-스윕(one-sweep)" 레짐을 확립했습니다. 이는 오토레그레시브(autoregressive) 방식의 토큰 단위 WAN 라운드 트립과 대조됩니다.

4. 실험 결과

학습 품질 및 효율성

단일 GPU 롱 런 (Single-GPU Long Run): $B=3$ , 블록당 4개 레이어 구성을 사용하여 WikiText 바이트에서 **CE 1.359 (PLL 3.89)**에 도달했습니다. 이는 엔드 투 엔드 트랜스포머 참조 모델(~1.32 CE)과 약 0.04 CE 차이입니다.
메모리 프로파일: 활성 워커는 단 하나의 블록만 학습합니다. 최적의 구성에서 활성 AdamW 상태 계정은 0.198 GiB였으며, 이는 전체 모델 스택의 100.54 GiB와 대조적입니다.
공유 워커 실행: 8xA100 노드에서 6개의 워커(블록당 2개의 복제본)를 사용한 실행 결과 **CE 1.385 (PPL 3.99)**에 도달하여, 동일 블록 업데이트를 평균화하는 것이 단일 조립 모델을 효과적으로 학습함을 확인했습니다.
고정 깊이 스윕 (Fixed Depth Sweep): 로컬 목적 함수당 용량이 증가함에 따라 품질이 단조롭게 향상되었으며, 이는 로컬 예측기가 할당된 궤적의 부분을 해결할 만큼 충분히 표현력이 있어야 함을 검증합니다.

전송 및 비동기성

가상 비동기 (Virtual Async): 단일 GPU 시뮬레이터에서 "완만한" 비동기 레짐(참여율 90%)은 락스텝(lockstep) 품질에 근접한 상태를 유지했습니다. "WAN" 레짐(참여율 42%)은 품질이 저하되었으나 여ും 초기화 상태보다는 크게 개선되었습니다.
HTTP/TCP 전송:
- 동일 노드: 10.23 GB의 직렬화된 체크포인트/업데이트를 이동하여 CE 1.576에 도달했습니다.
- 공인 IP WAN: 3개 호스트 기반의 실행에서 15.22 GB의 트래픽을 이동했으며, 전체 참여 시 12 라운드에 걸쳐 CE를 5.580에서 1.811로 개선했습니다.
결론: 탈중앙화된 품질은 적시적인 블록별 참여에 달려 있습니다. 데드라인이 유용한 작업을 포착할 만큼 충분히 느슨하다면 WAN 학습은 실행 가능합니다.

추론 서빙

원-스윕 레짐 (One-Sweep Regime): 현재의 BlockTrain 경로는 블록 스택의 단일 트래버설을 통해 전체 출력 시퀀스를 정교화합니다.
처리량 (Throughput): 3개의 공인 네트워크 GPU 호스트(GH200 + 2x A100)에서 최대 75.80B-파라미터의 논리적 fp16 형상을 서빙했습니다.
비교: 매칭된 일반 오토레그레시브 TCP 베이스라인은 생성된 토큰당 하나의 전체 파이프라인 트래버설 비용을 지불합니다. BlockTrain은 전체 시퀀스에 대해 WAN 트래버설을 분담(amortize)함으로써, 긴 시퀀스에 대해 훨씬 높은 유효 토큰 처리량을 제공합니다.

5. 의의 및 주장

본 논문은 제한적이지만 구체적인 주장을 합니다: BlockTrain은 작동 가능한 실제 텍스트 학습 경로, 공인 IP 학습 전송 경로, 그리고 원-스윕 서빙 경로를 가지고 있습니다.

그 의의는 탈중앙화 AI 패러다임을 전체 모델 복제본을 분산하는 것에서 블록 로컬 목적 함수를 분산하는 것으로 전환하는 데 있습니다. 이를 통해 다음이 가능해집니다:

메모리 확장성: 각 워커가 다룰 수 있는 슬라이스만을 보유하므로, 전체 옵티마이저 상태가 소비자용 GPU보다 큰 모델도 학습할 수 있습니다.
목적-하드웨어 정렬: 학습 목적이 하드웨어 단위에 국적으로 존재하여, 전체 네트워크를 통한 전역 역전파의 필요성을 피합니다.
서빙 경제성: 추론 경로가 토큰 단위의 WAN 라운드 트립을 피함으로써, 긴 시퀀스에 대해 탈중앙화 서빙을 경제적으로 실현 가능하게 합니다.

저자들은 보고된 모델 크기에서 바이트 수준의 WikiText에 대한 증거가 제한적임을 명시합니다. 또한, 이 작은 CE 차이(0.04)가 더 큰 규모에서도 지속될 것이라고 주장하지 않으며, 프로토콜 검증, 보안 또는 인센티브 계층과 같이 동반 연구로 남겨둔 영역에 대해서도 다루지 않습니다. 본 연구의 기여는 탈중앙화 사전 학습이 블록 로컬 디노이징을 통해 기술적으로 타당하고 효과적임을 보여주는 기술적 "ML/시스템 스파인(spine)"을 제시하는 것입니다.