🤖 machine learning

Pipeline-Native Transformers: Co-Designing Model Architecture and CPU Inference for Bandwidth-Efficient Autoregressive Decode

이 논문은 단일 토큰 자기회귀 디코딩에서의 메모리 대역폭 병목 현상을 극복하기 위해 파이프라인 네이티브 트랜스포머 아키텍처와 공동 설계된 CPU 우선 스트리밍 엔진인 cflow를 소개하며, L2 크기의 가중치 타일링, top-k 전문가 선택, 비동기 I/O 오버랩을 활용하여 32-vCPU 서버에서 최대 2.00배의 임계 경로 가중치 대역폭 감소와 5.94 tokens/s를 달성했습니다.

원저자: Tom Poperszky

게시일 2026-08-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tom Poperszky

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서 가장 강력한 컴퓨터 프로그램들은 종로 수십억 개의 작은 스위치로 이루어진 "두뇌"를 가진 것으로 자주 묘사됩니다. 이 스위치들, 즉 가중치(weights)는 거대한 도서관 선반 위의 책들처럼 컴퓨터의 메인 메모리에 저장됩니다. 예측을 하거나 단 하나의 단어를 생성하기 위해, 컴퓨터는 선반에서 적절한 책들을 가져와 읽고 계산을 수행해야 합니다. 수년 동안 엔지니어들은 이러한 계산의 속도가 제한 요소라고 가정해 왔으며, 프로세서가 더 빨리 생각할 수 있게 만들기만 하면 프로그램이 더 빨리 실행될 것이라고 믿었습니다. 그러나 새로운 연구 라인은 이러한 프로그램들이 가장 흔하게 사용되는 방식, 즉 한 번에 한 단어씩 생성하는 방식에 있어서 이 가정이 틀렸음을 시사합니다. 이 특정 모드에서 프로세서는 자신의 두뇌가 생각하기를 기다리는 것이 아니라, 메모리가 데이터를 전달해주기를 기다리고 있습니다. 프로세서는 너무 빨라서 데이터가 도착하기를 기다리며 빈 선반을 바라보며 대부분의 시간을 유휴 상태로 보냅니다. 이는 전체 시스템의 속도가 컴퓨터가 얼마나 빨리 계산할 수 있느냐가 아니라, 얼마나 빨리 데이터를 메모리 선반에서 프로세서로 이동시킬 수 있느냐에 의해 결정되는 병목 현상을 만듭니다.

톰 포퍼스키(Tom Popersky)라는 연구자는 이러한 "책"들을 선반에 배치하는 표준적인 방식이 완전히 다른 종류의 컴퓨터를 위해 설계되었다는 점을 깨달음으로써 이 문제에 달려들었습니다. 대부분의 현대적 AI 모델은 한 번에 많은 책을 읽는 데 탁월한 특수 그래픽 칩에서 실행되도록 구축되었습니다. 이러한 모델들이 표준 컴퓨터 프로세서에서 실행될 때, 기존의 구성 방식은 프로세서가 예측할 수 없는 무질서한 순서로 데이터를 가져오게 하여 선반 주변을 이리저리 뛰어다니며 시간을 낭비하게 만듭니다. 포퍼스키의 연구는 급진적인 해결책을 제안합니다. 즉, 기존 모델이 새로운 하드웨어에서 더 잘 작동하도록 강제하는 대신, 그는 모델과 이를 실행하는 소프트웨어를 처음부터 함께 작동하도록 재설계했습니다. 그는 모델의 데이터를 프로세서의 즉각적인 작업 공간에 완벽하게 들어맞는 작고 깔끔한 덩어리로 저장하는 새로운 방법을 만들었으며, 모델의 내부 명령어를 다시 작성하여 중단 없이 매끄럽고 연속적인 선을 따라 이 덩어리들을 읽을 수 있도록 했습니다.

이 새로운 접근 방식의 핵심은 cflow라고 불리는 시스템으로, 이는 컴퓨터를 위한 매우 효율적인 사서 역할을 합니다. 표준 설정에서는 컴퓨터가 단어를 생성해야 할 때, 아주 작은 부분만을 필요로 하더라도 모델의 특정 부분에 대한 전체 명령어 세트를 로드해야 하는 경우가 많습니다. 이것은 단 하나의 사실을 찾기 위해 백과사전 전체를 펼치는 것과 같습니다. 포퍼스키의 시스템은 데이터를 단일 페이지 크기 정도의 작은 타일로 조직하고, 컴퓨터가 필요로 할 정확한 순서대로 저장함으로써 이 문제를 해결합니다. 컴퓨터가 다음 정보 조각을 요청하면, 시스템은 다음 타일을 즉시 제자리에 밀어 넣어 프로세서가 계속 작동하도록 유지합니다. 또한, 모델이 각 작업에 대해 몇 가지 특화된 하위 루틴을 선택하는 "전문가 혼합(mixture of experts)" 기술을 사용하는 모델의 경우, 새 시스템은 그 순간에 필요한 특정 하위 루틴만을 로드하고 나머지는 선반에 남겨둡니다. 이는 매 단어가 생성될 때마다 사용되지 않는 수천 개의 명령어를 로드하는 낭비를 제거합니다.

이 시스템을 작동시키기 위해 연구자는 모델 자체의 아키텍처를 변경해야 했습니다. 표준 모델은 한 단계가 완전히 끝나야 다음 단계가 시작되는 엄격한 조립 라인처럼 구축되어 있습니다. 이러한 구조는 컴퓨터가 다음 명령어 세트를 읽기 시작하기 전에 전체 라인이 끝날 때까지 기다리게 만듭니다. 포퍼스키는 컴퓨터가 현재 단계를 수행하는 동안 다음 단계의 명령어를 읽기 시작할 수 있는 "수직 파이프라인(vertical pipeline)"을 허용하도록 모델을 재설계했습니다. 이는 모델이 이전 단계의 정보를 약간 지연된 버전으로 받아들이도록 훈련되었기 때문에 가능하며, 표준 모델에서는 오류를 일으킬 수 있는 변화이지만 이 새로운 설계에서는 완벽하게 작동합니다. 연구자는 이 재설계된 모델들의 다섯 가지 서로 다른 버전을 훈련함으로써, 특정 구성이 컴퓨터가 이동해야 하는 데이터의 양을 절반으로 줄일 수 있다는 것을 발견했습니다. 이러한 데이터 이동의 감소는 직접적으로 속도 향상으로 이어지는데, 이는 컴퓨터가 기다리는 시간을 줄이고 일하는 시간을 늘리기 때문입니다.

이 공동 설계(co-design)의 결과는 실제 하드웨어에서 측정되었으며, 기존 소프트웨어에 비해 명확한 우위를 드러냈습니다. 표준 서버 컴퓨터에서 새 시스템은 초당 거의 6단어의 속도로 텍스트를 생성하여, 동일한 기기에서 약 4.5단어만을 생성했던 가장 우수한 대안들을 능가했습니다. 이 향상은 단순한 이론적 계산이 아니라, 컴퓨터의 메모리에 액세스해야 하는 횟수를 줄임으로써 달성한 실질적인 속도 향상이었습니다. 연구는 또한 컴퓨터에게 다음에 어디를 찾아야 할지 알려주는 명시적인 명령어를 사용하는 것과 같은 다른 아이디어들도 테스트했습니다. 놀랍게도, 테스트 결과 이러한 명령어들이 도움이 되지 않았으며 오히려 시스템을 느리게 만드는 경우가 있었는데, 이는 컴퓨터의 자체 하드웨어가 다음에 무엇이 필요할지 이미 더 잘 예측하고 있었기 때문입니다. 이 발견은 중요한데, 이는 일반적인 최적화 기법을 배제하고, 진정한 이득이 데이터와 모델의 근본적인 재구조화에서 온다는 것을 확인시켜 주기 때문입니다.

또한 연구는 이러한 변화가 모델이 커짐에 따라 어떻게 유지될지를 탐구했습니다. 분석에 따르면, 속도 향상은 테스트된 모델들에 대해 유의미하지만, 구체적인 이점은 모델의 크기와 사용되는 컴퓨터의 유형에 따라 달라집니다. 매우 큰 모델의 경우 병목 현상이 다시 이동할 수 있지만, 원칙은 동일합니다. 즉, 모델의 구조를 컴퓨터가 메모리를 읽는 방식과 일치시킴으로써, 이전에는 불가능하다고 생각되었던 속도를 끌어낼 수 있다는 것입니다. 이 작업은 현재 인공지능의 한계가 고정된 물리 법칙이 아니라, 변경할 수 있는 설계상의 선택임을 보여줍니다. 모델과 런타임을 두 개의 별개 조각이 아닌 하나의 통합된 시스템으로 다룸으로써, 데이터가 잘 정리된 도서관처럼 효율적으로 이동하게 하여 컴퓨터가 자체 하드웨어의 속도로 생각할 수 있게 만들 수 있습니다. 이 접근 방식은 강력한 AI를 특수 칩이 없는 일반적인 기기에서 실행할 수 있는 명확한 경로를 제시하며, 첨단 지능을 현실 세계에서 더 접근하기 쉽고 반응성이 높게 만듭니다.

기술 요약: 파이프라인 네이티브 트랜스포머 (Pipeline-Native Transformers)

1. 문제점: CPU 추론에서의 대역폭 병목 현상

본 논문은 CPU에서의 단일 토큰 자기회귀(autoregressive) 디코딩이 연산 능력(compute)이 아닌 메모리 대역폭에 의해 근본적으로 제한된다고 주장한다. 현대적인 CPU는 약 1 TFLOP/s의 연산 능력을 유지할 수 있지만, 메인 메모리 대역폭은 통상적으로 약 50 GB/s에 불과하다.

단일 토큰 디코드 단계에서 산술 강도(arithmetic intensity)는 약 4 FLOP/byte(Q4 양자화 가정 시)이며, 이는 머신 밸런스인 20 FLOP/byte보다 5배 낮은 수준이다. 결과적으로, CPU는 계산을 수행하기보다 가중치 바이트를 RAM으로부터 스트리밍하는 것을 기다리는 데 대부분의 시간을 소비한다.

기존의 CPU 추론 런타임(예: llama.cpp, ExLlama2)은 주로 GPU 우선 아키텍처의 설계 결정 사항을 그대로 계승하고 있다. 여기에는 다음이 포함된다:

행 중심(Row-major) 가중치 레이아웃: 배치(batch) 접근에는 최적화되어 있으나, 단일 토큰 스트리밍에는 비효율적이어서 가중치 행렬 크기에 비례하는 L1 캐시 미스를 유발한다.
표준 혼합 전문가(Mixture-of-Experts, MoE) 로딩: 일부 전문가(top-k)만 활성화되더라도 모든 전문가 가중치를 로드하여, Gemma 4와 같은 모델에서 최대 15배의 대역폭을 낭비한다.
엄격한 레이어 의존성: 표준 트랜스포머는 레이어 $\ell+1$ 이 시작되기 전에 레이어 $\ell$ 의 완전한 출력을 요구하며, 이는 서로 다른 레이어의 단계들이 동시에 처리되는 수직적 파이프라이닝을 방해한다.

본 논문은 모델 아키텍처와 추론 런타임을 독립적인 개체로 취급하는 것이 CPU 환경에서는 리스크라고 상정한다. 대신, 토큰당 이동하는 총 바이트 수를 줄이기 위한 공동 설계(co-design) 접근 방식이 필요하다.

2. 방법론: 아키텍처와 런타임의 공동 설계

제안된 솔루션은 두 가지 밀접하게 결합된 구성 요소인 cflow 런타임과 파이프라인 네이티브 트랜스포머 아키텍처 제품군으로 구성된다.

2.1 cflow 런타임

cflow는 CPU의 메모리 계층 구조를 중심으로 설계된 Rust 기반의 CPU 우선 추론 엔진이다.

타일 네이티브 가중치 포맷: 가중치는 연산 소비 순서에 따라 L2 크기의 타일(128×256 행렬, Q4 기준 약 18 KB)로 저장된다. 이를 통해 타일이 처리되는 동안 L1에 상주하는 활성화 벡터가 타일의 모든 행에 걸쳐 재사용되도록 하여 L1-d 캐시 미스를 최소화한다.
파일 포맷:
- .cflow: 표준 스트리밍을 위한 레이어별 포맷.
- .vflow: 레이어 간 실행 단계를 기준으로 타일을 그룹화하여 수직적 파이프라이닝을 가능하게 하는 스테이지 중심 포맷.
조건부 전문가 로딩: 런타임은 전문가 오프셋 테이블을 사용하여 선택된 top-k 전문가 타일만 로드하고 나머지는 건너뛴다.
퓨즈드 커널(Fused Kernels): QKV 프로젝션과 gate+up 프로젝션을 융합하여 활성화 재로드를 줄인다.
스테이지 직접 I/O (Staged Direct-I/O): 디스크에 상주하는 전문가 티어의 경우, 비동기 직접 I/O를 사용하여 중간 레이어의 계산과 전문가 페칭(fetching)을 중첩시킨다.

2.2 파이프라인 네이티브 아키텍처

본 논문은 표준 pre-norm 트랜스포머의 레이어 의존성 유향 비순환 그래프(DAG)에 대한 정식 분석을 도입한다. 저자는 표준 의존성이 수직적 파이프라이닝을 방해함을 입증한다. 이를 해결하기 위해 두 가지 지연 변환(delay transforms)을 통한 **DAG 재작성(rewriting)**을 제안한다:

밀집 지연 ( $\delta_d$ ): 레이어 $\ell$ 의 밀집(dense) FFN은 현재 레이어의 출력이 아닌 레이어 $\ell - \delta_d$ 로부터의 잔차 스트림(residual stream)을 소비한다.
전문가 지연 ( $\delta_e$ ): 레이어 $\ell$ 에서 계산된 전문가 출력은 레이어 $\ell + \delta_e$ 에 잔차 스트림으로 주입된다.

이러한 변환은 엄격한 순차적 체인을 깨뜨려, 지연된 버퍼에 의해 의존성이 충족되는 한 런타임이 레이어 $\ell$ 을 계산하는 동안 레이어 $\ell+1$ 의 가중치를 가져올 수 있게 한다.

대역폭-품질 트레이드오프를 탐색하기 위해 TinyStories 데이터셋으로 다섯 가지 후보 아키텍처를 학습시켰다:

Arch1 & Arch3: 지연이 없는 베이스라인 (1.00× 대역폭 감소).
Arch2_4_combined: $\delta_d=1$ 과 $\delta_e=2$ 를 결합한다. 이는 최대 대역폭 감소를 달 achieves 한다.
Arch4 (AsyncExperts): 프리-덴스 라우팅(pre-dense routing, 밀집 FFN 전 라우팅)과 함께 $\delta_e=2$ 를 사용한다. 이는 최고의 퍼플렉시티(perplexity)를 달성하지만 대역폭 감소는 없다.
Arch5: 매개변수 효율성을 위해 반복 간 가중치 공유를 사용한다.

3. 주요 기여

cflow 런타임: 타일 네이티브 포맷, 퓨즈드 커널, 조건부 전문가 로딩을 특징으로 하는 완성도 높은 Rust 구현체이다. PyTorch 레퍼런스와 수치적 동등성을 달성했다.
파이프라인 네이티브 분류 체계: 의존성 완화 변환(밀집 및 전문가 지연)에 대한 정식 정의와, 이러한 구조적 변화가 안정적인 학습 및 수렴을 가능하게 함을 보여주는 다섯 가지 학습된 아키텍처를 제시한다.
지연 인식 스케줄러 (Delay-Aware Scheduler): 지연된 입력과 전문가 주입을 관리하기 위해 링 버퍼 형태의 잔차 이력을 구축하는 런타임 스케줄러를 통해 수직 파이프라인 스케줄을 가능하게 한다.
경험적 검증: 부정적인 결과(가설이 반박된 경우)를 포함하여 8가지 구체적인 설계 주장에 대한 종합적인 평가를 수행한다.

4. 결과

4.1 대역폭 및 캐시 효율성

임계 경로 감소: arch2_4_combined 아키텍처는 순차적 스케줄 대비 임계 경로 가중치 대역폭을 2.00배 감소(9.00 MB/token에서 4.50 MB/token으로)시켰다.
캐시 지역성: 타일 스트리밍 레이아웃은 Xeon E5-2650에서 행 중심 베이스라인 대비 L1-d 읽기 미스를 7.29배 감소시켰다 (하드웨어 성능 카운터를 통해 측정).
조건부 로딩: 구조적 보장을 통해 대규모 MoE 모델에서 top-k 전문가 타일만 읽도록 하여, 전문가 가중치 대역폭을 최대 16배까지 줄인다.

4.2 엔드 투 엔드 성능

처리량(Throughput): AWS r6i.8xlarge (Ice Lake, 32 vCPUs)에서 실행되는 30.9B 파라미터 파이프라인 네이티브 MoE 모델의 경우, cflow는 5.94 tokens/second를 달성한다.
비교: 이는 동일한 하드웨어에서 유사한 32B 밀집 모델을 사용하는 llama.cpp (4.75 tok/s) 및 vLLM CPU 백엔드 (1.65 tok/s)보다 우수한 성능을 보인다.
전문가 오버랩: NVMe 스토리지가 있는 서버 하드웨어에서, 전문가 지연 윈도우는 비동기 I/O 오버랩을 허용하여 동기식 블로킹 방식 대비 최대 1.68배의 순수 속도 향상을 제공한다.

4.3 부정적 결과 및 반박

논문은 완전한 그림을 제공하기 위해 반박된 주장을 명시적으로 보고한다:

주장 6 (PREFETCHT0): 병목이 스토리지-to-RAM 대역폭인 경우, 명시적인 프리페치(prefetching) 명령은 이득이 없었으며 오히려 해로울 때도 있었다 (4% 느려짐). 하드웨어 프리페처가 이미 선형 RAM 접근을 포화시키고 있으며, 명시적 힌트는 오버랩 없이 캐시 압력만 가중시킨다.
주장 8 (Stage-Major Readahead): .vflow 레이아웃의 이론적 리드어헤드(readahead) 이득은 테스트된 규모에서 결론이 나지 않았다. 이 이득은 단일 토큰 스케줄러의 비전문가 가중치에 대해 비동기 I/O 오버랩이 완전히 구현되지 않았기 때문에 발생하며, 관찰된 변동성은 SSD 캐시 상태에 기인한 것으로 보인다.

5. 의의 및 주장

본 논문의 핵심 논지는 CPU 추론에서의 메모리 대역폭 병목 현상을 극복하기 위해서는 모델 아키텍처와 추론 런타임을 공동 설계하는 것이 필수적이라는 것이다.

실현 가능성: 본 연구는 트랜스포머의 레이어 간 의존성 그래프를 재작성하는 것이 효과적인 학습을 방해하지 않음을 입증한다. 학습된 아키텍처들은 경쟁력 있는 퍼플렉시티와 함께 수렴한다.
메커니즘: 대역폭 감소는 단순한 근사가 아니라, 지연 파라미터와 모델 기하학의 분석적 결과이다.
실용성: 결과는 파이프라인 네이티브 MoE가 특정 아키텍처에 최적화된 런타임을 사용할 때 표준 CPU 하드웨어에서 최첨단 밀집 모델을 능가할 수 있음을 보여준다.

저자는 "파이프라인 네이티브" 접근 방식이 학습 시의 아키텍처 변경을 요구하므로 기존 체크포인트에는 소급 적용할 수 없지만, 조건부 전문가 로딩 및 타일 스트리밍 가중치 레이아웃의 원칙은 대역폭을 줄이고 캐시 지역성을 개선하기 위해 기존 런타임에도 즉시 적용 가능하다는 점을 강조한다. 본 연구는 트랜스포머의 의존성 그래프가 고정된 제약이 아닌 설계상의 선택지임을 확립하며, 이 선택지를 런타임 최적화와 함께 활용함으로써 두 방식이 단독으로는 달성할 수 없는 최적화를 얻을 수 있음을 보여준다.