ArcLight: A Lightweight LLM Inference Architecture for Many-Core CPUs

이 논문은 다중 코어 CPU 환경에서 NUMA 노드 간 메모리 접근 오버헤드를 줄이고 추론 처리량을 최대 46% 향상시키기 위해 ArcLight 라는 경량 LLM 추론 아키텍처를 제안합니다.

핵심

🌟 ARCLIGHT: 거대 AI 를 위한 '가벼우면서도 강력한' CPU 전용 엔진

이 논문은 **거대 언어 모델 **(LLM, 예: 챗봇이나 AI 비서)을 설명합니다.

기존의 AI 기술은 주로 고가의 그래픽카드 (GPU) 에 의존해 왔습니다. 하지만 이 논문은 "왜 비싼 GPU 가 없어도, 우리 컴퓨터나 서버에 있는 수많은 CPU 코어로도 AI 를 빠르게 돌릴 수 있을까?"라는 질문에 답하며, ARCLIGHT라는 새로운 시스템을 소개합니다.

---

1. 문제: "멀리 있는 물건을 가져오는 데 시간이 걸려요" 🚧

상황:
현대 서버에는 CPU 코어가 수십 개, 많게는 100 개 이상 들어있습니다. 이 코어들은 마치 **4 개의 큰 빌딩 **(NUMA 노드)에 나뉘어 있습니다. 각 빌딩에는 코어와 메모리 (데이터 창고) 가 있습니다.

• **기존 방식 **(llama.cpp 등)
  모든 코어가 하나의 거대한 창고에서 데이터를 가져와서 일합니다.

  • 문제점: 1 층 빌딩에 있는 코어가 4 층 빌딩의 데이터를 가져오려면 엘리베이터를 타고 이동해야 하므로 시간이 매우 오래 걸립니다. (이를 'NUMA 간 메모리 접근 벽'이라고 합니다.)
  • 결과: 코어가 많아도 데이터가 늦게 도착해서 CPU 가 놀고 있는 시간이 길어집니다.

• 비유:
  100 명의 요리사가 있는데, 재료가 모두 100 미터 떨어진 창고에 있고, 요리사들은 서로 다른 층에 있습니다. 요리사 A 가 재료를 찾으러 100 미터를 뛰어가면, 그 사이 다른 요리사들은 기다려야 합니다.

2. 해결책: ARCLIGHT 의 3 가지 핵심 전략 🛠️

ARCLIGHT 는 이 문제를 해결하기 위해 세 가지 혁신적인 방법을 썼습니다.

① "각자 자기 집 창고만 쓰세요" (NUMA 인지 메모리 관리) 🏠

• 방법: 각 빌딩 (NUMA 노드) 에 있는 코어들이 자기가 속한 빌딩의 창고에서만 데이터를 가져오도록 딱딱 묶어줍니다.
• 효과: 1 층 요리사는 1 층 창고에서, 4 층 요리사는 4 층 창고에서 재료를 가져옵니다. 이동 시간이 0 에 수렴하니 속도가 비약적으로 빨라집니다.

② "작업 분담을 똑똑하게" (텐서 병렬 처리) 🍰

• 방법: 큰 작업 (예: 케이크 만들기) 을 한 사람이 다 하는 게 아니라, **각 빌딩별로 케이크의 일부 **(층)합니다.
  • 빌딩 1 은 케이크 1 층, 빌딩 2 는 2 층을 만듭니다.
  • 마지막에 각 빌딩이 만든 조각을 합치면 (Gather) 완성된 케이크가 됩니다.
• 효과: 각 코어가 자신의 빌딩 안에서만 재료를 쓰고 작업을 하므로, 서로 다른 빌딩 사이를 오가는 데이터가 거의 사라집니다.

③ "각자 리듬에 맞춰 일하세요" (비동기 실행) ⏱️

• 방법: 기존 방식은 "모두 1 단계 끝내면, 동시에 2 단계로 넘어가자"라고 기다리게 했습니다. 하지만 ARCLIGHT 는 "네가 1 단계 끝내면 바로 2 단계로 넘어가도 돼, 다른 팀이 끝날 때까지 기다릴 필요 없어"라고 합니다.
• 효과: 한 팀이 조금 느리더라도 다른 팀은 멈추지 않고 계속 일합니다. 전체적인 생산성이 훨씬 높아집니다.

---

3. 결과: 얼마나 빨라졌나요? 🚀

• 실험 환경: 192 개의 코어가 있는 거대 서버 (화웨이 쿤펑 920 칩셋).
• 결과: 기존에 가장 유명한 CPU용 AI 프로그램 (llama.cpp) 보다 최대 46% 더 빠른 속도를 기록했습니다.
• 의미: 고가의 GPU 를 사지 않아도, 기존 서버 자원을 잘만 활용하면 AI 서비스를 훨씬 저렴하고 빠르게 제공할 수 있다는 것을 증명했습니다.

4. 요약: ARCLIGHT 는 무엇인가요? 🎒

ARCLIGHT 는 불필요한 장식을 다 걷어낸 '가벼운' AI 엔진입니다.

• **무거운 짐 **(기존 프레임워크의 복잡한 코드)을 버리고,
• **많은 코어 **(Many-Core CPU) 환경에 딱 맞는 정밀한 작업 분배를 통해,
• 데이터 이동의 비효율을 없애고 속도를 극대화했습니다.

한 줄 평:

"수백 명의 요리사들이 서로의 층을 오가며 재료를 나르는 비효율을 없애고, 각자 자기 층에서 재료를 써서 케이크를 만드는 방식으로, AI 의 속도를 한 층 더 높인 똑똑한 시스템입니다."

이 기술은 웹 서버나 고성능 네트워크 장비처럼 CPU 가 주력인 환경에서 AI 를 더 쉽고 빠르게 보급하는 데 큰 역할을 할 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 추론을 위한 기존 CPU 프레임워크 (예: llama.cpp) 는 성숙해졌지만, 다수 코어 (Many-Core) CPU 플랫폼의 연산 잠재력을 완전히 활용하지 못한다는 한계가 있습니다.

• NUMA 아키텍처의 병목 현상: 웹 서버 및 고성능 네트워킹 장비에 널리 배포된 다수 코어 CPU 는 보통 비동기 메모리 액세스 (NUMA, Non-Uniform Memory Access) 아키텍처를 사용합니다. 이는 코어와 메모리가 여러 노드로 나뉘어 있으며, 로컬 메모리 접근보다 원격 (크로스-NUMA) 메모리 접근 비용이 훨씬 높음을 의미합니다.
• 기존 프레임워크의 한계: 기존 프레임워크는 크로스-NUMA 메모리 액세스의 심각한 오버헤드를 간과합니다. 추론을 수십 개의 코어로 확장할 때, 데이터 동기화 및 비로컬 메모리 접근 오버헤드가 병목이 되어 시스템이 이론적 계산 한계에 도달하지 못하게 합니다.
• 유지보수 및 확장성 문제: 기존 프레임워크 (llama.cpp 등) 는 레거시 코드와 복잡한 추상화가 누적되어 있어, NUMA 인식 효율성을 위해 전체 스택을 "외과 수술"하듯 리팩토링하기 어렵고, 새로운 모델 아키텍처 지원이 어렵습니다.

2. 방법론 (Methodology)

저자들은 이러한 한계를 극복하기 위해 ARCLIGHT라는 경량 LLM 추론 아키텍처를 처음부터 다수 코어 CPU 를 위해 설계했습니다. 핵심 설계 철학은 **간결성 (Minimalism)**과 **모듈성 (Modularity)**입니다.

2.1 아키텍처 설계

• 디커플링된 구조: 고수준 디코딩 프론트엔드와 저수준 추론 백엔드로 분리되어 하드웨어에 구애받지 않는 경량 연산을 유지합니다.
• 핵심 모듈: 메모리 관리자, 스레드 관리자, 텐서 라이브러리, 순방향 그래프 빌더, 그래프 계산 스케줄러 등 5 가지 핵심 모듈로 구성됩니다. 전체 코드는 약 10 개의 C++ 헤더 및 소스 파일로 이루어져 있어 투명하고 확장 가능합니다.

2.2 NUMA 인식 최적화 전략

1. NUMA 인식 메모리 관리:
   • llama.cpp 의 단일 버퍼 (UMA) 방식과 달리, ARCLIGHT 는 각 NUMA 노드의 로컬 메모리에 별도의 버퍼를 할당합니다.
   • 더블 버퍼링 (Double-buffering) 메커니즘: 레이어별 추론 중 활성화 (activation) 버퍼 오버헤드를 줄이기 위해 레이어 패리티에 따라 두 개의 활성화 버퍼를 교차하여 사용합니다.
2. 멀티-뷰 스레드 조직 (Multi-view Thread Organization):
   • 단일 스레드 풀을 여러 논리적 그룹으로 동적으로 재구성할 수 있습니다.
   • 로컬 및 글로벌 배리어 (Barrier): 그룹 내 동기화 (로컬) 와 전체 풀 동기화 (글로벌) 를 구분하여 관리함으로써, 병렬 실행 시 불필요한 대기 시간을 최소화합니다.
3. 크로스-NUMA 텐서 병렬성 (Cross-NUMA Tensor Parallelism, TP):
   • 가중치 분할 (Weight Partition): 행렬 곱셈 (GEMM) 연산 시 가중치를 NUMA 노드별로 분할하여 텐서를 각 노드의 로컬 메모리에 배치합니다.
   • Scatter 및 Gather 연산자: 입력 텐서를 분산 (Scatter) 하여 각 서브그래프가 독립적으로 병렬 실행되게 하고, 결과를 수집 (Gather) 하여 합칩니다.
   • 비동기 서브그래프 실행: 각 서브그래프가 데이터 의존성 없이 비동기적으로 실행되도록 하여 스레드 유휴 시간을 줄이고 성능을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 경량 추론 아키텍처: LLM 추론의 핵심 요소만 추출한 모듈형 오픈소스 프레임워크를 제안하여, 연구자들이 CPU 기반 LLM 배포를 위한 실험을 전통적인 프레임워크의 오버헤드 없이 수행할 수 있는 투명한 기반을 제공합니다.
2. 다수 코어 CPU 최적화: 스레드 스케줄링과 메모리 접근 병목 (Memory Access Wall) 문제를 해결하는 다차원 최적화 청사진을 제시합니다. 특히 크로스-NUMA 메모리 액세스 오버헤드를 완화하기 위한 정밀하게 제어된 텐서 병렬성을 도입했습니다.

4. 실험 결과 (Results)

• 실험 환경: 192 코어 (4 개의 NUMA 노드, 각 노드당 48 개의 Huawei Kunpeng-920 ARM 코어) 테스트 머신에서 Qwen3-4B (Q4_0 양자화) 모델을 사용하여 평가했습니다.
• 성능 향상:
  • 단일 NUMA 노드: llama.cpp 보다 약간 높은 처리량을 보였으나, NUMA 인식 메모리 할당으로 인한 이점이 확인되었습니다.
  • 다중 NUMA 노드: ARCLIGHT 가 **llama.cpp 대비 최대 46% 높은 추론 처리량 (Throughput)**을 달성했습니다.
  • 비동기 실행 효과: 비동기 서브그래프 실행 전략을 도입함으로써 추가적으로 초당 약 5 토큰 (token/s) 의 성능 향상을 얻었습니다.
• 호환성: ARM 기반 CPU 에서 검증되었으나, 설계 철학상 x86 등 다른 CPU 장치와의 호환성을 유지합니다.

5. 의의 및 결론 (Significance)

• CPU 추론의 한계 돌파: 기존 프레임워크가 간과했던 NUMA 아키텍처의 메모리 병목 문제를 체계적으로 해결함으로써, CPU 기반 LLM 추론의 성능 한계를 크게 확장했습니다.
• 개발 및 연구 플랫폼: 복잡한 레거시 코드 없이 핵심 로직만 명확하게 드러나는 경량 아키텍처를 제공하여, 향후 CPU 최적화 연구 및 새로운 모델 아키텍처 지원에 유용한 교육 및 개발 툴킷이 될 것으로 기대됩니다.
• 실용성: 웹 서버 및 네트워킹 장비와 같이 GPU 가 아닌 다수 코어 CPU 가 주류인 환경에서 LLM 추론을 효율적으로 수행할 수 있는 실질적인 솔루션을 제시했습니다.

이 논문은 하드웨어의 물리적 제약 (NUMA) 을 소프트웨어 아키텍처 수준에서 정밀하게 제어함으로써, 기존 프레임워크의 성능 상한선을 깨뜨린 사례로 평가됩니다.