기술 요약: DABench-LLM

문제 정의

대규모 언어 모델(LLM)의 기하급수적인 성장은 무어의 법칙 저하로 인해 가속화된 기존 CPU 및 GPU 아키텍처의 한계를 앞질렀습니다. 데이터 중심 실행 모델을 활용하여 LLM 구조와 자연스럽게 정렬되는 데이터플로우 AI 가속기가 유망한 대안을 제시하고 있지만, 이러한 플랫폼에 대한 표준화되고 심층적인 벤치마킹 방법론은 현저히 부족한 실정입니다. 기존 연구들은 종종 고수준 처리량 지표(예: TFLOPs)나 칩 설계 사양(예: 면적, 메모리 용량)에 집중하며, 시스템 수준의 특성과 LLM 실행 성능을 연결하는 체계적인 풀스택 분석을 제공하지 못합니다. 또한, 범용 데이터플로우 가속기(Cerebras, SambaNova, Graphcore 등)의 독점적인 벤더 특정 설계 및 최적화는 "블랙박스" 효과를 야기하여, 연구 커뮤니티가 이러한 시스템을 LLM 워크로드에 맞춰 종합적으로 평가하고 최적화하는 데 걸림돌이 되고 있습니다.

방법론: DABench-LLM 프레임워크

이러한 격차를 해소하기 위해 저자들은 데이터플로우 AI 가속기에 대한 표준화되고 심층적인 평가를 위해 설계된 통합 벤치마킹 프레임워크인 DABench-LLM을 제안합니다. 이 프레임워크는 두 가지 별개의 계층(Tier)으로 작동합니다.

1. 계층 1: 칩 내부 성능 프로파일링 (Intra-Chip Performance Profiling)

   • 목적: 단일 칩의 이론적 성능 상한선과 자원 효율성을 규명합니다.
   • 지표:
     • 자원 할당 비율 (Resource Allocation Ratio): 전체 가용 자원 대비 워크로드에 의해 사용되는 온칩 유닛(예: 프로세싱 엘리먼트, 패턴 컴퓨트 유닛)의 비율을 측정합니다.
     • 부하 균형 (Load Balance): 서브태스크 간의 자원 할당 균일성을 정량화합니다. 가장 느린 서브태스크가 전체 처리량을 제한한다는 점을 고려하여, 값이 1에 가까울수록 더 나은 균형을 나타내는 부하 불균형(LI) 지표를 활용합니다.
     • 자원 활용 효율 (Resource Utilization Efficiency): 루프라인 모델(Roofline models)을 사용하여 산술 강도(arithmetic intensity)와 처리량 사이의 상호작용을 시각화함으로써 실제 연산 성능(TFLOPs)과 메모리 활용도(공유 및 글로벌 메모리 계층)를 평가합니다.
   • 접근 방식: 프레임워크는 "디코더 블록"을 기본 평가 단위로 채택하여, 레이어 수와 은닉 크기(hidden size)를 체계적으로 변화시킴으로써 컴퓨트-메모리 스펙트럼 전반에 걸친 다양한 성능 병목 현상을 조사합니다.

2. 계층 2: 칩 간 확장성 및 배포 최적화 (Inter-Chip Scalability and Deployment Optimization)

   • 목적: 다중 칩 간의 확장성을 평가하고 최적의 배포 전략을 식별합니다.
   • 확장성 분석: 데이터플로우 아키텍처의 특정 제약 조건에 맞춰 고전적인 병렬화 전략(데이터 병렬성, 파이프라인 병렬성, 텐서 병렬성)을 조정하여 통신 오버헤드와 배포 패턴을 분석합니다.
   • 배포 최적화: 구성 결정을 가이드하기 위해 핵심 하이퍼파라미터, 특히 **배치 크기(batch size)**와 수치 정밀도(예: FP16, BF16, 혼합 정밀도)가 처리량에 미치는 영향을 조사합니다.

주요 기여

1. 최초의 표준화된 프레임워크: DABench-LLM은 벤더별 특화된 수정 없이도 다양한 데이터플로우 AI 가속기에서 LLM을 실행할 때 표준화되고 심층적인 벤치마킹을 가능하게 하도록 설계된 최초의 프레임워크입니다.
2. 포괄적인 검증: 본 프레임워크는 서로 다른 아키텍처 설계를 가진 세 가지 상용 데이터플로우 가속기에서 검증되었습니다:
   • Cerebras CS-2 (WSE-2): 전체 모델을 단일 칩에 통합하는 웨이퍼 스케일 엔진.
   • SambaNova SN30 (RDU): 계산 그래프를 순차적으로 실행되는 섹션으로 분할하는 재구성 가능한 데이터플로우 유닛을 사용하는 시스템.
   • Graphcore Bow-2000 (IPU): 여러 칩에 걸쳐 파이프라인 병렬성을 사용하는 시스템.
3. 실행 가능한 통찰력: 저자들은 벤치마킹 결과로부터 도출된 구체적인 최적화 가이드라인을 제공하여, 불투명한 하드웨어 플랫폼을 해석 가능한 시스템으로 변환합니다.

실험 결과 및 발견 사항

칩 내부 성능 (계층 1)

• Cerebras WSE-2: 유연한 커널 스케줄링을 통해 높은 자원 할당 비율(92–93%)을 달取得합니다. 우수한 부하 균형(LI ~0.96–1.0)을 유지합니다. 그러나 더 큰 모델의 경우 온칩 메모리 용량에 의해 성능이 제한되어, 72개 레이어를 초과하면 실행 실패가 발생합니다. 결정적으로, WSE-2는 거대한 온칩 메모리 대역폭(20 PB/s) 덕분에 세 플랫폼 중 유일하게 컴퓨트 바운드(compute-bound) 상태를 유지하는 반면, 다른 플랫폼들은 메모리 바운드입니다.
• SambaNova RDU: 자원 할당이 60%를 넘는 경우가 드물어 상당한 저활용을 보입니다. 컴파일 모드(O0, O1, O3)에 따라 뚜렷한 동작 차이를 보이며, O3 모드에서는 레이어 수가 증가함에 따라 부하 균형이 감소합니다. 이 플랫폼은 제한된 외부 DDR 대역폭(0.2 TB/s)으로 인해 **메모리 바운드(memory-bound)**입니다.
• Graphcore IPU: 세 플랫폼 중 가장 높은 컴퓨트 효율(최대 41%)을 달성하지만, 엄격하게 메모리 바운드입니다. 성능은 작은 모델에서의 타일 활용도와 큰 모델에서의 메모리 용량 제한에 의해 제한되며, 특정 구성에서는 10개 레이어에서 실행 실패가 자주 발생합니다.

칩 간 확장성 및 최적화 (계층 2)

• 확장성 전략:
  • WSE-2: 작은 모델에는 인트라 칩 데이터 병렬성(DP)에 의존하며, 더 큰 모델을 위해서는 "가중치 스트리밍(weight streaming)" 모드를 사용합니다. 복제본 수가 증가함에 따라 통신 오버헤드가 증가합니다.
  • RDU: 텐서 병렬성(TP)을 사용합니다. 2개에서 4개 칩으로 확장할 때 높은 머신 간 통신 비용으로 인해 40%의 처리량 저하가 발생하며, 이는 크로스 머신 TP가 병목임을 나타냅니다.
  • IPU: 파이프라인 병렬성(PP)을 사용합니다. 처리량은 가장 부하가 많이 걸린 IPU에 의해 결정되므로, IPU당 최대 레이어 수를 최소화하는 것이 매우 중요합니다.
• 배포 최적화:
  • 배치 크기: 배치 크기를 늘리면 RDU와 IPU에서 거의 선형적인 처리량 이득을 얻습니다. WSE의 경우 배치 크기 200 이후에는 이득이 정체됩니다.
  • 정밀도: RDU와 IPU는 혼합 정밀도 학습으로부터 큰 이득(각각 34.3% 및 22.0% 개선)을 얻는 반면, WSE는 미미한 민감도(10.7%)를 보입니다.

의의 및 주장

본 논문은 DABench-LLM이 데이터플로우 가속기에 대한 고수준 성능 지표와 저수준 하드웨어 동작 사이의 간극을 성공적으로 메웠다고 주장합니다. 자원 스케줄링 정책, 실행 패턴 및 병목 현상을 밝혀내는 체계적인 방법론을 제공함으로써, 본 프레임워크는 다음과 같은 분야에 중요한 통찰력을 제공합니다:

• 연구자: 벤더의 독점적 세부 사항에 대한 깊은 접근 없이도 하드웨어 및 시스템 통찰력을 빠르게 확보할 수 있습니다.
• 최적화: 커널 및 그래프 컴파일러 최적화를 가이드하고, 통신 및 모델 배포 전략 수립에 정보를 제공합니다.
• 일반화 가능성: 근본적으로 다른 실행 모델(모놀리식 웨이퍼 스케일, 분할 순차형, 분산 파이프라인)을 가진 다양한 하드웨어 플랫폼에 대한 효과를 입증했습니다.

저자들은 이러한 가속기들이 많은 가능성을 보유하고 있지만, LLM 워크로드를 완전히 실현하기 위해서는 RDU 및 IPU의 메모리 대역폭, WSE의 메모리 용량과 같은 특정 병목 현상이 반드시 해결되어야 한다고 결론짓습니다. 이 프레임서은 병목 현상 식별 및 플랫폼별 최적화 연구를 위한 기초적인 도구 역할을 합니다.