기술 요약: SOLAR – AI 기반의 빛의 속도(Speed-of-Light) 성능 분석

1. 문제 정의

현대의 딥러닝 가속기는 페타플롭스(petaFLOPS) 단위의 피크 처리량을 달 성하지만, 실제 워크로드는 이러한 이론적 한계에 도달하는 경우가 드뭅니다. 모델이 타겟 하드웨어에서 얼마나 빨리 실행될 수 있는지와 실제로 얼마나 빨리 실행되는지 사이에는 결정적인 격차가 존재합니다. 현재의 도구들은 이를 포괄적으로 해결하지 못합니다:

• FLOP 카운터(예: fvcore, ptflops)는 연산자 커버리지가 좁고(KernelBench 기준 75~84%), I/O 트래픽을 무시하며, 이론적 최소 실행 시간(Speed-of-Light 또는 SOL 경계)을 도출할 수 없습니다.
• 하드웨어 프로파일러(예: NCU, NSys)는 특정 구현의 달성된 성능을 측정할 뿐, 알고리즘적 제약으로 인해 물리적으로 불가능한 "헤드룸(headroom)"을 보고할 위험이 있습니다.
• 순수 LLM 추정은 복합 워크로드에서 오류가 발생하기 쉽고, 캐시 인지적 분석에 필요한 체계적인 탐색 능력이 부족합니다.
• 기존 성능 모델링 프레스크워크(예: Timeloop, AccelForge)는 수동적인 워크로드 명세가 필요하여 오류가 발생하기 쉽고, 빠른 모델 개발 속도와 단절되어 있습니다.

고수준 소스 코드(PyTorch/JAX)로부터 직접 검증된 SOL 경계를 자동으로 도출하는 기존의 도구는 존재하지 않습니다.

2. 방법론

SOLAR(Speed-of-Light Analysis for Runtime)는 생성적 번역과 결정론적 분석을 분리하는 3단계 파이프라인을 통해 이 간극을 메우는 소스-투-SOL(source-to-SOL) 프레임워크입니다.

1단계: 검증된 에이전트형 프런트엔드(Validated Agentic Frontend)

첫 번째 단계는 임의의 소스 프로그램을 실행 가능한 **아핀 루프 IR(Affine Loop IR)**로 번역합니다.

• 파서로서의 LLM: LLM 에이전트는 소스 코드를 언어 중립적인 중간 표현인 아핀 루프 IR로 번s합니다.
• IR 구조: IR은 프로그램을 다음과 같이 나눕니다:
  • 제한된 아핀 루프 커널(Restricted Affine Loop Kernels): 정적 경계와 아핀 인덱스 표현을 가진 명명된 차원 텐서 위의 완벽하게 중첩된 루프이며, einsum으로 기계적 리프팅(mechanical lifting)이 가능하도록 설계되었습니다.
  • 비제한적 구성 레이어(Unrestricted Composition Layer): 제어 흐름, 데이터 이동(reshape, slice), 그리고 희소 연산(sparse operations)을 처리합니다.
• 검증 루프: 정확성을 보장하기 위해, 시스템은 원본 프로그램을 실행하여 "골든(golden)" 출력을 캡처하고, LLM을 통해 IR을 생성한 뒤, Numba를 사용하여 IR을 실행하고 출력을 비교합니다. 불일치가 발생하면 진단 피드백이 LLM을 안내하여 번역을 수정하도록 합니다. 이 "생성 후 검증(generate-then-verify)" 루프는 다운스트림 파이프라인이 수치적으로 검증된 번역만을 받도록 보장합니다.

2단계: 결정론적 Einsum 생성

검려된 IR이 준비되면, 결정론적 컴파일러가 이를 Einsum 그래프로 리프팅합니다.

• 그래프 구축: 백엔드는 IR을 추적하여 확장된 einsum(reduction인 max 지원) 노드와 텐서 데이터 의존성을 나타내는 엣지로 구성된 유향 비순환 그래프(DAG)를 구축합니다.
• 기계적 도출: einsum의 서브스크립트 구조로부터 시스템은 정확한 MAC count와 메모리 트래픽 공식을 기계적으로 도출합니다.
• 융합 가능성 분석(Fusibility Analysis): 그래프 구조는 온칩 버퍼를 공유할 수 있는 인접 연산자를 식별하여, 시스템이 독립적 실행 대비 융합된 연산의 비용을 계산할 수 있게 합니다.

3단계: SOL 분석

분석 백엔드는 타겟 하드웨어 사양(피크 처리량 $\Pi$ 및 DRAM 대역폭 $\beta$)에 대해 이론적 최소 실행 시간($T_{SOL}$)을 계산합니다.

• Roofline 모델: $T_{SOL} = \max(\frac{\text{FLOPs}}{\Pi}, \frac{\text{Traffic}}{\beta})$.
• 다중 충실도 모드(Multi-Fidelity Modes):
  1. Unfused (비융합): 중간 단계 데이터의 완전한 DRAM 왕복을 가정하며 독립적인 실행을 가정합니다.
  2. Fused (융합): 융합된 연산자를 위해 무한한 온칩 버퍼 용량을 가정함으로써 중간 단계 DRAM 트래픽을 제거합니다.
  3. Cache-Aware Fused (캐시 인지 융합 - OROJENESIS): 유한한 온칩 버퍼 용량을 모델링합니다. 이는 작업 집합(working set)이 캐시 제한을 초 exceed할 때 발생하는 DRAM 재읽기를 고려하여, 타일링 전략을 최적화하기 위해 정수 선형 계획법(integer linear programming)을 사용합니다.
• 역 Roofline(Inverse Roofline): 타겟 레이턴시가 주어지면, 시스템은 최소 요구 하드웨어 사양($\Pi_{min}$ 및 $\beta_{min}$)을 도출합니다.

3. 주요 기여

1. 최초의 Source-to-SOL 프레임워크: SOLAR는 PyTorch 및 JAX 소스 코드로부터 직접 검증된 SOL 경계를 도출하는 최초의 도구이며, KernelBench에서 100% 분석 커버리지를 달성했습니다.
2. 하이브리드 생성-결정론적 파이프라인: 언어 중립적 번역을 위한 LLM(수치 검증 포함)과 재현 가능한 성능 분석을 위한 결정론적 컴파일러를 결មាន하여 독특한 구조를 가집니다. 이는 순수 LLM 추정의 오류를 피하면서 전통적인 모델링의 수동 작업 부담을 줄여줍니다.
3. 포괄적 평가: 커널, 알고리즘, 아키텍처 사용 사례 전반에 걸친 증거를 제공하여, 헤드룸 분석, 최적화 식별, 교차 플랫폼 탐색 및 하드웨어 프로비저닝 능력을 입증합니다.

4. 결과

평가는 KernelBench(270개 문제), JAX/Flax 모델, 그리고 Jetson Thor의 로보틱스 워크로드를 대상으로 수행되었습니다.

• 헤드룸 분석: SOLAR는 상당한 최적화 격차를 드러냅니다. KernelBench에서 측정된 런타임과 융합된 SOL 사이의 격차는 PyTorch eager 실행 기준 L1에서는 4.3배에서 L3에서는 54.6배에 달합니다. torch.compile조차도 상당한 헤드룸(예: L3에서 47.7배)을 남겨두고 있어, 복합 워크로드에서는 그래프 수준의 융합이 매우 중요함을 보여줍니다.
• 다중 충실도 통찰:
  • Fusion (융합): 융합 분석은 KernelBench의 연산자별 분석 대비 최대 7.8배의 추가 헤드룸을 드러냅니다.
  • Caching (캐싱): 캐시 인지 경계는 단순 융합 경계보다 최대 2.25배 더 타이트하게 SOL을 제한하며, 특정 시나리오에서 타일링이 병목임을 식별합니다.
  • 알고리즘 최적화: einsum 체인을 재정렬하는 것(예: DeepSeek MLA)은 단순한 순서 대비 2.04배의 FLOP 감소를 달성했습니다.
• 교차 플랫폼 투영: 물리적 접근 없이도 네 가지 하드웨어 타겟(B200, H100, A6000, Jetson Thor)에 대한 성능을 투영합니다. 융합의 이점은 플랫폼마다 크게 다르게 나타납니다(B200에서는 1.8배, Jetson Thor에서는 14.5배). 이는 대역폭과 융합 사이의 상호작용을 강조합니다.
• 하드웨어 프로비저닝 (Inverse Roofline): 500 Hz 제어 루프를 목표로 하는 로보틱스 모델에 대해, SOLAR는 대역폭이 주요 제약 조건임을 식별했습니다. 예를 들어, DreamZero WAM 모델은 레이턴시 목표를 달est하기 위해 현재 대역폭보다 19.7배 개선된 대역폭이 필요하며, 이는 실리콘 업그레이드만으로는 모델 압축이나 알고리즘 변경 없이는 불충분함을 시사합니다.

5. 의의 및 주장

본 논문은 SOLAR가 성능 최적화 접근 방식을 근본적으로 변화시켜, 수동 모델링 없이도 이론적 한계를 접근 가능하고 실행 가능하게 만든다고 주장합니다.

• 간극 해소: 모델 개발 속도와 하드웨어 성능 분석 사이의 단절을 메워, 최적화를 위한 "검증된" 천장을 제공합니다.
• 실행 가능한 통찰력: 다중 충실도 분석을 제공함으로써 엔지니어가 융합 부족, 잘못된 타일링, 또는 근본적인 알고리즘 비효율성 중 무엇이 병목인지 구분할 수 있도록 돕습니다.
• 하드웨어 불가지론적 설계: 아키텍트와 알고리즘 설계자가 실리콘이 존재하기 전에 디자인 공간을 탐색하고 하드웨어 요구 사항을 프로비저닝할 수 있게 하여, 남은 헤드룸이 거의 없는 작업에 컴퓨팅 자원과 토큰을 낭비하는 것을 방지합니다.

저자들은 분석이 텐서 형태(shape)에 기반하며(값은 제외), 이상적인 하드웨어 동작을 가정한다(열 스로틀링 무시)는 점을 강조하지만, 딥러닝 워크로드에 대한 자동화되고 검증된 포괄적인 이론적 빛의 속도(speed-of-light) 뷰를 제공한다고 강조합니다.