🤖 AI

BaseRT: Best-in-Class LLM Inference on Apple Silicon via Native Metal

이 논문은 칩 특화 최적화를 활용하여 대규모 언어 모델에 대해 llama.cpp 및 MLX와 같은 기존 프레임워크보다 최대 1.56배 높은 기록적인 처리량을 달성하는 Apple Silicon용 네이티브 Metal 추론 런타임인 BaseRT를 소개한다.

원저자: Prabod Rathnayaka, Fabian Waschkowski, Lukas Wesemann

게시일 2026-07-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Prabod Rathnayaka, Fabian Waschkowski, Lukas Wesemann

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 커스텀 레이스카 제작하기

당신이 아주 특정한 트랙(Apple Silicon 칩인 M3 또는 M4)에서 레이스카(대규모 언어 모델, 즉 LLM)를 운전하고 싶다고 상상해 보세요.

현재 대부분의 사람들은 "범용 어댑터"나 "렌탈 카 키트"(llama.cpp 또는 MLX와 같은 기존 소프트웨어)를 사용하여 이 차를 운전합니다. 이러한 키트들은 다양한 트랙에서 잘 작동한다는 장점이 있지만, 바로 '이 특정' Apple 트랙에 완벽하게 튜닝되어 있지는 않습니다. 불필요한 무게가 실려 있고, 단계가 더 많으며, 지름길을 모르는 운전자가 타고 있는 것과 같습니다.

BaseRT는 오직 Apple 트랙만을 위해 설계된 새로운 커스텀 레이스카입니다. Base Compute 팀은 무거운 어댑터들을 모두 제거하고, 트랙의 독특한 곡선과 규칙에 딱 맞도록 바닥부터 차량을 새로 구축했습니다. 그 결과는? 훨씬 더 빠르게 달립니다.

문제점: 왜 기존 소프트웨어는 "느린가"?

이 논문은 Apple 기기에서 AI를 실행하는 기존 소프트웨어가 마치 너무 많은 곳에 들러야 하는 배달 트럭과 같다고 주장합니다.

"중간 관리자" 문제: 대부분의 소프트웨어는 컴퓨터의 그래픽 칩(GPU)과 대화하기 위해 "프레임워크"(중간 관리자 역할)를 사용합니다. 이 중간 관리자는 매 작업마다 클립보드를 확인하는 매니저처럼 추가적인 단계를 더합니다.
"메모리" 문제: Apple 컴퓨터에는 CPU와 GPU가 동일한 거대한 RAM 풀을 공유하는 "통합 메모리(Unified Memory)"라는 특별한 기능이 있습니다. 기존 소프트웨어는 종종 이 둘을 서로 다른 방에 있는 것처럼 취급하여, 데이터가 불필요하게 왔다 갔다 하게 만듭니다.

해결책: BaseRT는 어떻게 작동하는가?

BaseRT는 중간 관리자를 없애고 뇌(CPU/GPU)와 근육 사이의 직통 고속도로를 건설합니다. 이들이 사용한 네 가지 주요 기술은 다음과 같습니다.

"데이터 기반" 청사진:
매번 새로운 AI 모델(Qwen, Llama, Gemma 등)마다 새로운 지침 세트를 작성하는 대신, BaseRT는 하나의 유연한 청사진을 사용합니다. 이것은 마치 모든 TV 브랜드마다 다른 리모컨을 가질 필요 없이, 가리키는 TV를 자동으로 감지하여 버튼을 즉시 바꾸는 만능 리모컨과 같습니다. 덕 การ 엔진이 재설정하느라 멈추지 않고 매끄럽게 계속 돌아갑니다.
"무정차" 루프:
AI에게 문장을 쓰라고 요청하면, AI는 한 번에 한 단어씩 생성합니다. 기존 소프트웨어에서는 컴퓨터가 생성되는 매 단어마다 주차 공간(메모리 할당)을 찾아야 합니다. BaseRT는 경주가 시작되기 전에 모든 주차 공간을 미리 확보해 둡니다. 일단 AI가 말을 시작하면, 주차 공간을 찾느라 멈추지 않고 계속 달려 나갑니다. 이는 메모리 관리로 인한 "교통 체증"을 제거합니다.
"퓨전" 주방:
보통 AI는 재료를 각각의 냄비(행렬 곱셈, 어텐션, 정규화)에서 따로 요리한 뒤 재료를 옮겨야 합니다. BaseRT는 이 단계들을 하나의 거대한 냄비로 합칩니다. 재료를 한 번의 동작으로 함께 요리하여, 음식을 옮기는 데 드는 시간을 절약합니다.
"커스텀 드라이버":
이 소프트웨어는 자신이 어떤 Apple 칩(M1, M2, M3 등)에서 실행되고 있는지 정확히 알고 있습니다. 엔진 크기에 따라 운전 스타일을 조정하여, 연료 한 방울에서도 최대한의 출력을 뽑아냅니다.

결과: 누가 경주에서 승리했는가?

팀은 BaseRT를 두 명의 가장 강력한 경쟁자인 llama.cpp(가장 인기 있는 오픈 소스 실행기) 및 MLX(Apple의 공식 프레임워크)와 테스트했습니다.

속도: BaseRT는 거의 모든 테스트에서 가장 빨랐습니다.
- 작은 모델의 경우, llama.cpp보다 최대 1.56배 더 빨랐습니다.
- 복잡한 AI 브레인인 대규모 "전문가 혼합(Mixture-of-Experts)" 모델의 경우, 초기 프롬프트 처리 속도가 최대 1.78배 더 빨랐습니다.
"작은 모델"의 스윗 스팟: 가장 큰 승리는 작은 모델에서 나타났습니다. 이는 작은 모델의 경우, "오버헤드"(행정 업무에 낭비되는 시간)가 전체 시간에서 차지하는 비중이 매우 크기 때문입니다. 이 낭비를 제거함으로써 BaseRT는 엄청난 차이를 만들어냈습니다.
"큰 모델"의 현실: 매우 큰 모델의 경우, 속도는 주로 데이터를 메모리로 이동시키는 속도(대역폭)에 의해 제한됩니다. 완벽한 엔진을 갖추더라도 도로의 제한 속도보다 빨리 갈 수는 없습니다. 하지만 BaseRT는 여기서도 추가적인 속도를 짜내는 데 성공했으며, 이는 이전 소프트웨어들이 도로를 효율적으로 사용하지 못했음을 증명합니다.

이것이 왜 중요한가? ("엣지"로의 전환)

이 논문은 우리가 AI가 먼 클라우드 서버가 아닌, 여러분의 개인 기기(노트북이나 스마트폰)에서 실행되는 시대로 이동하고 있다고 제안합니다.

개인정보 보호: 당신의 데이터는 컴퓨터를 떠나지 않습니다.
속도: 인터넷을 통해 요청을 주고받기 위해 기다릴 필요가 없습니다.
비용: 단어당 월간 비용을 지불하는 대신, 하드웨어를 한 번 구매하는 것으로 충분합니다.

BaseRT는 Apple 실리콘이 만약 전용 소프트웨어를 사용한다면, 우리가 생각했던 것보다 훨씬 더 강력하게 로컬 AI를 실행할 수 있다는 것을 증명합니다.

BaseRT가 하지 못하는 것 (한계점)

이 논문은 이 도구가 아직 무엇이 아닌지에 대해서도 솔직하게 밝히고 있습니다.

단일 사용자 전용: 한 번에 한 명의 사용자가 AI를 사용하는 데 최적화되어 있습니다. 수백 명의 사람이 동시에 질문을 던지는 상황(서버 부하)은 처리하지 않습니다.
Apple 전용: Mac과 iPad에서만 작동합니다. 아직 Windows, Android 또는 NVIDIA 그래픽 카드에서는 작동하지 않습니다.
아직 "시각" 기능 없음: 현재는 텍스트 모델을 다루며, 이미지를 "볼 수 있는" 모델은 다루지 않습니다.

결론

저자들은 Apple 컴퓨터에서 AI를 실행할 때 발생하는 모든 불필요한 짐을 제거한 커스텀 엔진(BaseRT)을 만들었습니다. 이를 통해 하드웨어의 전체 잠재력을 끌어올려, 로컬 AI를 그 어느 때보다 빠르고, 프라이빗하며, 효율적으로 만들었습니다. GitHub에서 직접 체험해 볼 수 있습니다.

기술 요약: BaseRT – 네이티브 Metal을 통한 Apple Silicon 기반 최상급 LLM 추론

문제 정의

본 논문은 Apple Silicon에서의 대규모 언어 모델(LLM) 추론 성능 격차를 식별한다. Apple의 통합 메모리 아키텍처(UMA)는 로컬 LLM 배포에 적합한 높은 대역폭과 용량을 제공하지만, 기존의 런타임들은 이 하드웨어를 충분히 활용하지 못하고 있다.

프레임워크 오버헤드: llama.cpp(원래 CPU 우선이며 Metal 백엔드를 갖춤) 및 MLX(지연 평가를 사용하는 범용 배열 프레임워크)와 같은 지배적인 런타임들은 구조적 제약을 유발한다. 여기에는 불필요한 추상화 계층, 프레임워크 수준의 스케줄링, 그리고 Metal의 실행 모델에 최적화되지 않은 디스패치 오버헤드가 포함된다.
최적화되지 않은 자원 활용: 이러한 프레임워크들은 커널 런칭 오버헤드, 메모리 레이아웃 비효률성, 칩 특화 커널 퓨전(kernel fusion) 능력의 부재와 관련하여 성능을 온전히 끌어내지 못하는 경우가 많다.
엣지 추론 컨텍스트: 산업이 프라이버시, 지연 시간, 연결성 및 비용 문제로 인해 엣지 추론으로 이동함에 따라, 현재의 런타임이 소비자용 하드웨어에서 처리량(throughput)을 극대화하지 못하는 것은 온디바이스 AI의 생존 가능성을 제한한다.

방법론

BaseRT는 MLX, PyTorch 또는 CoreML과 같은 중간 프레임워크에 대한 의존성을 제거하고 Apple의 Metal GPU API 위에 직접 구축된 네이티브 C++ 추론 런타임이다. 설계는 오버헤드를 최소화하기 위해 네 가지 핵심 원칙을 따른다:

데이터 중심 아키텍처 디스크립터 (Data-Driven Architecture Descriptors): 아키텍처 변형(예: 어텐션 메커니즘, 정규화)을 조건부 분기(conditional branch)를 통해 추론 루프에 하드코딩하는 대신, BaseRT는 이러한 차이점을 데이터로서 포착한다. 압축된 디스크립터가 엔진을 구동함으로써, 다양한 모델 패밀리(LLaMA, Qwen3, Gemma 등)에 대해 "핫 패스(hot path)"가 동일하게 유지되도록 하여 분기를 줄이고 균일성을 개선한다.
제로 할당 디코드 루프 (Zero-Allocation Decode Loop): 메모리 관리 경합을 제거하기 위해 모든 중간 버퍼(잔차, 어텐션 스크래치, 로짓, KV 캐시)는 로드 시점에 미리 할당된다. 디코드 루프는 운영 중에 0바이트를 할당하며, 전적으로 GPU 커맨드 디스패치와 경량화된 CPU 측 패칭(patching)에 의존한다.
커널 퓨전 및 특화 (Kernel Fusion and Specialization):
- 퓨전 (Fusion): BaseRT는 다른 런타임에서 별도의 커널로 디스패치되는 연산 시퀀스(예: 어텐션 경로 및 피드포워드 블록 내)를 퓨전한다. 이는 글로벌 메모리 왕복(round-trips)과 커널 런칭 오버헤드를 줄여주며, 이는 개별 커널 실행 시간이 짧은 디코드 단계에서 매우 중요하다.
- 특화 (Specialization): 런타임은 각 양자화 형식(Q2–FP16)에 대한 전용 GEMV(디코드용) 및 GEMM(프리필용) 변형을 가진 수작업으로 작성된 Metal 셰이더 라이브러리를 포함한다. 가중치를 글로벌 메모리에 실체화(materialize)하는 것을 피하기 위해 역양자화(dequantization)가 내부 루프에 직접 통합되어 있다.
- 하드웨어 적응성: 커널 선택, 스레드그룹 크기 및 퓨전 결정은 특정 칩(M1–M5) 및 GPU 코어 수에 따라 동적으로 구성된다.
프리필 최적화 (Prefill Optimization): 프리필 작업은 simdgroup 매트릭스 인트린직을 사용하는 타일형(tiled) GEMM 커널을 활용한다. FlashAttention 구현은 온라인 소프트맥스를 사용하여 타일 단위로 어텐션을 계산함으로써 $O(n)$ 메모리 복잡도를 달성하고, 전체 $O(n^2)$ 어텐션 행렬의 실체화를 방지한다.

주요 기여

네이티브 Metal 런타임: MLX나 다른 중간 프레임워크에 의존하지 않고 Metal 상에 네이티브하게 구축된 최초의 Apple Silicon용 LLM 추론 런타임이다.
칩 특화 최적화: Apple Silicon의 토폴로지에 특별히 맞춤화된 커널 퓨전 전략 및 통합 메모리 인식 데이터 레이아웃 구현.
커스텀 디스패치 로직: 프레임워크 기반 런타임에서 발견되는 연산당 스케줄링 및 그래프 평가 작업을 제거하는 저오버헤드 커맨드 디스패치 메커니즘.
포괄적인 벤치마킹: M3 및 M4 Pro 기기에서 여러 모델 패밀리(Qwen3, Llama 3.2, Gemma 4)와 양자화 수준(Q4, Q8)에 대한 엄격한 평가를 통해 새로운 처리량 기준을 수립함.

결과

논문은 BaseRT가 현재까지 Apple Silicon에서 가장 높은 추론 처리량을 달성했다고 보고하며, llama.cpp, MLX, 그리고 네이티브 Metal 런타임인 uzu (Mirai)를 능가한다.

디코드 처리량 (토큰 생성):
- BaseRT는 테스트된 모델 전반에서 llama.cpp보다 1.04× ~ 1.56× 더 높은 처리량을 달성한다. 개선 폭은 고정된 토큰당 오버헤드가 레이턴시의 큰 비중을 차지하는 작은 밀집 모델(예: Qwen3-0.6B에서 56% 더 빠름)에서 가장 두드라진다.
- BaseRT는 대부분의 모델에서 MLX보다 1.01× ~ 1.35× 더 높은 처리량을 달s한다.
- M3 기본 기기에서, BaseRT는 llama.cpp를 1.13× ~ 1.34×, MLX를 1.01× ~ 1.22× 앞선다.
프리필 처리량 (프롬프트 프로세싱):
- 밀집 모델 (Dense Models): 프리필은 컴퓨팅 집약적이며 GPU matmul 유닛을 포화시키기 때문에 런타임 간 성능이 비슷하게 나타난다. BaseRT는 짧은 프롬프트에서는 앞서지만, 일부 밀집 모델의 긴 프롬프트에서는 약간 뒤처진다.
- 혼합 전문가 모델 (MoE Models): BaseRT는 상당한 우위를 보이며, 짧은 프롬프트 길이에서 MoE 모델(예: Qwen3-30B-A3B)에 대해 MLX보다 최대 1.78×, llama.cpp보다 1.81× 더 높은 처리량을 달성한다.
uzu와의 비교: BaseRT는 대부분의 구성에서 디코드 처리량에서 uzu를 능가한다(Qwen3-0.6B에서 최대 1.19×). 그러나 uzu는 밀집 모델의 프리필 처리량에서 앞서는데, 이는 BaseRT(GPU 전용 경로)가 현재 활용하지 못하는 MPSGraph를 통한 Apple Neural Engine(ANE) 활용 능력 때문인 것으로 보인다.

의의 및 주장

논문은 BaseRT가 Apple Silicon에서 온디바이스 LLM 추론을 위한 새로운 성능 기준을 확립하며, 프레임워크 기반 접근 방식이 하드웨어의 잠재력을 체계적으로 과소 활용해 왔음을 입증한다고 주장한다.

하드웨어 역량의 재정의: 결과는 프레임워크 추상화 오버헤드를 제거했을 때 성능 천장이 훨씬 높다는 점을 보여줌으로써, Apple Silicon이 이전에 보고된 것보다 더 유능한 추론 플랫폼임을 시사한다.
엣지 추론 활성화: 1B 미만부터 30B 파라미터 모델까지 일관된 최상급 처리량을 제공함으로써, BaseRT는 프라이버시 요구사항, 지연 시간 제약, 클라우드 비용 압박에 따른 엣지 추론 패러다임 전환을 위한 핵심적인 계층 역할을 한다.
오픈 가용성: 본 런타임은 공개적으로 사용 가능하여, 커뮤니티가 이러한 네이티브 최적화를 활용할 수 있도록 한다.

저자들은 현재 BaseRT가 단일 장치 추론만을 지원하고, 연속 배칭(continuous batching) 또는 텐서 병렬성(tensor parallelism)이 부족하며, Apple Metal에 국한되어 있다는(CUDA/Vulkan 백엔드 미지원) 한계를 언급하며 겸허한 태도를 유지한다. 향후 연구는 아키텍처 범위 확장 및 광범위한 플랫폼 호환성을 위한 백엔드 지원 추가를 목표로 한다.