기술 요약: 웹에서의 라마 (Llamas)

문제 제기

웹 브라우저에서 로컬로 대규모 언어 모델 (LLM) 을 실행하는 것은 사생활 보호, 지연 시간, 에너지 효율성 측면에서 상당한 장점을 제공합니다. 특히 모델 개발자들이 엣지 배포를 위해 설계된 오픈 가중치 모델을 출시함에 따라 그 중요성이 커지고 있습니다. 그러나 이러한 잠재력을 실현하는 것은 기존 브라우저 기반 추론 프레임워크 (예: WebLLM, Transformers.js) 에 존재하는 세 가지 주요 제약으로 인해 방해받고 있습니다.

1. 비효율적인 메모리 사용: 기존 엔진들은 종종 GPU 메모리를 동적으로 할당하고 가중치를 비효율적으로 로드합니다. 이로 인해 실행 중 메모리가 증가하여 브라우저가 탭별로 강제하는 하드 메모리 제한으로 인해 속도가 느려지거나 충돌이 발생합니다.
2. 성능 이식성 설계의 부재: WebGPU 는 다양한 하드웨어 간 기능적 이식성을 제공하지만, 기존 프레임워크는 충분한 커널 전문화 (specialization) 가 부족합니다. 이들은 특정 장치의 기능 (예: 서브그룹 연산, 텐서 코어) 에 맞게 튜닝하지 못하여 브라우저의 이질적인 하드웨어 환경 전반에서 최적의 성능을 내지 못합니다.
3. 제한된 양자화 지원: llama.cpp 생태계에서 사용되는 다양한 양자화 형식 (구식 방식부터 고급 K-quant 및 I-quant 까지) 을 지원하기 위해 추론 엔진은 유연한 커널 설계가 필요합니다. 기존 프레임워크는 이러한 다양한 형식을 효율적으로 지원하거나 새로운 형식을 신속하게 통합할 수 있는 확장성이 부족한 경우가 많습니다.

방법론: LlamaWeb

저자들은 이러한 제약 사항을 해결하기 위해 설계된 llama.cpp 용 WebGPU 백엔드인 LlamaWeb을 제시합니다. 이 시스템은 광범위한 모델 지원과 활발한 생태계를 활용하기 위해 llama.cpp 코드베이스 내에서 구축되었습니다. 설계는 세 가지 핵심 기둥에 초점을 맞춥니다.

1. 메모리 효율적인 로컬 추론

메모리 오버헤드를 최소화하고 메모리 제약이 있는 장치에서의 안정성을 보장하기 위해:

• 정적 메모리 할당: FlashAttention 과 같은 연산을 위한 중간 데이터 구조와 커널 매개변수를 위한 고정 크기의 슬롯 영역을 포함한 모델 실행에 필요한 모든 메모리는 시작 시 정적으로 할당됩니다. 이는 동적 버퍼 생성과 단편화를 방지합니다.
• 최적화된 로드: 시스템은 wllama 라이브러리를 활용하여 Origin Private File System (OPFS) 에서 가중치를 비동기적으로 스트리밍하여 직접 WebGPU 버퍼로 전송합니다. 이는 가중치를 WebAssembly 힙에 물리화 (materializing) 하는 것을 피하는데, WebAssembly 힙은 증가만 가능하고 탭 수명 동안 메모리를 해제할 수 없습니다.
• 매개변수 버퍼 아레나: 커널 매개변수를 위한 작은 버퍼의 동적 풀을 유지하는 것 (단편화의 일반적인 원인) 대신, LlamaWeb 은 구성 가능한 슬롯을 가진 단일 정적 버퍼를 할당하고 이를 순환하여 커널 실행이 완료될 때까지 매개변수가 덮어쓰지 않도록 보장합니다.

2. 성능 이식성 커널 라이브러리

이질적인 하드웨어 전반에서 성능을 극대화하기 위해:

• 템플릿 쉐이더 생성: 백엔드는 장치별 기능 (예: 서브그룹 지원) 과 데이터 형식을 기반으로 쉐이더를 생성하는 맞춤형 WGSL 전처리기 (pre-wgsl) 와 커널 라이브러리를 사용합니다.
• 튜닝 가능한 매개변수: 행렬 곱셈을 위한 타일 크기 및 작업 그룹 크기 같은 주요 매개변수는 튜닝이 가능합니다. 저자들은 서로 다른 벤더의 네 가지 GPU 에서 수천 가지 구성을 스윕 (sweep) 하는 실증 연구를 통해 "성능 이식성"이 있는 기본값을 도출했습니다.
• 실행 스케줄링: 런타임은 커널 제출을 효율적으로 그룹화하고 CPU-GPU 동기화를 최소화합니다. 초기 순방향 전달 후 중복 컴파일 비용을 방지하기 위해 컴파일된 파이프라인을 캐시합니다.

3. 양자화 인식 쉐이더 설계

llama.cpp 의 다양한 양자화 형식을 지원하기 위해:

• 통합 역양자화: 역양자화 루틴은 계산 커널과 함께 설계됩니다. 행렬 곱셈의 경우, 양자화된 블록이 로드되어 공유 메모리로 역양자화되고 재사용됩니다. 행렬 - 벡터 곱셈 (디코드 단계) 의 경우, 메모리 접근 패턴을 개선하기 위해 역양자화가 직접 레지스터에서 수행됩니다.
• 확장성: 시스템은 양자화 형식을 부호 없는 32 비트 정수의 평탄한 버퍼로 표현하며, 역양자화 로직은 컴파일 시 선택됩니다. 이를 통해 새로운 형식 (예: 최근 도입된 1 비트 모델을 위한 q1_0) 을 핵심 행렬 연산 구현을 다시 작성하지 않고 역양자화 루틴을 추가하여 통합할 수 있습니다.

주요 기여

1. 메모리 효율적인 추론 엔진: 메모리를 정적으로 할당하고 데이터 이동을 최적화하는 WebGPU 구현으로, 메모리 제약이 있는 엣지 장치에서 예기치 않은 충돌 없이 유용한 모델의 실행을 가능하게 합니다.
2. 유연한 쉐이더 라이브러리: 외부 튜닝을 지원하고, 사용 가능한 하드웨어 기능 (예: 서브그룹 행렬 연산) 에 따라 쉐이더를 전문화하며, 최적화된 스케줄링 런타임을 활용하는 LLM 추론용 라이브러리입니다.
3. 공동 설계된 양자화 커널: llama.cpp 의 광범위한 양자화 형식과 함께 작동하도록 설계된 일련의 핵심 커널 (행렬 연산) 로, 다양한 크기에 최적화된 모델 배포를 가능하게 하고 emerging 양자화 방법의 통합을 용이하게 합니다.

실험 결과

저자들은 8 개 벤더의 16 개 장치(NVIDIA, AMD, Intel, Apple, Qualcomm, Samsung, ARM, Imagination Technologies 포함) 에서 4 개 가중치 형식을 가진 10 개 언어 모델을 실행하여 LlamaWeb 을 평가했습니다.

• 메모리 효율성: WebLLM 및 Transformers.js 와 비교하여 LlamaWeb 은 다양한 장치/브라우저/OS 조합에서 평균적으로 피크 브라우저 메모리 사용량을 29–33% 줄였습니다. 특정 테스트 (예: Apple M4 의 Safari) 에서는 메모리 누수가 발생했던 Transformers.js 보다 최대 59% 적은 메모리를 사용했습니다.
• 디코드 처리량: LlamaWeb 은 서로 다른 벤더의 네 가지 GPU 에서 WebLLM 및 Transformers.js 보다 45–69% 높은 디코드 처리량을 달성했습니다.
• 프리필 처리량: 프리필 단계 동안 LlamaWeb 은 WebLLM(21–51% 저조) 및 Transformers.js 보다 초기에 성능이 떨어졌습니다. 저자들은 이를 WebLLM 의 TVM 커널 퓨전 사용과 Transformers.js 의 서브그룹 최적화 구현 때문이라고 설명합니다. 그러나 안전 검사를 비활성화하고 브라우저 외부에서 LlamaWeb 을 네이티브로 실행할 때 다른 프레임워크보다 성능이 뛰어났으며, 이는 브라우저 특유의 안전 검사 및 브라우저 내 안정적인 서브그룹 행렬 지원 부재가 주요 병목 현상임을 시사합니다.
• 네이티브 대 브라우저 성능: 일부 장치 (예: Intel Arc B580) 에서 LlamaWeb 의 WebGPU 백엔드는 특정 작업에 대해 네이티브 백엔드 (예: SYCL) 와 경쟁하거나 더 빠른 성능을 보였습니다. 그러나 네이티브 백엔드 (CUDA, Metal) 는 텐서 코어 및 비동기 메모리 로드와 같은 벤더별 기능을 더 잘 활용하여 프리필에서 최대 10 배, 디코드에서 2.5 배까지 더 나은 성능을 보였습니다.
• 양자화 영향: 연구에 따르면 양자화는 메모리 요구 사항을 줄이지만, 역양자화의 계산 비용으로 인해 성능이 항상 선형적으로 향상되는 것은 아닙니다. 예를 들어, q8_0 에서 q4_k_m 으로 변경하면 처리량이 개선되었지만, 중간 등급 클러스터에서 q2_k 로 변경하면 처리량이 감소했습니다.

중요성 및 주장

이 논문은 LlamaWeb 이 브라우저 기반 LLM 추론을 접근 가능하고, 사생활이 보호되며, 성능이 우수하게 만드는 중요한 단계라고 주장합니다. llama.cpp 생태계와 통합함으로써 다른 브라우저 프레임워크가 따라올 수 없는 방대한 모델 라이브러리 (GGUF 형식의 177,691 개 호환 모델) 를 지원합니다.

저자들은 그들의 작업이 신중한 커널 튜닝과 정적 메모리 계획을 통해 브라우저에서 성능 이식성이 달성 가능함을 보여준다고 강조합니다. 네이티브 백엔드가 현재 성능 우위를 점하고 있음을 인정하지만, LlamaWeb 은 플랫폼별 네이티브 설치가 필요하지 않은 경쟁력 있는 크로스 플랫폼 대안을 제공합니다. 또한 이 작업은 브라우저 기반 AI 의 잠재력을 완전히 실현하기 위해 더 작은 정수 형식에 대한 더 나은 지원과 성능을 저해하는 런타임 안전 검사 제거와 같은 WebGPU 사양의 추가 개선이 필요함을 강조합니다.

이 코드는 오픈 소스이며 100 건 이상의 풀 리퀘스트를 통해 llama.cpp 코드베이스에 통합되어 72 개의 핵심 ML 연산자와 23 개의 데이터 형식을 지원합니다.