WebLLM: A High-Performance In-Browser LLM Inference Engine

이 논문은 MLC-LLM 과 Apache TVM 을 활용하여 WebGPU 와 WebAssembly 기반의 고성능 추론 엔진인 WebLLM 을 제안하며, 이를 통해 웹 브라우저 내에서 서버 의존 없이 프라이버시를 보장하는 온디바이스 LLM 애플리케이션을 실현할 수 있음을 보여줍니다.

핵심

🌟 핵심 비유: "거대한 도서관을 내 책상 위에 가져오다"

과거에 인공지능 (LLM) 을 쓰려면 어떻게 했을까요?
마치 거대한 도서관에 가서 책을 읽는 것과 같았습니다.

1. 도서관 (서버) 은 매우 크고 비쌉니다 (고성능 GPU 필요).
2. 책을 빌리려면 도서관까지 가야 합니다 (인터넷 연결 필요).
3. 도서관 사서 (서버) 가 책을 찾아서 우리에게 읽어줍니다.
4. 만약 도서관이 문을 닫거나, 사서가 바쁘면 우리는 기다려야 합니다.

하지만 이 논문 (WebLLM) 은 **"그 거대한 도서관을 통째로 내 책상 (웹 브라우저) 위로 가져와서, 내 손으로 직접 책을 읽게 만든 기술"**입니다.

🚀 WebLLM 이란 무엇인가요?

WebLLM은 웹 브라우저 (크롬, 사파리 등) 안에서 인공지능이 작동하도록 도와주는 **열린 도구상자 (오픈소스 프레임워크)**입니다.

1. 왜 웹 브라우저인가요? (누구나 접근 가능)

• 비유: 앱을 설치하거나 무거운 프로그램을 깔 필요 없이, 링크 하나만 클릭하면 바로 작동합니다.
• 장점: 누구나 스마트폰, 노트북, 태블릿 상관없이 바로 쓸 수 있습니다. 마치 "인터넷만 있으면 어디서나 책을 읽을 수 있는" 것과 같습니다.

2. 어떻게 가능한가요? (세 가지 마법 도구)

이 기술은 브라우저라는 좁은 공간에서 거대한 인공지능을 돌리기 위해 세 가지 마법 도구를 섞어 썼습니다.

• 🛠️ WebGPU (마법의 힘):

  • 보통 인공지능은 무거운 작업을 위해 강력한 그래픽 카드 (GPU) 가 필요합니다.
  • WebLLM 은 브라우저가 내 컴퓨터의 그래픽 카드 힘을 그대로 빌려서 사용합니다. 마치 "게임처럼 무거운 그림을 그리는 힘"을 인공지능이 글을 쓰는 데 쓰는 것입니다.
  • 중요한 점: 애플, 엔비디아, AMD 등 어떤 그래픽 카드를 쓰든 **하나의 언어 (WebGPU)**로만 작동하게 만들어서 호환성 문제를 해결했습니다.

• ⚡ WebAssembly (빠른 엔진):

  • 인공지능은 계산이 너무 많아서 일반 웹 언어만으로는 느립니다.
  • 그래서 C++ 로 작성된 **초고속 엔진 (WebAssembly)**을 브라우저 안에 심었습니다. 마치 포뮬러 1 레이싱카 엔진을 일반 승용차에 달아놓은 것처럼, 웹 브라우저가 비약적으로 빨라집니다.

• 🧩 Web Workers (배경 작업자):

  • 인공지능이 열심히 계산하는 동안, 우리가 보고 있는 웹 페이지가 멈추면 안 되죠?
  • 그래서 **배경에서 일하는 도우미 (Web Workers)**를 따로 둡니다. 도우미가 계산하는 동안, 우리가 보고 있는 화면은 여전히 부드럽게 움직입니다.

📊 성능은 어떨까요? (원래의 80% 수준!)

논문의 실험 결과를 보면 놀랍습니다.

• 비유: 원래는 "직접 도서관 (서버) 에 가서 사서에게 책을 읽어달라고 요청하는 것"이 가장 빠릅니다.
• 결과: WebLLM 은 그 속도의 **약 80%**를 브라우저 안에서 달성했습니다.
• 의미: "내 컴퓨터에서 직접 실행하니까 서버를 기다릴 필요도 없고, 내 데이터가 외부로 나가지 않아서 **보안 (프라이버시)**도 완벽하게 지킬 수 있습니다."

🎁 이 기술이 가져오는 변화

1. 프라이버시 보호: 내가 쓴 대화 내용이나 데이터가 외부 서버로 가지 않고 내 기기 안에서만 처리됩니다. (비밀을 지키는 금고)
2. 개인화: 내 컴퓨터에 있는 내 데이터로만 학습된 AI 를 만들 수 있습니다.
3. 접근성: 고가의 서버나 복잡한 설치 없이, 누구나 웹 링크 하나로 최신 AI 를 쓸 수 있습니다.

💡 한 줄 요약

"WebLLM 은 거대한 인공지능을 웹 브라우저라는 '작은 배'에 태워, 인터넷 연결 없이도 내 기기 안에서 빠르고 안전하게 항해하게 만든 기술입니다."

이 기술은 앞으로 우리가 웹을 사용할 때, AI 가 더 친근하고 안전한 친구가 되어줄 것임을 보여줍니다.

기술 요약

WebLLM: 브라우저 내 고성능 LLM 추론 엔진 기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 발전은 놀라운 능력을 열어주었지만, 기존 배포 방식은 서버급 GPU 와 클라우드 기반 추론에 의존해 왔습니다. 이로 인해 다음과 같은 한계가 존재했습니다:

• 접근성 부족: 고사양 하드웨어와 클라우드 인프라가 필요하여 일반 사용자의 접근이 제한적입니다.
• 개인정보 및 지연 시간: 데이터가 서버로 전송되어야 하므로 프라이버시 우려가 있고, 네트워크 지연이 발생합니다.
• 플랫폼 종속성: 다양한 기기 (Apple M 칩, NVIDIA GPU 등) 에 맞춰 각기 다른 백엔드 (CUDA, Metal 등) 를 위한 커널을 구현해야 하는 개발의 복잡성이 있습니다.

최근 소형 오픈소스 모델 (1~8B 파라미터) 과 양자화 (Quantization) 기술의 발전으로 소비자 기기에서의 온디바이스 추론이 가능해졌으나, 이를 웹 브라우저라는 보편적인 플랫폼에서 고성능으로 실행하는 기술적 과제가 남아있었습니다.

2. 방법론 (Methodology)

WebLLM 은 웹 브라우저 내에서 고성능 LLM 추론을 가능하게 하는 오픈소스 JavaScript 프레임워크입니다. 시스템 아키텍처는 다음과 같은 핵심 기술들을 결합하여 설계되었습니다.

• 하이브리드 실행 환경 (WebGPU & WebAssembly):
  • WebGPU: 다양한 GPU 벤더 (Apple, NVIDIA 등) 에 종속되지 않는 단일 API 를 제공하여 브라우저 내에서 GPU 가속을 가능하게 합니다.
  • WebAssembly (WASM): C++ 로 작성된 고성능 CPU 연산 로직을 브라우저에서 네이티브에 가까운 성능으로 실행하기 위해 사용됩니다.
• 멀티스레드 아키텍처:
  • ServiceWorkerMLCEngine (프론트엔드): 웹 애플리케이션에 노출되는 경량 엔진으로, OpenAI 스타일 API 를 통해 요청을 처리합니다.
  • MLCEngine (백엔드): 웹 워커 (Web Worker) 배경 스레드에서 실행되어 실제 LLM 워크로드를 계산합니다. 이를 통해 UI 스레드를 차단하지 않고 부드러운 사용자 경험을 제공합니다.
• MLC-LLM 및 Apache TVM 활용:
  • WebGPU 는 네이티브 백엔드 (CUDA 등) 에 비해 최적화된 커널 라이브러리가 부족합니다. 이를 해결하기 위해 MLC-LLM과 Apache TVM 컴파일러를 활용합니다.
  • Python 으로 작성된 오픈소스 모델 (PagedAttention, FlashAttention 등 포함) 을 WebGPU 커널로 변환하고, 그래프 수준 (커널 퓨전) 및 연산자 수준 (GEMM 타일링) 에서 최적화를 수행합니다.
• AOT (Ahead-of-Time) 컴파일:
  • 모델 가중치와 WASM 라이브러리는 미리 컴파일되어 온라인에 호스팅되며, 브라우저는 이를 다운로드하여 로컬 캐시에 저장한 후 실행합니다.

3. 주요 기여 (Key Contributions)

1. 브라우저 내 고성능 추론 엔진 구현: WebLLM 은 JavaScript 프레임워크로서 브라우저 내에서만 실행되는 첫 번째 고성능 LLM 추론 엔진을 제시합니다.
2. OpenAI 호환 API 제공: 개발자들이 기존 웹 애플리케이션에 LLM 기능을 쉽게 통합할 수 있도록 OpenAI 스타일 API (chat.completions.create 등) 를 제공합니다.
3. 플랫폼 종속성 제거: WebGPU 를 통해 하나의 구현으로 다양한 하드웨어 (Apple Silicon, NVIDIA GPU 등) 에서 실행 가능하게 하여 개발 복잡성을 획기적으로 줄였습니다.
4. 프라이버시 및 개인화: 데이터가 클라우드로 전송되지 않고 로컬에서 처리되므로, 개인정보 보호가 보장되고 로컬 데이터를 활용한 개인화된 LLM 애플리케이션 구축이 가능해집니다.

4. 평가 결과 (Results)

연구팀은 Apple MacBook Pro M3 Max 에서 WebLLM 과 네이티브 구현체인 MLC-LLM 을 비교 평가했습니다.

• 성능: 4 비트 양자화된 모델 (Llama-3.1-8B, Phi-3.5-mini 등) 을 기준으로 WebLLM 은 네이티브 MLC-LLM 대비 **최대 80% (약 71.2% ~ 79.6%) 의 토큰 생성 속도 (Decoding Throughput)**를 유지했습니다.
  • 예: Llama-3.1-8B 모델에서 WebLLM 은 41.1 tok/s, MLC-LLM 은 57.7 tok/s 를 기록했습니다.
• 의미: 브라우저 기반 배포가 네이티브 배포에 근접하는 성능을 달성하면서도 웹 플랫폼의 접근성과 이식성 장점을 유지할 수 있음을 입증했습니다.

5. 의의 및 결론 (Significance)

WebLLM 은 LLM 애플리케이션의 패러다임을 변화시키는 중요한 기술적 이정표입니다.

• 보편적 접근성: 추가 소프트웨어 설치 없이 URL 만으로 고품질 LLM 서비스를 이용할 수 있게 합니다.
• 프라이버시 보호: 민감한 데이터가 서버로 유출되지 않는 온디바이스 추론을 표준화합니다.
• 개발 생태계 확장: 웹 개발자들이 복잡한 ML 인프라 없이도 웹 애플리케이션에 고급 AI 기능을 통합할 수 있는 길을 열었습니다.

결론적으로, WebLLM 은 클라우드 의존도를 낮추고 사용자 중심의 프라이빗하며 개인화된 LLM 경험을 웹 브라우저에서 실현 가능하게 만드는 핵심 기술입니다.