WebLLM: A High-Performance In-Browser LLM Inference Engine

Dit paper introduceert WebLLM, een open-source JavaScript-framework dat gebruikmaakt van WebGPU en WebAssembly om hoogpresterende, privacy-bewuste LLM-inferentie volledig in de browser mogelijk te maken.

De kern

Stel je voor dat je een superintelligente robot hebt die je kunt helpen met schrijven, coderen of plannen maken. Tot nu toe moest je deze robot altijd ergens anders laten wonen (in een grote, dure server in de wolken) en je moest een telefoonnetje gebruiken om met hem te praten. Dat kostte tijd, het was niet altijd privé, en als je internet uitviel, was je robot weg.

WebLLM is als het bouwen van een eigen robot die direct in je computer of telefoon woont, maar dan zonder dat je iets hoeft te installeren. Je opent gewoon een website en poef, daar is je slimme assistent.

Hier is hoe dit werkt, vertaald naar alledaagse beelden:

1. De "Magische Website" (De Browser als Huis)

Vroeger was het moeilijk om zware slimme programma's in een webbrowser te laten draaien. Het was alsof je probeerde een zware tractor in een kleine fiets te stoppen.
WebLLM is de oplossing die zegt: "Nee, we bouwen een speciale fiets die net zo sterk is als een tractor."

• Het voordeel: Je hoeft niets te downloaden of te installeren. Je opent gewoon een link (URL) en je hebt direct toegang tot een slimme AI. Het werkt op elke computer of telefoon, of je nu een Apple, een Windows-laptop of een Android-telefoon hebt.

2. De Twee Werknemers (Web Workers & WebGPU)

Een slimme AI is zwaar werk. Als je dat op je hoofdcomputer doet, kan je scherm bevriezen, alsof je probeert te rennen terwijl je een bakstenen muur vasthoudt.
WebLLM gebruikt een slimme truc met twee werknemers:

• De Voordeur (De Website): Dit is wat jij ziet. Hij blijft snel en soepel, zodat je kunt scrollen en klikken.
• De Kelder (Web Workers): Dit is een verborgen werkplek op de achtergrond. Hier doet de zware rekenarbeid plaats. Het is alsof je een kok hebt die in een aparte keuken (de kelder) kookt, terwijl jij in de woonkamer rustig kunt zitten. Je merkt niets van de rommel en het lawaai.

3. De Superkracht (WebGPU)

Om die robot snel te laten denken, heb je kracht nodig. Normaal gesproken gebruiken computers hun eigen speciale gereedschap (zoals NVIDIA-kaarten of Apple-chips). Maar een website kan niet weten welke gereedschappen je hebt.
WebLLM gebruikt WebGPU.

• De Analogie: Stel je voor dat je een gereedschapskist hebt die automatisch past op elke schroevendraaier, of het nu van een Amerikaans of een Chinees merk is. WebLLM praat met je computer in een universele taal die elke moderne computer begrijpt. Hierdoor kan de AI gebruikmaken van de kracht van je videokaart, zelfs in de browser.

4. De "Vooraf Gekookte Maaltijd" (MLC-LLM & Compilers)

Het grootste probleem was dat deze "universele gereedschapskist" nog geen snelle instructies had voor de zware taken.
De makers van WebLLM hebben een kookboek (MLC-LLM) gemaakt.

• Ze nemen de "recepten" van de slimme robots (zoals Llama of Phi) en zetten ze om in een formaat dat perfect werkt in de browser.
• Ze "bakken" de zware taken vooraf in een speciale vorm (WebAssembly) die de computer heel snel kan eten. Hierdoor is de robot bijna net zo snel als als hij direct op de computer zou staan, zonder dat je de browser nodig hebt.

Wat betekent dit voor jou?

In het kort:

• Privacy: Je gesprek blijft bij jou. De robot denkt in jouw computer, niet in een server ergens ver weg. Niemand leest je berichten mee.
• Snelheid: Het werkt razendsnel, zelfs zonder internet (zodra het eenmaal is geladen).
• Toekomst: Je kunt nu apps maken die slimme AI-functies hebben, zonder dat je dure servers nodig hebt.

Conclusie:
WebLLM is de sleutel die de deur opent naar een wereld waarin elke website een slimme, privé-assistent kan hebben die direct op jouw apparaat werkt. Het is alsof je de kracht van een supercomputer in je broekzak hebt, zonder dat je ooit een app hoeft te downloaden.

Technische samenvatting

Probleemstelling

Hoewel Large Language Models (LLM's) revolutionaire mogelijkheden bieden, vereist de implementatie ervan doorgaans zware server-GPU's en cloud-infrastructuur. Dit leidt tot problemen met betrekking tot privacy (gegevens worden naar de cloud gestuurd), latentie (vertraging door netwerkverkeer) en kosten. Hoewel er een trend is naar kleinere, open-source modellen die op consumentenhardware draaien, ontbreekt er een universeel toegankelijk platform voor lokale implementatie.

De webbrowser wordt gezien als een ideale kandidaat voor "on-device" implementatie vanwege drie factoren:

1. Universele toegankelijkheid: Geen installatie nodig, slechts een URL.
2. Natuurlijke agent-omgeving: Ideaal voor taken zoals e-mailbeantwoorden of documentcreatie.
3. Backend-abstractie: Browsers abstraheren de complexiteit van verschillende hardwarefabrikanten (bijv. Apple M-chips vs. NVIDIA GPU's) via standaarden zoals WebGPU.

Het uitdaging is echter om hoge prestaties te halen binnen de beperkingen van een browseromgeving, waar traditionele GPU-bibliotheken (zoals CUDA) niet beschikbaar zijn.

Methodologie

WebLLM is een open-source JavaScript-framework dat LLM-inferentie volledig in de browser uitvoert. De architectuur is ontworpen om drie hoofduitdagingen op te lossen: een gestandaardiseerde API, aanpassing aan de browser-runtime, en efficiënte GPU-versnelling.

1. Architectuur en Componenten:

• ServiceWorkerMLCEngine (Frontend): Een lichtgewicht engine die door webapplicaties wordt gebruikt. Deze biedt een endpoint-achtige interface en communiceert via JSON (OpenAI-stijl).
• MLCEngine (Web Worker): De zware berekeningen worden uitgevoerd in een achtergrondthread (Web Worker) om de UI-vloeiendheid te garanderen. Communicatie tussen frontend en backend verloopt via berichtenuitwisseling.
• WebGPU & WebAssembly:
  • WebGPU: Wordt gebruikt voor GPU-versnelling. Het is backend-agnostisch, wat betekent dat dezelfde kernels werken op verschillende hardware (Apple, NVIDIA, AMD).
  • WebAssembly (WASM): Wordt gebruikt voor CPU-berekeningen die niet op de GPU passen (zoals sequentiemanagement en tensor-manipulatie). WebLLM compilaat C++-subsystemen naar WASM via Emscripten voor bijna-native prestaties.

2. Compilatie en Optimalisatie (MLC-LLM & Apache TVM):
Een groot obstakel voor WebGPU is het gebrek aan geoptimaliseerde kernel-bibliotheken voor complexe LLM-operatoren (zoals PagedAttention en FlashAttention). WebLLM lost dit op door gebruik te maken van machine learning-compilers:

• MLC-LLM: Neemt Python-implementaties van open-source modellen en compileert deze naar specifieke backends (WebGPU).
• Optimalisaties: De compiler past graph-level optimalisaties toe (zoals kernel-fusie) en operator-level optimalisaties (zoals GEMM-tiling).
• Artifacts: Het resultaat zijn vooraf gecompileerde (AOT) bestanden: geconverteerde gewichten en een WASM-bibliotheek die de WebGPU-kernels en niet-kernelfuncties bevat.

3. API-Design:
WebLLM biedt een API die lijkt op die van OpenAI (chat.completions.create), wat naadloze integratie in bestaande webapplicaties mogelijk maakt. Het ondersteunt geavanceerde functies zoals gestructureerde generatie (JSON Schema), visuele taalmodellen en het laden van meerdere modellen.

Belangrijkste Bijdragen

• Eerste High-Performance In-Browser LLM: WebLLM demonstreert dat het mogelijk is om LLM's lokaal in een browser te draaien met prestaties die dicht in de buurt komen van native implementaties.
• Overbrugging van de Kernel-Gap: Door MLC-LLM en TVM te integreren, heeft WebLLM effectief de ontbrekende geoptimaliseerde WebGPU-kernels voor moderne LLM-architecturen gecreëerd.
• Privacy en Toegankelijkheid: Het framework maakt privacy-bewuste, gepersonaliseerde LLM-toepassingen mogelijk zonder dat data de client verlaat of server-grade hardware nodig is.
• Open Source Ecosysteem: De code is beschikbaar als een JavaScript-framework, wat ontwikkelaars in staat stelt LLM-functies direct in hun webapps te integreren.

Resultaten

De evaluatie is uitgevoerd op een Apple MacBook Pro M3 Max, waarbij WebLLM (in Chrome Canary) werd vergeleken met native MLC-LLM (Python/C++ met Metal-kernels) op dezelfde hardware.

• Prestaties: WebLLM behoudt tot 80% van de decoding-throughput (tokens per seconde) van de native implementatie.
  • Llama-3.1-8B: 41,1 tok/s (WebLLM) vs. 57,7 tok/s (Native) -> 71,2% behouden.
  • Phi-3.5-mini (3.8B): 71,1 tok/s (WebLLM) vs. 89,3 tok/s (Native) -> 79,6% behouden.
• Conclusie: De prestatiekloof is klein en er is ruimte voor verdere optimalisatie. De resultaten tonen aan dat browser-based deployment een levensvatbaar alternatief is voor cloud-inferentie voor veel gebruiksscenario's.

Betekenis

WebLLM markeert een verschuiving in de LLM-industrie door de drempel voor lokale inferentie te verlagen. Het stelt ontwikkelaars in staat om:

1. Privacy te waarborgen: Gebruikersdata blijft lokaal.
2. Kosten te besparen: Geen afhankelijkheid van dure cloud-API's of server-infrastructuur.
3. Prestaties te leveren: Snelle, responsieve AI-ervaringen direct in de browser.

Dit paper opent de weg voor een nieuwe generatie webapplicaties die volledig gepersonaliseerd, veilig en lokaal gedreven zijn, en maakt de webbrowser tot een krachtig platform voor AI-infrastructuur.