SUN: Shared Use of Next-token Prediction for Efficient Multi-LLM Disaggregated Serving

Dit paper introduceert SUN, een innovatieve aanpak voor multi-LLM-serving die de decode-module van Transformer-modellen deelt en alleen de prefll-module fijnstelt, waardoor de GPU-uitbesteding aanzienlijk wordt verbeterd zonder in te leveren op nauwkeurigheid of latentie.

De kern

Stel je voor dat je een groot restaurant runt met honderden verschillende chefs. Sommige chefs zijn gespecialiseerd in Italiaans, anderen in Sushi, weer anderen in Veganistisch.

In de huidige wereld van AI (grote taalmodellen of LLM's) werkt het zo: elke chef heeft zijn eigen keuken (de GPU's) en zijn eigen serveerders. Als er een bestelling binnenkomt voor Italiaans, gaat die naar de Italiaanse chef. Als er een bestelling komt voor Sushi, gaat die naar de Sushi-chef.

Het probleem:
Stel dat er op een dinsdagavond heel veel mensen Italiaans bestellen, maar bijna niemand Sushi. De Italiaanse chef zit in de stress, de serveerders rennen rond en de serveerders van de Sushi-chef staan alleen maar te wachten. De keuken van de Sushi-chef is half leeg, terwijl de Italiaanse keuken overvol is. Dit is inefficiënt en kost veel geld (want je betaalt voor alle keukens, ook de lege).

In de AI-wereld noemen ze dit "inter-model isolatie". Elke AI-model heeft zijn eigen, afgesloten ruimte voor het genereren van antwoorden (de "decode"-fase), zelfs als die ruimte niet vol zit.

De Oplossing: SUN (Shared Use of Next-token Prediction)

De auteurs van dit paper, van NAVER Cloud, hebben een slimme oplossing bedacht genaamd SUN. Ze vergelijken het met het herverdelen van personeel in dat restaurant.

1. De Slimme Verdeling (Prefill vs. Decode)

Elke AI-opdracht heeft twee stappen:

1. De Voorbereiding (Prefill): De chef leest de bestelling (de prompt) en maakt een plan. Dit is zwaar werk, maar gebeurt één keer per bestelling.
2. Het Serveren (Decode): De chef schrijft het antwoord woord voor woord. Dit is een langzaam, repetitief proces dat veel geheugen kost, maar weinig rekenkracht per woord.

SUN's idee:
Ze zeggen: "Waarom heeft elke chef zijn eigen serveerders?"
In plaats daarvan maken ze een gemeenschappelijke pool van serveerders.

• De Specifieke Chef (de Prefill-module) wordt nog steeds getraind voor zijn specialiteit (bijv. wiskunde of coderen). Hij leest de bestelling en maakt een speciaal "kookplan" (de KV-cache).
• Maar het Schrijven van het antwoord (de Decode-module) wordt gedaan door één grote, vaste groep serveerders die voor iedereen hetzelfde werkt.

2. De Magische Truc: Alleen de Chef Opleiden

Je zou denken: "Als de serveerder niet weet dat hij voor een wiskundige chef werkt, gaat hij dan gekke antwoorden geven?"

Dat is het grote probleem dat SUN oplost. Ze doen iets heel slim:
Ze laten de serveerders (de decode-module) vrij. Ze veranderen ze niet.
In plaats daarvan trainen ze alleen de chefs (de prefill-modules) om een heel specifiek soort "kookplan" te maken dat perfect past bij die vaste serveerders.

Het is alsof je de chefs leert om hun bestellingen in een heel specifiek formaat te schrijven, zodat de vaste serveerders ze zonder problemen kunnen uitvoeren, ongeacht of het om wiskunde, code of een verhaal gaat.

Het resultaat:

• De serveerders werken nu 24/7 voluit, omdat ze bestellingen van alle chefs kunnen afhandelen.
• Je hebt minder serveerders nodig voor dezelfde hoeveelheid werk.
• De kosten dalen enorm, en de snelheid gaat omhoog.

3. De Extra Snelle Versie: QSUN (Quantized SUN)

Om het nog sneller en goedkoper te maken, gebruiken ze ook QSUN.
Stel je voor dat de serveerders niet met zware, dure uniformen werken, maar met lichte, snelle kleding. Dit maakt ze sneller, maar soms vergeten ze details.

Om dit op te lossen, trainen ze de chefs (de prefill-modules) opnieuw om hun bestellingen iets anders te formuleren, zodat de lichte serveerders ze toch perfect begrijpen.

• Resultaat: De serveerders zijn 45% sneller, en de kwaliteit van de antwoorden blijft bijna hetzelfde als bij de dure, zware versie.

Samenvatting in een Metaphor

• Huidige situatie: Elke AI-model heeft zijn eigen, gesloten fabriek. Als fabriek A stilvalt, kan fabriek B niet helpen, zelfs niet als fabriek B vol zit.
• SUN: Alle fabrieken sturen hun halffabrikaten (de voorbereiding) naar één grote, centrale assemblagelijn. Die assemblagelijn is zo flexibel dat hij producten van alle fabrieken kan afhandelen.
• Het geheim: De fabrieken leren hun halffabrikaten zo te maken dat ze perfect in de centrale lijn passen, zonder dat de centrale lijn zelf hoeft te veranderen.

Conclusie:
SUN maakt het mogelijk om honderden verschillende AI-modellen te draaien met veel minder hardware, zonder dat de kwaliteit van de antwoorden daalt. Het is een manier om de "leegloop" in de AI-industrie te voorkomen en alles veel efficiënter te maken.

Technische samenvatting

Probleemstelling

In de huidige dienstverlening van meerdere Large Language Models (Multi-LLM serving) ontstaat er een fundamenteel inefficiëntieprobleem door inter-model isolatie.

• Context: Diensten draaien steeds vaker tientallen of honderden gespecialiseerde modellen tegelijkertijd (bijv. voor wiskunde, codering, tooling).
• Uitdaging: Traditionele "disaggregated serving" (het scheiden van de prefill- en decode-fasen op verschillende apparaten) lost het probleem van intra-model interferentie op, maar creëert geen oplossing voor inter-model isolatie.
• Huidige situatie: Elke gespecialiseerde model krijgt zijn eigen toegewezen GPU's voor de decode-fase. Omdat de vraag per model vaak sterk scheef verdeeld is (skewed workloads), blijven GPU's van minder populaire modellen onderbenut, terwijl populaire modellen in de wacht staan.
• Technische beperking: Omdat decode-memory-bound is (KV-cache lezing/schrijving), kan er geen efficiënte batch-verwerking plaatsvinden tussen verschillende modellen als ze elk hun eigen decoder hebben. Dit leidt tot hoge Total Cost of Ownership (TCO) en slechte GPU-uitbating.

Methodologie: SUN (Shared Use of Next-token Prediction)

De auteurs stellen SUN voor, een algoritme dat de isolatie tussen modellen doorbreekt door het delen van de decode-module.

1. Decompositie van het Model:

   • Een decoder-only Transformer wordt conceptueel opgesplitst in twee modules:
     • Prefill-module: Verwerkt de input-prompt, genereert de Key-Value (KV) cache en bepaalt het eerste token.
     • Decode-module: Genereert subsequentie tokens op basis van de KV-cache en het vorige token.
   • In SUN wordt de decode-module bevroren (frozen) en gedeeld over alle gespecialiseerde modellen. Alleen de prefll-module wordt per taak aangepast.

2. Prefill-Only Tuning:

   • Om te voorkomen dat een gedeelde decoder de KV-caches van verschillende modellen niet correct interpreteert (wat zou leiden tot accuracy-daling), wordt alleen de prefll-module voor elke specifieke taak (bijv. wiskunde, code) fijngefine-tuned.
   • De gedeelde decode-module blijft onveranderd.
   • Resultaat: De prefll-module leert KV-caches te genereren die compatibel zijn met de gedeelde decoder, terwijl de nauwkeurigheid behouden blijft ten opzichte van volledig gefinetuned modellen.

3. Model-Agnostic Routing:

   • Prefill-routing: Verzoeken worden deterministisch naar de specifieke prefll-worker voor die taak gestuurd.
   • Decode-routing: Zodra de KV-cache is gegenereerd, worden decode-verzoeken model-onafhankelijk verdeeld over een gedeelde pool van decode-workers. Dit maximaliseert de uitbating, ongeacht welke taak de vraag genereert.

4. QSUN (Quantized SUN):

   • Om de efficiëntie verder te verhogen, wordt de gedeelde decode-module gekwantiseerd (bijv. naar 4-bit).
   • Omdat kwantisatie de compatibiliteit met de hoge-precision prefll-module kan verstoren, wordt na kwantisatie opnieuw alleen de prefll-module aangepast (prefill-only re-tuning).
   • Dit herstelt de nauwkeurigheid die verloren ging door kwantisatie, terwijl de snelheidswinst van de lage-bit decode behouden blijft.

Belangrijkste Bijdragen

• Eerste aanpak voor cross-model decode sharing: SUN is het eerste algoritme dat een enkele bevroren decode-module deelt over meerdere gespecialiseerde modellen in een disaggregated setting, zonder nauwkeurigheidsverlies.
• Robuuste Prefill-Only Tuning: Het bewijst dat het trainen van alleen de prefll-module voldoende is om de "train-inference mismatch" op te lossen bij het delen van decoders.
• Model-Agnostic Load Balancing: Een routingbeleid dat de belasting over gedeelde workers verdeelt, waardoor GPU-uitbating wordt gemaximaliseerd zelfs bij sterk scheve werklasten.
• QSUN: Een kwantiseringsvariant die 45% sneller is dan de niet-gekwantiseerde versie, met nauwkeurigheid die vergelijkbaar is met full-precision modellen, en beter presteert dan bestaande methoden zoals AWQ.

Resultaten

De experimenten zijn uitgevoerd op modellen zoals LLaMA3.1-8B en Qwen3 (versies 1.7B, 8B, 14B) met taken in wiskunde, code-generatie en tool-calling.

• Nauwkeurigheid: SUN behaalt nauwkeurigheid die vergelijkbaar is met volledig gefinetuned modellen (Full-FT) op diverse benchmarks (GSM8K, HumanEval, BFCL). In sommige gevallen (zoals HumanEval voor LLaMA3.1-8B) presteert SUN zelfs beter dan Full-FT.
• Doorvoer (Throughput):
  • SUN verhoogt de doorvoer per GPU met tot 2.0x vergeleken met conventionele disaggregated serving.
  • Het systeem kan het aantal decode-GPU's met 50% verminderen terwijl de totale systeemdoorvoer gelijk blijft.
  • De Time-Per-Output-Token (TPOT) blijft binnen 5% van de baseline.
• Robuustheid bij Scheve Werklasten: Bij sterk scheve vraagverdelingen (Zipf-distributie) handhaaft SUN stabiele doorvoer en interactiviteit, terwijl traditionele systemen (met per-model GPU-toewijzing) aanzienlijke achterstanden oplopen.
• QSUN Prestaties:
  • Bereikt een 45% snelheidswinst (TPOT vermindering) ten opzichte van SUN.
  • Herstelt de nauwkeurigheid van de gekwantiseerde decoder bijna volledig tot het niveau van SUN (Full-precision).
  • Biedt een lagere Time-To-First-Token (TTFT) dan AWQ, omdat de compute-bound prefll-fase in full-precision blijft.

Betekenis en Impact

Dit werk biedt een paradigmaverschuiving in het serveren van meerdere LLM's:

1. Kostenreductie: Door GPU's te consolideren en onderbenutting te elimineren, daalt de Total Cost of Ownership (TCO) aanzienlijk voor providers die honderden gespecialiseerde modellen draaien.
2. Schaalbaarheid: Het maakt het mogelijk om een groot aantal modellen te bedienen met een kleiner hardware-pool, wat essentieel is voor de groei van multi-agent systemen en gespecialiseerde AI-toepassingen.
3. Efficiëntie: De combinatie van disaggregated serving, gedeelde decoders en kwantisatie (QSUN) levert een unieke balans op tussen lage latentie, hoge doorvoer en hoge nauwkeurigheid.

Kortom, SUN lost het probleem van resource-fragmentatie in multi-LLM omgevingen op door de decode-fase te abstracteren en te delen, wat leidt tot een aanzienlijk efficiëntere en goedkopere infrastructuur voor de volgende generatie AI-diensten.