Technische Samenvatting: Kunlun – Het vaststellen van Scaling Laws voor Massale Aanbevelingssystemen

1. Probleemformulering

Moderne aanbevelingssystemen, met name in grootschalige advertentieomgevingen, vereisen de gezamenlijke modellering van sequentiële gebruikersgedragingen (bijv. klikgeschiedenis) en niet-sequentiële contextuele kenmerken (bijv. demografische gegevens van gebruikers, advertentameta-data). Hoewel scaling laws—voorspelbare wiskundige relaties tussen computationele investering en modelprestaties—goed gevestigd zijn voor Large Language Models (LLM's), blijven ze een open uitdaging voor aanbevelingssystemen die deze heterogene feature-mix verwerken.

De auteurs identificeren slechte schalingsefficiëntie als de primaire barrière voor het vaststellen van deze wetten. Schalingsefficiëntie wordt gedefinieerd als de snelheid van prestatieverbetering per eenheid computationele investering. Het artikel stelt dat huidige state-of-the-art systemen er niet in slagen een voorspelbare power-law schaling te bereiken vanwege twee kritieke knelpunten:

1. Inefficiënte Modules: Bestaande architecturen lijden onder een lage Model FLOPs Utilization (MFU), die vaak varieert tussen 3–15% vergeleken met 40–60% bij LLM's. Dit wordt veroorzaakt door heterogene feature-ruimtes die leiden tot kleine embedding-dimensies, onregelmatige tensor-vormen en geheugen-gebonden operaties.
2. Inefficiënte Resource Allocatie: Het naïef opschalen van alle componenten gelijkmatig leidt tot afnemende meeropbrengsten, aangezien verschillende lagen en event-typen (bijv. klikken versus impressies) profiteren van verschillende computationele patronen.

2. Methodologie: De Kunlun Architectuur

Om deze uitdagingen aan te pakken, stellen de auteurs Kunlun voor, een uniforme architectuur die is ontworpen via systematische model-efficiëntie co-design op twee niveaus: low-level module optimalisatie en high-level computation reallocatie.

2.1 Architectuur Overzicht

Kunlun maakt gebruik van een meerlaagse architectuur waarbij elke laag zowel sequentiële als niet-sequentiële kenmerken verwerkt via twee hoofdcomponenten:

• Kunlun Transformer Block: Verwerkt context-bewuste sequentiële modellering met behulp van Multi-Head Self-Attention (MHA) en een door Generalized Dot-Product Attention (GDPA) versterkte Personalized Feed-Forward Network (PFFN).
• Kunlun Interaction Block: Faciliteert bidirectionele informatie-uitwisseling via Weight Generation, Hierarchical Seed Pooling (HSP) en een Global Interaction module.

2.2 Low-Level Module Optimalisaties

Deze optimalisaties richten zich op computationele efficiëntie om de MFU te verbeteren:

• Generalized Dot-Product Attention (GDPA): De auteurs herformuleren de PFFN als een multi-head attention operator. In plaats van aparte matrixvermenigvuldigingen die voor geheugen-bottlenecks zorgen, fuseert GDPA de transformatie in een enkele kernel (vergelijkbaar met FlashAttention). Hierbij fungeren de sequentie-tokens als queries, terwijl de gewichten afgeleid van de niet-sequentiële context fungeren als keys en values. Dit maakt efficiënte GPU-benutting mogelijk en staat stabiele PFFN-stapeling toe.
• Hierarchical Seed Pooling (HSP): Om lange sequenties ($T > 1000$) efficiënt samen te vatten, vervangt HSP willekeurige leerbare queries (gebruikt in standaard Pooling by Multihead Attention) door een hiërarchisch proces. Het leert eerst seed-niveau representaties en comprimeert deze vervolgens met behulp van SumKronLinear, een op Kronecker-product gebaseerde laag. Dit bereikt parameterefficiëntie (het vermindert parameters met ~14× in typische configuraties) terwijl de cross-dimensionale expressiviteit behouden blijft.
• Sliding Window Attention: In het besef van de sterke lokaliteitsbias in aanbevelingssequenties (recente interacties zijn voorspellender), beperkt het model self-attention tot lokale vensters. Dit vermindert de complexiteit van $O(T^2)$ naar $O(Tw)$, wat de throughput aanzienlijk verbetert.

2.3 High-Level Computation Reallocatie

Deze strategieën optimaliseren de distributie van resources over het model:

• Computation Skip (CompSkip): Geïnspireerd door laag-redundantie in LLM's, implementeert Kunlun een "elk-ander-laag" patroon. Even lagen skippen self-attention om verse HSP-samenvattingen te berekenen, terwijl oneven lagen HSP en PFFN skippen om self-attention te berekenen. Dit vermindert de FLOPs met ~43% terwijl de modelkwaliteit behouden blijft.
• Event-Level Personalization: Verschillende event-typen (bijv. klikken versus impressies) krijgen unieke hyperparameters (modeldimensie, aantal heads, samenvattings-tokens, laagdiepte en window-grootte). High-value events ontvangen grotere configuraties, terwijl low-value events kleinere configuraties gebruiken, waardoor resources proportioneel worden toegewezen aan de signaal-belangrijkheid.
• Mixture of Wukong Experts: De Global Interaction module gebruikt een Mixture-of-Experts (MoE) benadering waarbij meerdere "Wukong" modules (feature interactie modellen) parallel opereren. Dit maakt horizontale schaling mogelijk door de computation te verdelen over experts binnen een enkele laag.

3. Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

1. Probleemformulering: Het formaliseren van de schalingsefficiëntie-uitdaging in massale aanbevelingssystemen, waarbij inefficiënte modules en resource allocatie worden geïdentificeerd als de grondoorzaken van onvoorspelbare schaling.
2. Architectuurontwerp: Het introduceren van Kunlun, dat low-level optimalisaties (GDPA, HSP, Sliding Window) en high-level innovaties (CompSkip, Event-level Personalization) integreert om sequentiële en niet-sequentiële modellering te verenigen.
3. Scaling Laws: Het demonstreren van de eerste voorspelbare power-law schaling voor gezamenlijke sequentie-niet-sequentie modellering, waarbij een 2× verbetering in schalingsefficiëntie wordt behaald ten opzien van state-of-the-art methoden.
4. Deployment Impact: Succesvolle implementatie in belangrijke Meta Ads-modellen, wat resulteerde in meetbare productieverbeteringen.

4. Experimentele Resultaten

De auteurs evalueerden Kunlun op grote interne Meta Ads-datasets (70B+ samples) met behulp van NVIDIA B200 GPU's.

• Schalingsefficiëntie: Kunlun bereikte een MFU-toename van 17% naar 37%. Wat betre betreft schalingsefficiëntie (de helling van de prestatieverbetering versus compute), demonstreerde Kunlun een 2× verbetering ten opzichte van de huidige state-of-the-art (InterFormer).
• Prestatiewinsten: Over verschillende computationele schalen (6 tot 180 GFLOPs) presteerde Kunlun consistent beter dan de baselines. Op de grootste schaal (180 GFLOPs) behaalde Kunlun een 0,79% NE (Normalized Entropy) winst over de baseline, vergeleken met 0,50% voor InterFormer.
• Ablatie-studies:
  • Het verwijderen van GDPA verminderde de MFU tot 34% en degradeerde de NE met 0,04%.
  • Het verwijderen van HSP (terugkeren naar PMA) verbeterde de QPS met 8,8% maar degradeerde de NE met 0,08%.
  • Het verwijderen van CompSkip verhoogde de FLOPs met 43,1% zonder NE-winst, wat de efficiëntie van de skip-strategie valideert.
• Productie-impact: Bij de implementatie in Meta Ads-modellen leverde Kunlun een 1,2% verbetering in topline-metrieken op, wat een significante online impact en superieure ROI op schaal aantoont.

5. Betekenis en Claims

Het artikel beweert dat Kunlun een geprincipleerd kader vestigt voor het schalen van aanbevelingssystemen naar ongekende schalen met behoud van computationele efficiëntie. Door zowel algoritmische effectiviteit als hardware-benutting systematisch aan te pakken, tonen de auteurs aan dat voorspelbare scaling laws haalbaar zijn voor complexe, heterogene aanbevelingstaak.

Het werk stelt dat de combinatie van low-level module-efficiëntie (via GDPA en HSP) en high-level adaptieve resource allocatie (via CompSkip en Event-level Personalization) noodzakelijk is om het volledige potentieel van massale modellen te ontsluiten. Dit maakt betrouwbare extrapolatie mogelijk voor resourceplanning en architecturale beslissingen, waardoor aanbevelingssystemen bewegen van heuristische schaling naar voorspelbare, door wetten gereguleerde groei. De succesvolle inzet bij Meta valideert dat deze theoretische winsten direct vertalen naar productiewaarde.