💬 NLP

Efficient LLM-based Advertising via Model Compression and Parallel Verification

Dit artikel stelt een Efficient Generative Targeting-framework voor dat adaptieve groepskwantisering, laag-adaptieve hiërarchische verspreiding en prefixboom-parallelle verificatie combineert om de inferentie van LLM's voor real-time reclame-toepassingen aanzienlijk te versnellen terwijl een aanvaardbare gegenereerde kwaliteit wordt behouden.

Oorspronkelijke auteurs: Wenxin Dong, Chang Gao, Guanghui Yu, Xuewu Jiao, Mingqing Hu, Qiang Fu, Peng Xu, Penghui Wei, Hui Xu, Yue Xing, Shuanglong Li, Lin Liu

Gepubliceerd 2026-05-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Wenxin Dong, Chang Gao, Guanghui Yu, Xuewu Jiao, Mingqing Hu, Qiang Fu, Peng Xu, Penghui Wei, Hui Xu, Yue Xing, Shuanglong Li, Lin Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, superintelligente assistent hebt (een Large Language Model, of LLM) die uitstekend is in het schrijven van advertenties en het kiezen van de perfecte producten voor klanten. Het probleem is dat deze assistent als een enorme, zware encyclopedie is: het kost veel tijd om door de pagina's te bladeren om een antwoord te vinden, en het vereist een enorme hoeveelheid energie om draaiende te houden. In de snelle wereld van online reclame, waar je binnen een splitseconde een antwoord nodig hebt, is deze "zware encyclopedie"-aanpak te traag en te duur.

De auteurs van dit artikel, van Baidu, hebben een nieuw systeem gebouwd om deze assistent sneller en lichter te maken zonder hem minder slim te maken. Ze deden dit met twee hoofdtrucs: het verkleinen van de assistent en het geven van een shortcut-kaart.

Truc 1: De assistent verkleinen (Modelcompressie)

Stel je het AI-model voor als een enorme bibliotheek met kennis. De meeste boeken in deze bibliotheek worden zelden gebruikt, en sommige pagina's zijn gewoon gevuld met getallen die niet veel veranderen.

De "Slimme Verpakking" (Quantisatie): Stel je voor dat je een koffer vol met zware, hoogwaardige foto's hebt (de originele data). In plaats van de zware originelen mee te nemen, bedacht het team hoe ze deze konden comprimeren tot kleinere, lichtere JPEG's (getallen met lagere precisie) zonder de helderheid van de afbeelding te verliezen. Ze comprimeerden niet alles op dezelfde manier; ze waren "adaptief". Ze verpakten de belangrijkste, gevoelige delen van de bibliotheek zeer zorgvuldig, maar comprimeerden de minder belangrijke delen agressiever. Hierdoor veranderde de zware koffer in een lichtgewicht rugzak.
De "Lege Plank"-strategie (Sparsiteit): Stel je voor dat de bibliotheek duizenden lege planken heeft. Het team besloot de boeken van de planken te verwijderen die niemand ooit bezoekt. Ze verwijderden niet willekeurig boeken; ze keken welke planken cruciaal waren (de "gevoelige" lagen) en hielden die vol, terwijl ze de minder belangrijke ones leegden. Hierdoor werd de bibliotheek veel kleiner en sneller te navigeren.
De Aangepaste Tool: Om ervoor te zorgen dat deze gecomprimeerde en geleegde planken nog steeds snel konden worden gelezen, bouwden ze een aangepaste "scanner" (een gespecialiseerde computerkernel) die deze lichtgewicht, spaarzame boeken veel sneller kon lezen dan standaardtools dat konden.

Truc 2: De Shortcut-kaart (Prefix Tree Parallelle Verificatie)

Normaal gesproken schrijft de AI bij het genereren van een advertentie het woord voor woord, net als iemand die langzaam een zin typt. "Ik... vind... deze... auto... leuk..." Dit is traag.

De Boomkaart: Het team organiseerde alle mogelijke advertentie-opties in een enorme, vertakkende boomstructuur (zoals een stamboom of een beslissingsboom). De top van de boom is breed (veel opties), maar naarmate je verder gaat, worden de takken smaller tot de meest waarschijnlijke keuzes.
De "Gok en Check"-race: In plaats van woord voor woord te schrijven, kijkt de AI nu naar de hele boom. Het doet een "gok" naar meerdere woorden tegelijk (parallelle decoding) en controleert vervolgens snel of die gissen zinvol zijn op de kaart.
De Timing-schakelaar: Het slimste deel is weten wanneer je deze shortcut moet gebruiken. Het systeem berekent voortdurend: "Is het sneller om woord voor woord te schrijven, of om een heleboel te gokken en die te controleren?" Als de gok-en-controle-methode sneller is, schakelt het direct over naar die modus. Hierdoor kan de AI in één stap "springen" naar het einde van de zin in plaats van stap voor stap daar naartoe te lopen.

De Resultaten

Het team testte dit systeem in twee real-world scenario's:

Het schrijven van advertentieteksten: Het creëren van pakkende teksten voor advertenties.
Gerichte reclame: Het kiezen van de juiste advertentie voor een specifieke gebruiker.

Het Resultaat:

Snelheid: Het nieuwe systeem was 1,8 keer sneller in real-world tests. In sommige specifieke tests was de snelheidswinst zelfs hoger (meer dan 78% sneller).
Kwaliteit: Ondanks dat het veel lichter en sneller was, waren de gegenereerde advertenties nog steeds net zo goed als de zware, trage versie. De "kwaliteit" (precisie) daalde niet significant.
Real-world Gebruik: Dit is niet alleen een theorie; het is ingezet op het daadwerkelijke reclameplatform van Baidu, waar het nu echt verkeer verwerkt.

Samenvattend

Het artikel beschrijft een manier om een trage, zware AI om te toveren in een snelle, lichtgewicht versie door zijn geheugen te comprimeren (de data kleiner maken) en zijn denkproces te organisereren (een boomkaart gebruiken om meerdere uitkomsten tegelijk te gokken). Het resultaat is een reclamesysteem dat de juiste advertentie aan de juiste persoon bijna direct levert, zonder in te leveren op de kwaliteit van de aanbeveling.

Technische Samenvatting: Efficiënte LLM-gebaseerde Advertenties via Modelcompressie en Parallelle Verificatie

Probleemstelling

De integratie van Large Language Models (LLM's) in online advertenties, specifiek voor generatieve targeting (eind-tot-eind, realtime advertentiegeneratie op basis van gebruikersvragen), heeft een aanzienlijk dilemma tussen schaalbaarheid en efficiëntie geïntroduceerd. Hoewel LLM's superieure generalisatie- en redeneervermogens bieden in vergelijking met traditionele discriminatieve modellen, creëren hun groeiende parameteraantallen en strikte realtime latentie-eisen een kritieke prestatieknelpunt.

Bestaand onderzoek heeft zich grotendeels gericht op optimalisaties aan de precisiezijde (bijvoorbeeld trainingsstrategieën, prompting), maar negeert vaak optimalisaties aan de efficiëntiezijde. Deze nalatigheid is schadelijk voor tijdgevoelige commerciële scenario's zoals online advertentielevering, waarbij hoge inferentielatentie en rekenkosten standaard LLM-implementaties onpraktisch maken. De kernuitdaging bestaat erin de inferentiesnelheid te optimaliseren zonder de kwaliteit of precisie van aanbevelingen te compromitteren.

Methodologie

De auteurs stellen een uitgebreid raamwerk voor dat bestaat uit twee hoofdcomponenten: Modelcompressie en Prefix Tree-gebaseerde Parallelle Verificatie.

1. Modelcompressie

Deze component heeft tot doel de modelgrootte en de rekenoverhead te verminderen door een combinatie van kwantisatie en sparsiteit, geoptimaliseerd voor GEMV-werklasten (General Matrix-Vector Multiply).

Adaptieve Groepsgebaseerde Kwantisatie: In plaats van gebruik te maken van vooraf bepaalde groeperingsstrategieën, stellen de auteurs een adaptieve methode voor die de kwantisatiegranulariteit aanpast aan de gevoeligheid van individuele lineaire lagen.
- Gevoelige lagen/kanaal: Krijgen meer groepen toegewezen voor fijnere kwantisatie (minimaliseren van fouten).
- Niet-gevoelige lagen/kanaal: Krijgen minder groepen toegewezen om de rekenoverhead te verminderen.
- Deze benadering comprimeert het model van FP16 naar INT4.
Lage-adaptieve Semi-gestructureerde Sparsiteit: Het raamwerk maakt gebruik van een laag-voor-laag $N:M$ $N : M$ -pruningstrategie gebaseerd op de relatieve belangrijkheid van parameters.
- Kritieke lagen behouden een hogere dichtheid (bijvoorbeeld 2:4 sparsiteit).
- Minder significante lagen worden agressiever gepreest (bijvoorbeeld 1:4 sparsiteit).
- De belangrijkheid van gewichtselementen wordt gekwantificeerd met behulp van een Taylor-expansie van de tweede orde van de benaderingsfout, waarbij zowel de grootte van de gewichten als de norm van de inputactivatie in aanmerking worden genomen.
Aangepast SparseGemv-kernel: Om de overhead van sparse indexgegevens en memorybandbreedte aan te pakken, hebben de auteurs een aangepast kernel ontwikkeld:
- Indexcompressie: Ze introduceerden een index-gecomprimeerde 2bit-CSR-structuur. Indices worden herschikt, omgezet naar binair en gecodeerd (bijvoorbeeld hexadecimaal) om de grootte van indices en gewichten te reduceren tot 30% van de oorspronkelijke CSR-grootte.
- Memory-optimalisatie: Activaties worden verplaatst van Local Memory naar Shared Memory met behulp van een shuffle-gebaseerde data-indeling om bankconflicten te elimineren. Blok-niveau data-deling wordt gebruikt om de efficiëntie van de overdracht van HBM naar Shared Memory te verbeteren.
- Rekenoptimalisatie: De kernel maakt gebruik van de lop3.b32 assembly-instructie voor efficiënte INT4-naar-FP16 dekwantisatie en optimaliseert CSR-indexering met bitbewerkingen voor snelle toegang.

2. Prefix Tree Parallelle Verificatie

Deze component versnelt het decoderen door gebruik te maken van de specifieke datapatronen van advertentiedoelen.

Prefix Tree Constructie: Met behulp van hiërarchische clustering (geïnspireerd door Differentiable Search Index, DSI) worden platte tekst-identificatoren van adverteerders omgezet in een semantisch gestructureerde prefix tree (trie). De boom is breed aan de bovenkant en smal aan de onderkant, waardoor de zoekruimte voor kandidaten afneemt naarmate het decoderen vordert.
Dynamisch Triggermechanisme: Het systeem bepaalt dynamisch het optimale moment om over te schakelen van sequentiële naar parallelle verificatie. Het berekent de afweging tussen de overhead van parallelle verificatie en de tijd die nodig is voor sequentiële autoregressieve stappen, en triggert parallelisme wanneer het voorspelde voordeel gemaximaliseerd is.
Boomgebaseerd Decoderen: Het proces omvat:
1. Het construeren van inputsequenties via Depth-First Search (DFS) op de trie.
2. Parallel decoderen van deze sequenties met boomgebaseerde beperkingen (alleen geldige paden).
3. Beam Search: Het gebruik van logaritmische sommatie om scores van ouderknooppunten te combineren met tokenscores ( $T_{score}$ ) om knooppuntscores ( $B_{score}$ ) te berekenen, en het selecteren van de bovenste sequenties.
4. Het reconstrueren van de uiteindelijke sequentie door terug te traceren naar de knooppunten met de hoogste scores.

Belangrijkste Bijdragen

Het artikel claimt de volgende specifieke bijdragen:

Index-gecomprimeerde 2bit-CSR: Een geoptimaliseerde datastructuur voor gemengde sparsiteit die de grootte van indices en gewichten reduceert tot 30% van de oorspronkelijke CSR.
Aangepast SparseGemv-kernel: Een hardware-versnelde kernel die ondersteuning biedt voor INT4 sparse matrixvermenigvuldiging, en een gat opvult dat door bestaande NVIDIA-bibliotheken (cuSPARSE/cuSparseLT) voor efficiënte GEMV-bewerkingen is achtergelaten.
Adaptieve Groepsgebaseerde Kwantisatie: Een nieuwe kwantisatiestrategie die flexibiliteit en precisie verbetert door groottengroepen aan te passen op basis van laagevoeligheid.
Prefix Tree-beperkte Beam Search: De eerste voorgestelde workflow die prefix tree-beperkt decoderen combineert met beam search, specifiek toegepast op generatieve taken in advertentietargeting.
Productie-implementatie: Het raamwerk is ingezet op het advertentietraject van Baidu en bedient realtime verkeer.

Experimentele Resultaten

Het raamwerk werd geëvalueerd met het ERNIE 1.5B-model in twee scenario's: Advertentiecreatiegeneratie en Gerichte Advertenties.

Gerichte Advertenties:
- Het volledige raamwerk (Sparse + Quant + Parallelle Boomverificatie) bereikte een Recall van 0,081 met een gemiddelde lengte van 6, vergeleken met een baseline recall van 0,084.
- De combinatie van technieken zorgde voor een aanzienlijke snelheidswinst terwijl acceptabele recallniveaus werden behouden die geschikt zijn voor online implementatie.
Advertentiecreatiegeneratie:
- Geëvalueerd op de CSL-dataset (academische tijdschriftemetadata).
- De hybride aanpak (Sparse + Quant) bereikte de beste afweging tussen efficiëntie en kwaliteit.
- Ablatiestudies:
  - Kwantisatie (INT4): Verminderde latentie van 6,6s naar 4,8s (1,37× snelheidswinst) met minimale impact op BLEU (0,4247 $\to$ 0,4178) en Meteor-scores.
  - Sparsificatie (2:4): Boekte gematigde winst (1,25× snelheidswinst) met een lichte kwaliteitsdaling.
  - Agressieve Sparsificatie (1:4): Leverde hoge snelheidswinst (1,43×) maar veroorzaakte merkbare kwaliteitsdaling.
  - Gecombineerd (Sparse 2:4 + Quant): Bereikte een 1,65× snelheidswinst met een Meteor-score van 0,6195.
  - Gecombineerd (Sparse 1:4 + Quant): Bereikte een 1,89× snelheidswinst maar met een aanzienlijke kwaliteitsdaling.
  - Gemengde Sparsiteit + Quant: Bereikte een 1,78× snelheidswinst met een Meteor-score van 0,6127.
Realwereld-implementatie:
- In productie op het advertentietraject van Baidu bereikte het systeem een snelheidswinst van meer dan 1,8× in realwereldexperimenten terwijl het concurrerende precisie behield.

Betekenis en Claims

Het artikel positioneert dit werk als een baanbrekende oplossing voor het probleem van "Generatieve Targeting" in zoekadvertenties. De betekenis ligt in:

Overbruggen van het Efficiëntiegat: Het adresseert het kritieke knelpunt van inferentielatentie in LLM-versterkte aanbevelingssystemen, waardoor generatieve benaderingen haalbaar worden voor strikte realtime commerciële omgevingen.
Holistische Optimalisatie: In tegenstelling tot eerdere werken die zich uitsluitend richten op nauwkeurigheid of eenvoudige compressie, integreert dit raamwerk algoritmische innovaties (adaptieve kwantisatie, hiërarchische sparsiteit) met low-level systeemengineering (aangepaste kernels, indexcompressie) en bedrijfsspecifieke logica (prefix tree constructie).
Industriële Haalbaarheid: De succesvolle implementatie in een toonaangevend advertentietraject toont aan dat agressieve modelcompressie en parallelle verificatiestrategieën op schaal kunnen worden toegepast zonder de kwaliteit die vereist is voor commerciële advertentielevering te offeren.

De auteurs merken op dat hoewel het raamwerk zeer effectief is voor commerciële advertentietargeting, de optimalisatiestrategieën zijn toegesneden op de specifieke datapatronen en beperkingen van dit domein, wat suggereert dat verdere aanpassing noodzakelijk zou zijn voor andere toepassingscontexten.