Technische Samenvatting: LERA - LLM-Versterkte RAG voor Advertentieveilingen in Generatieve Chatbots

Probleemstelling

De integratie van reclame in chatbots op basis van Large Language Models (LLM) vormt een unieke commercialiseringsuitdaging. In tegenstelling tot traditionele gesponsorde zoekopdrachten, waarbij advertenties vooraf gedefinieerde plekken innemen, vereist reclame in chatbots een beslissing over of en hoe een advertentie in een gegenereerd antwoord wordt verweven. Dit vereist een mechanisme dat drie concurrerende factoren in evenwicht brengt:

1. Relevantie: De advertentie moet aansluiten bij de genuanceerde gebruikersintentie, de commerciële context en de dynamische dialoogstroom.
2. Efficiëntie: Het veiling- en selectieproces moet minimale latentie veroorzaken om het real-time karakter van chatinteracties te behouden.
3. Waarheidsgetrouwheid: Het mechanisme moet incentieve-compatibele biedingen ondersteunen, zodat adverteerders gemotiveerd zijn om hun ware waarde-per-klik te bieden.

Bestaande benaderingen staan voor aanzienlijke afwegingen. Retrieve-then-generate-methoden (bijv. Hajiaghayi et al. [9]) zijn efficiënt, maar vertrouwen uitsluitend op tekst-embeddingsimilariteit, wat vaak faalt in het vastleggen van complexe commerciële intenties, wat leidt tot repetitieve invoegingen of verkeerde commerciële interpretaties. Generate-then-retrieve-methoden maken gebruik van het contextuele begrip van LLM's, maar vereisen vaak meerdere inferentiepasses per query of het scoren van alle adverteerders, wat leidt tot onaanvaardbare latentie en inferentiekosten. Bovendien creëert het direct gebruiken van LLM-logits voor het rangschikken van alle kandidaten in high-throughput engines (zoals SGLang) aanzienlijke knelpunten vanwege de noodzaak van parallelle pre-filling over grote kandidaatsets.

Methodologie: Het LERA-kader

Het artikel stelt LERA (LLM-Enhanced RAG for Ad Auction) voor, een veilingkader in twee fasen (retrieve-then-generate) dat is ontworpen om efficiëntie te ontkoppelen van semantische verfijning.

1. Toewijzingsproces in twee fasen

De kerninnovatie is een hybride scoremechanisme dat dure LLM-berekeningen beperkt tot een kleine, vooraf gefilterde kandidaatset.

• Fase 1: Op embeddings gebaseerde grove filtering

  • In plaats van de ruwe gebruikersquery direct te gebruiken, genereert een LLM eerst een beknopte set intentie-sleutelwoorden ($w$) die de onderliggende behoeften van de gebruiker samenvatten.
  • Deze sleutelwoorden worden ge-embed en vergeleken met beschrijvingen van adverteerders ($d_i$) met behulp van genormaliseerde cosinus-similariteit.
  • De relevantiescore wordt gewogen met het bod van de adverteerder ($b_i$): $Score^{(1)}_i = \text{Norm}(\text{Similarity}(\text{Emb}(w), \text{Emb}(d_i))) \cdot b_i$.
  • De top-$K$ adverteerders ($K \ll N$) vormen de kandidaatset $S$. Deze fase zorgt voor een hoge doorvoer door de overgrote meerderheid van irrelevante adverteerders te filteren met behulp van lichte embedding-operaties.

• Fase 2: LLM-Logit fijne rangschikking

  • De oorspronkelijke query $x$, de kandidaatset $S$ en een optie "geen invoeging" ($\phi$) worden aan de LLM gepresenteerd.
  • De LLM wordt gevraagd de meest geschikte advertentie te identificeren. In plaats van tekst te genereren, extrahert het systeem de logits voor de kandidaatlabels (inclusief de optie "geen invoeging").
  • Deze logits worden genormaliseerd via softmax om verfijnde organische relevantiescores ($s^{(2)}_j$) te produceren.
  • De uiteindelijke veiling-score is $Score^{(2)}_j = s^{(2)}_j \cdot b_j$. De winnaar is de kandidaat met de hoogste score. Als de optie "geen invoeging" wint, wordt geen advertentie getoond.

2. Betalingsregel en Incentive Compatibility

Om waarheidsgetrouwheid te garanderen, hanteert LERA een Critical-Value Payment Rule (Betalingsregel op basis van kritieke waarde). In tegenstelling tot een standaard tweede-prijsveiling moet de winnaar twee beperkingen voldoen: deel uitmaken van de top-$K$-set van Fase 1 en de rangschikking van Fase 2 winnen.

De betaling $p_{i^*}$ voor de winnende adverteerder $i^*$ wordt gedefinieerd als:
$$p_{i^*} = \max \left( \frac{Score^{(1)}_{(K+1)}}{s^{(1)}_{i^*}}, \frac{Score^{(2)}_{(2)}}{s^{(2)}_{i^*}} \right)$$
Waarbij:

• $Score^{(1)}_{(K+1)}$ de drempelscore is die nodig is om de kandidaatset binnen te komen.
• $Score^{(2)}_{(2)}$ de op één na hoogste score is in de uiteindelijke rangschikking.
• De betaling de maximumwaarde is van de kritieke waarden die nodig zijn om beide fasen te doorstaan.

Het artikel bewijst (Propositie 4.1) dat onder aannames van onafhankelijkheid tussen klikuitkomsten en gerealiseerde waarden, en onbevooroordeelde prior-schattingen, dit mechanisme incentive compatible is voor nut-maximaliserende adverteerders.

3. Uitbreiding tot Meerdere Advertentie-invoegingen

Het kader breidt zich uit tot dynamische dialoogstromen door het antwoord in segmenten te verdelen. Voor elk segment wordt de veiling gekoppeld aan de query en het antwoordprefix. Het systeem evalueert opnieuw of er een advertentie moet worden ingevoegd en welke er moet worden geselecteerd, waardoor diversiteit wordt gewaarborgd en repetitieve invoegingen van categorieën worden vermeden.

Belangrijkste Bijdragen

1. LERA-kader: Een nieuw veilingmechanisme in twee fasen dat de efficiëntie van op embeddings gebaseerde retrieval combineert met de semantische diepgang van op LLM gebaseerde fijne rangschikking, specifiek toegespitst op de beperkingen van advertentie-invoeging in chatbots.
2. Critical-Value Payment Rule: Een betalingsmechanisme dat expliciet is ontworpen voor een selectieproces in twee fasen, rekening houdend met zowel drempels voor het betreden van de kandidaatset als competitie in de laatste fase om waarheidsgetrouwheid te waarborgen.
3. Empirische Validatie: Omvattende experimenten die aantonen dat LERA presteert beter dan baselines die alleen embeddings of alleen LLM's gebruiken, zowel in selectienauwkeurigheid als in diversiteit van invoeging, terwijl de latentie beheersbaar blijft.

Experimentele Resultaten

Experimenten werden uitgevoerd op een synthetische benchmark van 100 adverteerders over 8 categorieën, met gebruikmaking van Qwen-modellen (4B, 30B, 235B) en SGLang voor high-throughput inferentie.

• Selectienauwkeurigheid: Bij taken voor invoeging van één advertentie die complexe intentie-analyse, natuurlijke verschuivingen in intentie en negatieve productverfijning omvatten, overtrof LERA consistent de baseline die alleen embeddings gebruikte. Bijvoorbeeld, met een 30B-model bereikte LERA een algehele nauwkeurigheid van 98,73%, vergeleken met 56,3% voor de baseline die alleen embeddings gebruikte.
• Diversiteit bij Meerdere Advertenties: In dynamische scenario's met meerdere advertenties verbeterde LERA de "Query Satisfaction" (het aandeel van de gevraagde categorieën dat werd vervuld) aanzienlijk. LERA bereikte 80,67% tevredenheid met het 235B-model, terwijl de baseline die alleen embeddings gebruikte vastliep op 45,33%.
• Afweging tussen Efficiëntie en Nauwkeurigheid:
  • LERA (LLM-only), dat alle adverteerders scoort met LLM-logits, bereikte hoge nauwkeurigheid maar leed aan ernstige doorvoer-knelpunten vanwege de vereisten voor parallelle pre-filling.
  • LERA behield hoge nauwkeurigheid terwijl het slechts een beheersbare latentie-overschrijding veroorzaakte ten opzichte van de baseline die alleen embeddings gebruikte, vooral bij lagere concurrentieniveaus.
  • Ablatiestudies toonden aan dat de grove filterfase (Fase 1) niet alleen cruciaal is voor snelheid, maar ook voor het verbeteren van de fijnmazige rangschikkingstaak door ruis voor de LLM te verminderen.

Betekenis en Claims

Het artikel positioneert LERA als een praktische stap naar de implementatie van veilinggebaseerde advertentie-invoeging in door LLM-aangedreven chatbots. De betekenis ligt in het oplossen van de spanning tussen semantische relevantie en systeemdoorvoer.

• Praktijktoepasbaarheid: Door LLM-scoren in te bedden in een doorvoer-bewust mechanisme in twee fasen, maakt LERA het gebruik van LLM-logits voor rangschikking haalbaar in real-time toepassingen, waardoor de onaanvaardbare kosten van het scoren van alle kandidaten worden vermeden.
• Commerciële Haalbaarheid: Het kader adresseert de specifieke uitdagingen van generatieve reclame, zoals het vermijden van repetitieve invoegingen en het hanteren van negatieve beperkingen (bijv. "Ik wil X niet"), wat embeddingsmodellen vaak missen.
• Theoretische Grondslag: De voorgestelde betalingsregel breidt externality-bewust veilingontwerp uit naar de generatieve setting, zodat het mechanisme waarheidsgetrouw blijft, zelfs wanneer de waarde van de advertentie afhankelijk is van de dynamische context van het gegenereerde antwoord.

De auteurs erkennen beperkingen, met name dat de resultaten vertrouwen op een synthetische dataset en theoretische aannames over onafhankelijkheid tussen klikwaarschijnlijkheid en gerealiseerde waarde. Ze stellen echter dat LERA een haalbare architectuur vertegenwoordigt voor het in evenwicht brengen van commerciële doelstellingen met gebruikerservaring in het opkomende landschap van generatieve AI.