🤖 AI

LERA: LLM-Enhanced RAG for Ad Auction in Generative Chatbots

Dieser Artikel schlägt LERA vor, ein zweistufiges Auktionsframework mit Retrieval- und Generierungsphase, das LLMs nutzt, um Relevanzwerte für Anzeigen über einfache Textembeddings hinaus zu verfeinern, wodurch die Selektionsgenauigkeit und -vielfalt verbessert werden, während in generativen Chatbot-Umgebungen wahrheitsgemäße Zahlungen gewährleistet bleiben.

Ursprüngliche Autoren: Haoran Sun, Xinrui Song, Xinyu Zhang, Zhaohua Chen, Xu Chu, Zhilin Zhang, Chuan Yu, Jian Xu, Bo Zheng, Xiaotie Deng

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haoran Sun, Xinrui Song, Xinyu Zhang, Zhaohua Chen, Xu Chu, Zhilin Zhang, Chuan Yu, Jian Xu, Bo Zheng, Xiaotie Deng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterhalten sich mit einem sehr intelligenten, freundlichen Roboter-Assistenten. Sie stellen ihm eine Frage, und er beginnt, eine hilfreiche Antwort zu tippen. Doch plötzlich fragen Sie sich: „Kann dieser Roboter mir auch eine Werbung für ein Produkt zeigen, das ich tatsächlich kaufen möchte?"

Genau dieses Problem versucht das Papier LERA zu lösen. Es ist wie der Versuch, eine Werbung in einen Film einzufügen, ohne die Handlung zu ruinieren. Wenn die Werbung erzwungen, nervig oder irrelevant wirkt (wie eine Pizza-Werbung, während Sie über Ihre Diät sprechen), zerstört sie das Erlebnis. Ist die Werbung hingegen perfekt, gewinnt jeder: Sie erhalten einen nützlichen Vorschlag, das Unternehmen verdient Geld, und der Roboter bleibt hilfreich.

So erklärt das Papier die Lösung unter Verwendung einfacher Analogien:

Das Problem: Das Dilemma „Zu schnell" vs. „Zu langsam"

Die Autoren sagen, dass aktuelle Methoden zur Anzeige von Werbung in Chatbots zwei große Mängel haben:

Die „Schnelle Suche"-Methode: Dies ist wie ein Bibliothekar, der schnell Bücher basierend auf dem Einband oder den ersten paar Worten herausgreift. Es ist superschnell, aber der Bibliothekar könnte ein Buch über „Apple" (die Frucht) greifen, wenn Sie eigentlich nach „Apple" (dem Technologieunternehmen) gefragt haben. Es verpasst die Nuancen.
Die „Tiefgründige Denker"-Methode: Dies ist wie der Auftrag an den Bibliothekar, jedes einzelne Buch in der Bibliothek zu lesen, um die perfekte Übereinstimmung zu finden. Es findet die beste Werbung, aber es dauert so lange, dass der Nutzer vor Langeweile wartet. Es ist zu teuer und zu langsam, um dies bei jedem einzelnen Chat zu tun.

Die Lösung: LERA (Der zweistufige Filter)

Das Papier schlägt LERA vor, das wie ein intelligenter, zweistufiger Einstellungsprozess für Werbung funktioniert. Anstatt sofort den Gewinner zu wählen, verwendet es einen „Trichter"-Ansatz.

Stufe 1: Der „Entwurf"-Filter (Die Schnelle Suche)

Zunächst verwendet das System eine schnelle, günstige Methode (genannt „Embedding"), um Tausende von Werbetreibenden zu scannen.

Die Analogie: Stellen Sie sich vor, Sie suchen nach einer bestimmten Art von Schuh. Anstatt jeden Schuh im Laden anzuprobieren, bitten Sie zuerst einen schnellen Assistenten, nur die „Laufschuhe" von hinten herauszuholen. Ihnen ist Farbe oder Marke noch egal; Sie wollen nur auf die richtige Art von Schuh eingrenzen.
Was passiert: Das System filtert schnell 99 % der irrelevanten Werbung heraus und behält nur eine kleine „Kurzliste" (vielleicht 5 oder 10 Kandidaten).

Stufe 2: Der „Expertenrichter" (Der Tiefgründige Denker)

Nun nimmt das System diese winzige Kurzliste und bittet die superintelligente KI (das LLM), die endgültige Entscheidung zu treffen.

Die Analogie: Jetzt, da Sie nur noch 5 Paar Laufschuhe auf dem Tisch haben, bitten Sie einen Modeexperten, sie genauer anzusehen. Der Experte liest Ihren Chatverlauf, versteht, ob Sie „lautere Farben" hassen, oder ob Sie „zusätzliche Dämpfung" benötigen, und wählt das eine perfekte Paar aus.
Die Magie: Da der Experte nur 5 Schuhe statt 5.000 ansehen muss, kann er dies sehr schnell tun. Er nutzt sein „Gehirn" (die Logik der KI), um komplexe Dinge zu verstehen wie: „Ich habe gesagt, ich mag kein scharfes Essen" oder „Ich wechsle von Kaffee zu Tee".

Die Zahlungsregel: Das „Faire Preis"-Ticket

Das Papier führt auch eine besondere Art ein, Werbetreibende zu berechnen.

Die Analogie: Stellen Sie sich eine Bieterauktion für ein Konzertticket vor. Normalerweise zahlt der Gewinner sein Gebot. Aber bei LERA zahlt der Gewinner den minimalen Betrag, den er bieten musste, um zu gewinnen.
Warum? Dies stellt sicher, dass Werbetreibende ehrlich sind. Wenn sie zu niedrig bieten, verlieren sie. Wenn sie zu hoch bieten, zahlen sie mehr als nötig. Sie werden ermutigt, genau das zu bieten, was die Werbung für sie wert ist. Das System berechnet diesen „minimalen Gewinnpreis", indem es zwei Dinge betrachtet: den Preis, der benötigt wird, um in die „Kurzliste" zu kommen (Stufe 1), und den Preis, der benötigt wird, um die anderen Finalisten zu schlagen (Stufe 2).

Die Ergebnisse: Warum es funktioniert

Die Autoren testeten dies an einem künstlichen Datensatz mit 100 fiktiven Werbetreibenden und vielen Nutzerfragen.

Bessere Genauigkeit: LERA war viel besser darin, die richtige Werbung auszuwählen als die „Schnelle Suche"-Methode allein. Es verstand knifflige Fragen, wie wenn ein Nutzer sagt: „Früher habe ich Kaffee geliebt, aber jetzt hasse ich ihn, geben Sie mir Tee." Die alten Methoden hätten immer noch Kaffee-Werbung gezeigt; LERA zeigte Tee.
Mehr Vielfalt: Wenn ein Nutzer nach drei verschiedenen Dingen fragte (z. B. ein Snack, ein Getränk und eine Lampe), wählte LERA erfolgreich je eines aus. Die alten Methoden blieben oft stecken und wählten drei Snacks, weil diese ähnlich aussahen.
Geschwindigkeit: Selbst mit dem Schritt des „Expertenrichters" war das System schnell genug für den Echtzeiteinsatz. Es ließ den Nutzer nicht zu lange warten.

Auf den Punkt gebracht

LERA ist wie ein intelligenter Türsteher in einem Club.

Zuerst prüft der Türsteher schnell die Ausweise, um nur die richtige Gruppe von Leuten reinzulassen (Stufe 1: Schnelle Filterung).
Dann betrachtet der Türsteher diese kleine Gruppe und wählt die eine Person aus, die perfekt zum Vibe der Party passt (Stufe 2: Intelligente Auswahl).
Schließlich zahlt die Person, die reinkommt, gerade genug, um die Kosten für das Passieren des Türstehers zu decken, wodurch das System fair und ehrlich bleibt.

Dieser Ansatz ermöglicht es Chatbots, Werbung anzuzeigen, die hilfreich und natürlich wirkt, statt nerviger Unterbrechungen, ohne das Gespräch zu verlangsamen.

Technische Zusammenfassung: LERA – LLM-verbessertes RAG für Werbeanzeigen-Auktionen in generativen Chatbots

Problemstellung

Die Integration von Werbung in Chatbots auf Basis von Large Language Models (LLM) stellt eine einzigartige Herausforderung für die Monetarisierung dar. Im Gegensatz zur traditionellen Suchwerbung, bei der Anzeigen vordefinierte Slots belegen, erfordert Chatbot-Werbung die Entscheidung, ob und wie eine Anzeige in eine generierte Antwort eingeflochten wird. Dies erfordert einen Mechanismus, der drei konkurrierende Faktoren ausbalanciert:

Relevanz: Die Anzeige muss sich an nuancierte Nutzerabsichten, kommerziellen Kontext und den dynamischen Dialogfluss anpassen.
Effizienz: Der Auktions- und Auswahlprozess muss minimale Latenz verursachen, um den Echtzeit-Charakter von Chat-Interaktionen zu bewahren.
Wahrhaftigkeit: Der Mechanismus muss anreizkompatible Gebote unterstützen, sodass Werbetreibende motiviert sind, ihren wahren Wert pro Klick zu bieten.

Bestehende Ansätze sehen sich erheblichen Zielkonflikten gegenüber. Retrieve-then-generate-Methoden (z. B. Hajiaghayi et al. [9]) sind effizient, verlassen sich jedoch ausschließlich auf die Ähnlichkeit von Text-Embeddings, was oft dazu führt, dass komplexe kommerzielle Absichten nicht erfasst werden, was zu repetitiven Einfügungen oder kommerziellen Fehlinterpretationen führt. Generate-then-retrieve-Methoden nutzen das kontextuelle Verständnis von LLMs, erfordern jedoch oft mehrere Inferenzdurchläufe pro Abfrage oder eine Bewertung aller Werbetreibenden, was zu prohibitiver Latenz und Inferenzkosten führt. Darüber hinaus führt die direkte Verwendung von LLM-Logits zum Ranking aller Kandidaten in Hochdurchsatz-Engines (wie SGLang) zu erheblichen Engpässen aufgrund der Notwendigkeit eines parallelen Pre-Fillings über große Kandidatensätze.

Methodik: Das LERA-Framework

Die Arbeit schlägt LERA (LLM-Enhanced RAG for Ad Auction) vor, ein zweistufiges Retrieve-then-generate-Auktionsframework, das entwickelt wurde, um Effizienz von semantischer Sophistikation zu entkoppeln.

1. Zweistufiger Zuordnungsprozess

Die Kerninnovation ist ein hybrides Scoring-Mechanismus, der die teure LLM-Berechnung auf einen kleinen, vorgeselektierten Kandidatensatz beschränkt.

Stufe 1: Embedding-basierte Grobfilterung
- Anstatt die rohe Nutzerabfrage direkt zu verwenden, generiert ein LLM zunächst eine prägnante Menge an Intent-Schlüsselwörtern ( $w$ ), die die zugrundeliegenden Bedürfnisse des Nutzers zusammenfassen.
- Diese Schlüsselwörter werden eingebettet und unter Verwendung der normalisierten Kosinusähnlichkeit mit den Beschreibungen der Werbetreibenden ( $d_i$ ) verglichen.
- Der Relevanzscore wird mit dem Gebot des Werbetreibenden ( $b_i$ ) gewichtet: $Score^{(1)}_i = \text{Norm}(\text{Similarity}(\text{Emb}(w), \text{Emb}(d_i))) \cdot b_i$ .
- Die Top- $K$ Werbetreibenden ( $K \ll N$ ) bilden den Kandidatensatz $S$ . Diese Stufe sorgt für einen hohen Durchsatz, indem sie die überwiegende Mehrheit irrelevanter Werbetreibender mittels leichter Embedding-Operationen herausfiltert.
Stufe 2: LLM-Logit-basiertes Fein-Ranking
- Die ursprüngliche Abfrage $x$ , der Kandidatensatz $S$ und eine Option „keine Einfügung" ( $\phi$ ) werden dem LLM präsentiert.
- Das LLM wird aufgefordert, die am besten geeignete Anzeige zu identifizieren. Anstatt Text zu generieren, extrahiert das System die Logits für die Kandidaten-Labels (einschließlich der Option „keine Einfügung").
- Diese Logits werden via Softmax normalisiert, um verfeinerte organische Relevanzscores ( $s^{(2)}_j$ ) zu erzeugen.
- Der finale Auktions-Score ist $Score^{(2)}_j = s^{(2)}_j \cdot b_j$ . Der Gewinner ist der Kandidat mit dem höchsten Score. Wenn die Option „keine Einfügung" gewinnt, wird keine Anzeige angezeigt.

2. Zahlungsregel und Anreizkompatibilität

Um Wahrhaftigkeit zu gewährleisten, setzt LERA eine Critical-Value-Zahlungsregel ein. Im Gegensatz zu einer Standard-Zweitpreisauktion muss der Gewinner zwei Bedingungen erfüllen: den Eintritt in die Top- $K$ -Menge der Stufe 1 und den Sieg im Ranking der Stufe 2.

Die Zahlung $p_{i^*}$ für den gewinnenden Werbetreibenden $i^*$ ist definiert als:
$p_{i^*} = \max \left( \frac{Score^{(1)}_{(K+1)}}{s^{(1)}_{i^*}}, \frac{Score^{(2)}_{(2)}}{s^{(2)}_{i^*}} \right)$
Wobei:

$Score^{(1)}_{(K+1)}$ der Schwellenwert-Score ist, der erforderlich ist, um in den Kandidatensatz zu gelangen.
$Score^{(2)}_{(2)}$ der zweithöchste Score im finalen Ranking ist.
Die Zahlung das Maximum der kritischen Werte ist, die erforderlich sind, um beide Stufen zu bestehen.

Die Arbeit beweist (Proposition 4.1), dass unter den Annahmen der Unabhängigkeit zwischen Klick-Ergebnissen und realisierten Werten sowie unverzerrter Vorherschätzungen dieser Mechanismus für nutzenmaximierende Werbetreibende anreizkompatibel ist.

3. Erweiterung auf Mehrfach-Anzeigen-Einfügung

Das Framework erstreckt sich auf dynamische Dialogflüsse, indem die Antwort in Segmente unterteilt wird. Für jedes Segment wird die Auktion basierend auf der Abfrage und dem Antwort-Präfix konditioniert. Das System bewertet erneut, ob eine Anzeige eingefügt werden soll und welche ausgewählt werden muss, um Vielfalt zu gewährleisten und repetitive Einfügungen von Kategorien zu vermeiden.

Hauptbeiträge

LERA-Framework: Ein neuartiger zweistufiger Auktionsmechanismus, der die Effizienz der Embedding-basierten Suche mit der semantischen Tiefe des LLM-basierten Fein-Rankings kombiniert, speziell zugeschnitten auf die Einschränkungen der Chatbot-Anzeigen-Einfügung.
Critical-Value-Zahlungsregel: Ein Zahlungsmechanismus, der explizit für einen zweistufigen Auswahlprozess entwickelt wurde und sowohl Eintrittsschwellenwerte für Kandidatensätze als auch die Konkurrenz im finalen Stadium berücksichtigt, um Wahrhaftigkeit zu gewährleisten.
Empirische Validierung: Umfassende Experimente zeigen, dass LERA Embedding-only- und LLM-only-Baselines in Bezug auf Auswahlgenauigkeit und Einfügungsvielfalt übertrifft, während eine kontrollierbare Latenz beibehalten wird.

Experimentelle Ergebnisse

Experimente wurden auf einer synthetischen Benchmark mit 100 Werbetreibenden in 8 Kategorien durchgeführt, unter Verwendung von Qwen-Modellen (4B, 30B, 235B) und SGLang für Hochdurchsatz-Inferenz.

Auswahlgenauigkeit: Bei Aufgaben zur Einfügung einzelner Anzeigen, die komplexe Intent-Analyse, natürliche Intent-Verschiebungen und negative Produktverfeinerung beinhalten, übertraf LERA die Embedding-only-Baseline konsistent. Beispielsweise erreichte LERA mit einem 30B-Modell eine Gesamtgenauigkeit von 98,73 % im Vergleich zu 56,3 % für die Embedding-only-Baseline.
Vielfalt bei Mehrfach-Anzeigen: In dynamischen Szenarien mit mehreren Anzeigen verbesserte LERA die „Query Satisfaction" (der Anteil der erfüllten angeforderten Kategorien) signifikant. LERA erreichte mit dem 235B-Modell eine Zufriedenheit von 80,67 %, wohingegen die Embedding-only-Baseline bei 45,33 % Schwierigkeiten hatte.
Trade-off zwischen Effizienz und Genauigkeit:
- LERA (LLM-only), das alle Werbetreibenden mit LLM-Logits bewertet, erreichte hohe Genauigkeit, litt jedoch unter schweren Durchsatz-Engpässen aufgrund der Anforderungen an paralleles Pre-Filling.
- LERA behielt hohe Genauigkeit bei und verursachte im Vergleich zur Embedding-only-Baseline nur einen kontrollierbaren Latenz-Overhead, insbesondere bei niedrigeren Parallelitätsgraden.
- Ablationsstudien zeigten, dass die Grobfilterungsstufe (Stufe 1) nicht nur für die Geschwindigkeit, sondern auch für die Verbesserung der Fein-Ranking-Aufgabe entscheidend ist, indem sie das Rauschen für das LLM reduziert.

Bedeutung und Behauptungen

Die Arbeit positioniert LERA als einen praktischen Schritt hin zum Einsatz von Auktions-basierter Anzeigen-Einfügung in LLM-gestützten Chatbots. Ihre Bedeutung liegt in der Auflösung der Spannung zwischen semantischer Relevanz und Systemdurchsatz.

Praktikabilität: Durch die Einbettung von LLM-Scoring in einen durchsatzbewussten zweistufigen Mechanismus macht LERA die Verwendung von LLM-Logits für das Ranking in Echtzeitanwendungen möglich und vermeidet die prohibitiven Kosten der Bewertung aller Kandidaten.
Kommerzielle Tragfähigkeit: Das Framework adressiert die spezifischen Herausforderungen generativer Werbung, wie das Vermeiden repetitiver Einfügungen und das Handhaben negativer Einschränkungen (z. B. „Ich möchte X nicht"), die von Embedding-Modellen oft übersehen werden.
Theoretische Fundierung: Die vorgeschlagene Zahlungsregel erweitert externitätsbewusstes Auktionsdesign auf den generativen Kontext und stellt sicher, dass der Mechanismus auch dann wahrhaftig bleibt, wenn der Wert der Anzeige vom dynamischen Kontext der generierten Antwort abhängt.

Die Autoren erkennen Einschränkungen an und stellen fest, dass die Ergebnisse auf einem synthetischen Datensatz und theoretischen Annahmen bezüglich der Unabhängigkeit zwischen Klick-Wahrscheinlichkeit und realisiertem Wert beruhen. Sie behaupten jedoch, dass LERA eine tragfähige Architektur darstellt, um kommerzielle Ziele mit der Nutzererfahrung in der aufkommenden Landschaft der generativen KI in Einklang zu bringen.