🤖 machine learning

DRIVE: Distributional and Retrieval-Augmented Bidding with Value Evaluation

Das Papier schlägt DRIVE vor, ein vereinheitlichtes, auf Transformern basierendes Framework für Offline-Auto-Bidding, das die Generierung von Kandidatenaktionen von der Entscheidungsfindung entkoppelt, indem es Verteilungsmodellierung, abrufgestützte historische Beispiele und Wertbewertung kombiniert, um die Einschränkungen traditioneller parametrischer Methoden zu überwinden und die Leistung unter Budgetbeschränkungen zu verbessern.

Ursprüngliche Autoren: Miduo Cui, Haochen Wang, Shangqin Mao, Xun Yang, Qianlong Xie, Xingxing Wang, Xuri Ge, Ying Zhou, Zhiwei Xu

Veröffentlicht 2026-06-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Miduo Cui, Haochen Wang, Shangqin Mao, Xun Yang, Qianlong Xie, Xingxing Wang, Xuri Ge, Ying Zhou, Zhiwei Xu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein professioneller Spieler, der versucht, jeden Tag eine Reihe von Auktionen zu gewinnen. Sie haben ein strenges Budget und müssen genau entscheiden, wie viel Sie in Echtzeit für Tausende von Artikeln bieten. Wenn Sie zu niedrig bieten, verlieren Sie den Artikel. Wenn Sie zu hoch bieten, geht Ihnen vor Ende des Tages das Geld aus.

Dies ist die Welt des Auto-Bidding (automatisierte Gebotsabgabe) in der Online-Werbung. Unternehmen nutzen Computerprogramme, um diese blitzschnellen Entscheidungen zu treffen. Das Problem dabei: Diese Computer zu trainieren, ist extrem riskant. Man kann sie nicht einfach durch „Learning by Doing“ in der realen Welt lernen lassen, da eine einzige falsche Schätzung einem Unternehmen tausende Dollar kosten könnte. Stattdessen lehrt man sie anhand eines „Geschichtsbuchs“ vergangener Entscheidungen (Offline-Daten).

Das Papier stellt ein neues System namens DRIVE vor, um zwei Hauptprobleme zu lösen, mit denen aktuelle Computer beim Lernen aus der Historie konfrontiert sind.

Die zwei großen Probleme

1. Die „Durchschnitts-Falle“
Stellen Sie sich vor, Sie betrachten ein Foto einer Menschenmenge. Einige tragen rote Hemden, andere blaue. Wenn Sie einen Standard-Computer bitten, den „Durchschnittsmenschen“ in dieser Menge zu beschreiben, könnte er eine Person mit einem lila Hemd erfinden.
In der realen Welt ist es manchmal die beste Strategie, aggressiv zu bieten (rotes Hemd), und manchmal konservativ (blaues Hemd). Alte Computermodelle versuchen, den „Mittelweg“ zu finden, und bieten am Ende einen „lila“ Betrag, der für einen konservativen Tag zu hoch und für einen aggressiven Tag zu niedrig ist. Sie lassen alle guten Strategien in einem einzigen schlechten Durchschnitt kollabieren.

2. Die „Long-Tail-Blindheit“
Stellen Sie sich vor, Sie sind ein Koch, der bereits 10.000 Mahlzeiten gekocht hat. 9.900 davon waren einfache Pastagerichte, aber 100 waren komplexe, luxuriöse Festmähler. Wenn Sie sich nur auf die häufigsten Gerichte konzentrieren, vergessen Sie, wie man die festlichen Speisen kocht.
In der Werbung ist der meiste Traffic zwar gewöhnlich, aber die wertvollsten Gelegenheiten ergeben sich oft in seltenen „Long-Tail“-Situationen. Alte Modelle werden in diesen seltenen Momenten verwirrt, weil sie nicht genug Beispiele gesehen haben, was zu unzuverlässigen Schätzungen führt.

Die DRIVE-Lösung

Die Autoren haben DRIVE (Distributional and Retrieval-Augmented Bidding with Value Evaluation) entwickelt, um diese Probleme zu beheben. Denken Sie an einen dreistufigen Prozess für eine kluge Entscheidung:

Schritt 1: Der „Optionen-Generator“ (Distributional Modeling)
Anstatt nur einen durchschnittlichen Gebotswert zu raten, fordert DRIVE den Computer auf, sich gleichzeitig viele mögliche Gebote vorzustellen. Es ist, als würde man einen Koch bitten, fünf verschiedene Arten zu beschreiben, wie man ein Steak zubereitet (selten, medium, durchgebraten usw.), anstatt nur eine Temperatur zu raten. Dies stellt sicher, dass das System alle verschiedenen gültigen Strategien am Leben erhält, anstatt sie zu einem nutzlosen „lila Hemd“ zu mitteln.

Schritt 2: Der „Spickzettel“ (Retrieval-Augmentation)
Wenn der Computer mit einer seltenen oder schwierigen Situation konfrontiert wird, rät er nicht einfach nur. Er öfftnet einen „Spickzettel“ (eine Datenbank mit hochwertigen Entscheidungen aus der Vergangenheit). Er sucht nach Situationen in der Vergangenheit, die der aktuellen Situation exakt ähneln, und sagt: „Hey, in genau dieser Situation haben wir früher erfolgreich 50 $ geboten!“ Dies gibt dem Computer ein konkretes, reales Beispiel, an dem er sich orientieren kann, was verhindert, dass er in Zeiten knapper Daten falsche Ideen halluziniert.

Schritt 3: Der „Schiedsrichter“ (Value Evaluation)
Nun hat der Computer zwei Listen mit Ideen: die, die er selbst generiert hat (Schritt 1), und die, die er vom Spickzettel gefunden hat (Schritt 2). Bevor er einen Zug macht, prüft ein „Schiedsrichter“ (ein Value Critic) jede einzelne Option. Er fragt: „Wenn ich dieses Gebot wähle, bleibe ich dann innerhalb des Budgets und erziele das beste Ergebnis?“ Er wählt die eine beste Option aus der gesamten Liste aus und ignoriert die schlechten.

Die Ergebnisse

Die Autoren haben DRIVE auf einem massiven Echtzeit-Datensatz namens AuctionNet (der einen echten Werbemarkt simuliert) und einigen Standard-Robotik-Tests (D4RL) getestet.

Bessere Leistung: DRIVE erzielte konsistent mehr Geld (oder „Value“) als bisherige Methoden.
Lösung der Falle: Es vermied erfolgreich die „Durchschnitts-Falle“, indem es je nach Moment die richtige aggressive oder konservative Strategie wählte.
Umgang mit seltenen Ereignissen: Es schnitt in „spärlichen“ Situationen, in denen die Datenlage dünn war, dank der „Spickzettel“-Funktion deutlich besser ab.
Geschwindigkeit: Obwohl es mehr Rechenleistung benötigt (Optionen generieren, Spickzettel prüfen und den Schiedsrichter fragen), ist es immer noch schnell genug für das Echtzeit-Gebotswesen (weniger als 50 Millisekunden).

Das Fazit

DRIVE ist wie ein Upgrade für einen Fahrer: Von jemandem, der nur auf „Autopilot“ fährt (und den Durchschnitt der Straße mittelt), hin zu einem Profi-Fahrer, der:

Verschiedene Fahrlinien in Betracht zieht (schnell vs. sicher).
Eine Karte prüft, wo andere gute Fahrer in ähnlichem Verkehr gefahren sind.
Einen Co-Piloten hat, der die beste Route doppelt checkt, bevor er das Lenkrad einschlägt.

Dies führt zu einem Fahrer, der sicherer, klüger und erfolgreicher ist – besonders wenn die Straße schwierig oder ungewohnt wird.

Technisches Resümee: DRIVE (Distributional and Retrieval-Augmented Bidding with Value Evaluation)

1. Problemstellung

Die Arbeit adressiert kritische Einschränkungen bei der Anwendung von Offline-Reinforcement Learning (RL) und Transformer-basierten Sequenzmodellen (z. B. Decision Transformer) auf reale Auto-Bidding-Systeme. Während Offline-RL aufgrund der prohibitiven Risiken und Kosten der Online-Exploration in Werbeauktionen notwendig ist, stehen bestehende Methoden vor zwei primären Herausforderungen:

Die „Durchschnitts-Aktion“-Falle (Average Action Trap): Standardmäßige Transformer-basierte Ansätze verwenden typischerweise unimodale Regressionsziele (z. B. den mittleren quadratischen Fehler/MSE). In Gebotsumgebungen können ähnliche Marktzustände oft mehrere distinkte, aber effektive Strategien zulassen (z. B. aggressives hohes Bieten vs. konservatives niedriges Bieten). Die unimodale Modellierung kollabiert diese vielfältigen Verhaltensweisen zu einer einzigen suboptimalen Durchschnittsaktion, die weder aggressiv genug ist, um Auktionen zu gewinnen, noch konservativ genug, um Kosten zu kontrollieren.
Unzuverlässigkeit bei spärlichen/Long-Tail-Daten: Rein parametrische Modelle verfügen über keine expliziten Mechanismen, um qualitativ hochwertige historische Entscheidungen zu bewahren. Folglich generieren sie unzuverlässige Aktionen in Regionen mit geringer Datendichte oder unter Long-Tail-Verkehrsbedingungen, obwohl im geloggten Datensatz qualitativ hochwertige Entscheidungen vorhanden sind.

2. Methodik: Das DRIVE-Framework

Die Autoren schlagen DRIVE (Distributional and Retrieval-Augmented Bidding with Value Evaluation) vor, ein vereinheitlichtes Transformer-basiertes Framework, das die Generierung von Kandidaten-Aktionen von der Entscheidungsfindung entkoppelt. Das Framework integriert drei Kernkomponenten:

A. Distributionale Aktionsmodellierung (GMM Head)

Anstatt eines deterministischen Regressions-Heads verwendet DRIVE ein Gaußsches Mischmodell (Gaussian Mixture Model, GMM), um den Aktionsraum zu modellieren.

Mechanismus: Die Policy sagt eine Menge von $M$ Mischkomponenten voraus, die jeweils durch Mischkoeffizienten ( $\alpha_m$ ), Mittelwerte ( $\mu_m$ ) und Varianzen ( $\sigma^2_m$ ) definiert sind.
Zielsetzung: Das Modell wird trainiert, indem die Log-Likelihood historischer Aktionen maximiert wird. Dies ermöglicht es der Policy, eine multimodale Dichte darzustellen, wodurch diverse Gebotsmodi gleichzeitig erfasst werden, anstatt sie zu einer einzigen Punktschätzung kollabieren zu lassen.
Inferenz: Während der Inferenz sampelt das Modell stochastisch eine Menge von Kandidaten-Aktionen ( $A_{gen}$ ) aus der gelernten Mischverteilung, wodurch die multimodalen Gebotsmuster erhalten bleiben.

B. Retrieval-Augmentierte Kandidatengenerierung

Um die Unzuverlässigkeit parametrischer Modelle in spärlichen Datenszenarien abzumildern, integriert DRIVE einen Retrieval-Mechanismus, der auf hochwertigen historischen Trajektorien basiert.

Index-Konstruktion: Ein Retrieval-Index ( $I$ ) wird aus dem Offline-Datensatz mithilfe von Kontext-State-Embeddings erstellt, die von einem leichtgewichtigen Transformer-Encoder generiert wurden.
Retrieval-Strategie: Zur Inferenzzeit wird der aktuelle Zustand kodiert, und das System ruft die $K_{pool}$ nächsten Nachbarn basierend auf der Kosinus-Ähnlichkeit ab. Diese Kandidaten werden anschließend nach ihren gespeicherten Return-to-Go (RTG)-Werten gefiltert und gerankt, um die Top- $K$ qualitativ hochwertigen Aktionen ( $A_{ret}$ ) auszuwählen.
Rolle: Dies bietet eine explizite nicht-parametrische Unterstützung, die Entscheidungen an nachgewiesenen, leistungsstarken Verhaltensweisen aus dem Datensatz verankert.

C. Wertbasierte Aktionsbewertung

Um die endgültige Gebotsentscheidung aus dem kombinierten Pool aus generierten und abgerufenen Kandidaten robust auszuwählen, nutzt DRIVE eine wertbasierte Critic-Komponente.

Critic-Architektur: Das Framework übernimmt das Implicit Q-Learning (IQL) Paradigma. Es lernt zwei Q-Funktionen und eine State-Value-Funktion ( $V(s)$ ) strikt innerhalb des Supports des Offline-Datensatzes mittels Expectile-Regression.
Constraint-Bewusstsein: Für gebundene Bidding-Aufgaben (z. B. Cost Per Action - CPA) wird die Belohnungsfunktion so geformt, dass sie Strafterme enthält. Dies stellt sicher, dass die gelernte Value-Landschaft inhärent Sicherheitsbeschränkungen widerspiegelt und den Agenten zu zulässigen Regionen führt.
Selektion: Die endgültige Aktion ( $a^*$ ) wird durch die Bewertung aller Kandidaten ( $A_{cand} = A_{gen} \cup A_{ret}$ ) mittels des Critics ausgewählt:
$a^* = \arg \max_{a \in A_{cand}} \min_{i=1,2} Q_i(s, a)$

3. Zentrale Beiträge

Vereinheitlichtes Framework: Der Vorschlag von DRIVE, das durch die Synergie von distributionaler GMM-Modellierung, retrieval-augmentiertem Kontext und wertbasierter Evaluierung die „Durchschnitts-Aktion“-Falle und die Datenspärlichkeit in der Offline-Auto-Bidding-Problematik adressiert.
Empirische Validierung auf AuctionNet: Umfangreiche Experimente auf AuctionNet, einem großskaligen industriellen Benchmark mit stochastischer Dynamik und strikten Budget-/CPA-Beschränkungen, zeigen, dass DRIVE konsequent besser abschneidet als State-of-the-Art-Baselines (einschließlich CQL, IQL, BCQ, DT und diffusionsbasierten Methoden).
Generalisierbarkeit: Es wird gezeigt, dass das Framework breit anwendbar ist, sich nahtlos in mehrere Transformer-basierte Architekturen integrieren lässt (DT, CDT, PDiT, BC) und die Leistung über verschiedene Standard-Offline-RL-Benchmarks (D4RL Gym-MuJoCo und Maze2D) hinweg konsistent verbessert.

4. Experimentelle Ergebnisse

AuctionNet-Performance: DRIVE erzielt eine überlegene Performance über alle Budgetbeschränkungen hinweg (50 % bis 150 %). Bemerkenswert ist, dass auf dem AuctionNet-Sparse Datensatz, auf dem rein generative Baselines (wie DT und DiffBid) aufgrund von Datenspärlichkeit signifikant an Leistung verlieren, DRIVE durch die Nutzung von Retrieval eine robuste Performance beibehält.
D4RL-Benchmarks: DRIVE erreicht die höchsten durchschnittlichen normalisierten Scores bei den Gym-Locomotion-Aufgaben und zeigt signifikante Vorteile im Maze2D-Bereich (z. B. ein Score von 136,8 auf maze2d-medium, womit es alle Wettbewerber übertrifft).
Ablationsstudien:
- Das Entfernen des GMM-Heads (Rückkehr zur deterministischen Form) oder des Retrieval-Moduls führt zu erheblichen Leistungseinbußen.
- Im Vergleich zeigt der GMM-Head gegenüber Diffusions-Heads eine vergleichbare oder bessere Performance bei signifikant geringerer Inferenzlatenz (11 ms vs. 223 ms), was ihn besser für das Echtzeit-Bidding geeignet macht.
- Die Analyse der Multimodalität der Q-Funktion zeigt, dass 17,6 % der Zustände multimodal sind, während Standard-DT-Policies in diesen Fällen eine Suboptimalitätsrate von 54,7 % aufweisen, was die Notwendigkeit der distributionale Modellierung bestätigt.
Effizienz: Obwohl DRIVE einen zusätzlichen Speicherbedarf verursacht (primär für den FAISS-Retrieval-Index), bleibt die gesamte Inferenzlatenz unter 50 ms, was die strengen Anforderungen industrieller Echtzeit-Bidding-Systeme erfüllt.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass DRIVE ein robustes Paradigma für den Einsatz von Offline-RL in Bidding-Umgebungen bietet. Durch die Entkopplung der Kandidatengenerierung von der Entscheidungsfindung mildert es effektiv die „Durchschnitts-Aktion“-Falle und gewährleistet eine zuverlässige Entscheidungsfindung unter spärlichen und Long-Tail-Datenregimen. Die Autoren betonen, dass ihr Ansatz nicht auf komplexer Umgebungmodellierung oder Online-Exploration beruht, was ihn zu einer praktischen Lösung für reale Werbesysteme macht, in denen Sicherheit und Budgetbeschränkungen oberste Priorität haben. Die Fäh Fähigkeit des Frameworks, über verschiedene Transformer-Backbones hinweg zu generalisieren, deutet darauf hin, dass es eine allgemeine Lösung für Mode Collapse und Sampling-Instabilität in der Sequenzmodellierung für Offline-RL bietet.