🤖 machine learning

Accelerating PayPal's Commerce Agent with Speculative Decoding: An Empirical Study on EAGLE3 with Fine-Tuned Nemotron Models

Die Studie zeigt, dass die Anwendung von EAGLE3-basiertem spekulativem Decoding auf PayPals mit einem feinabgestimmten Nemotron-Modell betriebenen Commerce Agent die Durchsatzleistung um bis zu 49 % steigert und die Latenz um bis zu 33 % senkt, wodurch die Leistung eines einzelnen H100-GPUs die eines NIM-Systems auf zwei H100-GPUs erreicht oder übertrifft, bei gleichzeitiger vollständiger Wahrung der Ausgabequalität.

Ursprüngliche Autoren: Ally Qin, Jian Wan, Sarat Mudunuri, Srinivasan Manoharan

Veröffentlicht 2026-04-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ally Qin, Jian Wan, Sarat Mudunuri, Srinivasan Manoharan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🚀 Die große Idee: Wie man eine KI zum Rennwagen macht

Stell dir vor, PayPal hat einen sehr klugen, aber etwas langsamen KI-Assistenten (den „Commerce Agent"), der Kunden beim Einkaufen hilft. Dieser Assistent muss komplexe Fragen verstehen und genaue Produktempfehlungen geben.

Das Problem: Der Assistent ist wie ein Schneckenrennen. Er denkt jeden einzelnen Satzwort nach, bevor er das nächste schreibt. Das kostet Zeit und teure Computer-Chips (GPUs).

PayPal hat bereits einen Trick angewendet: Sie haben den Assistenten speziell für den E-Commerce „trainiert" (wie einen Schüler, der extra für Mathe-Nachhilfe geht). Das machte ihn schon schneller. Aber in dieser neuen Studie haben sie einen zweiten, genialen Trick ausprobiert: Spekulatives Decodieren.

🧠 Der Trick: Der „Vorschuss-Manager" (EAGLE3)

Stell dir den normalen KI-Assistenten wie einen Schreiberling vor, der jeden Buchstaben einzeln aufschreibt, den Stift hebt, nachdenkt und dann den nächsten Buchstaben schreibt. Das ist langsam.

PayPal hat nun einen kleinen, superschnellen Assistenten (den „Draft Model" oder „Vorschuss-Manager") hinzugefügt. Dieser kleine Assistent ist nicht so schlau wie der große, aber er ist extrem schnell.

Wie funktioniert das im Alltag?
Stell dir vor, du diktierst einem Freund einen langen Brief:

Der alte Weg: Du sagst ein Wort, er schreibt es auf. Du sagst das nächste, er schreibt es auf.
Der neue Weg (Spekulatives Decodieren):
- Der kleine, schnelle Assistent schaut dir über die Schulter und vermutet sofort die nächsten 3 Wörter, die du sagen wirst (z. B. „Ich möchte eine rote Jacke").
- Er schreibt diese 3 Wörter schon mal vor.
- Der große, kluge Assistent kommt dann und prüft in einem einzigen schnellen Blick: „Stimmen meine Vorhersagen?"
- Wenn ja: Super! Wir haben 3 Wörter in der Zeit geschrieben, die sonst für 1 Wort gebraucht hätte.
- Wenn nein: Kein Problem, der große Assistent korrigiert es sofort und wir schreiben weiter.

Der kleine Assistent (EAGLE3) ist so schnell und leicht, dass er fast keine extra Arbeit macht. Selbst wenn er nur bei 35 % der Wörter richtig liegt, spart das enorm viel Zeit.

📊 Was haben sie herausgefunden? (Die Ergebnisse)

PayPal hat diesen Trick in 40 verschiedenen Szenarien getestet (wenige oder viele Kunden gleichzeitig, verschiedene Einstellungen). Hier sind die wichtigsten Erkenntnisse:

Geschwindigkeitsschub: Mit dem Trick (bei einer Vorhersage von 3 Wörtern, genannt $\gamma=3$ ) wurde der Assistent 22 % bis 49 % schneller. Das ist wie ein Sprint, der plötzlich viel flotter läuft.
Die perfekte Zahl: Wenn der kleine Assistent zu viele Wörter auf einmal rät (z. B. 5), wird er oft falsch liegen. Dann muss der große Assistent viel korrigieren, und es wird wieder langsam. 3 Wörter auf einmal waren der perfekte Sweet Spot.
Stabilität: Es spielte keine Rolle, ob 1 Kunde oder 32 Kunden gleichzeitig schrieben. Die Vorhersage-Genauigkeit des kleinen Assistenten blieb immer stabil bei ca. 35 %. Das ist toll für die Planung, denn man weiß genau, wie viel schneller es wird.
Qualität bleibt gleich: Die Kunden merkten keinen Unterschied. Die Antworten waren genauso gut und hilfreich wie vorher. Der Trick hat die Intelligenz nicht beeinträchtigt.
Geld sparen: Das ist der größte Clou! Mit diesem Trick reichte ein einziger Computer-Chip (GPU), um die gleiche Arbeit zu erledigen wie vorher zwei Chips. Das spart PayPal 50 % der Hardware-Kosten!

🍕 Eine Analogie zum Schluss: Die Pizza-Lieferung

Stell dir vor, PayPal ist eine Pizza-Lieferkette.

Der alte Chef-Koch (NIM): Er backt jede Pizza einzeln. Er nimmt den Teig, legt die Zutaten auf, schiebt sie in den Ofen, wartet, nimmt sie raus. Das dauert lange.
Der neue Trick (EAGLE3): Der Chef-Koch hat einen schnellen Lehrling.
- Der Lehrling schaut, was der Chef macht, und schätzt schon mal, welche Zutaten auf die nächste Pizza kommen. Er legt sie schon mal bereit.
- Der Chef kommt, sieht: „Ah, der Lehrling hat richtig geraten!" -> Er schiebt die Pizza sofort in den Ofen.
- Der Lehrling hat sich nicht geirrt? Der Chef korrigiert es schnell.
- Ergebnis: Der Chef muss nicht mehr warten, bis er die Zutaten sucht. Er kann die Pizzas (die Antworten) viel schneller an die Kunden liefern. Und weil der Lehrling so schnell ist, braucht die Küche nicht doppelt so große Öfen (Hardware).

Fazit

PayPal hat bewiesen, dass man KI nicht nur durch „schwerere" Modelle oder mehr Hardware verbessern muss. Manchmal reicht es, einen kleinen, schnellen Assistenten hinzuziehen, der mutmaßt, was als Nächstes kommt. Das macht den Service schneller für den Kunden und spart der Firma eine Menge Geld. Ein Gewinn für alle! 🍕💸🚀

1. Problemstellung

Der Einsatz von Large Language Models (LLMs) in produktiven E-Commerce-Umgebungen steht in einem fundamentalen Spannungsfeld zwischen Modellqualität und Inferenz-Latenz.

Anforderung: PayPals Commerce Agent benötigt ausgefeiltes Sprachverständnis für Suchanfragen, Produktsuche und Empfehlungen. Bisherige Arbeiten zeigten, dass ein feinabgestimmtes Small Language Model (SLM), das llama3.1-nemotron-nano-8B-v1, bereits Latenz- und Kosteneinsparungen gegenüber größeren Modellen brachte.
Herausforderung: Trotz dieser Verbesserungen bestehen weiterhin hohe Anforderungen an die Service-Level-Agreements (SLAs), die Antwortzeiten unter 2 Sekunden erfordern.
Ziel: Die Autoren untersuchen, ob durch Speculative Decoding (spekulative Dekodierung) die Inferenzleistung weiter gesteuert und die Hardwarekosten bei Produktionslasten reduziert werden können, ohne die Ausgabequalität zu beeinträchtigen.

2. Methodik

Die Studie vergleicht zwei Bereitstellungsarchitekturen auf identischer Hardware (2× NVIDIA H100 GPUs):

Baseline (NIM): Die aktuelle Produktionsumgebung nutzt NVIDIA NIM mit dem feinabgestimmten Nemotron-Modell. NIM ist eine containerisierte Inferenzlösung mit voroptimierten Diensten.
Experimentelle Gruppe (vLLM + EAGLE3): Die neue Konfiguration nutzt vLLM als Inferenz-Engine und implementiert EAGLE3 (eine trainingsfreie, draft-model-basierte spekulative Dekodierungsmethode).
- Funktionsweise: Ein leichtgewichtiges Draft-Modell (EAGLE3) schlägt mehrere Token parallel vor (z. B. $\gamma=3$ oder $\gamma=5$ ). Das Zielmodell (Nemotron) verifiziert diese Vorschläge in einem einzigen Vorwärtsdurchlauf. Akzeptierte Token überspringen einzelne Dekodierungsschritte.
Versuchsdesign:
- Konfigurationen: 40 verschiedene Experimente basierend auf:
  - Anzahl der spekulative Token: $\gamma=3$ und $\gamma=5$ .
  - Parallelitätslevel (Concurrency): 1, 4, 8, 16, 32 gleichzeitige Anfragen.
  - Sampling-Temperaturen: 0 (greedy) und 0,5 (stochastisch).
- Qualitätssicherung: Evaluation mittels „LLM-as-Judge" (Pairwise-Vergleich und Einzelbewertung) zur Sicherstellung, dass die Ausgabequalität erhalten bleibt.

3. Wichtige Beiträge

Produktions-Skalen-Evaluation: Dies ist die erste umfassende Bewertung von Speculative Decoding auf einem feinabgestimmten, commerce-spezifischen SLM in einer realen E-Commerce-Umgebung.
Charakterisierung der Akzeptanzrate: Die Studie zeigt, dass die Akzeptanzrate der spekulative Token über verschiedene Arbeitslasten hinweg bemerkenswert stabil bleibt, was die Kapazitätsplanung vereinfacht.
Qualitätserhalt: Durch rigorose Evaluation wird bestätigt, dass Speculative Decoding die Ausgabequalität in allen getesteten Konfigurationen nicht verschlechtert.
Praktische Implementierungshinweise: Die Arbeit identifiziert die optimale Konfiguration ( $\gamma=3$ ) und zeigt, dass eine Single-GPU-Implementierung mit Speculative Decoding die Leistung einer Dual-GPU-Baseline erreichen oder übertreffen kann.

4. Ergebnisse

Leistung (Throughput & Latenz)

Throughput-Steigerung: Die Konfiguration mit $\gamma=3$ (Spec-3) erzielt eine 22–49 %ige Steigerung des Durchsatzes im Vergleich zur NIM-Baseline. Die größten Gewinne wurden bei niedriger Parallelität beobachtet.
Latenzreduktion: Die mittlere Latenz wurde um 18–33 % reduziert. Selbst bei hoher Parallelität (32 gleichzeitige Anfragen) blieb eine Verbesserung von 20 % bestehen.
Abnehmende Rendite bei $\gamma=5$ : Die Konfiguration mit 5 spekulative Token zeigte nur bei sehr niedriger Parallelität Vorteile. Bei höherer Last verschlechterte sich die Leistung aufgrund einer niedrigeren Akzeptanzrate.

Akzeptanzraten (Acceptance Rates)

Stabilität: Die Akzeptanzrate für $\gamma=3$ blieb über alle Parallelitätslevel und Temperaturen hinweg extrem stabil bei ca. 35,5 %.
Temperatur-Unempfindlichkeit: Im Gegensatz zu früheren Studien (die bei Temperatur 0 höhere Raten sahen) zeigte sich hier kaum ein Unterschied zwischen Temperatur 0 und 0,5. Dies wird auf die strengen JSON-Schema-Einschränkungen zurückgeführt, die die Token-Verteilung bereits stark einschränken.
Vergleich: Die Raten (25–36 %) waren niedriger als in früheren Arbeiten mit T5-Modellen (53–82 %), was auf die domänenspezifische Feinabstimmung und die strukturellen Unterschiede des EAGLE3-Draft-Modells zurückgeführt wird.

Hardware-Effizienz und Kosten

Single-GPU vs. Dual-GPU: Ein entscheidendes Ergebnis ist, dass Speculative Decoding auf einer einzigen H100 GPU die Leistung von zwei H100 GPUs (NIM-Baseline) bei moderater Parallelität ( $c \le 8$ ) erreicht oder übertrifft.
Kosteneinsparung: Dies ermöglicht eine potenzielle Reduktion der GPU-Kosten um 50 % bei gleicher oder besserer Performance.
GPU-Auslastung: Trotz höherem Durchsatz zeigte Speculative Decoding oft eine geringere GPU-Auslastung, da Anfragen schneller abgeschlossen wurden und die GPU weniger lange belegt war.

Qualität

Die „LLM-as-Judge"-Evaluation bestätigte, dass die Ausgabequalität über alle Konfigurationen hinweg erhalten bleibt. Bei Temperatur 0 waren die Ergebnisse fast identisch (Tie-Rate 90–100 %), bei Temperatur 0,5 gab es keine signifikanten Qualitätsverluste.

5. Bedeutung und Fazit

Diese Studie demonstriert, dass Speculative Decoding mit EAGLE3 eine hochwirksame Inferenz-Optimierung für PayPals Commerce Agent ist.

Kombinierte Optimierung: In Kombination mit der vorherigen Arbeit zur domänenspezifischen Feinabstimmung (LoRA) ergibt sich ein vollständiger Optimierungsprozess: Die Feinabstimmung reduziert die Modellgröße und verbessert die Qualität, während Speculative Decoding die Inferenzgeschwindigkeit ohne zusätzliches Training weiter beschleunigt.
Gesamteffekt: Zusammen führen diese Techniken zu einer kumulativen Latenzreduktion von über 60 % im Vergleich zum ursprünglichen Basis-Modell.
Empfehlung: Für Commerce-Agent-Workloads wird die Konfiguration mit $\gamma=3$ als optimal empfohlen. Sie bietet stabile Vorhersagbarkeit und ermöglicht signifikante Kosteneinsparungen durch die Reduzierung der benötigten GPU-Hardware.

Das Paper unterstreicht, dass auch bei moderaten Akzeptanzraten (durch strukturelle Einschränkungen wie JSON-Schemas bedingt) spekulative Dekodierung erhebliche praktische Vorteile bietet, solange das Draft-Modell einen vernachlässigbaren Overhead hat.