🤖 machine learning

AIGP: An LLM-Based Framework for Long-Term Value Alignment in E-Commerce Pricing

Das Paper schlägt AIGP vor, ein auf LLMs basierendes Framework, das Supervised Fine-Tuning mit einem mittels Offline Reinforcement Learning und Direct Preference Optimization trainierten Long-Term Value Estimator integriert, um eine interpretierbare, langfristig wertorientierte dynamische Preisgestaltung zu erreichen, was in groß angelegten E-Commerce-A/B-Tests signifikante Verbesserungen bei GMV, ROI und der Erreichungsrate von Meilensteinen demonstriert.

Ursprüngliche Autoren: Chennan Ma, Yanning Zhang, Siqi Hong, Xiuchong Wang, Fei Xiao, Keping Yang

Veröffentlicht 2026-06-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chennan Ma, Yanning Zhang, Siqi Hong, Xiuchong Wang, Fei Xiao, Keping Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreiben einen riesigen, geschäftigen digitalen Marktplatz, wie einen gigantischen Flohmarkt, der niemals schläft. Jeden Tag werden Millionen von Artikeln gelistet, und Sie müssen den perfekten Preis für jeden einzelnen festlegen. Wenn Sie den Preis zu hoch ansetzen, kauft niemand; setzen Sie ihn zu niedrig an, verlieren Sie Geld. Dies ist die Herausforderung der dynamischen Preisgestaltung.

Lange Zeit haben Online-Shops zwei Hauptwege genutzt, um Preise festzulegen:

Das Regelwerk: Menschen schreiben strikte Regeln (z. B. „Wenn der Absatz sinkt, senke den Preis um 10 %“).
Der Mathe-Zauberer: Computer nutzen komplexe Mathematik, um zu erraten, wie sich Verkäufe auf Preisänderungen reagieren werden.

Das Problem: Beide Methoden sind ein wenig „blind“. Sie können keine Kundenbewertungen oder Produktbeschreibungen lesen, um zu verstehen, warum Menschen einen Artikel begehren könnten. Zudem sind sie oft kurzsichtig und jagen einem schnellen Verkauf heute hinterher, selbst wenn dies dem Ruf oder dem Gewinn des Ladens im nächsten Monat schadet.

Hier kommt AIGP (Artificial Intelligence Generated Pricing) ins Spiel, ein neues Framework, das von Forschern bei Alibaba entwickelt wurde. Stellen Sie sich AIGP wie einen superintelligenten, erfahrenen Filialleiter vor, der jedes Buch über Wirtschaft gelesen hat, die Geschichte jedes Produkts kennt und mit Ihnen darüber sprechen kann, warum er eine bestimmte Entscheidung getroffen hat.

So funktioniert AIGP, heruntergebrochen in einfache Schritte:

1. Das „Gehirn“ (Das Large Language Model)

Anstatt einfach nur eine Zahl auszuspucken, nutzt AIGP ein leistungsstarkes KI-Modell (ein Large Language Model), das wie ein Detektiv agiert.

Die Indizien: Es betrachtet harte Zahlen (wie Klicks, wie Verkäufe) und weiche Indizien (was Kunden in Bewertungen geschrieben haben, die Produktbeschreibung und sogar die Jahreszeit, wie „Back to School“ oder „Feiertagssaison“).
Der Gedankengang: Bevor es einen Preis angibt, schreibt die KI einen „Gedankengang“ (wie das Notizbuch eines Detektivs). Sie sagt: „Okay, dieser Schreibtisch ist von guter Qualität, und es ist September, also kaufen Eltern gerade Schulbedarf. Ich sollte den Preis etwas höher halten, da die Leute gerade bereit sind, mehr zu zahlen.“
Das Ergebnis: Es liefert einen Preis und eine klare Erklärung, damit menschliche Manager ihm vertrauen können.

2. Der „Lehrer“ und der „Schüler“ (Training)

Die Forscher haben die KI nicht einfach nur raten lassen. Sie nutzten einen Lehrer-Schüler-Ansatz:

Der Lehrer: Eine massive, superintelligente KI (mit 235 Milliarden „Gehirnzellen“), die perfekte Preisstrategien und Erklärungen generiert.
Der Schüler: Eine kleinere, schnellere KI (mit 30 Milliarden „Gehirnzellen“), die kostengünstiger im Betrieb ist.
Die Lektion: Der Lehrer lehrt den Schüler, wie man denkt und entscheidet. Der Schüler lernt, den hochwertigen Denkprozess des Lehrers nachzuahmen, bleibt aber klein genug, um täglich Millionen von Produkten schnell zu verarbeiten.

3. Die „Kristallkugel“ (Long-Term Value Estimator)

Dies ist der wichtigste Teil. Oft trifft eine KI Entscheidungen, die heute gut aussehen, aber nächste Woche schlecht sind.

Stellen Sie sich einen Verkäufer vor, der die Preise einfach auf Null senkt, nur um heute einen Verkauf zu erzielen. Er macht einen Verkauf, aber ruiniert damit seinen Gewinn für den gesamten Monat.
AIGP nutzt ein spezielles Werkzeug namens Long-Term Value Estimator (LTVE). Denken Sie an dies als eine Kristallkugel, die mit 6 Monaten realer Verkaufsdaten trainiert wurde.
Bevor die KI einen Preis wählt, simuliert die Kristallkugel: „Wenn wir diesen Preis wählen, wie hoch wird unser Gesamtgewinn in 14 Tagen sein?“
Wenn die Kristallkugel sagt: „Dieser Preis wird uns später schaden“, lernt die KI, dies zu vermeiden. Sie lehrt die KI, auf das Langfristige (den Gesamtgewinn über zwei Wochen) zu achten, statt nur auf einen schnellen Sieg.

4. Der „Coach“ (Preference Optimization)

Sob-ald die KI die Grundlagen gelernt hat, agieren die Forscher als Coach.

Sie zeigen der KI zwei verschiedene Preisoptionen.
Die „Kristallkugel“ bewertet diese.
Der Coach sagt der KI: „Du hast die falsche gewählt. Die andere hätte uns auf lange Sicht mehr Geld eingebracht. Merke dir das für das nächste Mal.“
Dieser Prozess, genannt Direct Preference Optimization (DPO), verfeinert die KI so, dass sie immer die Strategie wählt, die langfristig gewinnt.

Die Ergebnisse: Hat es funktioniert?

Die Forscher testeten AIGP auf Tao Factory, einem realen Teil von Alibabas Marktplatz. Sie führten ein massives Experiment über zwei Monate mit 200.000 Produkten durch.

Im Vergleich zu den alten Systemen erreichte AIGP:

+13,21 % mehr Gesamtelementwert (GMV): Der Laden verkaufte deutlich mehr Waren.
+7,59 % besseren Return on Investment: Der Laden machte mehr Gewinn für jeden eingesetzten Dollar.
+8,20 % mehr erreichte „Meilensteine“: Mehr Produkte erreichten ihre langfristigen Verkaufsziele.

Warum ist das eine große Sache?
Im Gegensatz zu früherer KI, die eine „Black Box“ war (man gibt Daten ein, eine Zahl kommt heraus, und man hat keine Ahnung warum), ist AIGP transparent. Es erklärt Ihnen, warum es den Preis festgelegt hat. Es bewältigt zudem „Cold Start“-Probleme (neue Produkte ohne Historie), indem es das Wissen über ähnliche Artikel nutzt, genau wie ein menschlicher Experte es tun würde.

Kurz gesagt: AIGP ist wie ein Upgrade von einem Taschenrechner zu einem weisen, erfahrenen Geschäftspartner, der den Raum lesen kann, für die Zukunft plant und seine Logik vor Ihnen erklärt.

Technisches Resümee: AIGP – Ein LLM-basiertes Framework für langfristige Wertorientierung im E-Commerce-Pricing

1. Problemstellung

Das traditionelle dynamische Pricing in groß angelegtem E-Commerce steht vor drei kritischen Einschränkungen:

Begrenzte Interpretierbarkeit: Regelbasierte Systeme und Black-Box-datengesteuerte Modelle (z. B. Standard-Reinforcement Learning) lassen eine transparente Begründung vermissen, was die Überprüfung von Entscheidungen erschwert und das Vertrauen der Händler untergräbt.
Unterausnutzung unstrukturierter Daten: Bestehende Methoden haben Schwierigkeiten, reichhaltigen textuellen Kontext wie Produktbeschreibungen, Nutzerbewertungen und saisonale Trends zu nutzen, da sie sich primär auf strukturierte historische Metriken verlassen.
Fehlende Ausrichtung auf langfristige Ziele: Aggressive Rabattierungen maximieren oft kurzfristige Verkäufe auf Kosten der langfristigen Geschäftsgesundheit. Die Optimierung des kumulierten Bruttowarenwertes (GMV), des Return on Investment (ROI) und der Erreichung von Meilensteinen über längere Horizonte (z. B. 14 Tage) bleibt aufgrund spärlicher Belohnungen (Reward Sparsity) und der Schwierigkeit, verzögerte Markteffekte zu modellieren, eine Herausforderung.

Während Reinforcement Learning (RL) einen Pfad zur langfristigen Optimierung bietet, leidet es unter Distributionsverschiebungen, spärlichen Belohnungen und mangelnder Interpretierbarkeit. Umgekehrt bieten Large Language Models (LLMs) zwar Fähigkeiten zur Argumentation und zur Verarbeitung unstrukturierter Daten, lassen jedoch domänenspezifisches operatives Wissen und Feedback zu langfristigen Ergebnissen vermissen, was oft zu suboptimalen, kurzsichtigen Entscheidungen führt.

2. Methodik: Das AIGP-Framework

Die Autoren schlagen AIGP (Artificial Intelligence Generated Pricing) vor, ein Framework, das LLM-basierte Argumentation mit Offline-Reinforcement Learning integriert, um transparentes, geschäftsorientiertes dynamisches Pricing zu erreichen. Das Framework operiert durch eine vierstufige Pipeline:

2.1 Domänenadaptive Supervised Fine-Tuning (SFT)

Um LLMs als Preisgestaltungs-Policies einzusetzen, verwenden die Autoren eine Teacher-Student-Distillationsstrategie:

Teacher-Modell: Ein großes LLM mit 235 Mrd. Parametern (Qwen3-235B) generiert hochwertige Argumentationspfade (Reasoning Traces) und Preisentscheidungen basierend auf komplexen Prompts, die strukturierte Daten (Verkaufshistorie, GMV, ROI), unstrukturierten Kontext (Bewertungen, Beschreibungen) und Domänenwissen enthalten.
Student-Modell: Ein kompaktes Modell mit 30 Mrd. Parametern (Qwen3-30B) wird mittels Low-Rank Adaptation (LoRA) darauf trainiert, dem Teacher zu folgen.
Qualitätskontrolle: Ein „LLM-as-Judge“-Modul filtert die Antworten des Teachers basierend auf vier Dimensionen: Datengenauigkeit, Vollständigkeit des Inhalts, interne Kohärenz der Argumentation und Konsistenz zwischen Argumentation und Entscheidung. Nur Antworten mit einer perfekten Punktzahl werden für das Training verwendet.
Output: Das SFT-Modell lernt, Instruktionen zu folgen, Chain-of-Thought (CoT)-Argumentationen zu generieren und konforme JSON-Preisaktionen auszugeben.

2.2 Long-Term Value Estimator (LTVE)

Um das Fehlen von Feedback über lange Horizonte in LLMs zu adressieren, wird ein dedizierter Long-Term Value Estimator (LTVE) mittels Offline Reinforcement Learning auf Basis von 5 Millionen historischen Übergängen trainiert.

Architektur: Eine Critic-only-Architektur mit einem entkoppelten Value-Learning-Framework, einem Double Q-Critic-Ensemble und einem State-Value-Netzwerk ( $V_\psi$ ).
Belohnungsdesign: Die Belohnungsfunktion balanciert die Erreichung von 14-Tage-Meilensteinen (kumulative GMV-Schwellenwerte) und den ROI. Sie nutzt kategorie-normalisierte relative Belohnungen, um die Qualität der Preisstrategie von der intrinsischen Produktpopularität zu isolieren.
Training: Der LTVE nutzt Multi-Step Temporal Difference (TD) Targets ( $n=3$ ), um verzögerte Markteffekte zu modellieren, ohne dass eine Online-Exploration erforderlich ist, wodurch die Risiken von Distributionsverschiebungen gemildert werden.

2.3 Preference Alignment via Direct Preference Optimization (DPO)

Um die LLM-Policy mit langfristigen Geschäftszielen in Einklang zu bringen, führen die Autoren eine Preference-Alignment-Pipeline ein:

Kandidatenauswahl: Für einen gegebenen Zustand generiert das Modell mehrere Kandidaten-Preisaktionen im „Decision-only“-Modus (unter Verwendung eines [ACT_ONLY] Tokens).
Paarbildung: Der LTVE bewertet diese Kandidaten. Paare werden konstruiert, bei denen die „gewählte“ Aktion eine signifikant höhere LTVE-Punktzahl und eine distinkte Rabattgröße aufweist als die „abgelehnte“ Aktion.
Optimierung: Das Student-Modell wird mittels Direct Preference Optimization (DPO) feinjustiert, um die Wahrscheinlichkeit gewählter Aktionen gegenüber abgelehnten zu maximieren. Dieser Schritt zielt spezifisch auf die Aktions-Tokens ab und stellt sicher, dass das Modell lernt, Aktionen zu wählen, die den langfristigen Wert maximieren, während es die Fähigkeit behält, während der Inferenz vollständige Argumentationspfade zu generieren.

2.4 Deployment-Architektur

Das System wird auf Tao Factory, einem vertikalen Marktplatz auf Taobao, eingesetzt. Der Workflow umfasst:

Inferenz: Das ausgerichtete LLM erhält Zustandsdaten und generiert einen CoT-Argumentationspfad gefolgt von einer strukturierten Rabattaktion.
Sicherheit: Die Aktionen werden durch Geschäftsregeln eingeschränkt, um sicherzustellen, dass sie innerhalb sicherer Anpassungsgrenzen ( $A_{safe}$ ) liegen.
Transparenz: Die CoT-Argumentation liefert prüfbare Begründungen für Preisänderungen, was das Vertrauen der Händler fördert.

3. Zentrale Beiträge

Neuartiges Framework: Der Vorschlag von AIGP, das erste Framework, das LLM-basierte Argumentation mit Offline-RL-basierter langfristiger Wertmodellierung für das E-Commerce-Pricing integriert.
Preference-Alignment-Pipeline: Eine Methode zur Automatisierung der Generierung hochwertiger Präferenzpaare für DPO unter Verwendung eines durch Offline-RL trainierten LTVE, was die Lücke zwischen LLM-Argumentation und langfristiger Geschäftsoptimierung effektiv schließt.
Skalierbares Deployment: Die Demonstration der Destillation komplexer Argumentations- und Entscheidungsfähigkeiten von einem 235B-Teacher-Modell in ein einsetzbares 30B-Student-Modell, wobei eine wettbewerbsfähige Leistung bei signifikant reduzierten Inferenzkosten erzielt wird.

4. Experimentelle Ergebnisse

Das Framework wurde auf Tao Factory durch umfangreiche Offline-Evaluierungen und groß angelegte Online-A/B-Tests (60+ Tage, ~200.000 SKUs) evaluiert.

4.1 Offline-Evaluierung

Langfristige Wertorientierung: Das vollständige AIGP (SFT+DPO) erreichte den höchsten durchschnittlichen Q-Score (2,836) im Vergleich zu Baselines wie Price-Sales-Modellen (2,564) und RL-DT (2,694).
Operationelle Treue: AIGP erreichte die höchste Expert Action Matching Accuracy (82,51 %) und den niedrigsten Mean Absolute Error (0,062).
Argumentationsqualität: Das destillierte 30B-Modell erreichte nach SFT und DPO eine Argumentationsqualitätsbewertung (19,52), die dem 235B-Teacher-Modell (19,80) nahekommt und das Basis-30B-Modell (18,13) deutlich übertrifft.

4.2 Online-A/B-Test-Leistung (14-Tage-Horizont)

Im Vergleich zum Produktions-Baseline-Modell (Price-Sales Model) zeigte AIGP signifikante Verbesserungen:

Meilenstein-Erreichungsrate (MAR): +8,20 %
Kumulierter GMV: +13,21 %
Integrierter ROI: +7,59 %

4.3 Stabilität und Robustheit

Preisstabilität: AIGP wies im Vergleich zu den Baselines weniger extreme Rabattsprünge und einen höheren Anteil an Anpassungen geringer Größenordnung auf, was besonders für neue Produkteinführungen entscheidend ist.
Cold-Start & OOD: In Szenarien mit begrenzter Historie (Cold-Start) oder Randaktionen behielt AIGP eine hohe Counterfactual Discrimination Accuracy (94,6 % bzw. 94,1 %) bei und übertraf damit sowohl das Standard-LTVE als auch Conservative Q-Learning (CQL) durch die Nutzung von unstrukturiertem Kontext und analoger Argumentation.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass AIGP erfolgreich die „Black Box“-Natur von RL und die „Kurzsichtigkeit“ generischer LLMs im E-Commerce-Pricing adressiert. Durch die Kombination von interpretierbarer CoT-Argumentation mit langfristiger Wertoptimierung ermöglicht das Framework:

Transparente Entscheidungsfindung: Händler können das „Warum“ hinter Preisänderungen prüfen, was das Vertrauen stärkt.
Effektive Nutzung unstrukturierter Daten: Das System nutzt Bewertungen und Beschreibungen, um Preisstrategien anzupassen, insbesondere für Cold-Start-Produkte, bei denen historische Daten spärlich sind.
Nachhaltiges Wachstum: Die Ausrichtung auf langfristige Metriken (GMV, ROI, Meilensteine) stellt sicher, dass Preisstrategien eine nachhaltige Geschäftsgesundheit fördern und nicht nur das kurzfristige Volumen.

Die Autoren kommen zu dem Schluss, dass dieser Ansatz es kompakten, einsatzfähigen Modellen ermöglicht, die Entscheidungsqualität wesentlich größerer LLMs zu erreichen, während gleichzeitig die Transparenz der Policy und die Ausrichtung auf komplexe, multi-objektive Geschäftsziele gewährleistet bleibt. Zukünftige Arbeiten sollen die domänenübergreifende Erweiterbarkeit sowie vereinheitlichte Frameworks für symbolische Argumentation und strategische Entscheidungsfindung untersuchen.