Efficient Generative Retrieval for E-commerce Search with Semantic Cluster IDs and Expert-Guided RL
Dieser Beitrag stellt CQ-SID und EG-GRPO vor, ein praktisches generatives Abruf-Framework für den E-Commerce, das hierarchische semantische Cluster-IDs und expertengeleitetes bestärkendes Lernen nutzt, um in realen Produktionssystemen signifikante Verbesserungen bei der Recall-Effizienz, der Rangfolge-Abstimmung und wichtigen Geschäftskennzahlen wie dem Bruttowarenwert (GMV) zu erzielen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreten ein riesiges, chaotisches Lagerhaus (wie eine riesige E-Commerce-Website) auf der Suche nach einem bestimmten Artikel, sagen wir, einem „roten Laufschuh". In früheren Zeiten würde der Lagerverwalter zunächst einen Bibliothekar bitten, eine Liste möglicher Schuhe zu finden (Recall), dann einen Sortierer, um sie zu ordnen (Ranking), und schließlich einen Verkäufer, um Ihnen den besten zu zeigen. Dieser Prozess ist schnell, verpasst aber manchmal den perfekten Schuh, weil der Bibliothekar nur wenige Schlüsselwörter kennt.
Vor kurzem versuchten Wissenschaftler eine neue Idee: Anstelle eines Bibliothekars stellten sie eine superintelligente KI ein, die den exakten Schuh, den Sie wollen, herbeizitiert und ihn sofort vom Regal holt. Dies nennt man Generative Retrieval. In einem Lagerhaus mit hunderten Millionen Artikeln wird diese KI jedoch überfordert. Sie versucht, den exakten Namen jedes einzelnen Schuhs zu erraten, was zu lange dauert und oft zu Fehlern führt.
Diese Arbeit stellt einen neuen, intelligenteren Weg vor, um diese „träumende KI" in einem realen, riesigen Lagerhaus funktionsfähig zu machen. Hier ist, wie sie es getan haben, einfach erklärt:
1. Das Problem: Zu viele Namen, nicht genug Zeit
Der alte Weg, diese KI zu nutzen, war so, als würde man sie bitten, die eindeutige Seriennummer jedes einzelnen Schuhs im Lagerhaus auswendig zu lernen. Wenn es 100 Millionen Schuhe gibt, muss die KI bei jeder Anfrage zwischen 100 Millionen Optionen wählen. Es ist wie der Versuch, eine Nadel im Heuhaufen zu finden, indem man jedes einzelne Heustück einzeln überprüft. Es ist zu langsam und zu teuer.
2. Die Lösung: Gruppierung nach „Vibe" (CQ-SID)
Anstatt jedem Schuh eine eindeutige Seriennummer zu geben, entschieden sich die Autoren, Schuhe in Semantische Cluster zu gruppieren.
- Die Analogie: Stellen Sie sich vor, das Lagerhaus ist nicht nach einzelnen Schuh-Seriennummern organisiert, sondern nach „Vibes" oder „Nachbarschaften". Alle „roten Laufschuhe" leben in der „Roten-Läufer-Nachbarschaft". Alle „blauen Sandalen" leben in der „Blauen-Sandale-Nachbarschaft".
- Wie es funktioniert: Sie schufen ein System namens CQ-SID. Anstatt die KI zu bitten, den exakten Schuh zu erraten, wird sie gebeten, die Nachbarschaft (die Cluster-ID) zu erraten, in der der Schuh lebt.
- Der Vorteil: Die KI muss nur noch zwischen einigen tausend Nachbarschaften wählen, anstatt zwischen hunderten Millionen Schuhen. Das ist wie die Eingrenzung Ihrer Suche von „Finden Sie den exakten Schuh" zu „Finden Sie die Rote-Läufer-Nachbarschaft". Es ist viel schneller und erfordert weniger Rechenleistung.
3. Das Training: Eine vierstufige Schule für die KI
Man kann dieser KI nicht einfach eine Liste von Nachbarschaften geben und erwarten, dass sie diese kennt. Die Autoren trainierten sie in vier progressiven Schritten, wie einen Schüler, der von der Grundschule bis zum College aufsteigt:
- Item-to-SID: Zuerst lernt die KI, die Beschreibung eines Schuhs zu betrachten und zu sagen: „Ah, das gehört in die Rote-Läufer-Nachbarschaft."
- Query-to-SID: Als Nächstes lernt sie, darauf zu achten, was ein Mensch eingegeben hat („roter Laufschuh"), und errät direkt die Nachbarschaft.
- Personalisiert: Dann lernt sie, zu berücksichtigen, wer fragt. Wenn ein professioneller Läufer fragt, errät sie eine High-Tech-Lauf-Nachbarschaft; wenn ein Gelegenheitswanderer fragt, errät sie eine Komfort-Nachbarschaft.
- Der „Experte"-Trainer (EG-GRPO): Dies ist der letzte und wichtigste Schritt.
4. Der „Experte"-Trainer (EG-GRPO)
Hier wird es knifflig: Die KI ist großartig darin, Nachbarschaften zu erraten, wählt aber manchmal eine Nachbarschaft aus, die einige gute Schuhe hat, aber die besten verpasst. In früheren Zeiten wurde die KI nur belohnt, wenn sie den exakten Schuh erraten hatte, auf den der Nutzer geklickt hatte. Aber in einem riesigen Lagerhaus könnte die KI den Klick verpassen, nur weil sie nicht den exakt richtigen Schuh erraten hat, selbst wenn sie die richtige Nachbarschaft gewählt hat.
Die Autoren führten eine Methode namens Expert-Guided RL (Experten-gesteuertes Reinforcement Learning) ein.
- Die Analogie: Stellen Sie sich vor, die KI spielt ein Videospiel. Normalerweise erhält sie nur ein „Game Over", wenn sie das Ziel verfehlt. Hier agieren die Autoren jedoch als Trainer.
- Wie es funktioniert: Während des Trainings flüstert der Trainer der KI heimlich zu: „Hey, ich weiß, dass du diesmal den Klick verpasst hast, aber schau! Der tatsächliche Gewinnartikel war in dieser Nachbarschaft. Merken Sie sich das für das nächste Mal."
- Das Ergebnis: Die KI lernt nicht nur, dem einzelnen Klick hinterherzujagen, sondern eine breitere Vielfalt guter Nachbarschaften zu erkunden. Dies verhindert, dass die KI „faul" wird und nur die beliebtesten Artikel auswählt (ein häufiges Problem, das als „Matthew-Effekt" bekannt ist).
5. Die Ergebnisse: Schneller, intelligenter und mehr Verkäufe
Als sie dies in der echten Tmall-App (eine riesige chinesische Einkaufsplattform) testeten:
- Geschwindigkeit: Sie konnten einen viel kleineren „Suchstrahl" verwenden (als würden sie weniger Optionen betrachten) und fanden trotzdem die richtigen Artikel. Dies halbierte die Suchzeit.
- Genauigkeit: Die KI fand die richtigen „Nachbarschaften" viel häufiger als das alte System.
- Wirtschaftliche Auswirkungen: Da die KI schneller bessere Artikel fand, kauften die Menschen mehr. Das System steigerte den Umsatz (GMV) um 1,15 % und die Rate der Klicks zum Kauf (UCTCVR) um 0,40 %.
- Dominanz: Dieser neue „träumende" Kanal wurde zum wichtigsten Teil ihrer Suche und war für über 72 % aller Käufe verantwortlich, die über ihr Suchsystem getätigt wurden.
Zusammenfassung:
Die Autoren versuchten nicht, das gesamte Suchsystem durch eine magische KI zu ersetzen. Stattdessen gaben sie der KI eine bessere Karte (Gruppierung von Artikeln in Nachbarschaften) und einen besseren Trainer (Experten-gesteuertes RL), um ihr beim Lernen zu helfen. Dies machte die Suche schneller, genauer und für das Unternehmen deutlich profitabler.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.