🤖 AI

Enhancement of E-commerce Sponsored Search Relevancy with LLM

Diese Arbeit präsentiert ein neuartiges Modell zur Relevanzprüfung von gesponserten Suchanfragen im E-Commerce, das das LLAMA2 7B Sprachmodell mittels Low-Rank Adaptation (LoRA) feinabstimmt, um eine Genauigkeit von 89,43 % bei der Klassifizierung der Ad-Query-Relevanz zu erreichen, wobei es Baseline- sowie GPT-4-Modelle übertrifft und gleichzeitig die betriebliche Effizienz sowie den Datenschutz verbessert.

Ursprüngliche Autoren: Md Omar Faruk Rokon, Andrei Simion, Weizhi Du, Musen Wen, Hong Yao, Kuang-chih Lee

Veröffentlicht 2026-07-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Md Omar Faruk Rokon, Andrei Simion, Weizhi Du, Musen Wen, Hong Yao, Kuang-chih Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreten ein riesiges, chaotisches Lagerhaus (wie Walmart.com) auf der Suche nach einem bestimmten Artikel, zum Beispiel „wasserdichte Wanderschuhe“. Sie rufen Ihre Anfrage in den Raum, und der digitale Assistent des Ladens muss sofort das perfekte Paar Stiefel finden, um es Ihnen anzuzeigen.

Früher war dieser Assistent wie ein Roboter, der nur exakte Wortübereinstimmungen verstand. Wenn Sie „Regenstiefel“ sagten, konnte er verwirrt sein, wenn das Produkt als „wasserdichte Wanderschuhe“ gelistet war. Er übersah oft die Nuancen dessen, was Sie eigentlich wollten, und zeigte Dinge an, die zwar ähnlich, aber nicht ganz richtig waren.

Dieses Papier beschreibt, wie das Team bei Walmart einen viel klügeren Assistenten unter Verwendung einer Art künstlicher Intelligenz namens Large Language Model (LLM) gebaut hat, speziell einer Version namens LLaMA2. Hier ist die einfache Aufschlüsselung dessen, was sie getan haben und warum es wichtig ist:

1. Das Problem: Die „Nadel im Heuhaufen“

Im E-Commerce gibt es Millionen von Produkten und Millionen von Möglichkeiten, wie Menschen nach ihnen suchen. Die Herausforderung besteht darin, die kurze, manchmal vage Suchanfrage eines Nutzers (wie „wasserdichte Wanderschuhe“) mit dem richtigen Produkttitel aus einer riesigen Liste abzugleichen.

Der alte Weg: Verwendete starre Regeln. Es scheiterte oft daran zu verstehen, dass „Wanderschuhe“ und „Outdoor-Schuhe“ für einen Menschen dasselbe bedeuten könnten.
Der neue Weg: Nutzt eine KI, die die Bedeutung hinter den Worten „liest“ und „versteht“, genau wie ein Mensch es tut.

2. Die Lösung: Ein „Spezialisierter Praktikant“ (LoRA)

Das Team nahm ein sehr leistungsfähiges, vortrainiertes KI-Gehirn (LLaMA2 7B), das bereits viel über die menschliche Sprache weiß. Dieses Gehirn ist jedoch riesig und teuer im Betrieb. Sie wollten nicht das gesamte Gehirn von Grund auf neu trainieren (was so wäre, als würde man einem Genie beibringen, ein Wörterbuch zu lesen).

Stattdessen verwendeten sie eine Technik namens LoRA (Low-Rank Adaptation).

Die Analogie: Stellen Sie sich das LLaMA2-Modell wie einen brillanten, vielseitigen Bibliothekar vor, der alles über Bücher, Filme und Wissenschaft weiß. Sie möchten, dass er speziell in der Abteilung „Wanderausrüstung“ arbeitet.
Der Trick: Anstatt den Bibliothekar zu entlassen und einen neuen einzustellen oder den Bibliothekar die gesamte Bibliothek noch einmal lesen zu lassen, geben Sie ihm einen spezialisierten Spickzettel (den LoRA-Adapter). Dieser Spickzettel lehrt ihn die spezifischen Regeln der „Wanderausrüstung“, ohne seine gesamte Persönlichkeit oder sein Gedächtnis zu verändern.
Das Ergebnis: Der Bibliothekar wird sofort zum Experten für Wanderausrüstung, wobei er nur sehr wenig zusätzliche Energie oder Zeit benötigt.

3. Der Job: Der „Relevanz-Richter“

Das Team brachte dieser spezialisierten KI bei, als Richter für Suchergebnisse zu fungieren. Wenn ein Nutzer eine Suchanfrage eingibt und das System ein Produkt vorschlägt, prüft die KI das Paar und vergibt einen Score in einer von drei Kategorien:

Relevant: „Ja, das ist genau das, was der Nutzer möchte.“ (z. B. Suchanfrage: „Wasserdichte Stiefel“ / Produkt: „Gore-Tex Wanderschuhe“).
Teilweise relevant: „Es ist nah dran, aber vielleicht nicht perfekt.“ (z. B. Suchanfrage: „Wanderschuhe“ / Produkt: „Wasserdichte Regenstiefel“ – gut für Regen, aber vielleicht nicht ideal zum Wandern).
Irrelevant: „Nein, das ist ein völlig falscher Artikel.“ (z. B. Suchanfrage: „Wanderschuhe“ / Produkt: „Silikon-Backmatten“).

4. Die Ergebnisse: Schlauer und schneller

Das Team testete diesen neuen „Spezialisierten Praktikanten“ gegen andere intelligente Modelle, einschließlich eines sehr berühmten Modells namens GPT-4 und älterer, Standard-Suchwerkzeuge.

Genauigkeit: Das neue Modell lag in 89,43 % der Fälle richtig.
Vergleich: Es schlug die älteren Standardmodelle und übertraf sogar GPT-4 in dieser spezifischen Aufgabe.
Warum GPT-4 verlor: Das Papier legt nahe, dass GPT-4 manchmal „überverallgemeinert“. Wenn Sie beispielsweise nach „gezupftem Hühnerfleisch“ (shredded chicken) suchten, könnte GPT-4 denken, dass ein „Hühner-Zupfer“ (Chicken Shredder) hochgradig relevant ist, weil die Wörter übereinstimmen. Aber die spezialisierte LLaMA2-KI verstand jedoch, dass man, wenn man nach Lebensmitteln sucht, wahrscheinlich kein Werkzeug zum Zupfen möchte. Sie verstand die Absicht, nicht nur die Wörter.

5. Warum das für Sie wichtig ist

Besseres Einkaufen: Sie erhalten Ergebnisse, die tatsächlich dem entsprechen, wonach Sie suchen, und nicht nur Wörtern, die ähnlich aussehen.
Kosten & Datenschutz: Da sie die „Spickzettel“-Methode (LoRA) anstelle eines kompletten Neuaufbaus des Gehirns verwendet haben, ist es kostengünstiger im Betrieb und hält Daten sicherer (da sie keine Daten an externe Server senden müssen, um ein riesiges Modell zu nutzen).
Geschäftserfolg: Wenn Kunden schneller finden, was sie suchen, sind sie zufriedener und kaufen eher.

Zusammenfassend lässt sich sagen: Das Papier zeigt, dass Walmart durch die Gabe einer intelligenten, allgemeinen KI eines spezialisierten „Spickzettels“ für das Einkaufen die Wünsche der Kunden viel besser verstehen kann als zuvor, was zu einem reibungsloseren und genaueren Einkaufserlebnis führt, ohne das Budget zu sprengen.

Technisches Resümee: Verbesserung der Relevanz von gesponserten Suchergebnissen im E-Commerce mittels LLM

Problemstellung
Gesponserte Suche ist eine kritische Einnahmequelle für E-Commerce-Plattformen und basiert auf dem präzisen Abgleich von Werbekennworten (Keywords) mit Nutzer-Suchanfragen. Die Sicherstellung der Werbe-Pertinenz wird jedoch durch den riesigen, sich ständig entwickelnden Keyword-Raum, die Mehrdeutigkeit von Nutzer- und Werbetreibenden-Intentionen sowie die Vielfalt von Themen und Sprachen erschwert. Traditionelle algorithmische Ansätze, wie das Keyword-Matching oder Collaborative Filtering, scheitern oft daran, die nuancierte Sprache von Konsumenten-Anfragen (z. B. implizite Präferenzen für Langlebigkeit oder Preisspannen) zu erfassen. Diese Einschränkung führt zu suboptimalen Suchergebnissen, was die Nutzerzufriedenheit, die Klickraten und die Konversionsraten negativ beeinflusst. Die Herausforderung besteht darin, ein System zu entwickeln, das kurze, komplexe Suchintentionen schnell, präzise und kosteneffizient innerhalb der Beschränkungen eines Live-E-Commerce-Umfelds interpretieren kann.

Methodik
Die Autoren schlagen ein fortschrittliches Ad-Relevanz-Modell vor, das auf dem LLaMA2 7B Decoder-basierten Large Language Model (LLM) basiert und speziell für den Kontext der gesponserten Suche im E-Commerce angepasst wurde. Die zentrale technische Innovation ist die Verwendung von Low-Rank Adaptation (LoRA) zur Feinabstimmung des vortrainierten Modells.

Architektur: Das System nutzt einen Parameter-effizienten Fine-Tuning-Ansatz (Peft). Anstatt das gesamte 7B-Parameter-Modell neu zu trainieren, führt LoRA Low-Rank-Matrizen ( $A$ und $B$ ) zu den Gewichtmatrizen spezifischer Komponenten ein, einschließlich des Attention-Mechanismus (Query-, Key-, Value- und Output-Projektionen) sowie der Feed-Forward-Netzwerke (Gate-, Up- und Down-Projektionen). Die ursprünglichen Gewichte ( $W$ ) bleiben eingefroren, während nur die LoRA-Parameter während des Trainings aktualisiert werden. Dies reduziert die Rechenressourcen und die Trainingszeit erheblich.
Aufgabenformulierung: Das Modell fungiert als <Query, Ad Title> Klassifikator. Es nimmt eine Nutzer-Suchanfrage und einen Anzeigen-Titel als Input entgegen und sagt einen Relevanzwert voraus, indem es das Paar in eine von drei Klassen kategorisiert: Relevant, Teilweise Relevant oder Irrelevant.
Trainingsdaten: Das Modell wurde auf einem Datensatz trainiert, der aus den Walmart-Query-Logs abgeleitet wurde und 250.000 Query-Item-Paare für das Training sowie jeweils 56.000 Paare für die Validierung und den Test umfasst. Die Daten wurden von externen menschlichen Evaluatoren auf einer dreistufigen Skala (0: Irrelevant, 1: Teilweise Relevant, 2: Relevant) annotiert, wobei die Mehrheitsentscheidung als Ground Truth diente.
Optimierung: Das Modell wurde unter Verwendung des Adam-Optimierers mit einer Lernrate von 1e-5 und einer kategorialen Cross-Entropy-Loss-Funktion über 7 Epochen auf einem Setup mit 4 Tesla V100 GPUs trainiert.

Wesentliche Beiträge

LLM-Adaption für E-Commerce: Die Arbeit zeigt die erfolgreiche Anpassung des Open-Source LLaMA2 7B Modells, um die spezifischen Intentionen hinter E-Commerce-Anfragen (z. B. „energieeffiziente LED-Glühbirnen“) zu verstehen, ohne dass ein separates, komplexes System zum Verständnis der Suchanfragen erforderlich ist.
Effiziente Feinabstimmung via LoRA: Die Autoren demonstrieren eine neuartige Anwendung von LoRA zur Feinabstimmung eines Large Language Models für die gesponserte Suche, wobei eine hohe Performance bei gleichzeitiger Beibehaltung der Recheneffizienz und der operativen Privatsphäre erreicht wird.
Neuartiges Klassifizierungssystem: Die Entwicklung eines spezialisierten <Query, Ad Title> Klassifikators, der die Relevanz über drei distinkte Kategorien hinweg differenziert und damit binäre Relevanzmodelle verbessert.
Automatisiertes Labeling-Framework: Das System ermöglicht ein kontinuierliches Modelltraining durch eine fortschrittliche Auto-Labeling-Fähigkeit, was die Abhängigkeit von manueller Datenannotation reduziert.
Umfassendes Benchmarking: Eine rigorose vergleichende Analyse gegenüber traditionellen NLP-Modellen (BERT-basierter Bi-Encoder und Cross-Encoder) sowie State-of-the-Art-Modellen (GPT-4 mittels Few-Shot Learning).

Experimentelle Ergebnisse
Das feinabgestimmte LLaMA2 7B Modell zeigte eine überlegene Performance über mehrere Metriken hinweg:

Genauigkeit (Accuracy): Das Modell erreichte eine Genauigkeit von 89,43 % auf dem Testdatensatz und übertraf damit den BERT-basierten Cross-Encoder (86,27 %), den BERT-basierten Bi-Encoder (74,42 %) und GPT-4 (63,02 %).
Präzision und Recall: Das Modell hielt eine ausgewogene Präzision von 89,75 % und einen Recall von 89,22 % aufrecht, was zu einem F1-Score von 89,41 % führte. Dieses Gleichgewicht ist entscheidend, um sowohl False Positives als auch False Negatives bei der Anzeigenplatzierung zu minimieren.
Relevanz-Ranking: In Bezug auf den Normalized Discounted Cumulative Gain (NDCG) erreichte das Modell 0,7142 bei NDCG@4 und 0,6774 bei NDCG@8 und übertraf damit beide BERT-Varianten.
Qualitative Analyse: Fallstudien zeigten, dass GPT-4 dazu neigt, zu stark zu generalisieren (z. B. die Einstufung eines „Chicken Shredders“ als hochrelevant für „shredded chicken“), während das feinabgestimmte LLaMA2-Modell eine bessere Unterscheidung zwischen indirekter Relevanz und Kontext aufwies. Es identifizierte korrekt Artikel wie „McKesson Medical Tape“ für „first aid tape“, während es fälschliche Übereinstimmungen bei unzusammenhängenden Artikeln wie „glass cleaner“ für „ZEISS lens wipes“ vermied.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass die Integration von LoRA mit dem LLaMA2 7B Modell einen bedeutenden Schritt zur Individualisierung von Sprachmodellen für E-Commerce-Anwendungen darstellt. Die Bedeutung dieser Arbeit liegt in der Fähigkeit, ein Trio von Vorteilen zu liefern, die für moderne digitale Marktplätze essenziell sind:

Verbesserte Suchgenauigkeit: Durch ein besseres Verständnis komplexer Suchintentionen verbessert das Modell die Relevanz gesponserter Ergebnisse, was die Nutzerzufriedenheit und die Geschäftsmetriken direkt steigert.
Kosteneffizienz: Der LoRA-Ansatz ermöglicht eine effiziente Feinabstimmung ohne die umfangreichen Rechenressourcen, die für ein vollständiges Retraining des Modells erforderlich wären, was ihn für groß angelegte E-Commerce-Plattformen skalierbar macht.
Operative Privatsphäre: Im Gegensatz zur Nutzung externer APIs (wie GPT-4) gewährleistet die Verwendung eines Open-Source-Modells, das selbst gehostet wird, Datensicherheit und Privatsphäre – ein kritischer Faktor in Enterprise-E-Commerce-Umgebungen.

Die Autoren kommen zu dem Schluss, dass die Methodik, obwohl die Evaluierung auf die gesponserte Suche fokussiert war, vielseitig und auf breitere E-Commerce-Suchkontexte anwendbar ist und eine praktische sowie wirkungsvolle Lösung zur Verbesserung des Online-Handelserlebnisses bietet.

1. Das Problem: Die „Nadel im Heuhaufen“

2. Die Lösung: Ein „Spezialisierter Praktikant“ (LoRA)

3. Der Job: Der „Relevanz-Richter“

4. Die Ergebnisse: Schlauer und schneller

5. Warum das für Sie wichtig ist

Mehr davon