Enhancement of E-commerce Sponsored Search Relevancy with LLM

Technische Samenvatting: Verbetering van de Relevantie van Gesponsorde Zoekopdrachten in E-commerce met LLM

Probleemstelling
Gesponsord zoeken is een cruciale inkomstenstroom voor e-commerceplatforms, die afhankelijk is van de nauwkeurige afstemming van advertentiezoekwoorden op gebruikerszoekopdrachten. Het waarborgen van de advertentie-relevantie is echter complex door de enorme, evoluerende zoekwoordruimte, de ambiguïteit van de intenties van gebruikers en adverteerders, en de diversiteit aan onderwerpen en talen. Traditionele algoritmische benaderingen, zoals zoekwoordmatching en collaborative filtering, falen vaak in het vatten van de genuanceerde taal van consumentenzoekopdrachten (bijv. impliciete voorkeuren voor duurzaamheid of prijsbereik). Deze beperking leidt tot suboptimale zoekresultaten, wat een negatieve impact heeft op de tevredenheid van de gebruiker, de click-through rates en de conversieratio's. De uitdaging ligt in het ontwikkelen van een systeem dat korte, complexe zoekintenties snel, nauwkeurig en kosteneffectief kan interpreteren binnen de beperkingen van een live e-commerceomgeving.

Methodologie
De auteurs stellen een geavanceerd Ad Relevance Model voor, gebouwd op het LLaMA2 7B decoder-gebaseerde Large Language Model (LLM), specifiek aangepast voor de context van gesponsord zoeken in e-commerce. De kern van de technische innovatie is het gebruik van Low-Rank Adaptation (LoRA) om het voorgetrainde model te finetunen.

• Architectuur: Het systeem maakt gebruik van een parameter-efficiënte fine-tuning (Peft) benadering. In plaats van het volledige 7B-parameter model opnieuw te trainen, introduceert LoRA low-rank matrices ($A$ en $B$) aan de gewichtsmatrices van specifieke componenten, inclusief het aandachtmechanisme (query, key, value en output projecties) en de feed-forward netwerken (gate, up en down projecties). De originele gewichten ($W$) blijven bevroren, terwijl alleen de LoRA-parameters worden bijgewerkt tijdens de training. Dit vermindert de computationele middelen en de trainingstijd aanzienlijk.
• Taakformulering: Het model functioneert als een <query, ad title> classifier. Het neemt een gebruikerszoekopdracht en een advertentietitel als input en voorspelt een relevantiescore, waarbij het paar wordt gecategoriseerd in een van de drie klassen: Relevant, Gedeeltelijk Relevant, of Irrelevant.
• Trainingsdata: Het model werd getraind op een dataset afgeleid van de Walmart-zoeklogboeken, bestaande uit 250.000 query-item paren voor training, met elk 56.000 paren voor validatie en testen. De data werd geannoteerd door menselijke evaluatoren van derden op een driepuntsschaal (0: Irrelevant, 1: Gedeeltelijk Relevant, 2: Relevant), waarbij de meerderheidsstem de grondwaarheid bepaalde.
• Optimalisatie: Het model werd getraind met de Adam optimizer met een learning rate van 1e-5 en een categorical cross-entropy loss functie over 7 epochs op een setup met 4 Tesla V100 GPU's.

Belangrijkste Bijdragen

1. LLM Adaptatie voor E-commerce: Het artikel demonstreert de succesvolle adaptatie van het open-source LLaMA2 7B model om de specifieke intenties achter e-commerce zoekopdrachten te begrijpen (bijv. "energiezuinige LED-lampen") zonder een apart, complex systeem voor zoekopdrachtbegrip te vereisen.
2. Efficiënte Fine-Tuning via LoRA: De auteurs tonen een innovatieve toepassing van LoRA aan om een large language model te finetunen voor gesponsord zoeken, waarbij een hoge prestatie wordt behaald terwijl de computationele efficiëntie en operationele privacy behouden blijven.
3. Nieuw Classificatiesysteem: De ontwikkeling van een gespecialiseerde <query, ad title> classifier die relevantie onderscheidt over drie afzonderlijke categorieën, wat een verbetering is ten opzichte van binaire relevantiemodellen.
4. Geautomatiseerd Labeling Framework: Het systeem faciliteert continue modeltraining door middel van een geavanceerde auto-labeling capaciteit, wat de afhankelijkheid van handmatige data-annotatie vermindert.
5. Uitgebreide Benchmarking: Een rigoureuze vergelijkende analyse tegen traditionele NLP-modellen (BERT-gebaseerde Bi-Encoder en Cross-Encoder) en state-of-the-art modellen (GPT-4 met gebruik van few-shot learning).

Experimentele Resultaten
Het gefinetunede LLaMA2 7B model vertoonde superieure prestaties over meerdere metrieken:

• Nauwkeurigheid: Het model behaalde 89,43% nauwkeurigheid op de testdataset, waarmee het de BERT-gebaseerde Cross-Encoder (86,27%), de BERT-gebaseerde Bi-Encoder (74,42%) en GPT-4 (63,02%) versloeg.
• Precisie en Recall: Het model behield een gebalanceerde precisie van 89,75% en een recall van 89,22%, wat resulteerde in een F1-score van 89,41%. Dit evenwicht is cruciaal voor het minimaliseren van zowel fout-positieven als fout-negatieven bij advertentieplaatsing.
• Relevantie Rangschikking: Wat betreft Normalized Discounted Cumulative Gain (NDCG), behaalde het model 0,7142 bij NDCG@4 en 0,6774 bij NDCG@8, waarmee het zowel de BERT-varianten versloeg.
• Kwalitatieve Analyse: Casestudies gaven aan dat hoewel GPT-4 de neiging heeft tot overgeneralisatie (bijv. het classificeren van een "Chicken Shredder" als zeer relevant voor "shredded chicken"), het gefinetunede LLaMA2 model een beter onderscheidend vermogen vertoonde voor indirecte relevantie en context, waarbij het correct items zoals "McKesson Medical Tape" identificeerde voor "first aid tape" terwijl het fout-positieven op ongerelateerde items zoals "glass cleaner" voor "ZEISS lens wipes" vermeed.

Significantie en Claims
Het artikel beweert dat de integratie van LoRA met het LLaMA2 7B model een belangrijke stap is in het aanpassen van taalmodellen voor e-commerce toepassingen. De significantie van dit werk ligt in het vermogen om een triad van voordelen te leveren die essentieel zijn voor moderne digitale marktplaatsen:

1. Verbeterde Zoeknauwkeurigheid: Door complexe zoekintenties beter te begrijpen, verbetert het model de relevantie van gesponsorde resultaten, wat direct bijdraagt aan de tevredenheid van de gebruiker en de bedrijfsresultaten.
2. Kostenefficiëntie: De LoRA-benadering maakt efficiënte fine-tuning mogelijk zonder de uitgebreide computationele middelen die nodig zijn voor volledige model-her-training, wat het schaalbaar maakt voor grootschalige e-commerceplatforms.
3. Operationele Privacy: In tegenstelling tot het gebruik van externe API's (zoals GPT-4), zorgt het gebruik van een open-source, zelfgehost model voor gegevensprivacy en beveiliging, een cruciale factor in enterprise e-commerce omgevingen.

De auteurs concluderen dat hoewel de evaluatie gericht was op gesponsord zoeken, de methodologie veelzijdig is en toepasbaar op bredere e-commerce zoekcontexten, en daarmee een praktische en impactvolle oplossing biedt voor het verbeteren van online winkelervaringen.