Technische Samenvatting: PageLLM

Probleemstelling

Whole-Page Optimization (WPO) omvat het genereren van een complete, gerangschikte pagina met zoek- of aanbevelingsresultaten die relevantie, diversiteit, positionele blootstelling en redundantie in evenwicht brengt. Hoewel Large Language Models (LLM's) een geünificeerde aanpak voor WPO bieden door paginageneratie te behandelen als conditionele sequentiegeneratie, staan hun aanpassing aan web-schaal omgevingen voor drie kritieke knelpunten:

1. Schaarste en Kosten van Supervisie: Standaard Reinforcement Learning from Human Feedback (RLHF) vereist dure menselijke annotaties om volledige pagina's te vergelijken. Op industriële schaal maakt de lineaire groei van catalogus- en publieksgroottes dit onbetaalbaar.
2. Beperkingen van Enkel-Korrelige Beloningen: Bestaande methoden drukken beloningen doorgaans samen tot één scalair getal (ofwel op pagina-niveau of op item-niveau). Een beloning op pagina-niveau vangt globale coherentie op, maar negeert fijnkorrelige positionele verschuivingen die cruciaal zijn voor de click-through rate. Omgekeerd optimaliseert een beloning op item-niveau de individuele plaatsing, maar zorgt er niet voor dat de pagina als geheel divers en niet-redundant is.
3. Complementaire Faalmodi: Het artikel stelt dat enkel-korrelige formuleringen op "spiegelbeeldige" manieren falen. Het verwijderen van signalen op pagina-niveau verslechtert de globale lijstcoherentie, terwijl het verwijderen van signalen op item-niveau de positionele scherpte verslechtert. Geen enkel signaal alleen is voldoende om de gebruikerstevredenheid te maximaliseren.

Methodologie: Het PageLLM Framework

PageLLM stelt een drie-traps, op beloningen gebaseerd fijnafstemming framework voor dat supervisie ontkoppelt in twee complementaire korrelgroottes, uitsluitend met behulp van impliciete gebruikersfeedback.

1. Dataconstructie uit Impliciete Feedback

In plaats van menselijke labels, construeert het framework trainingsdata uit logs van gebruiker-item interacties (bijv. het Amazon Review corpus):

• Gouden Lijsten: Voor elke gebruiker wordt een "gouden" gerangschikte lijst geconstrueerd door positieve interacties te filteren ($r_{ui} > 3$), opnieuw te rangschikken op basis van fijnkorrelige populariteit, en de categorie-diversiteit in evenwicht te brengen.
• Voorkeurspaar-Families: Vier families van negatieve lijsten worden gegenereerd om specifieke faalmodi te lokaliseren, waardoor contrastieve paren worden gecreëerd tegenover de gouden lijst:
  • Niet-preferentieel ($\sigma_{np}$): Items met lage beoordelingen (relevantiefout).
  • Rangschikking ($\sigma_{rk}$): Aangrenzende swaps van items in de gouden lijst (positionele fout).
  • Diversiteit ($\sigma_{d}$): Vervanging van unieke items door homogene items (diversiteitsfout).
  • Redundantie ($\sigma_{rd}$): Over-concentratie van items uit één categorie (redundantiefout).

2. Multi-Korrelige Beloningsmodellering

De kerninnovatie is een ontkoppeld beloningsmodel met twee koppen die zijn getraind op dezelfde voorkeursdata maar met verschillende doelen:

• Grofkorrelige (Pagina-niveau) Beloning ($R_c$): Een Bradley-Terry model dat de volledige gegenereerde lijst scoort als één eenheid. Het leert globale aanwijzingen zoals de mix van categorieën en gemiddelde relevantie, en biedt stabiliteit tegen ruisachtige feedback.
• Fijnkorrelige (Item-niveau) Beloning ($R_f$): Een model dat individuele items scoort en deze middelt. Het is getraind om engagement-gevoelige positionele swaps te detecteren (bijv. hoe het verwisselen van twee aangrenzende items de totale score beïnvloedt).
• Combinatie: De uiteindelijke beloning is een eenvoudige som ($R = R_c + R_f$). De auteurs stellen dat deze additieve aanpak superieur is aan een product, omdat het onafhankelijke gradiënten behoudt en super-additieve prestatiewinsten mogelijk maakt.

3. RLHF Fijnafstemming met PPO

Een vooraf getrainde LLM (bijv. GPT-2) ondergaat een drie-staps trainingsproces:

1. Meta-informatie Pre-training: Het model wordt aangepast aan aanbevelingssemantiek via ratingvoorspelling en next-token voorspelling op meta-prompts.
2. Supervised Fine-Tuning (SFT): Het model wordt fijnafgestemd op de gouden lijsten om het outputschema en de basisverdeling te leren.
3. PPO Optimalisatie: Het model wordt verder geoptimaliseerd met Proximal Policy Optimization (PPO) met de gecombineerde multi-korrelige beloning. Een KL-divergentieboete tegen het SFT-referentiebeleid voorkomt dat het model afwijkt naar degeneratieve outputruimtes.

Belangrijkste Bijdragen

1. Feedback-naar-Beloning Pijplijn: De formalisering van vier families van voorkeursparen die ruisachtige impliciete feedback omzetten in bruikbare RLHF-supervisie voor paginageneratie zonder menselijke labels.
2. Multi-Korrelige Beloningsarchitectuur: De introductie van een ontkoppeld beloningsysteem dat een pagina-niveau Bradley-Terry model koppelt aan een item-niveau positionele-swap model, met empirisch bewijs van hun complementariteit.
3. Schalbaar Bewijs: Uitgebreide evaluatie over zeven Amazon-categorieën tegen elf baselines, een online A/B-test met 10 miljoen gebruikers, en studies over robuustheid bij cold-start en efficiëntie van de backbone.
4. Implementatiemodulariteit: Een demonstratie dat de additieve aard van de beloning het mogelijk maakt om het grofkorrelige pagina-niveau component te implementeren als een CPU-side rangschikkingsfunctie, waardoor een incrementele uitrol op bestaande infrastructuur wordt vergemakkelijkt.

Experimentele Resultaten

• Offline Prestaties: Op zeven Amazon-categorieën presteert PageLLM beter dan elf baselines (inclusief matrixfactorisatie, sequentiële transformers en andere op LLM gebaseerde aanbevelers). Het bereikt tot een 46,8% verbetering in NDCG@100 ten opzichte van een variant zonder beloning. De winsten zijn het meest uitgesproken in categorieën met genuanceerde voorkeuren (Luxe, Sport, Instrumenten, Schoonheid).
• Ablatiestudies: Het verwijderen van ofwel de beloningskop op pagina-niveau of die op item-niveau verslechtert de prestaties aanzienlijk (respectievelijk een reductie van NDCG@100 met 17,8% en 15,2%), wat bevestigt dat de signalen complementair en niet redundant zijn.
• Online A/B-test: Geïmplementeerd op een commerciële e-commerce zoekmachine met meer dan 10 miljoen unieke gebruikers, verhoogde PageLLM de GMV met 0,44% en de Click-Through Rate (CTR) met 0,14% over een periode van één week.
• Robuustheid: In cold-start simulaties (50% datareductie) degradeerde PageLLM minder dan sequentiële (SASRec) en autoencoder (Multi-VAE) baselines.
• Backbone Efficiëntie: Experimenten die GPT-2 en Llama3.2-1B vergelijken, suggereren dat GPT-2 een Pareto-optimale balans biedt tussen prestaties en computatiekosten voor deze taak, wat aangeeft dat de beloningsstructuur de beperkende factor is en niet de modelcapaciteit.

Betekenis en Claims

Het artikel stelt dat het primaire knelpunt voor op LLM gebaseerde WPO niet het gebrek aan supervisiedata is, maar de korrelgrootte van het supervisiessignaal. Door de beloning te ontkoppelen in componenten op pagina-niveau en item-niveau, slaagt PageLLM erin LLM's in lijn te brengen met WPO-doelstellingen op web-schaal met uitsluitend impliciete feedback.

De auteurs benadrukken dat deze aanpak:

• De behoefte aan dure menselijke annotaties elimineert.
• De "enkel-korrelige" faalmodus oplost waarbij bestaande methoden niet gelijktijdig kunnen optimaliseren voor globale pagina-coherentie en lokale item-plaatsing.
• Een praktische weg naar productie-implementatie biedt, zoals bewezen door de succesvolle A/B-test met 10 miljoen gebruikers en het vermogen om componenten gedeeltelijk te implementeren op CPU-infrastructuur.

Het werk concludeert dat multi-korrelige beloningen afgeleid van impliciete feedback voldoende zijn om LLM's te schalen naar productie-niveau whole-page optimization, en biedt een nieuwe route voor aanbevelingssystemen die de pagina behandelt als een samenhangende, generatieve entiteit in plaats van een zak met gescoorde items.