Technische Zusammenfassung: PageLLM

Problemstellung

Die Ganzseiten-Optimierung (Whole-Page Optimization, WPO) umfasst die Generierung einer vollständigen, gerankten Seite von Such- oder Empfehlungsergebnissen, die Relevanz, Vielfalt, positionale Exposition und Redundanz in Einklang bringt. Während Large Language Models (LLMs) einen einheitlichen Ansatz für WPO bieten, indem sie die Seitengenerierung als bedingte Sequenzgenerierung behandeln, stößt ihre Anpassung an webweite Umgebungen auf drei kritische Engpässe:

1. Knappheit und Kosten der Überwachung: Das Standard-Reinforcement Learning from Human Feedback (RLHF) erfordert teure menschliche Annotationen, um ganze Seiten zu vergleichen. Im industriellen Maßstab macht das lineare Wachstum von Katalog- und Publikumgrößen dies untragbar.
2. Einschränkungen einstufiger Belohnungen: Bestehende Methoden kollabieren Belohnungen typischerweise zu einem einzigen Skalar (entweder auf Seiten- oder Elementebene). Eine Seiten-belohnung erfasst globale Kohärenz, ignoriert jedoch feinkörnige Positionsverschiebungen, die für die Klickrate entscheidend sind. Umgekehrt optimiert eine Element-belohnung die individuelle Platzierung, stellt aber nicht sicher, dass die Seite als Ganzes vielfältig und nicht redundant ist.
3. Komplementäre Fehlermodi: Die Arbeit argumentiert, dass einstufige Formulierungen auf „spiegelbildliche" Weise versagen. Das Entfernen von Seiten-Signalen verschlechtert die globale Listenkohärenz, während das Entfernen von Element-Signalen die Positionsschärfe beeinträchtigt. Keines der Signale allein reicht aus, um die Nutzerzufriedenheit zu maximieren.

Methodik: Das PageLLM-Framework

PageLLM schlägt ein dreistufiges, belohnungsbasiertes Feinabstimmungs-Framework vor, das die Überwachung unter Verwendung nur impliziten Nutzerfeedbacks in zwei komplementäre Granularitäten entkoppelt.

1. Datenkonstruktion aus implizitem Feedback

Anstelle menschlicher Labels konstruiert das Framework Trainingsdaten aus Nutzer-Element-Interaktionsprotokollen (z. B. Amazon Review-Korpus):

• Goldene Listen: Für jeden Nutzer wird eine „goldene" gerankte Liste erstellt, indem positive Interaktionen ($r_{ui} > 3$) gefiltert, nach feinkörniger Popularität neu gerankt und die Kategorievietfalt ausgeglichen werden.
• Präferenz-Paar-Familien: Vier Familien negativer Listen werden generiert, um spezifische Fehlermodi zu lokalisieren und kontrastive Paare gegenüber der goldenen Liste zu erstellen:
  • Nicht bevorzugt ($\sigma_{np}$): Elemente mit niedrigen Bewertungen (Relevanzversagen).
  • Ranking ($\sigma_{rk}$): Benachbarte Vertauschungen von Elementen in der goldenen Liste (Positionsversagen).
  • Vielfalt ($\sigma_{d}$): Ersetzung einzigartiger Elemente durch homogene (Vielfaltsversagen).
  • Redundanz ($\sigma_{rd}$): Überkonzentration von Elementen aus einer Kategorie (Redundanzversagen).

2. Mehrstufiges Belohnungsmodellierung

Die Kerninnovation ist ein entkoppeltes Belohnungsmodell mit zwei Köpfen, die auf denselben Präferenzdaten trainiert werden, jedoch mit unterschiedlichen Zielen:

• Grobkörnige (Seiten-Ebene) Belohnung ($R_c$): Ein Bradley-Terry-Modell, das die gesamte generierte Liste als eine einzige Einheit bewertet. Es lernt globale Hinweise wie die Mischung der Kategorien und die durchschnittliche Relevanz und bietet Stabilität gegenüber verrauschtem Feedback.
• Feinkörnige (Element-Ebene) Belohnung ($R_f$): Ein Modell, das einzelne Elemente bewertet und diese mittelt. Es wird darauf trainiert, engagement-sensitive Positionsvertauschungen zu erkennen (z. B. wie sich das Vertauschen zweier benachbarter Elemente auf den Gesamtscore auswirkt).
• Kombination: Die endgültige Belohnung ist eine einfache Summe ($R = R_c + R_f$). Die Autoren argumentieren, dass dieser additive Ansatz einem Produkt überlegen ist, da er unabhängige Gradienten bewahrt und super-additive Leistungssteigerungen ermöglicht.

3. RLHF-Feinabstimmung mit PPO

Ein vortrainiertes LLM (z. B. GPT-2) durchläuft einen dreistufigen Trainingsprozess:

1. Meta-Informationen-Vorabtraining: Das Modell wird über Bewertungsprognosen und Next-Token-Prognosen auf Meta-Prompts an die Semantik von Empfehlungen angepasst.
2. Überwachtes Feinabstimmung (SFT): Das Modell wird auf den goldenen Listen feinabgestimmt, um das Ausgabeschema und die Basisverteilung zu erlernen.
3. PPO-Optimierung: Das Modell wird unter Verwendung der kombinierten mehrstufigen Belohnung weiter mit Proximal Policy Optimization (PPO) optimiert. Eine KL-Divergenz-Strafe gegen die SFT-Referenzrichtlinie verhindert, dass das Modell in degenerierte Ausgabesräume abdriftet.

Hauptbeiträge

1. Feedback-zu-Belohnungs-Pipeline: Die Formalisierung von vier Familien von Präferenzpaaren, die verrauschtes implizites Feedback in verwertbare RLHF-Überwachung für die Seitengenerierung ohne menschliche Labels umwandeln.
2. Mehrstufige Belohnungsarchitektur: Die Einführung eines entkoppelten Belohnungssystems, das ein Seiten-Ebene Bradley-Terry-Modell mit einem Element-Ebene Positionsvertauschungs-Modell koppelt und empirisch ihre Komplementarität nachweist.
3. Skalierbare Evidenz: Umfassende Evaluierung über sieben Amazon-Kategorien hinweg gegen elf Baselines, ein Online A/B-Test mit 10 Millionen Nutzern sowie Studien zur Robustheit bei Kaltstart und zur Effizienz des Backbones.
4. Bereitstellungsmodularität: Der Nachweis, dass die additive Natur der Belohnung es ermöglicht, die grobkörnige Seiten-Ebene-Komponente als CPU-seitiges Ranking-Feature bereitzustellen, was eine schrittweise Einführung auf bestehender Infrastruktur erleichtert.

Experimentelle Ergebnisse

• Offline-Leistung: Auf sieben Amazon-Kategorien übertrifft PageLLM elf Baselines (einschließlich Matrixfaktorisierung, sequenzieller Transformer und anderer LLM-basierter Recommender). Es erzielt bis zu eine 46,8%ige Verbesserung in NDCG@100 im Vergleich zu einer Variante ohne Belohnung. Die Gewinne sind in Kategorien mit nuancierten Präferenzen (Luxus, Sport, Instrumente, Schönheit) am ausgeprägtesten.
• Ablationsstudien: Das Entfernen entweder des Seiten-Ebene- oder des Element-Ebene-Belohnungskopfes verschlechtert die Leistung erheblich (Reduktion von NDCG@100 um 17,8% bzw. 15,2%), was bestätigt, dass die Signale komplementär und nicht redundant sind.
• Online A/B-Test: In einer kommerziellen E-Commerce-Suchmaschine mit über 10 Millionen einzigartigen Nutzern eingesetzt, erhöhte PageLLM den GMV um 0,44% und die Click-Through Rate (CTR) um 0,14% über einen Zeitraum von einer Woche.
• Robustheit: In Kaltstart-Simulationen (50% Datenreduktion) verschlechterte sich PageLLM weniger als sequenzielle (SASRec) und Autoencoder-Baselines (Multi-VAE).
• Backbone-Effizienz: Experimente, die GPT-2 und Llama3.2-1B vergleichen, deuten darauf hin, dass GPT-2 für diese Aufgabe ein Pareto-optimales Gleichgewicht zwischen Leistung und Rechenkosten bietet, was darauf hindeutet, dass die Belohnungsstruktur der limitierende Faktor ist und nicht die Modellkapazität.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass der primäre Engpass für LLM-basierte WPO nicht der Mangel an Überwachungsdaten ist, sondern die Granularität des Überwachungssignals. Durch die Entkopplung der Belohnung in Seiten-Ebene- und Element-Ebene-Komponenten gelingt es PageLLM, LLMs mit webweiten WPO-Zielen unter Verwendung nur impliziten Feedbacks in Einklang zu bringen.

Die Autoren betonen, dass dieser Ansatz:

• Die Notwendigkeit kostspieliger menschlicher Annotationen eliminiert.
• Den „einstufigen" Fehlermodus löst, bei dem bestehende Methoden nicht gleichzeitig globale Seitenkohärenz und lokale Elementplatzierung optimieren können.
• Einen praktischen Weg zur Produktionsbereitstellung bietet, wie der erfolgreiche A/B-Test mit 10 Millionen Nutzern und die Fähigkeit belegen, Komponenten teilweise auf CPU-Infrastruktur bereitzustellen.

Die Arbeit schließt, dass mehrstufige Belohnungen, die aus implizitem Feedback abgeleitet werden, ausreichen, um LLMs auf Produktionsniveau für die Ganzseiten-Optimierung zu skalieren, und bietet eine neue Route für Recommender-Systeme, die die Seite als kohärente, generative Entität und nicht als Beutel bewerteter Elemente behandeln.