Shop-R1: Rewarding LLMs to Simulate Human Behavior in Online Shopping via Reinforcement Learning

1. Probleemstelling

Grote Taalmodellen (LLMs) tonen veelbelovende resultaten in het simuleren van menselijk gedrag in webomgevingen, maar bestaande methoden hebben beperkingen:

• Aanpak: De huidige state-of-the-art methoden vertrouwen vaak op Supervised Fine-Tuning (SFT) met synthetische trainingsdata (bijv. gegenereerd door Claude 3.5 Sonnet) of zero-shot prompting.
• Beperkingen: De kwaliteit van deze benaderingen is inherent begrensd door het redeneervermogen van het model dat de synthetische data genereert. Zero-shot prompting mist personalisatie en aanpassingsvermogen.
• Uitdaging: Menselijk gedrag in online winkelen is niet-deterministisch en complex. Het doel is niet om één "juiste" actie te voorspellen, maar de verdeling van menselijke beslissingen te modelleren. Bestaande RL-methoden (Reinforcement Learning) zijn vaak gericht op taakvoltooiing met duidelijke doelen, terwijl menselijk gedrag vaag en contextafhankelijk is.
• Reward Hacking: Simpele reward-signalen (bijv. alleen een binair "juist/fout") leiden vaak tot "reward hacking", waarbij agents triviale acties (zoals direct afsluiten) kiezen om punten te scoren in plaats van complexe interacties uit te voeren.

2. Methodologie: Shop-R1 Framework

Shop-R1 is een nieuw RL-framework dat menselijk gedrag simuleren opsplitst in twee fasen: rationale-generatie en actie-voorspelling. Het framework gebruikt een hybride beloningssysteem om beide fasen te optimaliseren.

A. Probleemformulering

De taak wordt gedefinieerd als het voorspellen van de volgende rationale ($r_t$) en actie ($a_t$) op basis van de historische context ($c_{1...t}$) en eerdere acties ($a_{1...t-1}$). De actieruimte omvat drie hoofdtypen:

1. type_and_submit (zoeken/invullen)
2. click (klikken op elementen)
3. terminate (sessie beëindigen)

B. Cold Start met SFT

Voordat RL wordt toegepast, ondergaat het model een Supervised Fine-Tuning (SFT) fase. Hierbij wordt het model getraind op trajecten met rationale-actie paren gegenereerd door een LLM. Dit dient als een "cold start" om het model te laten leren wat een realistische structuur en lange teksten (zoals zoekopdrachten of knopnamen) zijn, wat essentieel is voor stabiliteit in de daaropvolgende RL-fase.

C. Het Reward Systeem (De Kern van Shop-R1)

Shop-R1 introduceert een hiërarchisch en gedetailleerd reward-systeem om de beperkingen van binair belonen te overwinnen:

1. Format Reward: Een binaire beloning (0.5 of 0) voor het produceren van output in een parseerbare JSON-indeling. Dit zorgt voor betrouwbare evaluatie.
2. Rationale Reward (Self-Certainty): Omdat er geen "ground truth" rationale bestaat voor menselijk gedrag, wordt een self-certainty score gebruikt. Dit meet de zekerheid van het model in zijn eigen redenering via de Kullback-Leibler (KL) divergentie tussen de voorspelde verdeling en een uniforme verdeling. Een hogere zekerheid levert een hogere beloning op.
3. Hiërarchische Actie Reward: In plaats van een enkel binair signaal, wordt de beloning opgebouwd uit:
   • Actie Type: Correctheid van het hoofdtype (bijv. click).
   • Sub-actie Attribuut: Correctheid van het attribuut (bijv. de naam van de knop).
   • Sub-actie Waarde: Correctheid van de tekstwaarde (bijv. de zoektekst), gemeten met ROUGE-L.
4. Difficulty-Aware Reward Scaling (DARS): Om reward hacking te voorkomen (waarbij agents triviale acties kiezen), worden beloningen geschaald op basis van de moeilijkheidsgraad. Het voorspellen van lange tekst (zoals een zoekopdracht) is moeilijker dan het kiezen van een "terminate"-actie en krijgt daarom een versterkte beloning. Dit maakt het voor de agent economisch onrendabel om alleen triviale acties te kiezen.

De totale doelstelling is het maximaliseren van de verwachte beloning, geregulariseerd met een KL-divergentie ten opzichte van een referentiebeleid.

3. Belangrijkste Bijdragen

• Eerste RL-toepassing: Shop-R1 is het eerste framework dat Reinforcement Learning toepast op het simuleren van menselijk gedrag in webwinkels, in plaats van alleen op taakvoltooiing.
• Twee-fasen decompositie: Het scheiden van rationale-generatie en actie-voorspelling met specifieke reward-signalen voor elke stap.
• Hybride Reward Design: Een innovatieve combinatie van self-certainty voor rationale en een hiërarchisch, schaalbaar reward-systeem voor acties.
• Preventie van Reward Hacking: Door DARS en hiërarchische credits wordt voorkomen dat agents triviale oplossingen kiezen om de beloning te maximaliseren.

4. Experimentele Resultaten

De methoden zijn getest op de SHOP-CART dataset (52.137 realistische winkelsessies) met het Qwen-2.5-3B-Instruct model.

• Prestatieverbetering: Shop-R1 bereikte een Exact Match Accuracy van 27,72%. Dit is een relatieve verbetering van meer dan 65% ten opzichte van SFT alleen (16,76%).
• Vergelijking met Baselines:
  • Zero-shot prompting: 0,32% (zeer laag).
  • SFT + RL (Binary): 16,55% (SFT presteert hier beter dan RL met alleen binair reward).
  • Shop-R1: 27,72%.
• Ablatie Studies:
  • Zonder SFT warm-start daalt de prestatie drastisch (naar 4,63%), wat aantoont dat SFT essentieel is voor het leren van de structuur van lange teksten.
  • Zonder Format Reward daalt de nauwkeurigheid naar 2,87% omdat de output niet meer parseerbaar is.
  • Zonder Difficulty-Aware Scaling of hiërarchische beloning daalt de F1-score voor actie-types sterk (naar ~12%), omdat het model terugvalt naar het kiezen van de triviale "terminate"-actie.
• Context: Het gebruik van de volledige sessie-context (geschiedenis van HTML-pagina's) is cruciaal; zonder dit daalt de Exact Match Accuracy met bijna 50%.

5. Betekenis en Conclusie

Shop-R1 demonstreert dat gestructureerde Reinforcement Learning frameworks superieur zijn aan puur gesuperviseerde methoden voor het simuleren van menselijk gedrag. Door de complexiteit van menselijke beslissingen op te vangen via gedetailleerde, difficulty-aware beloningen, kan het model niet alleen de intentie (actie-type) correct voorspellen, maar ook de inhoud (bijv. specifieke zoektermen of knoppen) nauwkeurig reproduceren.

De studie benadrukt dat voor realistische simulatie van interactieve systemen:

1. Dichte en gestructureerde feedback essentieel is.
2. Reward hacking effectief kan worden tegengegaan door de moeilijkheidsgraad van taken te belonen.
3. Een combinatie van SFT (voor structuur) en RL (voor optimalisatie en adaptatie) de beste resultaten oplevert.

Dit werk legt de basis voor realistischere, gepersonaliseerde virtuele gebruikersmodellen in e-commerce en andere web-gebaseerde interacties.