Aligning Multimodal Sequential Recommendations via Robust Direct Preference Optimization with Sparse MoE

Probleemstelling: Het "Valse Negatief"-Dilemma

Het paper adresseert een fundamenteel probleem bij het toepassen van Direct Preference Optimization (DPO) op Multimodale Sequentiële Aanbevelingssystemen (MSR).

• Context: Traditionele aanbevelingsmodellen gebruiken vaak punt-voor-punt (pointwise) verliesfuncties (zoals Cross-Entropy) die alle niet-geobserveerde items gelijk behandelen als negatief. DPO, dat oorspronkelijk uit de NLP-wereld (RLHF) komt, optimaliseert echter voor voorkeursparen (winnaar vs. verliezer) en zou theoretisch beter kunnen leren van menselijke intenties.
• Het Dilemma: In NLP zijn negatieve voorbeelden vaak duidelijk foutieve antwoorden. In aanbevelingssystemen met impliciete feedback (klikken/kopen) is een item dat niet is geklikt echter niet per se ongewenst; het kan simpelweg onopgemerkt zijn gebleven (onobserved positive).
• Het Gevolg: Standaard DPO-strategieën, zoals het selecteren van "harde negatieven" (het item met de hoogste voorspelde score dat niet het doelwit is), riskeren om deze onopgemerkte positieve items als negatief te behandelen. Dit leidt tot verkeerde suppressieve gradiënten, waardoor het model de verkeerde items actief onderdrukt en de rangschikkingruimte vervormt.

Methodologie: RoDPO

De auteurs stellen RoDPO (Robust Direct Preference Optimization) voor, een raamwerk dat specifiek is ontworpen om dit dilemma op te lossen. De kerncomponenten zijn:

1. Stochastische Top-K Negatieve Sampling (De Kernoplossing):

   • In plaats van deterministisch het enige hardest negative item (argmax) te kiezen als de "verliezer" ($y_l$), bouwt RoDPO een dynamische kandidatenpool van de Top-K items met de hoogste scores (exclusief het positieve item $y_w$).
   • Uit deze pool wordt het negatieve item stochastisch (willekeurig) geselecteerd.
   • Voordeel: Dit behoudt de informatieve "harde" signalen (omdat de pool uit hoge scores bestaat), maar introduceert gecontroleerde stochasticiteit. Dit vermindert het risico dat het model herhaaldelijk dezelfde valse negatieven straft, waardoor de optimalisatie robuuster wordt.

2. Sparse Mixture-of-Experts (MoE) Encoder:

   • Om de capaciteit van het model te vergroten voor het oplossen van fijne voorkeursconflicten zonder de inferentiekosten te verhogen, wordt een optionele Sparse MoE-laag geïntegreerd.
   • Deze laag schakelt slechts een subset van experts in per input, wat zorgt voor schaalbaarheid met minimale overhead.

3. Twee-fasen Trainingsprotocol:

   • Fase 1 (Warm-up): Het model wordt eerst getraind met standaard Cross-Entropy (SFT) om een betrouwbare referentiebeleid ($\pi_{ref}$) te creëren.
   • Fase 2 (DPO): Het model wordt fijngeschaald met de DPO-objectief, waarbij de referentiebeleid wordt ingevroren. De totale loss is een combinatie van Cross-Entropy en DPO-loss.

Belangrijkste Bijdragen

• Identificatie van de oorzaak: Het paper identificeert expliciet "valse negatieven" als de hoofdoorzaak van de fragiliteit van DPO in aanbevelingssystemen en toont aan dat de strategie voor negatieve steekproeven cruciaal is.
• Stochastische Top-K Sampling: Een eenvoudige maar effectieve plug-and-play modificatie die de balans vindt tussen de hardheid van de gradiënt en tolerantie voor valse negatieven.
• Efficiëntie: Het combineren van DPO met een Sparse MoE-architectuur zorgt voor prestatiewinst zonder significante toename in inferentiekosten.

Resultaten

De methode is getest op drie Amazon-benchmarks: Toys and Games, Beauty, en Home and Kitchen.

• Prestatieverbetering: RoDPO overtreft consistent de state-of-the-art baselines (zoals HM4SR, IISAN, en SASRec).
  • Op de Toys and Games-dataset werd een verbetering van +5,25% in NDCG@5 en +7,67% in MRR@5 behaald ten opzichte van de beste baseline.
• Ablatie-studies:
  • Vergelijkingen tonen aan dat Stochastische Top-K Sampling aanzienlijk beter presteert dan zowel willekeurige sampling als deterministische harde sampling (argmax). Harde sampling alleen leidt tot suboptimale resultaten door het valse-negatief-probleem.
  • Het verwijderen van de DPO-component of de Sparse MoE leidt tot een merkbare daling in prestaties, wat de noodzaak van beide componenten bevestigt.
• Efficiëntie:
  • De trainingskosten zijn verwaarloosbaar hoger dan baselines (9,84s vs 9,81s per epoch).
  • De inferentielatentie is bijna identiek aan de baseline (0,45s vs 0,42s per batch), omdat het referentiemodel tijdens de deploy wordt verwijderd en de MoE slechts een subset van experts activeert.
• Visualisatie: Kernel Density Estimation (KDE) toont aan dat het baseline-model oververtrouwd is in het rangschikken van valse negatieven, terwijl RoDPO deze verdeling "verzacht" en de echte voorkeuren beter laat uitkomen.

Betekenis en Conclusie

Dit paper levert een belangrijke bijdrage aan de overbrugging van NLP-technieken (zoals DPO) naar aanbevelingssystemen. Het demonstreert dat DPO zeer effectief kan zijn voor het aligneren van multimodale sequentiële modellen met gebruikersvoorkeuren, mits het specifieke probleem van valse negatieven in impliciete feedback wordt opgelost.

De voorgestelde RoDPO-aanpak biedt een robuuste, schaalbare en kostenefficiënte methode die de grenzen van huidige aanbevelingsmodellen verlegt zonder de operationele kosten te verhogen. Het opent de weg voor toekomstig onderzoek naar grootschalige foundation modellen in aanbevelingssystemen die beter omgaan met complexe, niet-lineaire gebruikersintenties.