When Relevance Meets Novelty: Dual-Stable Periodic Optimization for Serendipitous Recommendation

Deze paper introduceert de Co-Evolutionary Alignment (CoEA)-methode, die een Dual-Stable Interest Exploration-module en een Periodic Collaborative Optimization-mechanisme combineert om aanbevelingssystemen te verbeteren door zowel lange-termijngroepsidentiteit als korte-termijnpersoonlijke interesses te modelleren en via een dynamische gesloten lus serendipiteit te bevorderen.

De kern

Stel je voor dat je in een enorm, eindeloos supermarktlokaal loopt: de aanbevelingsmachine.

Normaal gesproken doet deze machine precies wat jij wilt: als je gisteren koekjes hebt gekocht, krijg je vandaag weer koekjes. En morgen weer. En overmorgen. Het is veilig, maar na verloop van tijd wordt het saai. Je raakt uitgekeken op dezelfde producten en mist misschien die prachtige, nieuwe smaak die je juist wel zou willen proberen. Dit noemen onderzoekers de "echo-kamer": je hoort alleen je eigen gedachten terug.

De auteurs van dit paper, een team van Meituan (een grote Chinese app) en de Universiteit Tsinghua, hebben een slimme oplossing bedacht om dit probleem op te lossen. Ze noemen hun methode CoEA. Laten we het uitleggen alsof het een supermarkt met twee speciale managers is.

Het Probleem: De Twee Managers die niet samenwerken

In de huidige systemen zijn er vaak twee soorten "managers" die proberen je te helpen:

1. De "Relevantie-manager": Deze kijkt naar wat je nu doet. "Ah, je kijkt naar brood, hier is nog meer brood." Hij is goed, maar saai.
2. De "Nieuwheid-manager": Deze probeert je verrassen. "Probeer eens dat exotische fruit!" Maar vaak raakt hij de plank mis. Hij denkt dat jij, omdat je van pizza houdt, ook van sushi houdt, terwijl jij misschien juist van pasta houdt. Hij kijkt niet naar wie je echt bent op de lange termijn.

De oude systemen lieten deze managers maar één keer met elkaar praten en daarna stopten ze. Het resultaat? Een statische lijst met suggesties die nooit echt leerde van je nieuwe gedrag.

De Oplossing: CoEA (De Samenwerkende Managers)

De auteurs hebben een nieuw systeem bedacht met twee hoofdstukken, alsof het een dans is tussen twee partners.

1. De "Twee-Stabiele" Ontdekkingsreis (DSIE)

Stel je voor dat je niet alleen kijkt naar wat je vandaag hebt gekocht (je korte termijn), maar ook naar wie je bent als persoon (je lange termijn).

• Korte termijn: Wat heb je de afgelopen week geklikt? Misschien was je ziek en kocht je alleen soep.
• Lange termijn: Wie ben je echt? Ben je een "tech-liefhebber", een "kookfan" of een "reisliefhebber"?

Het systeem gebruikt een slimme techniek (die we DSIE noemen) om deze twee te combineren. Het kijkt naar je lange geschiedenis om te zien tot welke "stam" of "groep" je behoort (bijvoorbeeld: "De Gezonde Eetclub"). Vervolgens kijkt het naar je recente acties om te zien wat je nu nodig hebt.

De metafoor: Stel je voor dat je een oude vriend bent. Als je vriend zegt: "Ik heb vandaag een nieuwe auto gekocht" (korte termijn), weet je dat hij misschien even geld heeft. Maar als je weet dat hij al 10 jaar "de auto-nerd" is (lange termijn), weet je dat hij waarschijnlijk ook geïnteresseerd is in nieuwe banden of een GPS-systeem, zelfs als hij die vandaag nog niet heeft gezocht. Het systeem combineert deze twee inzichten om je iets te geven dat nieuw is, maar wel bij jou past.

2. De "Periodieke Samenwerking" (PCO)

Dit is het meest innovatieve deel. In oude systemen praten de managers maar één keer en dan is het klaar. In het nieuwe systeem (CoEA) praten ze elke dag met elkaar in een eindeloze cyclus.

Het proces ziet er zo uit:

1. De Nieuwheid-manager bedenkt een lijst met spannende, nieuwe producten (bijvoorbeeld: "Probeer eens dat nieuwe kruidenmengsel!").
2. De Relevantie-manager kijkt hier kritisch naar. "Wacht even, deze gebruiker is een vegetariër, dit kruidenmengsel bevat vlees. Dat past niet." Hij zegt: "Nee, dit is niet goed."
3. De Lering: De Nieuwheid-manager luistert naar de feedback, past zijn ideeën aan en probeert het opnieuw.
4. De Terugkoppeling: De Nieuwheid-manager leert van deze fouten en wordt slimmer. Hij onthoudt niet alleen wat hij deed, maar ook waarom het goed of slecht was.

De metafoor: Stel je voor dat je een chef-kok bent die nieuwe recepten bedenkt (Nieuwheid-manager). Je proeft je eigen gerechten, maar je bent niet objectief. Je hebt een kritische smaakmeester (Relevantie-manager) nodig.

• In oude systemen: Je proeft één keer, de smaakmeester zegt "Nee", en je stopt met koken.
• In dit nieuwe systeem: Je kookt, de smaakmeester zegt "Te zout!", jij past het recept aan, kookt het opnieuw, en de smaakmeester zegt "Mooi!". Dit proces herhaalt zich elke dag. Zo wordt je chef-kok steeds beter in het vinden van nieuwe, maar toch smakelijke gerechten.

Waarom is dit belangrijk?

Dit systeem lost het grootste probleem van aanbevelingen op: de balans tussen veilig en verrassend.

• Veilig: Je krijgt nog steeds dingen die je leuk vindt (want de lange-termijn "stam" wordt bewaakt).
• Verrassend: Je krijgt ook dingen die je nog nooit hebt gezien, maar die je waarschijnlijk wel zult waarderen (want de korte-termijn acties worden gebruikt om te experimenteren).

Het Resultaat in de Wereld

De auteurs hebben dit getest in de echte wereld bij Meituan (een gigantische app voor eten bestellen en winkelen).

• Offline (in de test): Het systeem vond veel meer nieuwe, interessante categorieën voor gebruikers, zonder dat de kwaliteit van de aanbevelingen daalde.
• Online (in de app): Toen ze het echt gebruikten, zagen ze dat mensen meer bestelden (meer omzet) én vaker nieuwe producten probeerden.

Kort samengevat:
Dit paper introduceert een slimme manier om een robot te leren dat "nieuw" niet betekent "raar". Door te kijken naar wie je bent (je lange termijn identiteit) én wat je nu doet, en door twee AI-managers te laten samenwerken in een eindeloze leercyclus, kunnen we je verrassen met dingen die je echt leuk zult vinden, in plaats van je vast te houden aan hetzelfde oude spul. Het is alsof je een persoonlijke gids krijgt die je niet alleen naar bekende plekken leidt, maar je ook de perfecte, verborgen juweeltjes laat ontdekken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "When Relevance Meets Novelty: Dual-Stable Periodic Optimization for Serendipitous Recommendation", geschreven in het Nederlands.

1. Probleemstelling

Traditionele aanbevelingssystemen hebben de neiging om gebruikers in sterke feedbackloops te vangen door content te pushen die volledig overeenkomt met hun historische voorkeuren. Dit leidt tot:

• Beperkte exploratie: Gebruikers krijgen weinig kansen om nieuwe interesses te ontdekken.
• Contentmoeheid: Gebruikers raken verzadigd door repetitieve aanbevelingen.
• Bias in belangmodellering: Bestaande methoden met Large Language Models (LLM's) focussen vaak te veel op korte-termijn gedrag en negeren lange-termijn, stabiele voorkeuren die voortvloeien uit groepsidentiteit (bijv. "technologie-enthousiastelingen").
• Statische optimalisatie: Bestaande dual-model frameworks (een model voor relevantie en een voor noveliteit) voeren slechts een eenmalige uitlijning uit. Ze kunnen geen gebruikmaken van incrementele gebruikersdata voor een gesloten kringloop van optimalisatie, waardoor ze niet dynamisch kunnen evolueren.

Het doel is om een evenwicht te vinden tussen relevantie (kwaliteit van de aanbeveling) en noviteit (het ontdekken van nieuwe, verrassende interesses) zonder de gebruiker te verliezen.

2. Methodologie: Co-Evolutionary Alignment (CoEA)

De auteurs stellen CoEA voor, een raamwerk dat twee kerncomponenten combineert om bovengenoemde problemen op te lossen:

A. Dual-Stable Interest Exploration (DSIE)

Deze module lost het probleem van bias in de belangmodellering op door zowel lange- als korte-termijn interesses gelijktijdig te modelleren:

• Lange-termijn modellering (Groepsidentiteit):
  • Lange kliksequenties worden gefilterd om ruis te verwijderen.
  • Deze sequenties worden verwerkt via Causal Self-Attention en vervolgens gekwantiseerd met RQ-VAE (Residual-Quantized Variational AutoEncoder).
  • Dit resulteert in Group Collaborative Semantic IDs (CSID). Deze IDs vertegenwoordigen stabiele groepsvoorkeuren.
  • Voor elke groep worden representatieve gebruikers geselecteerd om een tekstueel profiel te genereren met een "Profile LLM" (zonder fine-tuning).
• Korte-termijn modellering (Individuele actualiteit):
  • De recente kliksequenties worden gemap naar fijnmazige categorieën om de huidige interesses van de gebruiker te vangen.
• Resultaat: Een gebruikersrepresentatie die de stabiliteit van de groepsidentiteit combineert met de actualiteit van individuele interesses.

B. Periodic Collaborative Optimization (PCO)

Deze module lost het probleem van statische optimalisatie op door een dynamische, gesloten kringloop tussen twee LLM's te creëren:

• Novelty LLM: Genereert kandidaat-nieuwe interesses (categorieën) op basis van het gebruikersprofiel (CSID + korte-termijn data).
• Relevance LLM: Fungeert als een beloningsmodel (vergelijkbaar met RLHF). Het verifieert de gegenereerde categorieën en beoordeelt de relevantie.
• Iteratief Proces:
  1. De Novelty LLM wordt periodiek fine-tuned (met behulp van Direct Preference Optimization - DPO) op basis van de feedback van de Relevance LLM.
  2. Om catastrophic forgetting (het vergeten van eerdere kennis) te voorkomen, wordt een KL-divergentie-verlies toegevoegd dat de updates beperkt ten opzichte van een referentiemodel.
  3. De geoptimaliseerde output van de Novelty LLM wordt teruggevoerd naar de Relevance LLM voor herbeoordeling.
  4. Dit creëert een continue, zelfverbeterende cyclus die incrementele data benut.

3. Belangrijkste Bijdragen

1. Co-Evolutionary Alignment (CoEA): Een nieuw raamwerk dat lange-termijn groepsvoorkeuren en dynamische dual-model samenwerking integreert om het compromis tussen exploratie en exploitatie op te lossen.
2. Dual-Stable Interest Exploration (DSIE): Een module die parallel lange- en korte-termijn sequenties verwerkt om stabiele groepsidentiteiten (via CSID) en tijdsgebonden individuele interesses te combineren.
3. Periodic Collaborative Optimization (PCO): Een mechanisme dat een bidirectionele gesloten kringloop realiseert tussen de Novelty en Relevance LLM, waardoor het systeem continu kan evolueren op basis van nieuwe data zonder kwaliteit te verliezen.
4. Uitgebreide Evaluatie: Succesvolle validatie via offline experimenten en online A/B-tests in een industriële omgeving.

4. Resultaten

De methode is getest op twee datasets: Movielens-1M en MTRec (een groot dataset van het Meituan-app, een Chinese leveringsplatform).

• Offline Prestaties:
  • CoEA presteert significant beter dan state-of-the-art baselines (zoals Two-tower, GRU4Rec, SASRec, en andere LLM-gebaseerde methoden zoals Google-v1/v2).
  • Kwaliteit: Gemiddelde verbetering van +0,73% op kwaliteitsmetrieken (C-H@K, C-N@K).
  • Noviteit: Opmerkelijke verbetering van +19,34% op noviteitsmetrieken (NCP@K, CLTP@K).
  • CoEA overtreft zelfs Google-v1 op alle metrieken, wat aantoont dat de meercyclische incrementele fine-tuning effectiever is dan een eenmalige uitlijning.
• Online A/B-test (Meituan App):
  • De implementatie in de productiewereld toonde significante zakelijke verbeteringen:
    • +1,203% stijging in Gross Transaction Value (GTV).
    • +2,364% stijging in 7-Day Novel Item Exposure Proportion (7D-NIEP).
  • Dit bewijst dat het systeem zowel de relevantie behoudt als effectief nieuwe interesses ontdekt.

5. Betekenis en Impact

Dit artikel is significant omdat het twee fundamentele beperkingen van bestaande LLM-gedreven aanbevelingssystemen oplost:

1. Het integreert groepsidentiteit in de modellering, wat zorgt voor meer stabiele en betrouwbare exploratie die niet afwijkt van de echte behoeften van de gebruiker.
2. Het introduceert een dynamische, periodieke optimalisatiecyclus in plaats van statische uitlijning. Dit maakt het systeem schaalbaar en adaptief voor industriële toepassingen met miljoenen gebruikers.

De succesvolle implementatie bij Meituan demonstreert dat het mogelijk is om "serendipiteit" (toevallige, maar waardevolle ontdekkingen) te bereiken zonder in te leveren op de kwaliteit van de aanbevelingen, wat een belangrijke stap is in het doorbreken van de "filterbubbel" in moderne aanbevelingssystemen.