Fairness Begins with State: Purifying Latent Preferences for Hierarchical Reinforcement Learning in Interactive Recommendation

Dit paper introduceert DSRM-HRL, een framework dat de strijd tussen nauwkeurigheid en eerlijkheid in interactieve aanbevelingssystemen oplost door verontreinigde gebruikersstaten te zuiveren met diffusiemodellen en hiërarchisch versterkend leren toe te passen voor decouplende besluitvorming.

De kern

Stel je voor dat je een reisleider bent voor een groep toeristen (de gebruikers) in een enorm, levendig stadje (het internet met miljoenen producten en video's). Je taak is om de toeristen elke dag de beste plekken te laten zien, zodat ze blij zijn en blijven rondhangen.

Het probleem is dat de stadje zelf een beetje "ziek" is. De populaire plekken (zoals de Eiffeltoren of een bekend museum) zijn zo overvol dat iedereen ze ziet, terwijl prachtige, verborgen juweeltjes (de lange staart-items) in de schaduw blijven staan.

Deze paper, getiteld "Fairness Begins with State" (Rechtvaardigheid begint bij de staat), zegt: "Stop met proberen de toeristen te straffen of te belonen voor hun keuzes. Het probleem is dat jullie de kaart verkeerd lezen!"

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Vervuilde Bril"

Stel je voor dat je een bril op hebt die je zicht verdraait. Omdat de toeristen vaak naar de populaire plekken kijken (omdat ze daar naartoe worden gestuurd), denk jij dat ze alleen die plekken leuk vinden.

• De realiteit: De toeristen zijn misschien wel geïnteresseerd in een klein, rustig parkje, maar omdat ze daar nooit naartoe worden gestuurd, zien ze het niet.
• De fout van oude systemen: De oude AI-systemen (de reisleiders) dachten: "Oh, ze kijken naar de Eiffeltoren, dus ze houden van de Eiffeltoren. Laten we ze daar nog meer naartoe sturen." Dit leidt tot een cirkel van rijkdom: de rijken (populaire items) worden rijker, en de armen (niche items) vergeten.
• De conclusie van de auteurs: Het probleem is niet dat we de beloningen verkeerd berekenen, maar dat we de informatie verkeerd interpreteren. De "staat" (wat de AI denkt dat de gebruiker wil) is vervuild door ruis.

2. De Oplossing: DSRM-HRL

De auteurs hebben een nieuw systeem bedacht dat bestaat uit twee slimme onderdelen. Je kunt het zien als een tweestaps-reinigingsproces voor je reisleider.

Stap 1: De "Denoising State Representation Module" (DSRM)

Dit is de schoonmaker.

• De metafoor: Stel je voor dat je een oude, modderige foto van een landschap hebt. Je ziet de bomen, maar de modder (de populariteitsbias) maakt het onduidelijk.
• Hoe het werkt: In plaats van de foto te bewerken, gebruiken ze een diffusiemodel. Dit is als een magische reinigingsmachine die de modder stap voor stap wegneemt, tot je de oorspronkelijke, schone foto ziet.
• Het resultaat: De AI ziet nu niet meer "wat de gebruiker heeft gezien" (dat was vervuild), maar "wat de gebruiker echt leuk zou vinden" als er geen druk was om naar populaire dingen te kijken. Ze halen de ware voorkeur uit de ruis.

Stap 2: "Hierarchical Reinforcement Learning" (HRL)

Dit is de teamleider en de uitvoerder.
Nu dat de foto schoon is, moeten ze beslissingen nemen. Maar ze hebben twee doelen die vaak botsen:

1. Korte termijn: De gebruiker nu tevreden houden (klikken, kijken).
2. Lange termijn: Rechtvaardig zijn en ook de kleine parkjes laten zien, zodat de toeristen niet snel vervelen.

• De Hiërarchie:
  • De Manager (Hoog niveau): Deze kijkt naar het grote plaatje. Hij zegt: "Vandaag moeten we 30% van de tijd naar de kleine parkjes gaan, anders raken we de toeristen kwijt." Hij zorgt voor de rechtvaardigheid.
  • De Werknemer (Laag niveau): Deze kijkt naar de schone foto (van Stap 1) en zegt: "Oké, we moeten naar de parkjes. Welke specifieke parkjes zijn nu het leukst voor deze toerist?" Hij zorgt voor de kwaliteit.

Door deze twee te scheiden, krijgen ze het beste van beide werelden: de gebruiker blijft blij (want de keuzes zijn goed), en het systeem is eerlijk (want de manager dwingt de diversiteit af).

3. Waarom werkt dit beter?

In de paper laten ze zien met simulaties (virtuele stadjes) dat hun systeem:

• Geen "rijkwordt-rijk" cirkel meer maakt: Populaire items krijgen niet oneindig meer kansen.
• Gebruikers langer vasthoudt: Omdat de toeristen niet alleen maar dezelfde dingen zien, blijven ze langer in het stadje hangen.
• Stabiel is: Oude systemen schommelden vaak (soms te eerlijk, soms te populair). Dit nieuwe systeem vindt een perfect evenwicht.

Samenvatting in één zin

Deze paper zegt dat je eerst je bril moet schoonmaken (de vervuilde data zuiveren met een slim algoritme) voordat je probeert slimme beslissingen te nemen (met een teamleider die zorgt voor balans), zodat je niet alleen de bekende toeristenplekken blijft bezoeken, maar ook de verborgen juweeltjes laat zien.

Het is een manier om AI eerlijk en slim te maken, door te beginnen bij de bron van de informatie in plaats van alleen de uitkomst te corrigeren.

Technische samenvatting

Hieronder volgt een gedetailleerde technische samenvatting van het paper "Fairness Begins with State: Purifying Latent Preferences for Hierarchical Reinforcement Learning in Interactive Recommendation", vertaald en samengevat in het Nederlands.

1. Het Probleem: De Illusie van een Betrouwbare Toestand

Interactieve aanbevelingssystemen (IRS) gebruiken steeds vaker Versterkend Leren (RL) om de sequentiële dynamiek tussen gebruiker en systeem te optimaliseren. Echter, bestaande methoden voor eerlijkheid (fairness) in RL lijden aan een fundamenteel inzichtelijk tekort:

• Vervuilde Toestanden: Ze gaan er ten onrechte van uit dat de waargenomen gebruikersstaat (gebaseerd op impliciete feedback zoals klikken of kijken) een trouwe weergave is van de ware voorkeuren.
• Populaire Bias: In werkelijkheid is deze feedback zwaar vervuild door "popularity-driven noise" (populaire items krijgen meer曝光/exposure, wat leidt tot meer klikken, ongeacht de echte relevantie). Dit creëert een spurious feedback loop (een nep-feedbacklus) waarbij het systeem leert wat het eerder heeft geforceerd, niet wat gebruikers echt leuk vinden.
• Het Resultaat: Wanneer RL-agenten op deze vervuilde toestanden opereren, ontstaat er een kunstmatig conflict tussen nauwkeurigheid (accuracy) en eerlijkheid (fairness). Agenten vallen vaak in de "rich-get-richer" valstrik, waarbij populaire items worden oververtegenwoordigd en lange-staart (long-tail) items worden genegeerd.

De auteurs stellen dat dit geen probleem van beloningsschaping (reward shaping) is, maar een fout in toestandsschatting (state estimation failure).

2. Methodologie: DSRM-HRL

Om dit op te lossen, stellen de auteurs DSRM-HRL voor, een raamwerk dat eerlijkheid benadert als een tweestapsproces: zuivering van de latent toestand gevolgd door gedecoupleerde hiërarchische besluitvorming.

A. DSRM: Diffusion-based State Purification (Denoising State Representation Module)

Om de vervuilde waarnemingen te corrigeren, introduceren ze een module gebaseerd op Diffusion Models.

• Doel: Het reconstrueren van de lage-entropie, latente voorkeursmanifold (de ware interesses van de gebruiker) vanuit de hoge-entropie, ruisachtige interactiegeschiedenis.
• Proces:
  1. Forward Diffusion: Het model simuleert hoe de ware voorkeuren vervuilen door populaire bias (het voegt Gaussische ruis toe).
  2. Reverse Diffusion: Het model leert het omgekeerde proces om de ruis iteratief te verwijderen en de schone, semantisch consistente voorkeurstoestand ($\hat{s}_t$) te herstellen.
• Voordeel: In tegenstelling tot traditionele denoising-methoden (zoals autoencoders) die lineair zijn, kan deze niet-lineaire reconstructie complexe, systematische vertekeningen door populariteit ontwarren zonder de fijne nuances van de gebruikersintentie te verliezen.

B. HRL: Hiërarchisch Versterkend Leren

Op basis van de "gezuiverde" toestand wordt een hiërarchische RL-architectuur gebruikt om de conflicterende doelen in de tijd te scheiden:

• High-Level Policy (Manager): Regelt de langetermijn-strategie. Deze policy bepaalt dynamisch de fairness-constraints (bijv. hoeveel blootstelling lange-staart items moeten krijgen) en stuurt een controlevariabele ($z_t$) naar de laag-level agent.
• Low-Level Policy (Worker): Optimaliseert de korte-termijn betrokkenheid (engagement) binnen de door de manager opgelegde fairness-grenzen. Deze agent kiest items die relevant zijn voor de gebruiker, maar respecteert strikt de fairness-constraints.
• Synergie: Door de doelen te decoupleren (langetermijn eerlijkheid vs. kortetermijn relevantie) en op een schone toestand te werken, wordt de trainingstabiliteit verbeterd en wordt gradient interference voorkomen.

3. Belangrijkste Bijdragen

1. Fundamentele Inzicht: De auteurs identificeren dat het conflict tussen nauwkeurigheid en eerlijkheid voornamelijk voortkomt uit een gebrekkige toestandsschatting, niet uit een inherent beloningsconflict. Ze pleiten voor "state purification" als voorwaarde voor eerlijkheid.
2. Nieuwe Architectuur: Ze introduceren een uniek raamwerk dat diffusion-based denoising combineert met hiërarchisch RL. Dit lost zowel het probleem van niet-lineaire bias-reconstructie op als het probleem van temporale doelconflicten.
3. Empirisch Bewijs: Ze tonen aan dat het zuiveren van de toestand op zich al leidt tot een verbeterde Pareto-grens (betere nauwkeurigheid én eerlijkheid), zelfs zonder complexe beloningsaanpassingen.

4. Resultaten

De methode werd getest op hoge-fideliteit simulatoren (KuaiRec en KuaiRand) en vergeleken met state-of-the-art RL-methoden (zoals A2C, TD3, BCQ) en fairness-aware baselines (zoals SAC4IR, DNaIR).

• Prestaties: DSRM-HRL behaalde consistent de beste resultaten op alle belangrijke metrics:
  • Interactie Lengte (Len): Significant hoger dan baselines (bijv. +21,1% op KuaiRec vergeleken met de beste fairness-baseline), wat aangeeft dat gebruikers langer betrokken blijven omdat ze minder snel afhaken door oneerlijke aanbevelingen.
  • Cumulatieve Beloning: Hogere langetermijn-waarde.
  • Absolute Difference (AD): Zeer lage waarden, wat aangeeft dat de blootstelling tussen populaire en lange-staart items zeer evenwichtig is.
• Ablatie-studies:
  • Zonder DSRM (alleen HRL) presteert het model slecht, wat bewijst dat zuivering essentieel is.
  • Zonder HRL (alleen DSRM + vlakke RL) presteert het ook slechter, wat aangeeft dat tijdscheiding van doelen nodig is.
  • Traditionele denoising-methoden (RCE, TCE) presteerden aanzienlijk slechter dan de diffusion-benadering.
• Stabiliteit: Het model convergeert soepeler en met minder variatie dan andere methoden, wat wijst op een robuuster leerproces in niet-stationaire omgevingen.
• Efficiëntie: Hoewel er een rekenkundige overhead is door de diffusion-stappen (ongeveer 2x zo traag als standaard RL), is dit aanzienlijk efficiënter dan handgemaakte denoising-strategieën en rechtvaardigt het de prestatiewinst.

5. Betekenis en Conclusie

Dit paper biedt een paradigmaverschuiving in het onderzoek naar eerlijke aanbevelingssystemen. In plaats van te proberen de "fouten" in de beslissingen van een agent te corrigeren via straffe beloningen, adresseert het de bron van het probleem: de vervuilde inputdata.

De conclusie is dat eerlijkheid begint bij de staat (Fairness Begins with State). Door de ware voorkeuren van de gebruiker te reconstrueren via diffusion-modellen en deze te gebruiken voor hiërarchisch gestuurd leren, kan een systeem zowel de "rich-get-richer" cyclus doorbreken als de langetermijn-tevredenheid van gebruikers maximaliseren. Dit biedt een robuust pad voor verantwoord AI in sequentiële besluitvorming.