Diffusion-EXR: Controllable Review Generation for Explainable Recommendation via Diffusion Models

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een online winkel bezoekt en een paar schoenen koopt. De winkel zegt: "Deze schoenen zijn perfect voor jou!" Maar waarom? Als de winkel alleen maar zegt "Koop ze!", voel je je misschien niet overtuigd. Je wilt een goede reden: "Ze zijn zacht, passen goed bij je smalle voet en zijn ideaal voor hardlopen."

Dit is precies waar Diffusion-EXR om draait. Het is een slimme computerprogramma dat niet alleen producten aanbeveelt, maar ook uitlegt waarom ze aanbevolen worden, door een natuurlijk klinkende recensie te schrijven.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Veilige" Antwoorden

Vroeger waren slimme systemen vaak saai. Ze schreven recensies als: "De kwaliteit is geweldig." of "Ik vind het leuk." Dit zijn "veilige" zinnen die voor bijna alles kunnen gelden, maar die je niet echt overtuigen. Ze missen de specifieke details die jij als mens belangrijk vindt.

2. De Oplossing: De Kunst van het "Ontsmetten" (Diffusie)

De auteurs gebruiken een techniek die Diffusie heet. Om dit te begrijpen, stel je een glas water voor waarin je een druppel inkt laat vallen.

Het proces: De inkt verspreidt zich langzaam door het water tot het hele glas troebel en grijs is. Dit is het "verstoren" van de data.
De magie: Nu probeert de computer het omgekeerde. Hij kijkt naar het troebele water en leert stap voor stap de inkt weer terug te halen tot het weer een heldere, duidelijke druppel is.

In het geval van Diffusion-EXR:

De computer neemt een zin (bijvoorbeeld een recensie) en maakt hem eerst "troebel" door er willekeurige ruis (verwarring) aan toe te voegen.
Vervolgens leert het systeem hoe het die ruis moet verwijderen om de zin weer helder en logisch te maken.
Waarom is dit slim? Omdat het systeem tijdens dit "ontsmetten" veel dieper leert begrijpen hoe woorden samenhangen. Het leert niet alleen wat er staat, maar hoe je het op de beste manier kunt zeggen. Dit zorgt voor veel creatievere en specifieker zinnen dan oude methoden.

3. De "Pseudo-Persoon" en het Visuele Hulpje

Om de recensie echt persoonlijk te maken, doet het systeem twee slimme dingen:

Het maken van een "Pseudo-Persoon": Soms weet de computer niet precies wat jouw favoriete hobby's zijn. Daarom kijkt het naar wat andere mensen met vergelijkbare smaken eerder hebben geschreven. Het bouwt een soort "schaduwpersoon" op die lijkt op jou, zodat de recensie echt naar jou aanvoelt.
Het zien van het product: Als er een foto van het product is (bijvoorbeeld een jurk), kijkt de computer ook naar die foto. Hij pikt details uit de afbeelding op (zoals de kleur of de stof) en voegt die toe aan de tekst. Het is alsof de computer niet alleen leest, maar ook kijkt voordat hij schrijft.

4. Jij bent de Regisseur (Controleerbaarheid)

Het mooiste aan dit systeem is dat jij de regisseur kunt zijn. Je kunt zelf sleutelwoorden meegeven.

Voorbeeld: Je zegt: "Schrijf iets over de schoenveters en dat ze gemakkelijk zijn."
Het systeem gebruikt deze instructies als een kompas. Het "ontsmet" de zin zo, dat de eindresultaat precies gaat over wat jij wilt, terwijl het toch natuurlijk klinkt.

Wat is het resultaat?

In plaats van een saaie zin als "Goede kwaliteit", krijgt de gebruiker iets als: "Wat een prachtige armband! De sluiting is heel stevig en het glinstert mooi in het licht, precies zoals ik zocht."

Samengevat:
Diffusion-EXR is als een zeer getalenteerde schrijver die eerst een zin in troebel water gooit, hem weer opduikt, en hem dan herschrijft tot een perfect, persoonlijk verhaal. Hij kijkt naar de foto, luistert naar jouw wensen en zorgt ervoor dat de aanbeveling niet alleen slim is, maar ook begrijpelijk en overtuigend voor jou. Dit maakt online winkelen transparanter en leuker.

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

Aanbevelingssystemen (Recommendation Systems - RS) zijn doorgaans gericht op het voorspellen van de nauwkeurigheid van items die een gebruiker zou kunnen leuk vinden. Echter, de transparantie en interpreteerbaarheid van deze systemen ontbreken vaak. Explainable Recommendation (EXR) streeft ernaar niet alleen een aanbeveling te doen, maar ook een onderbouwing te geven in de vorm van een geschreven review.

Bestaande methoden voor het genereren van deze reviews hebben verschillende tekortkomingen:

Template-gebaseerde methoden (bijv. EFM): Gebrek aan flexibiliteit en vereisen expertkennis.
Neurale templates (bijv. NETE): Gebaseerd op RNN's, wat leidt tot problemen met lange-termijn afhankelijkheden.
Transformer-gebaseerde methoden (bijv. PETER): Neigen naar het genereren van "veilige", generieke zinnen (bijv. "De kwaliteit is geweldig") en missen vaak de granulariteit en diversiteit die nodig is voor een overtuigende uitleg.

Het paper richt zich op het oplossen van deze problemen door het gebruik van Denoising Diffusion Probabilistic Models (DDPM) voor tekstgeneratie, een gebied waar nog weinig onderzoek naar is gedaan, met name in de context van aanbevelingssystemen.

Methodologie: Diffusion-EXR

Diffusion-EXR is een model dat gebaseerd is op een Diffusion Model en een Transformer-architectuur. Het doel is om voor een gegeven gebruiker-item paar ( $u, i$ ) gelijktijdig een rating te voorspellen en een uitleg (review) te genereren, eventueel ondersteund door visuele informatie (itembeelden) en gebruikersopgegeven trefwoorden.

De architectuur bestaat uit twee hoofdcomponenten:

1. Self-Attention Encoder (Pseudo-Persona & Profiel)

Omdat echte persoonsgegevens (zoals beroep of specifieke voorkeuren) vaak ontbreken in datasets, construeert het model pseudo-persona's ( $P_u$ ) en item-profielen ( $P_i$ ).

Constructie: Met behulp van Sentence-BERT worden embeddings berekend voor bestaande reviews. De top- $k$ meest vergelijkbare historische reviews van een gebruiker worden geselecteerd als de "persona", en analoog voor het item-profiel.
Encoder: Een multi-head self-attention mechanisme verwerkt deze persona's en profielen om de complexe relaties tussen woorden en de context van de gebruiker/item te modelleren. Dit dient als input voor de decoder.

2. Transformer-based Decoder met Diffusie

Dit is het kerninnovatiepunt. In plaats van een standaard autoregressieve generatie, gebruikt het model een diffusieproces:

Forward Process (Corruptie): De sequentie van review-embeddings (woorden) wordt geleidelijk verstoord door Gaussisch ruis toe te voegen over $T$ tijdstappen. Visuele tokens (indien beschikbaar) worden gegenereerd via een VQ-VAE (Vector Quantized Variational Autoencoder) en ook verwerkt, maar de ruis wordt specifiek ingebracht op de tekst-embeddings om de diversiteit te vergroten.
Reverse Process (Denoising): Het model leert om de originele woordrepresentaties te reconstrueren uit de verstoarde sequentie.
Controleerbaarheid: Het model kan worden gestuurd door extra input zoals gebruikersopgegeven trefwoorden (keywords) en visuele signalen. Dit stelt gebruikers in staat de generatie te sturen rond specifieke onderwerpen.

Multi-task Learning Doelstelling

Het model wordt getraind om drie taken gelijktijdig uit te voeren, met een gecombineerde verliesfunctie ( $L$ ):

Rating Voorspelling: Voorspellen van de score ( $r_{u,i}$ ) via een MLP-laag.
Context Predictie: Het voorspellen van de waarschijnlijkheid van contextwoorden (om de brug te slaan tussen user/item IDs en de review).
Review & Visuele Generatie: Het genereren van de tekstuele review en visuele tokens.

De totale loss functie is een gewogen som van: Context Loss ( $L_{ctx}$ ), Rating Loss ( $L_r$ ), Tekst Loss ( $L_w$ ) en Visuele Loss ( $L_v$ ).

Belangrijkste Bijdragen

Eerste toepassing van DDPM voor EXR: Dit is, voor zover bekend, het eerste werk dat DDPM toepast voor het gezamenlijk uitvoeren van gepersonaliseerde reviewgeneratie en ratingvoorspelling in aanbevelingssystemen.
Integratie van Visuele Tokens: Het model integreert visuele tokens (via VQ-VAE) naast tekstuele embeddings om de semantiek beter te vangen en de diversiteit van de gegenereerde reviews te vergroten.
Controleerbare Generatie: Door het gebruik van diffusie en extra input (keywords), kan het model reviews genereren die specifiek gericht zijn op bepaalde aspecten, wat de bruikbaarheid voor gebruikers verhoogt.
Lichtgewicht Architectuur: Ondanks het gebruik van een complex diffusieproces, maakt het gebruik van een lichtgewicht Transformer-backbone het model efficiënt.

Resultaten

Het model is geëvalueerd op twee publieke datasets: Amazon-Clothing Shoes & Jewellery (Amazon-CSJ) en TripAdvisor. De prestaties zijn vergeleken met state-of-the-art baselines zoals NRT, Att2Seq en PETER.

Uitlegkwaliteit (Explainability): Diffusion-EXR overtreft alle baselines significant op metrics zoals Feature Matching Ratio (FMR), Feature Coverage Ratio (FCR) en Feature Diversity (DIV). Dit betekent dat de gegenereerde reviews relevanter zijn voor de specifieke kenmerken van het item en diverser in toon.
Tekstkwaliteit: Op natuurlijke taalverwerkingsmetrics (BLEU, ROUGE, Unique Sentence Ratio) behaalt Diffusion-EXR de beste scores, wat aangeeft dat de gegenereerde zinnen grammaticaal correcter en minder repetitief zijn.
Rating Voorspelling: Het model behoudt een vergelijkbare nauwkeurigheid in het voorspellen van ratings (RMSE en MAE) als de bestaande methoden, zonder in te leveren op de aanbevelingsprestatie.
Ablatie Studies: Experimenten tonen aan dat het verwijderen van het diffusie-module leidt tot een aanzienlijke daling in prestaties. Ook blijkt dat het toevoegen van gebruikersopgegeven trefwoorden (EXR-F en EXR-FO) de prestaties verder verbetert.

Betekenis en Conclusie

Diffusion-EXR bewijst dat Diffusion Models een krachtig alternatief zijn voor traditionele generatieve modellen (zoals RNN's en standaard Transformers) in de context van tekstgeneratie voor aanbevelingssystemen.

De belangrijkste implicaties zijn:

Transparantie: Het verhoogt het vertrouwen van gebruikers in aanbevelingssystemen door duidelijke, specifieke en diverse redenen te geven voor een aanbeveling.
Flexibiliteit: Het stelt systemen in staat om "veilige" of generieke antwoorden te vermijden en in plaats daarvan specifieke, contextuele uitleg te genereren die beter aansluit bij de gebruikersintentie.
Toekomstperspectief: Het paper opent de deur voor verdere toepassing van diffusiemodellen in NLP-taken waar controleerbaarheid en diversiteit cruciaal zijn, en demonstreert dat het combineren van visuele en tekstuele data via diffusie zeer effectief kan zijn.