Modeling User Preferences as Distributions for Optimal Transport-Based Cross-Domain Recommendation under Non-Overlapping Settings

Dit paper introduceert DUP-OT, een nieuw raamwerk voor cross-domein aanbeveling dat gebruikersvoorkeuren modelleert als verdelingen en optimale transport gebruikt om effectieve kennisoverdracht mogelijk te maken in scenario's zonder overlappende gebruikers of items.

De kern

Stel je voor dat je een reistips-expert bent. Je hebt jarenlang boeken gelezen over reizen in Japan (de "bron-domein"). Je weet precies welke restaurants, hotels en bezienswaardigheden populair zijn, en je kunt de smaken van Japanse reizigers heel goed voorspellen.

Nu krijg je een nieuwe opdracht: je moet tips geven voor een reis naar Brazilië (de "doel-domein"). Maar er is een groot probleem:

1. Je hebt geen contact met de Braziliaanse reizigers die je moet adviseren (ze zijn "niet-overlappend").
2. Je hebt weinig data over Brazilië; er zijn maar een paar recensies beschikbaar.
3. De meeste andere experts proberen hun advies te geven door te zeggen: "Ik ken iemand die in beide landen is geweest, dus ik weet wat hij leuk vindt." Maar dat werkt niet als je die mensen niet kent.

De meeste bestaande systemen proberen je voorkeur te beschrijven als een vast lijstje (een vector): "Ik hou van zee, ik hou van bergen, ik hou van sushi." Dit is te simpel. Mensen zijn complex: soms wil je een avontuurlijke wandeling, soms wil je gewoon op een terras zitten. Een vast lijstje kan die nuance niet vangen.

De Oplossing: DUP-OT (De "Smaken-Mix")

De auteurs van dit paper, Ziyin Xiao en Toyotaro Suzumura, hebben een slimme nieuwe methode bedacht genaamd DUP-OT. Laten we het uitleggen met een paar creatieve vergelijkingen:

1. Van Vaste Lijstjes naar "Wolkjes van Smaken" (GMM)

In plaats van te zeggen "Ik hou van sushi", beschrijft DUP-OT een gebruiker als een wolk van smaken.

• Stel je voor: Een gebruiker is geen enkel punt op een kaart, maar een wolk die bestaat uit verschillende kleuren.
• De ene kleur staat voor "luxe hotels", een andere voor "strandfeesten", en weer een andere voor "historische musea".
• Bij deze methode (Gaussian Mixture Model) weet het systeem niet alleen wat je leuk vindt, maar ook hoe sterk je die voorkeur hebt en hoeveel verschillende kanten je persoonlijkheid heeft. Het is alsof je niet zegt "Ik hou van Italiaans eten", maar "Ik ben 40% dol op pizza, 30% op pasta en 30% op gelato".

2. De "Vervoers-Logistiek" (Optimal Transport)

Nu komt het moeilijke deel: hoe vertaal je je kennis van Japan naar Brazilië als je geen gemeenschappelijke mensen kent?

• Stel je voor dat je in Japan een pakket met smaken hebt (de wolkjes van de Japanse reizigers).
• In Brazilië heb je een lege doos met lege plekken voor smaken.
• De methode gebruikt Optimal Transport (een wiskundige manier om kosten te minimaliseren bij het verplaatsen van dingen). Het is alsof je een logistiek expert bent die kijkt: "Welke kleur uit de Japanse wolk past het beste bij welke plek in de Braziliaanse doos?"
• Misschien is de "luxe-hotel" kleur uit Japan heel vergelijkbaar met de "luxe-hotel" kleur in Brazilië, ook al zijn de mensen anders. De methode "verplaatst" de kennis van de ene wolk naar de andere, zodat de Braziliaanse reizigers profiteren van de Japanse ervaringen, zonder dat ze elkaar ooit hebben ontmoet.

3. Drie Stappen in het Proces

Het systeem werkt in drie duidelijke fases:

1. De Vertaler (Preprocessing): Het systeem leest alle recensies (tekst) en maakt er een simpele, samengevatte samenvatting van. Het is alsof je een heel dik boek in één pagina samenvat die voor beide landen begrijpelijk is.
2. De Smaken-Maker (GMM Learning): Het systeem bouwt die "wolkjes van smaken" voor elke gebruiker. Het leert: "Ah, deze gebruiker is een mix van avonturier en rustzoeker."
3. De Verhuizer (Alignment): Het systeem gebruikt de logistiek (Optimal Transport) om de smaken van de Japanse gebruikers te "verhuren" aan de Brazilische gebruikers. Als een Braziliaanse gebruiker nog geen recensies heeft (een koude start), krijgt hij direct een slimme voorspelling gebaseerd op de Japanse ervaringen.

Waarom is dit zo goed?

In de tests met echte Amazon-gegevens (zoals muziek, films en elektronica) bleek dit systeem te werken:

• Beter dan alleen Brazilië: Zelfs zonder de Japanse data was het systeem al beter dan traditionele methoden, omdat het de complexe "wolkjes" van smaken beter begreep dan simpele lijsten.
• Beter dan andere experts: Het was zelfs beter dan de beste bestaande methoden (zoals TDAR) om grote fouten te voorkomen.
  • Vergelijking: Stel je voor dat een ander systeem zegt: "Deze nieuwe gebruiker zal een 10 geven" (terwijl hij een 2 zou geven). Dat is een enorme fout. DUP-OT is conservatiever en zegt: "Deze gebruiker is een mix, dus waarschijnlijk een 5 of 6." Het voorkomt dat je een gebruiker volledig verkeerd inschat, wat cruciaal is voor mensen die nog geen ervaring hebben (cold-start).

Conclusie

DUP-OT is als een slimme vertaler die niet alleen woorden vertaalt, maar ook culturele smaken overbrengt. Het begrijpt dat mensen complex zijn (geen vaste lijsten) en weet hoe je kennis overbrengt naar een nieuwe wereld, zelfs als je de mensen daar nog niet kent. Hierdoor krijgen nieuwe gebruikers veel betere aanbevelingen, zonder dat ze eerst jarenlang hoeven te klikken en beoordelen.

Technische samenvatting

Probleemstelling

Bestaande cross-domain aanbevelingssystemen (CDR) proberen kennis over te dragen van een data-rijke bron-domein naar een data-schaars doel-domein om problemen zoals koude start (cold-start) en data-schaarste op te lossen. Echter, de meeste huidige methoden hebben twee fundamentele beperkingen:

1. Afhankelijkheid van overlap: Ze vereisen vaak dat gebruikers of items in beide domeinen overlappen om een verbinding te leggen. In de praktijk is dit echter vaak onrealistisch vanwege privacybeperkingen of systeemarchitectuur (niet-overlappende settings).
2. Vereenvoudigde voorkeursmodellering: Gebruikersvoorkeuren worden vaak weergegeven als vaste, discrete vectoren. Dit kan de subtiele, meervoudige aspecten van gebruikersinteresses niet adequaat vastleggen.

De auteurs richten zich specifiek op het niet-overlappende CDR-scenario, waarbij er geen gedeelde gebruikers of items zijn tijdens het trainen, en stellen dat de huidige discrete vectorrepresentaties ontoereikend zijn voor deze complexe situatie.

Methodologie: DUP-OT

De auteurs stellen DUP-OT (Distributional User Preferences with Optimal Transport) voor, een nieuw raamwerk dat gebruikersvoorkeuren modelleert als kansverdelingen in plaats van vaste vectoren. Het systeem bestaat uit drie fasen:

1. Gedeelde Preprocessing:

   • Er wordt gebruik gemaakt van een gedeelde, vooraf getrainde zinsencoder (Sentence Encoder) om reviews te coderen in initiële embeddings voor gebruikers en items.
   • Een gedeelde autoencoder wordt getraind op beide domeinen om de dimensie te reduceren en een uniforme, lage-dimensionele latent space te creëren. Dit zorgt voor semantische consistentie tussen de domeinen.

2. Modellering van Gebruikersvoorkeuren (GMM):

   • In plaats van een enkele vector, wordt de voorkeur van elke gebruiker gemodelleerd als een Gaussian Mixture Model (GMM) over item-embeddings.
   • Om de rekenkosten beheersbaar te houden, wordt aangenomen dat alle gebruikers binnen een domein dezelfde set van domein-niveau Gaussische componenten delen (afgeleid van item-embeddings via de EM-algoritme).
   • Elke gebruiker leert echter zijn eigen persoonlijke mengingsgewichten (mixture weights) over deze componenten via een MLP (Multi-Layer Perceptron).
   • Een rating-predictor schat de score op basis van de Mahalanobis-afstand tussen de item-embeddings en de gebruikersspecifieke verdeling.

3. Alignering via Optimal Transport (OT):

   • Omdat er geen overlap is, worden de domeinen niet direct op gebruikersniveau vergeleken. In plaats daarvan wordt Optimal Transport (OT) gebruikt om de Gaussische componenten van het bron-domein af te stemmen op die van het doel-domein.
   • De kostenmatrix wordt berekend met de Wasserstein-2 afstand tussen de componenten. De Sinkhorn-algoritme lost de optimale transportmatrix $T$ op.
   • Deze matrix wordt gebruikt om de gebruikersspecifieke gewichten van het bron-domein naar het doel-domein te "transporteren".
   • Inferentie: Voor gebruikers in het doel-domein worden de verdelingen gefuseerd:
     • Als een gebruiker in beide domeinen interacties heeft: lineaire fusie van de getransporteerde en de oorspronkelijke doel-domein verdeling.
     • Alleen bron-domein: gebruik van de getransporteerde verdeling.
     • Alleen doel-domein: gebruik van de oorspronkelijke verdeling.

Belangrijkste Bijdragen

• Verschuiving naar Distributie-Modellering: De auteurs benadrukken de beperkingen van discrete vectoren in niet-overlappende settings en introduceren GMMs voor fijnkorrelige, meervoudige voorkeursmodellering.
• DUP-OT Framework: Een innovatief raamwerk dat GMMs combineert met Optimal Transport om cross-domein voorkeuren te aligneren zonder gedeelde entiteiten.
• Efficiëntie: Door domein-niveau componenten te delen en alleen persoonlijke gewichten te leren, blijft de rekenlast per gebruiker vergelijkbaar met standaard MLP-modellen, terwijl OT alleen op component-niveau (in plaats van gebruiker-niveau) wordt uitgevoerd.

Resultaten

De methode is geëvalueerd op Amazon Review-datasets (Digital Music, Movies & TV, Video Games als bron; Electronics als doel).

• Verbetering t.o.v. Single-Domain: DUP-OT (zonder bron-data) presteert aanzienlijk beter dan single-domain baselines (LightGCN, NeuMF) in het doel-domein. Dit bewijst dat distributie-gebaseerde modellering op zichzelf al superieur is aan discrete vectoren.
• Effect van Cross-Domain Transfer: De volledige DUP-OT (met bron-data) behaalt een lagere RMSE (Root Mean Square Error) dan de versie zonder bron-data, wat aantoont dat kennisoverdracht effectief is.
• Vergelijking met TDAR (Cross-Domain Baseline): DUP-OT presteert beter in RMSE dan de geavanceerde TDAR-baseline, hoewel de MAE (Mean Absolute Error) soms iets hoger is.
  • Interpretatie: Een lagere RMSE betekent dat DUP-OT extreme fouten beter voorkomt. Dit is cruciaal voor koude-start-gebruikers met weinig interactiegeschiedenis. De distributie-gebaseerde aanpak biedt robuustere schattingen dan puntvectoren, waardoor het risico op ernstige verkeerde voorspellingen wordt geminimaliseerd.

Betekenis en Conclusie

DUP-OT biedt een praktische oplossing voor real-world scenario's waar cross-domein koppelingen (gebruikers/items) niet beschikbaar zijn tijdens training. Door gebruikersvoorkeuren te modelleren als kansverdelingen en deze via Optimal Transport te aligneren, slaagt het systeem erin om de koude-start-problematiek effectief aan te pakken. Het resultaat is een robuuster aanbevelingssysteem dat minder gevoelig is voor grote voorspelfouten bij nieuwe gebruikers, wat een belangrijke stap voorwaarts is voor privacy-bewuste en schaalbare aanbevelingssystemen.

Toekomstig werk richt zich op het optimaliseren van de fusiestrategieën en het uitbreiden naar settings met impliciete feedback.