Causal Direct Preference Optimization for Distributionally Robust Generative Recommendation

Deze paper introduceert CausalDPO, een methode die Direct Preference Optimization uitbreidt met causale invariance-lering om spurious correlaties door omgevingsverstorende factoren te elimineren en zo de generalisatie van generatieve aanbevelingsmodellen in onbekende scenario's aanzienlijk te verbeteren.

De kern

Stel je voor dat je een zeer slimme, digitale assistent hebt die je aanbevelingen doet voor films, boeken of restaurants. Deze assistent is een Grote Taalmodel (LLM). Om deze assistent echt goed te maken, laten we hem kijken naar wat mensen in het verleden hebben geklikt of gekocht. Dit noemen we "leren van voorkeuren".

Het probleem is echter dat deze assistent soms te slim is voor zijn eigen bestwil. Hij leert niet alleen wat je echt leuk vindt, maar hij leert ook toevalsverbanden die niets met jouw smaak te maken hebben.

Hier is de uitleg van het onderzoek in gewone taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De Assistent die "Covid-19" als smaakmaker ziet

Stel je voor dat je assistent leert tijdens de lockdown van 2020. In die tijd kochten mensen plotseling heel veel sportkleding, medische apparatuur én streamingdiensten.

• Wat de assistent denkt: "Ah! Als mensen sportkleding kopen, kopen ze ook medische apparatuur. Dat is een logische combinatie!"
• De realiteit: Er is geen echte link tussen sportkleding en medische apparatuur. De enige reden dat ze samen werden gekocht, was de omgeving (de lockdown).

In de academische taal noemen ze dit een "verstorende factor" (confounder). De assistent leert een nep-regel: "Lockdown = Sport + Medisch".

Als de lockdown voorbij is en de wereld verandert (een nieuwe situatie, of OOD in vakjargon), blijft de assistent deze nep-regel gebruiken. Hij raadt je dan medische apparatuur aan als je sportkleding koopt, zelfs als je dat in de normale wereld nooit zou doen. Hij is te sterk beïnvloed door de "omgeving" en verliest zijn algemene verstand.

2. De Oude Oplossing: "Direct Preference Optimization" (DPO)

Om de assistent te verbeteren, gebruiken onderzoekers een methode genaamd DPO. Dit werkt als een strenge trainer die zegt: "Kijk naar wat mensen hebben gekozen (de winnaar) en wat ze niet hebben gekozen (de verliezer). Leer van het verschil."

Het probleem is dat deze trainer de assistent soms nog dwazer maakt. Hij ziet dat mensen in de lockdown vaak zowel sportkleding als medische apparatuur kozen, en denkt: "Dit is de perfecte combinatie!" Hierdoor worden de nep-regels (de verstorende factoren) juist versterkt. De assistent wordt nog meer verslaafd aan de toevalsverbanden van de oude situatie.

3. De Nieuwe Oplossing: CausalDPO (De "Causale" Trainer)

De auteurs van dit paper hebben een nieuwe methode bedacht: CausalDPO. Ze willen dat de assistent leert wat de echte oorzaak van je voorkeur is, en niet wat de omgeving dicteert.

Ze gebruiken drie slimme trucs:

A. De "Verborgen Groepen" Detectie (Soft Clustering)

Stel je voor dat je een grote groep mensen hebt die allemaal verschillende dingen kopen. Je weet niet precies waarom ze dat doen (misschien is het de tijd van het jaar, of een trending onderwerp).
CausalDPO kijkt naar de data en zegt: "Hé, deze groep mensen koopt allemaal op een vergelijkbare manier. Laten we ze in een 'groepje' stoppen, ook al weten we niet precies wat de naam van dat groepje is."
Ze noemen dit soft clustering. Het is alsof je een detective bent die patronen ziet zonder dat iemand je de oplossing vertelt. Ze maken "schijnbare omgevingen" aan om te begrijpen waar de nep-regels vandaan komen.

B. De "Backdoor" Sluiting (Backdoor Adjustment)

In de wereld van oorlogvoeren of detectiveverhalen is er vaak een "achterdeur" (backdoor) waar vijanden binnenkomen. In dit geval is de "achterdeur" de verstorende factor (zoals de lockdown of populariteit).
CausalDPO sluit die achterdeur. Ze zeggen tegen de assistent: "Vergeet de achtergrondinformatie. Kijk alleen naar de relatie tussen het product en de gebruiker, alsof je in een laboratorium zit waar de rest van de wereld niet bestaat."
Dit zorgt ervoor dat de assistent leert: "Sportkleding is leuk omdat ik sport, niet omdat er een lockdown is."

C. De "Eendrachtige" Regel (Invariant Learning)

Stel je voor dat je een spreekbeurt moet geven. Als je alleen maar oefent in een kamer met veel lawaai, word je daar goed in. Maar als je in een stille kamer moet spreken, faal je.
CausalDPO laat de assistent oefenen in verschillende virtuele kamers (de groepjes die ze eerder maakten). Ze zeggen: "Je moet je aanbeveling geven die in ALLE kamers goed werkt, niet alleen in de drukke of de stille."
Ze straffen de assistent als hij in de ene kamer iets anders zegt dan in de andere. Hierdoor leert hij alleen de stabiele, echte voorkeuren die overal gelden.

4. Het Resultaat

Door deze methode te gebruiken, wordt de assistent veel robuuster.

• Vroeger: Als de wereld verandert (bijvoorbeeld: een nieuw seizoen, een nieuwe trend, of een andere populatie), faalde de assistent omdat hij vastliep op oude, nep-regels.
• Nu: De assistent ziet de echte patronen. Hij kan je nog steeds goede films aanraden, zelfs als je in een heel andere situatie zit dan de mensen in de trainingsdata.

Kortom:
Deze paper zegt: "Stop met het blindelings kopiëren van wat mensen in specifieke situaties deden. Leer in plaats daarvan waarom ze het deden, en maak je slimme assistent weer slim genoeg om te werken in elke situatie, ook in de toekomst."

Het is alsof je van een assistent die alleen maar kan dansen op de muziek van gisteren, een assistent maakt die elke dansstijl kan leren, ongeacht welke muziek er nu speelt.

Technische samenvatting

Titel: Causal Direct Preference Optimization voor Distributie-robuste Generatieve Aanbeveling

Auteurs: Chu Zhao, Enneng Yang, Jianzhe Zhao, Guibing Guo (Noordoostelijke Universiteit en Sun Yat-sen Universiteit).

---

1. Het Probleem: Spurious Correlaties in DPO

Hoewel Large Language Models (LLM's) en Direct Preference Optimization (DPO) grote vooruitgang hebben geboekt in generatieve aanbevelingssystemen, identificeert dit paper een fundamenteel tekortkoming: versterking van spurious correlaties (schijnbare correlaties) door omgevingsverstorende factoren (confounders).

• De Context: DPO traint modellen om voorkeuren te aligneren met gebruikersgedrag door te leren van tripletten (context, positief item, negatief item).
• Het Probleem: Trainingsdata bevat vaak onzichtbare omgevingsfactoren (zoals populariteit, tijdsperiodes, beleidsveranderingen of seizoensinvloeden). Deze factoren beïnvloeden zowel de invoer als de voorkeurslabels.
• De Gevolgen: DPO neigt deze schijnbare correlaties te versterken in plaats van ze te elimineren. Bijvoorbeeld, tijdens een lockdown (omgevingsfactor) stijgt de vraag naar zowel fitness- als medische producten. Een model kan hierdoor ten onrechte een causaal verband leggen tussen fitness en medische artikelen.
• Out-of-Distribution (OOD) Falen: Wanneer de testdata een andere verdeling heeft dan de trainingsdata (bijv. post-lockdown), faalt het model omdat het afhankelijk is van deze omgevings-specifieke ruis in plaats van de ware, stabiele gebruikersvoorkeuren.

2. Methodologie: CausalDPO

Om dit probleem op te lossen, stellen de auteurs CausalDPO voor, een causaal bewuste uitbreiding van DPO die gebaseerd is op het principe van invariant causal learning. De kernidee is het elimineren van de invloed van omgevingsconfounders via een "backdoor adjustment" strategie.

De methode bestaat uit drie hoofdblokken:

A. Causale Structuur en Backdoor Adjustment

De auteurs modelleren het probleem met een Structureel Causaal Model (SCM). Ze tonen aan dat DPO de paden $E \to Y$ (omgeving naar output) versterkt. Om dit te corrigeren, wordt gestreefd naar het optimaliseren van $P(Y | do(X))$, wat betekent dat de afhankelijkheid van de omgevingsvariabele $E$ wordt verbroken.
De theoretische doelfunctie wordt:
$$P(Y | do(X)) = \sum_e P(Y | X, E=e) \cdot P(E=e)$$
Dit vereist echter dat de omgevingsfactoren $E$ bekend zijn, wat in de praktijk vaak niet het geval is.

B. Soft Clustering voor Latente Omgevingen

Omdat $E$ onzichtbaar is, introduceert CausalDPO een data-gedreven aanpak:

1. Hidden Representations: Het model genereert causale representaties ($z_i$) van de invoerdata.
2. DBSCAN Clustering: Er wordt gebruik gemaakt van DBSCAN (een robuust clustering-algoritme) om deze representaties te groeperen in "pseudo-omgevingen".
3. Soft Assignment: In plaats van harde toewijzingen, wordt een zachte toewijzing ($p_{ik}$) berekend via een softmax-functie. Dit geeft de waarschijnlijkheid dat een steekproef tot een bepaalde omgevingscluster behoort.
4. Aggregatie: Er worden zachte, omgevings-geconditioneerde representaties berekend die informatie uit de hele batch integreren, gewogen op basis van deze cluster-toewijzingen.

C. Invariant Regularisatie (MMD)

Om ervoor te zorgen dat het model stabiele voorkeuren leert die over alle omgevingsclusters heen gelden, wordt een regularisatieterm toegevoegd aan de DPO-verliesfunctie.

• Maximum Mean Discrepancy (MMD): Deze term minimaliseert de verschillen in de outputverdelingen van het model tussen de verschillende geïdentificeerde pseudo-omgevingen.
• Totale Doelfunctie:
  $$\min_\theta \{ L_{DPO}(\theta) + \lambda \cdot MMD(p_m, p_{m'}) \}$$
  Waarbij $L_{DPO}$ de standaard voorkeursalignering is en de MMD-term de modeloutput invariant maakt ten opzichte van de omgevingsvariatie.

3. Belangrijkste Bijdragen

1. Empirisch en Theoretisch Bewijs: Het paper levert bewijs dat DPO spurious correlaties versterkt, wat leidt tot slechte generalisatie bij distributieveranderingen. Een theoretische bovengrens voor de generalisatiefout wordt afgeleid die afhankelijk is van de mate waarin het model afhankelijk is van omgevingsfactoren.
2. CausalDPO Framework: Een nieuwe architectuur die soft clustering combineert met backdoor adjustment en invariant learning om omgevingsconfounders impliciet te modelleren en te neutraliseren zonder expliciete labels.
3. Theoretische Garantie: Bewijzen dat het optimaliseren van de CausalDPO-doelfunctie leidt tot een beleid dat voldoet aan de voorwaarden van invariantie (stabiel over omgevingen) en sufficientie (behoudt discriminatievermogen voor echte voorkeuren).

4. Resultaten

De auteurs hebben CausalDPO getest op drie datasets (Yelp2018, Movielens-10M, Book-Crossing) onder vier verschillende distributieverplaatsingsscenario's:

• Populariteitsverschuiving (Popularity Shift): CausalDPO presteerde significant beter, vooral voor lange-staart items, met een gemiddelde verbetering van 22,29% ten opzichte van de sterkste concurrent.
• Tijdsverschuiving (Temporal Shift): Het model toonde superioriteit in het modelleren van tijdsafhankelijkheden, met een gemiddelde verbetering van 24,06%.
• Expositieverschuiving (Exposure Shift): Effectief in het mitigeren van bias door niet-willekeurige blootstelling aan items.
• Gemengde Verschuiving: Het model behield robuustheid onder complexe, gecombineerde verschuivingen.

Algemene Prestatie: CausalDPO behaalde een gemiddelde prestatieverbetering van 17,17% over vier evaluatiemetrics (HR@K, NDCG@K) vergeleken met bestaande methoden zoals SASRec, D3, en andere DPO-varianten.

Ablatie Studies:

• Het verwijderen van de SFT-fase (Supervised Fine-Tuning) leidde tot de slechtste prestaties, wat het belang van een sterke basis benadrukt.
• Het verwijderen van de CausalDPO-component (alleen SFT) resulteerde in een aanzienlijke daling, wat aantoont dat de causale regularisatie essentieel is voor OOD-generalisatie.

5. Betekenis en Impact

Dit paper is significant omdat het een brug slaat tussen causaal redeneren en LLM-gebaseerde aanbeveling.

• Robuustheid: Het biedt een oplossing voor een van de grootste uitdagingen in moderne aanbevelingssystemen: het falen bij veranderingen in de data-distributie (bijv. door trends, seizoenen of externe shocks).
• Generaliseerbaarheid: De methode is modulair en kan worden toegepast op verschillende DPO-varianten en backbone-modellen, wat de schaalbaarheid vergroot.
• Theoretische Diepgang: Door de versterking van spurious correlaties in DPO te analyseren en te mitigeren via causale interventie, biedt het paper een nieuwe theoretische basis voor het ontwerpen van eerlijkere en robuustere generatieve AI-systemen.

Kortom, CausalDPO transformeert DPO van een methode die gevoelig is voor omgevingsruis naar een robuust systeem dat de ware, causale voorkeuren van gebruikers leert, ongeacht de externe omstandigheden.