CoRCi: Cross-Reconstruction of Coherent Interests Modeling in Cross-Domain Sequential Recommendation

Technische Samenvatting: CoRCi

Probleemstelling
Cross-Domain Sequential Recommendation (CDSR) beoogt de gegevensschaarsheid te verlichten door dynamische gebruikersinteresses over gerelateerde domeinen heen over te dragen. Een centraal uitgangspunt is dat bepaalde gebruikersinteresses domein-invariant zijn en coherent evolueren over meerdere domeinen. Echter, bestaande CDSR-methoden kampen met twee primaire uitdagingen:

1. Verlies van Interesse-coherentie: Huidige benaderingen voegen domeinspecifieke sequenties vaak samen tot een gemengde domeinsequentie, maar maken gebruik van afzonderlijke encoders die getraind worden met per-domein loss-aggregatie (Dual-Target strategie). Deze workflow fragmenteert gebruikersinteresses en slaagt er niet in de inherente coherentie van domein-invariante patronen te behouden, vooral wanneer query-target paren in Seq2Seq-modellen uit verschillende domeinen afkomstig zijn.
2. Domeinverschillen: De meeste modellen leren gemengde domeinrepresentaties vanaf nul met behulp van afzonderlijke encoders. Dit introduceert significante domeinkloven, aangezien queries en de grondwaarheid (ground-truth) targets vaak tot verschillende domeinen behoren, wat de prestaties verslechtert. Bovendien kunnen standaard contrastieve losses in mixed-domain settings intra-domein bias introduceren, waarbij negatieve samples uit hetzelfde domein als de query te veel op elkaar lijken, wat de representatieruimte scheef trekt.

Methodologie: CoRCi
De auteurs stellen CoRCi voor (Cross-Reconstruction for Coherent Interests), een dual-target CDSR-framework ontworpen om deze domeinen te overbruggen terwijl de interesse-coherentie behouden blijft. De architectuur bestaat uit drie hoofdonderdelen:

1. Specific-Domain Self-Attention Encoders (SAE): In plaats van één enkele encoder vanaf nul te trainen op gemengde data, codeert CoRCi eerst specifieke domeinsequenties ($T_A$ en $T_B$) onafhankelijk met behulp van toegewijde Self-Attention Encoders. Dit behoudt de initiële domeinspecifieke patronen.
2. Cross-Reconstruction (CR) Module: Om verspreide domein-invariante interesses te herverbinden, gebruikt CoRCi een Cross-Reconstruction aanpak. Het genereert gemengde domeinrepresentaties ($H_M$) direct vanuit de vooraf gecodeerde specifieke domeinrepresentaties ($H_A, H_B$) met behulp van een cross-attention mechanisme.
   • De query ($Q$) is de mixed-domain embedding ($E_M$), wat zorgt voor het introduceren van mixed-domain positionele informatie.
   • De key ($K$) en value ($V$) zijn de som van de vooraf gecodeerde specifieke domeinrepresentaties ($H_A + H_B$).
   • Dit stelt het model in staat om een coherente mixed-domain visie te reconstrueren zonder deze vanaf nul te leren.
3. Cross-Attention Transferors (CAT): De gereconstrueerde mixed-domain kennis wordt teruggegeven aan de specifieke domeinrepresentaties via Cross-Attention Transferors. Tijdens deze transfer wordt een stop-gradient operatie toegepast op de mixed-domain representatie ($\hat{H}_M$). Dit zorgt ervoor dat de mixed-domain modellering fungeert als een taak-agnostische backbone, waardoor wordt voorkomen dat specifieke domein supervisie de coherentie van domein-invariante interesses verstoort.
4. FocalNCE Loss: Om intra-domein bias in de mixed-domain objectieve functie te mitigeren, introduceren de auteurs FocalNCE. Dit integreert Focal Loss in de standaard InfoNCE objectieve functie.
   • In de mixed-domain setting worden negatieve samples getrokken uit beide specifieke domeinen.
   • FocalNCE wijst hogere straffen toe aan negatieve samples die afkomstig zijn uit het zelfde domein als de query (het positieve item).
   • Dit dwingt het model om zich te concentreren op moeilijkere, cross-domein negatieven, waardoor de domein-invariante uitlijning wordt versterkt en domeinspecifieke ruis wordt onderdrukt.

De uiteindelijke objectieve functie is een lineaire combinatie van de specifieke domein losses ($L_A, L_B$) en de mixed-domain loss ($L_M$), gewogen door een hyperparameter $\beta$.

Belangrijkste Bijdragen

1. Cross-Reconstruction Aanpak: Een nieuwe methode die mixed-domain representaties genereert uit vooraf gecodeerde specifieke domeinsequenties via cross-attention, waardoor coherente domein-invariante interesses die anders verspreid zouden zijn, effectief worden herverbonden.
2. FocalNCE: Een nieuwe loss functie die Focal Loss inbedt in de mixed-domain InfoNCE objectieve functie om intra-domein bias te mitigeren en de fragmentatie van coherente interesses te voorkomen.
3. Uitgebreide Evaluatie: Uitgebreide experimenten op vier real-world datasets (Amazon Food-Kitchen, Beauty-Electronics, Movie-Book, en een drie-domein Douban dataset) die consequent superieure prestaties laten zien ten opzichte van state-of-the-art CDSR tegenhangers.

Experimentele Resultaten

• Prestaties: CoRCi presteert consistent beter dan alle baselines (inclusief ST-SR, DT-SR, MT-SR, en DT-CDSR modellen zoals ABXI, DREAM, en C2DSR) over alle metrieken (HR@5, HR@10, NDCG@10, MRR) op alle datasets.
• Statistische Significantie: De verbeteringen zijn statistisch significant ($p < 0.01$) in beide domeinen van alle datasets.
• Ablatie-studies:
  • Het vervangen van de SAE-CR hybride door een enkele gedeelde encoder of volledig ontkoppelde encoders resulteert in prestatievermindering, wat de voorgestelde architectuur valideert.
  • Het verwijderen van de Cross-Attention Transferors (CAT) of de stop-gradient operatie verlaagt de prestaties aanzienlijk, wat hun noodzaak voor sequentie-niveau fusie en het behoud van coherentie bevestigt.
  • Het gebruik van standaard InfoNCE in plaats van FocalNCE verslechtert de prestaties, met name in moeilijke domeinen, wat het belang van het onderdrukken van intra-domein bias benadrukt.
• Generaliseerbaarheid: CoRCi behoudt superieure prestaties in een drie-domein, niet-overlappende gebruikerssetting (Douban Movie-Book-Music), wat de robuustheid in complexe, real-world scenario's aantoont.

Betekenis en Claims
Het artikel beweert dat CoRCi een fundamenteel gebrek in bestaande CDSR-methoden aanpakt, waarbij per-domein loss-aggregatie en afzonderlijke encoders de natuurlijke coherentie van gebruikersinteresses over domeinen heen verstoren. Door mixed-domain representaties te reconstrueren uit specifieke domein-encodings en een domein-agnostische loss met focal penalties te gebruiken, legt CoRCi effectief domein-invariante interesses vast en behoudt het deze. De auteurs stellen dat deze aanpak leidt tot nauwkeurigere gebruikersprofilering en betere aanbevelingsprestaties, vooral in scenario's waarin gebruikersinteresses coherent evolueren over verschillende productcategorieën. Het werk suggereert dat het behouden van de "coherentie" van interesses belangrijker is dan simpelweg het aggregeren van gegevens, wat een nieuwe richting biedt voor het modelleren van dynamische gebruikersvoorkeuren in cross-domein settings.