Technische Samenvatting: Constructive Multi-Sequence Learning (CMSL) voor Aanbevelingssystemen

1. Probleemstelling: Contextvervuiling in Sequentiële Aanbevelingen

Hoewel sequentieel leren de traditionele Deep Learning Recommendation Models (DLRM) heeft overtroff door temporele nuances te vangen, vertrouwen de huidige state-of-the-art architecturen vaak op een beperkende analogie: het behandelen van de gebruikersgeschiedenis als een monolithische chronologische sequentie, vergelijkbaar met een zin in een Large Language Model (LLM).

De auteurs identificeren een fundamentele divergentie tussen natuurlijke taal en aanbevelingsdata:

• Gebrek aan Structurele Eenheid: In tegenstelling tot tekst, dat lineaire, logische syntactische regels volgt, is de gebruikersgeschiedenis een "ruisende mozaïek" van gefragmenteerde, diverse interesses, verkennende klikken en accidentele interacties.
• Contextvervuiling: In single-sequence modellering concurreren ongerelateerde gedragingen om hetzelfde aandachtsbudget. Dit "ruisende" signaal verdund de focus van het model, waardoor het gedwongen wordt om afhankelijkheden te berekenen tussen semantisch verschillende intenties (bijv. professionele leerprocessen versus ontspanning). Dit leidt tot spuria-correlaties, representatie-bottlenecks en suboptimale voorspellingen.

Het artikel betoogt dat aanbevelingssystemen moeten verschuiven van het passief "modelleren van een sequentie" naar het actief "construeren van context", waarbij het onderbelichte probleem van contextvervuiling in sequentiële aanbevelingen wordt aangepakt.

2. Methodologie: Constructive Multi-Sequence Learning (CMSL)

CMSL stelt een paradigmaverschuiving voor van passieve sequentie-inname naar actieve "context engineering". In plaats van ruwe geschiedenis als een enkele prompt in te voeren, construeert CMSL meerdere coherente latente sequenties in de latente ruimte om gebruikersintenties te ontwarren.

2.1 Feature Preprocessing

• Niet-sequentiele Features: Dichte features (bijv. leeftijd, prijs) worden genormaliseerd en geprojecteerd; ijle (sparse) features (bijv. land, categorie) worden geëmbed.
• Sequentiële Features: Gebruikersinteractiegeschiedenissen (clicks, likes, comments) worden gegroepeerd op basis van gedeelde attributen (bijv. hetzelfde productoppervlak) en samengeperst tot een enkele sequentie met behulp van een gated summation-mechanisme. Dit vermindert de computationele overhead terwijl de interactie-informatie behouden blijft.

2.2 CMSL Architectuur

De kern van CMSL bestaat uit $N$ gestapelde blokken, die elk vier belangrijke componenten bevatten:

1. Multi-Sequence Constructie:

   • Intent Disentanglement: Niet-sequentiële features worden geprojecteerd in $K$ context-specifieke sets met behulp van $K$ projectiekoppen, wat de gebruikersintenties effectief ontwarrelt in verschillende contexten.
   • Sequentie Constructie: Een leerbaar Sequence Construction Module gebruikt cross-attention. De huidige sequentie-representatie dient als query ($Q$), terwijl de geprojecteerde context-features dienen als keys ($K$) en values ($V$). Dit genereert $K$ verschillende latente sequenties ($\tilde{X}^{(l,k)}$), die elk focussen op een ander aspect van de context van de gebruiker.

2. Self-Attention (Lineaire Approximatie):

   • Elke van de $K$ geconstrueerde sequenties ondergaat onafhankelijk van elkaar self-attention om interne temporele correlaties te vangen zonder cross-intent interferentie.
   • Om de kwadratische complexiteit van standaard attention en de $K$-voudige toename in berekening aan te pakken, gebruikt CMSL een linear-time attention mechanisme.
   • Dit mechanisme benadert de HSTU-attention (veelgebruikt bij Meta) met behulp van een Taylor-reeks expansie van de SiLU-activatiefunctie. Het deelt de operatie op in een lineaire attention-term ($\phi(Q)\phi(K)^\top V$) en een sparse term ($AV$) die grote waarden vangt, wat de computationele kosten aanzienlijk verlaagt.

3. Sequentie Samenvatting:

   • Na self-attention wordt Pooling by Multi-head Attention (PMA) gebruikt om elke sequentie samen te vatten in een vector met een vaste lengte.
   • Deze stap extraheert globale signalen die relevant zijn voor de huidige staat van de gebruiker (met behulp van niet-sequentiële features als queries) en onderdrukt redundante historische data, waardoor de accumulatie van ruis over lagen heen wordt voorkomen.

4. Sequentie Compressie:

   • Om te voorkomen dat het aantal sequenties over de lagen heen explodeert, worden de $K$ samengevatte sequenties geconcateneerd en via een MLP teruggeprojecteerd naar een enkele latente sequentie. Dit maakt diep hiërarchisch leren mogelijk terwijl een constant aantal sequenties per laag behouden blijft.

2.3 Finale Fusie

De finale representatie wordt gevormd door de samengevatte vectoren uit de laatste laag te concateneren en wordt doorgegeven aan taakspecifieke koppen voor Click-Through Rate (CTR) en Conversion Rate (CVR) voorspellingen.

3. Belangrijkste Bijdragen

Het artikel beschrijft vier primaire bijdragen:

1. Nieuw Perspectief: Identificeert "Contextvervuiling" als een kritieke foutmodus in sequentiële aanbevelingen en stelt een multi-sequentie constructieparadigma voor om dit te mitigeren.
2. Multi-Sequence Constructie Module: Een leerbaar module die ruwe geschiedenis transformeert naar meerdere latente stromen met behulp van cross-attention voor intentie-bewuste, adaptieve contextcuratie.
3. Schaalbare Lineaire Attention: Een efficiënt linear-time attention mechanisme dat de computationele kosten van het modelleren van meerdere sequenties vermindert, wat schaalbaarheid mogelijk maakt.
4. Industriële Validatie: Succesvolle implementatie en validatie over vier belangrijke oppervlakken bij Meta, waarbij miljarden dagelijkse actieve gebruikers worden afgehandeld.

4. Experimentele Resultaten

CMSL werd geëvalueerd op Ranking en Retrieval taken binnen de productieomgeving van Meta.

• Ranking Evaluatie:

  • Metriek: Normalized Entropy (NE), waarbij lagere waarden een betere prestatie aangeven.
  • Setup: Geëvalueerd op vier grootschalige oppervlakken. Oppervlak 1 gebruikte een directe trainingsaanpak, terwijl Oppervlakken 2–4 een twee-fasen architectuur gebruikten (asynchrone upstream gebruikersmodel) om latentie te beheren.
  • Bevindingen: CMSL vertoonde statistisch significante verbeteringen. Op Oppervlak 1 varieerden de NE-verbeteringen van -0,31% tot -0,62% voor "Like" en "Comment" taken. Op Oppervlakken 2–4 leverde de integratie van CMSL embeddings NE-winsten op van -0,06% tot -0,13% over CTR en CVR taken.

• Retrieval Evaluatie:

  • Setup: Online A/B-testen op Oppervlak 5.
  • Bevindingen: CMSL gebruikers-embeddings resulteerden in statistisch significante verbeteringen over alle vier de gemeten engagement metrieken, met winsten variërend van +0,092% tot +0,171%.

5. Betekenis en Claims

Het artikel beweert dat CMSL een verschuiving vertegenwoordigt van het behandelen van gebruikersgeschiedenis als een "ruwe prompt" die gelezen moet worden, naar een "context" die geconstrueerd moet worden. Door gebruikersgeschiedenis actief te ontwarrelen in coherente thematische draden, mitigeert CMSL de semantische interferentie die inherent is aan heterogene gebruikersdata.

De auteurs benadrukken dat deze aanpak aansluit bij de "context engineering" filosofie van LLM's, maar deze aanpast voor aanbevelingssystemen waar item-ID's geen expliciete semantiek hebben, wat een impliciete, leerbare aanpak noodzakelijk maakt. Het framework wordt gepresenteerd als een praktische oplossing voor systemen op productieschaal, die consistente winsten biedt ten opzien van sterke sequentiële baselines, terwijl het computationeel haalbaar blijft door middel van lineaire attention en sequentiecompressie.