TimeMM: Time-as-Operator Spectral Filtering for Dynamic Multimodal Recommendation

1. Probleemstelling

Multimodale aanbevelingssystemen streven naar verbetering van gebruikersmodellering door collaboratieve signalen te integreren met heterogene iteminhoud (bijvoorbeeld afbeeldingen en tekst). Echter, bestaande benaderingen ondervinden twee kritieke beperkingen in real-world toepassingen:

• Statische Temporele Aannames: De meeste state-of-the-art methoden behandelen gebruiker-item-interacties als statische bipartiete grafen, waarbij historische data ongedifferentieerd wordt geaggregeerd. Dit faalt in het vastleggen van de niet-stationaire dynamiek van gebruikersinteresses, waarbij verschillende voorkeursfactoren (bijvoorbeeld visuele stijl versus semantische categorie) met verschillende snelheden evolueren.
• Rigide Spectrale Modellering: Hoewel recente spectrale grafmethoden signalen ontleden in frequentiebanden om ruis te scheiden van trends, vertrouwen zij doorgaans op expliciete eigendecompositie van statische grafen. Dit resulteert in vaste spectrale bases die niet kunnen adapteren aan tijdsafhankelijke verschuivingen in gebruikersgedrag. Bovendien passen zij vaak uniforme filtering toe over modaliteiten, waarbij wordt genegeerd dat visuele cues sneller kunnen reageren op trends dan tekstuele semantics.

De kernuitdaging is het modelleren van continue voorkeurs-evolutie met fijnkorrelige temporele adaptatie en modaliteit-specifieke gevoeligheid, zonder de hoge rekenkosten van expliciete spectrale decompositie.

2. Methodologie: TimeMM

De auteurs stellen TimeMM voor, een raamwerk dat tijd behandelt als een operator om spectrale filtering impliciet te induceren. De architectuur bestaat uit vier kerncomponenten:

A. Tijd als Operator (Temporele Kernels als een Spectraal Filterbank)

In plaats van tijd als een feature toe te voegen, mapt TimeMM de recentie van interacties direct in de graf-propagatie-operator.

• Temporele Nabijheidskernel: Interactierecentie ($\Delta t$) wordt gemapt naar randgewichten met behulp van een parametrische kernel: $w(\Delta t) = \exp(-\log(1+\Delta t)/\tau)$.
• Spectrum van Propagatieschalen: Een set temporele schalen $\{\tau_1, ..., \tau_K\}$ wordt gedefinieerd. Elke schaal genereert een distincte gewogen adjacentiematrix, waardoor een lichtgewicht spectrale filterbank ontstaat.
  • Kleine $\tau$ (Korte schaal): Benadrukt recente interacties (hoogfrequente signalen, transient trends).
  • Grote $\tau$ (Lange schaal): Behoudt langetermijnhistorie (laagfrequente signalen, stabiele gewoonten).
• Parallelle Propagatie: Message passing (gebaseerd op LightGCN) wordt parallel uitgevoerd over deze $K$ schalen. Dit vermijdt expliciete eigendecompositie en behoudt lineaire tijdscomplexiteit $O(KL|E|D)$.

B. Adaptieve Spectrale Filtering

Omdat het optimale spectrale profiel per gebruiker en item varieert, leert TimeMM om de outputs van de $K$ operatoren dynamisch te mixen.

• Temporele Contextstaat: Compacte vectoren ($s_u, s_i$) worden geconstrueerd uit statistieken van interactiegeschiedenis (bijvoorbeeld activiteitsspanne, gemiddelde interactieleeftijd).
• Gating-mechanisme: Een leerbare gating-netwerk mapt deze contextstaten naar mixingsgewichten ($g_u, g_i$) over de $K$ operatoren. Dit stelt het model in staat een "effectief spectraal antwoord" te selecteren dat specifiek is voor de huidige voorspellingscontext (bijvoorbeeld het prioriteren van kortetermijnsignalen voor een gebruiker met volatiële interesses).

C. Spectraal-bewuste Modaliteitsrouting

Omdat verschillende modaliteiten verschillende temporele gevoeligheden hebben, routeert TimeMM modaliteitsbijdragen op basis van het actieve spectrale regime.

• Context-geconditioneerde Routing: Een lichtgewicht encoder mapt de temporele context naar modaliteitsgewichten ($\beta$).
• Dynamische Fusie: Visuele en tekstuele features worden opnieuw gewogen en geconcateneerd. Bijvoorbeeld, kortere regimes kunnen visuele cues benadrukken (snel veranderend), terwijl langere regimes prioriteit geven aan tekstuele semantics (stabiel).

D. Spectrale Diversiteitsregularisatie

Om te voorkomen dat de geleerde operatorbank instort tot redundante experts (filterbank-collaps), wordt een regularisatieterm toegepast in de rangschikkingruimte.

• Dit dwingt diversiteit af in de voorkeursmarges van verschillende spectrale componenten, zodat elke operator een complementair gladmakend profiel leert in plaats van uit te middelen tot hetzelfde gedrag.

3. Kernbijdragen

1. Tijd als Operator Paradigma: Een nieuwe aanpak die interactietijdstippen omzet in een familie van parametrische temporele kernels, waardoor een spectrale filterbank impliciet ontstaat zonder dure eigendecompositie.
2. Adaptief Raamwerk: De integratie van Adaptieve Spectrale Filtering (context-afhankelijke operatormixing) en Spectraal-bewuste Modaliteitsrouting (context-afhankelijke modaliteitsgewichting) om niet-stationaire, multischaalige gebruikersdynamiek te hanteren.
3. Schaalbaarheid: De methode bereikt lineaire tijdschaalbaarheid met betrekking tot grafgrootte, waardoor het geschikt is voor grootschalige industriële toepassingen, in tegenstelling tot expliciete spectrale methoden die kubisch zijn in complexiteit.
4. Theoretische Interpretatie: Het artikel biedt een theoretisch verband dat aantoont dat de voorgestelde tijd-gewogen propagatie gedraagt als polynoom spectrale filtering, waarbij verschillende temporele schalen overeenkomen met verschillende frequentieresponsen.

4. Experimentele Resultaten

Het model werd geëvalueerd op vier Amazon-benchmarkdatasets (CD, Game, Baby, Software) en een real-world industriële offline dataset.

• Algemene Prestaties: TimeMM presteerde consistent beter dan state-of-the-art baselines (inclusief statische multimodale modellen zoals AlignRec, MMGCN, en spectrale modellen zoals SMORE, FITMM).
  • Het behaalde relatieve verbeteringen van 3%–10% in Recall@K en NDCG@K ten opzichte van de sterkste baselines.
  • Op de industriële dataset verbeterde het Recall@10 van 0,1221 (beste baseline) naar 0,1271.
• Ablatiestudies: Het verwijderen van het "Tijd als Operator"-component veroorzaakte de grootste prestatiedaling, wat bevestigt dat het injecteren van temporele dynamiek in de propagatie-operator de primaire drijver van succes is.
• Tijdstip-gevoeligheid: Perturbatie-experimenten toonden aan dat TimeMM zeer gevoelig is voor de relatieve volgorde van tijdstippen. Het schudden van tijdstippen veroorzaakte significante prestatiedegradatie, wat bewijst dat het model vertrouwt op een echte temporele structuur in plaats van incidentele correlaties.
• Gebruikersspanne-analyse: De prestatiewinst van TimeMM ten opzichte van statische spectrale baselines nam toe met de geschiedenis-spanne van de gebruiker. Gebruikers met een lange spanne (rijkere temporele structuur) profiteerden het meest, wat de capaciteit van het model valideert om drift op lange horizon te vastleggen.
• Operatorgedrag: Analyse bevestigde dat de geleerde operatoren een consistente korte-naar-lange ordening volgen (monotone energieverval), en dat de modaliteitsrouting systematisch verschuift (bijvoorbeeld visuele cues domineren voor gebruikers met een korte spanne, tekst voor gebruikers met een lange spanne).

5. Betekenis

Dit artikel vertegenwoordigt een significante vooruitgang in dynamische aanbevelingssystemen door de kloof te overbruggen tussen spectrale graftheorie en temporele dynamiek.

• Theoretische Verschuiving: Het beweegt weg van het "statische graf + tijd-feature" paradigma naar een "tijd als operator" paradigma, waarbij tijd wordt behandeld als een intrinsieke eigenschap van de graftopologie.
• Praktische Impact: Door expliciete eigendecompositie te vermijden, lost het de schaalbaarheidsknelpunt van spectrale methoden op, waardoor geavanceerde modellering in het frequentiedomein haalbaar wordt voor industriële systemen met miljoenen gebruikers en items.
• Modaliteitsinzicht: Het demonstreert dat multimodale signalen niet statisch zijn; hun relevantie is dynamisch geconditioneerd op het temporele regime van de gebruiker, wat een genuanceerder begrip van gebruikersintentie biedt.

De code is open-source gemaakt, wat verdere research faciliteert in dynamisch grafenleren en multimodale aanbeveling.