OmniTrend: Content-Context Modeling for Scalable Social Popularity Prediction

1. Probleemstelling

Het voorspellen van populariteit op sociale media heeft tot doel de gebruikersbetrokkenheid (bijv. likes, shares, views) voor door gebruikers gegenereerde inhoud te schatten. Het paper identificeert een fundamentele beperking in bestaande methoden: de verwarring van inhoudsaantrekkelijkheid en contextuele blootstelling.

• De Kernuitdaging: Waargenomen betrokkenheid ($y$) is een gezamenlijk resultaat van twee onderscheiden factoren:
  1. Intrinsieke Aantrekkelijkheid ($A$): De kwaliteit en aantrekkingskracht van de inhoud zelf (visueel, audio, tekst).
  2. Contextuele Blootstelling ($E$): De externe factoren die bepalen hoe breed de inhoud wordt getoond (posttijd, activiteit van de auteur, platformalgoritmen, trending onderwerpen).
• Huidige Beperkingen: De meeste bestaande multimodale modellen behandelen inhoud en context als één enkel signaal. Dit zorgt ervoor dat de geleerde representaties platformspecifieke zichtbaarheidsbias absorberen, wat leidt tot:
  • Slechte Interpretatie: Het is onduidelijk waarom een post populair is (is het de inhoud of het tijdstip?).
  • Zwakke Overdraagbaarheid: Modellen die op het ene platform zijn getraind, falen vaak op een ander omdat ze de specifieke blootstellingspatronen van het bronplatform hebben geleerd in plaats van universele inhoudsaantrekkelijkheid.
  • Onstabiele Supervisie: Dezelfde inhoud kan verschillende betrokkenheidslabels ontvangen afhankelijk van wanneer of waar het wordt gepost.

2. Methodologie: OmniTrend Framework

OmniTrend stelt een Content–Context Modeling framework voor dat de voorspellings taak expliciet splitst in twee additieve componenten in log-ruimte:
$$\log(1 + y_i) = \alpha_i + \phi_i$$
Waarbij $\alpha_i$ inhoudsaantrekkelijkheid voorstelt en $\phi_i$ contextuele blootstelling.

De architectuur bestaat uit drie hoofdcomponenten:

A. Cross-Platform Content Module (Leren van $\alpha$)

• Doel: Een platformonafhankelijke representatie van intrinsieke aantrekkingskracht leren.
• Inputs: Multimodale signalen (Afbeeldingen, Video's, Tekst).
• Architectuur:
  • Encoders: Gebruikt vooraf getrainde encoders (CLIP voor afbeeldingen, X-CLIP voor video, BGE-M3 voor tekst) om inputs af te beelden naar een gedeelde 512-dimensionale embeddingruimte.
  • Cross-Modal Attention: Past bidirectionele cross-attention toe om visuele, tekstuele en videotokens uit te lijnen, waardoor het model functies kan verfijnen op basis van interacties tussen modaliteiten.
  • Gated Fusion: Een gating-mechanisme controleert de bijdrage van elke modaliteit, waardoor het model robuust is voor ontbrekende modaliteiten (bijv. een post met alleen een afbeelding en geen tekst).
  • Training: Getraind gezamenlijk over meerdere platformen om universele aantrekkingskracht te leren. Het gebruikt een combinatie van Weighted Huber Loss, Pairwise Ranking Loss en Cross-Modal Alignment Loss.

B. Platform-Specifieke Context Module (Leren van $\phi$)

• Doel: Blootstellingsdynamiek schatten op basis van exogene signalen.
• Inputs: Metadata en externe factoren (posttijd, aantal volgers van de auteur, activiteitsfrequentie, onderwerpcategorieën, geografische locatie).
• Beperking: Sluit strikt ruwe inhoudsembeddings uit om lekkage van aantrekkelijkheidssignalen naar het blootstellingsmodel te voorkomen.
• Architectuur: Gebruikt een lichtgewicht model (bijv. CatBoost of MLP) om de blootstellingscomponent te voorspellen op basis van de contextvector.
• Training: Getraind op het residu-doel ($\tilde{y} - \hat{\alpha}$), effectief lerend wat de contentmodule niet kan verklaren.

C. Retrieval-Augmented Neighborhood Module

• Doel: Temporele diffusie en sociale besmettingseffecten vastleggen zonder ruwe inhoud te mengen in de blootstellingsschatter.
• Mechanisme:
  • Haalt de top $K$ historische posts op die vergelijkbaar zijn met de huidige post, gebaseerd op de embeddings van de Content Module.
  • Berekent geaggregeerde statistieken (gewogen gemiddelde en variantie) van de populariteit en activiteit van de auteurs van de buren.
  • Deze statistieken (niet de ruwe inhoud) worden als "buurwijkkenmerken" ingevoerd in de Context Module.
• Voordeel: Dit stelt het model in staat te leren hoe populariteit in de loop van de tijd verspreidt (momentum), terwijl een schone scheiding wordt behouden tussen wat de inhoud is en hoe deze wordt blootgesteld.

3. Belangrijkste Bijdragen

1. Ontkoppelde Framework: Het eerste geünificeerde framework dat sociale populariteit expliciet splitst in aantrekkelijkheid (inhoud) en blootstelling (context) componenten, waardoor een principieel fundament wordt geboden voor interpretatie en overdracht.
2. Geünificeerde Cross-Platform Content Modeling: Een gedeelde module die intrinsieke aantrekkingskracht leert over verschillende mediatypes (afbeeldingen versus video's) en platformen, wat zero-shot of few-shot overdracht mogelijk maakt.
3. Retrieval-Versterkte Context Modeling: Een nieuwe strategie die retrieval gebruikt om temporele en buurwijkstatistieken te aggregeren voor blootstellingsvoorspelling, waarbij de noodzaak voor expliciete grafconstructie wordt vermeden terwijl sociale diffusie wordt vastgelegd.
4. Schaalbaarheid en Interpretatie: Het modulaire ontwerp staat toe dat het contentmodel onafhankelijk van het platformspecifieke contextmodel wordt bijgewerkt, waardoor het systeem aanpasbaar is aan platformevolutie.

4. Experimentele Resultaten

De auteurs evalueerden OmniTrend op vier diverse benchmarks:

• Datasets: MicroLens (korte video), ICIP (Twitter/Instagram afbeeldingen), SMPD-Image (grootschalige afbeeldingen) en SMPD-Video (grootschalige video's).
• Baselines: Vergelijken met 12 state-of-the-art methoden, waaronder op kenmerken gebaseerde (SVR), sequentiële (CLSTM), multimodale (HMMVED, BLIP) en op retrieval gebaseerde (MMRA) modellen.

Belangrijkste Bevindingen:

• Prestaties: OmniTrend behaalde State-of-the-Art (SOTA) resultaten over alle datasets.
  • Op SMPD-Image verlaagde het de MSE met ~13% en verhoogde het de Spearman Rank Correlation (SRC) van 0,64 naar 0,71 ten opzichte van de beste baseline (MMRA).
  • Op MicroLens behaalde het de laagste MAE (0,86) en de hoogste SRC (0,61).
• Overdraagbaarheid: De contentmodule die op videodata is getraind, werd succesvol overgedragen aan taakken voor afbeeldingsvoorspelling met een minimale prestatiedaling, wat de robuustheid van het geleerde aantrekkelijkheidssignaal aantoont.
• Ablatiestudies:
  • Het verwijderen van de Context-module veroorzaakte een significante daling in nauwkeurigheid, wat bewijst dat blootstelling cruciaal is.
  • Het verwijderen van de Content-module degradeerde de consistentie van het ranking, wat bewijst dat intrinsieke aantrekkelijkheid essentieel is.
  • De gezamenlijke verdeling van de voorspelde $\alpha$ en $\phi$ was statistisch onafhankelijk, wat bevestigt dat het model de twee factoren succesvol heeft ontkoppeld.

5. Betekenis

• Theoretisch Inzicht: Het paper daagt het monolithische beeld van populariteitsvoorspelling uit en betoogt dat "populariteit" een product is van twee onderscheiden mechanismen. Deze scheiding verklaart waarom vergelijkbare inhoud verschillend presteert op verschillende platformen.
• Praktische Toepassing:
  • Voor Creators: Het model kan onderscheid maken tussen "slechte inhoud" (lage $\alpha$) en "slecht timing/algoritme" (lage $\phi$), wat actiegericht feedback biedt.
  • Voor Platformen: Het framework ondersteunt schaalbare implementatie waarbij het kernbegrip van inhoud stabiel blijft terwijl het blootstellingsmodel zich aanpast aan specifieke platformalgoritmeveranderingen.
• Toekomstige Richting: De modulaire architectuur zet een precedent voor het bouwen van adaptieve AI-systemen die kunnen evolueren met platformdynamiek zonder dat volledige hertraining van het kernsemantisch begrip nodig is.