OmniTrend: Content-Context Modeling for Scalable Social Popularity Prediction

1. Enunciato del Problema

La previsione della popolarità sui social media mira a stimare il coinvolgimento degli utenti (ad esempio, like, condivisioni, visualizzazioni) per i contenuti generati dagli utenti. Il paper identifica una limitazione fondamentale nei metodi esistenti: l'intreccio tra l'attrattiva del contenuto e l'esposizione contestuale.

• La Sfida Principale: Il coinvolgimento osservato ($y$) è un risultato congiunto di due fattori distinti:
  1. Attrattiva Intrinseca ($A$): La qualità e l'appeal del contenuto stesso (visivo, audio, testuale).
  2. Esposizione Contestuale ($E$): I fattori esterni che determinano quanto ampiamente il contenuto viene mostrato (orario di pubblicazione, attività dell'autore, algoritmi della piattaforma, argomenti di tendenza).
• Limitazioni Attuali: La maggior parte dei modelli multimodali esistenti tratta contenuto e contesto come un singolo segnale. Ciò causa l'assorbimento di bias di visibilità specifici della piattaforma nelle rappresentazioni apprese, portando a:
  • Scarsa Interpretabilità: Non è chiaro perché un post sia popolare (è il contenuto o il timing?).
  • Debole Trasferibilità: I modelli addestrati su una piattaforma spesso falliscono su un'altra perché hanno appreso i modelli di esposizione specifici della piattaforma sorgente piuttosto che l'appeal universale del contenuto.
  • Supervisione Instabile: Lo stesso contenuto può ricevere etichette di coinvolgimento diverse a seconda di quando o dove viene pubblicato.

2. Metodologia: Framework OmniTrend

OmniTrend propone un framework di Modellazione Contenuto-Contesto che separa esplicitamente il compito di previsione in due componenti additive nello spazio logaritmico:
$$\log(1 + y_i) = \alpha_i + \phi_i$$
Dove $\alpha_i$ rappresenta l'attrattiva del contenuto e $\phi_i$ rappresenta l'esposizione contestuale.

L'architettura è composta da tre componenti principali:

A. Modulo Cross-Platform per il Contenuto (Apprendimento di $\alpha$)

• Obiettivo: Apprendere una rappresentazione agnostica rispetto alla piattaforma dell'appeal intrinseco.
• Input: Segnali multimodali (Immagini, Video, Testo).
• Architettura:
  • Encoder: Utilizza encoder pre-addestrati (CLIP per le immagini, X-CLIP per il video, BGE-M3 per il testo) per mappare gli input in uno spazio di embedding condiviso a 512 dimensioni.
  • Attenzione Cross-Modale: Impiega un'attenzione incrociata bidirezionale per allineare i token visivi, testuali e video, consentendo al modello di affinare le caratteristiche basandosi sulle interazioni tra le modalità.
  • Fusione a Cancellazione (Gated Fusion): Un meccanismo di cancellazione controlla il contributo di ciascuna modalità, rendendo il modello robusto alla mancanza di modalità (ad esempio, un post con solo un'immagine e senza testo).
  • Addestramento: Addestrato congiuntamente su più piattaforme per apprendere un appeal universale. Utilizza una combinazione di Weighted Huber Loss, Pairwise Ranking Loss e Cross-Modal Alignment Loss.

B. Modulo Specifico per la Piattaforma per il Contesto (Apprendimento di $\phi$)

• Obiettivo: Stimare le dinamiche di esposizione basate su segnali esogeni.
• Input: Metadati e fattori esterni (orario di pubblicazione, numero di follower dell'autore, frequenza di attività, categorie di argomenti, posizione geografica).
• Vincolo: Esclude rigorosamente gli embedding grezzi del contenuto per prevenire la fuoriuscita di segnali di attrattiva nel modello di esposizione.
• Architettura: Utilizza un modello leggero (ad esempio, CatBoost o MLP) per prevedere la componente di esposizione basandosi sul vettore di contesto.
• Addestramento: Addestrato sul target residuo ($\tilde{y} - \hat{\alpha}$), imparando efficacemente ciò che il modulo del contenuto non può spiegare.

C. Modulo di Vicinato Potenziato dal Recupero

• Obiettivo: Catturare la diffusione temporale e gli effetti del contagio sociale senza mescolare il contenuto grezzo nello stimatore di esposizione.
• Meccanismo:
  • Recupera i $K$ post storici più simili al post corrente basandosi sugli embedding del Modulo Contenuto.
  • Calcola statistiche aggregate (media e varianza ponderate) della popolarità dei vicini e dell'attività degli autori.
  • Queste statistiche (non il contenuto grezzo) vengono inserite nel Modulo Contesto come "caratteristiche di vicinato".
• Vantaggio: Ciò permette al modello di apprendere come la popolarità si propaga nel tempo (momento) mantenendo una separazione netta tra cosa è il contenuto e come viene esposto.

3. Contributi Chiave

1. Framework Disaccoppiato: Il primo framework unificato che separa esplicitamente la popolarità sociale in componenti di attrattiva (contenuto) ed esposizione (contesto), fornendo una base principiale per l'interpretabilità e il trasferimento.
2. Modellazione Unificata Cross-Platform del Contenuto: Un modulo condiviso che apprende l'appeal intrinseco attraverso diversi tipi di media (immagini vs video) e piattaforme, abilitando il trasferimento zero-shot o few-shot.
3. Modellazione del Contesto Potenziata dal Recupero: Una strategia innovativa che utilizza il recupero per aggregare statistiche temporali e di vicinato per la previsione dell'esposizione, evitando la necessità di una costruzione esplicita di grafi pur catturando la diffusione sociale.
4. Scalabilità e Interpretabilità: Il design modulare consente di aggiornare il modello di contenuto indipendentemente dal modello di contesto specifico della piattaforma, rendendo il sistema adattabile all'evoluzione della piattaforma.

4. Risultati Sperimentali

Gli autori hanno valutato OmniTrend su quattro benchmark diversificati:

• Dataset: MicroLens (video brevi), ICIP (immagini Twitter/Instagram), SMPD-Image (immagini su larga scala) e SMPD-Video (video su larga scala).
• Baseline: Confronto contro 12 metodi all'avanguardia, inclusi modelli basati su feature (SVR), sequenziali (CLSTM), multimodali (HMMVED, BLIP) e basati su recupero (MMRA).

Risultati Chiave:

• Prestazioni: OmniTrend ha ottenuto risultati State-of-the-Art (SOTA) su tutti i dataset.
  • Su SMPD-Image, ha ridotto l'MSE di circa il 13% e aumentato la Correlazione di Rango di Spearman (SRC) da 0,64 a 0,71 rispetto alla migliore baseline (MMRA).
  • Su MicroLens, ha ottenuto il MAE più basso (0,86) e la SRC più alta (0,61).
• Trasferibilità: Il modulo contenuto addestrato su dati video è stato trasferito con successo a compiti di previsione delle immagini con un calo minimo delle prestazioni, dimostrando la robustezza del segnale di attrattiva appreso.
• Studi di Ablazione:
  • La rimozione del modulo Contesto ha causato un calo significativo dell'accuratezza, dimostrando che l'esposizione è critica.
  • La rimozione del modulo Contenuto ha degradato la coerenza del ranking, dimostrando che l'appeal intrinseco è essenziale.
  • La distribuzione congiunta di $\alpha$ e $\phi$ previsti è risultata statisticamente indipendente, confermando che il modello ha disintrecciato con successo i due fattori.

5. Significato

• Insight Teorico: Il paper sfida la visione monolitica della previsione della popolarità, sostenendo che la "popolarità" è il prodotto di due meccanismi distinti. Questa separazione spiega perché contenuti simili performano diversamente tra le piattaforme.
• Applicazione Pratica:
  • Per i Creatori: Il modello può distinguere tra "contenuto scadente" (basso $\alpha$) e "cattivo timing/algoritmo" (basso $\phi$), offrendo feedback azionabili.
  • Per le Piattaforme: Il framework supporta un deployment scalabile in cui la comprensione fondamentale del contenuto rimane stabile mentre il modello di esposizione si adatta a specifici cambiamenti degli algoritmi della piattaforma.
• Direzione Futura: L'architettura modulare stabilisce un precedente per la costruzione di sistemi AI adattivi che possono evolvere con le dinamiche della piattaforma senza richiedere un ri-addestramento completo della comprensione semantica di base.