🤖 machine learning

Predicting Post Virality with Temporal Cross-Attention over Trend Signals

Dieser Beitrag stellt ViralityNet vor, eine neuartige Architektur, die die Vorhersage der Viralität von Reddit-Beiträgen verbessert, indem sie interne Beitragsmerkmale mit exogenen zeitlichen Signalen von Wikipedia-Seitenaufrufspitzen über einen zeitlichen Cross-Attention-Mechanismus fusioniert und nachweist, dass die Einbeziehung realer Aufmerksamkeitsdynamiken Text-only-Baselines erheblich übertrifft.

Ursprüngliche Autoren: Sarvagya Somvanshi, Mohan Xu, Rakhi Chadalavada, Nathan Canera

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sarvagya Somvanshi, Mohan Xu, Rakhi Chadalavada, Nathan Canera

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu erraten, welche der Social-Media-Beiträge Ihrer Freunde „viral" gehen werden – also Tausende von Likes und Kommentaren erhalten – und welche ignoriert werden.

Die meisten Computerprogramme versuchen dies zu lösen, indem sie ausschließlich den Beitrag selbst betrachten. Sie lesen die Überschrift, zählen die Wörter, prüfen, ob er an einem Freitag gepostet wurde, und sehen nach, wie viele Follower der Nutzer hat. Das ist wie der Versuch vorherzusagen, ob ein Song ein Hit wird, indem man nur den Text liest, ohne jemals das Radio gehört zu haben oder zu wissen, worüber die Leute gerade singen.

Diese Arbeit argumentiert, dass dieser Ansatz ein riesiges Puzzleteil verpasst: Timing und Kontext. Ein Beitrag über ein bestimmtes Thema mag an einem zufälligen Dienstag langweilig sein, aber wenn dasselbe Thema plötzlich die größte Nachrichtengeschichte der Welt ist, könnte dieser Beitrag in seiner Popularität explodieren.

Hier ist, wie die Autoren, Sarvagya Somvanshi und Mohan Xu, ein neues System namens ViralityNet entwickelt haben, um dies zu beheben, einfach erklärt:

1. Der „Wetterbericht" des Internets

Die Autoren erkannten, dass man, um Viralität vorherzusagen, wissen muss, welche „öffentliche Stimmung" genau in diesem Moment herrscht. Um dies zu tun, verwendeten sie Wikipedia-Seitenaufrufe als „Wetterbericht" für die Internet-Aufmerksamkeit.

Die Analogie: Stellen Sie sich vor, Sie sind ein Fischer. Sie können auf Ihr Boot (den Beitrag) und Ihre Ausrüstung (den Text) schauen, aber um einen großen Fisch zu fangen, müssen Sie wissen, wo sich die Fische gerade jetzt befinden.
Die Methode: Sie verfolgten, welche Wikipedia-Artikel jeden Tag einen plötzlichen, massiven Anstieg der Aufrufe verzeichneten. Wenn „Künstliche Intelligenz" plötzlich 100.000 mehr Aufrufe als üblich hatte, bedeutete das, dass die ganze Welt plötzlich von KI besessen war. ViralityNet nutzt diese Daten, um zu sehen, ob ein Reddit-Beitrag die „Welle" des aktuellen öffentlichen Interesses „reitet".

2. Der „Super-Leser" (Die Architektur)

Sie bauten ein neuronales Netzwerk (eine Art KI) namens ViralityNet. Stellen Sie es sich als einen Super-Leser vor, der einen Reddit-Beitrag gleichzeitig durch vier verschiedene Linsen betrachtet:

Die Überschrift: Was sagt die Schlagzeile?
Der Textkörper: Was ist die eigentliche Geschichte?
Die Struktur: Wann wurde er gepostet? Wie lang ist er?
Die Community: In welchem „Club" (Subreddit) befindet er sich? (Ein Beitrag in einem Finanz-Club wird anders beurteilt als einer in einem Gaming-Club).

Das Geheimnis:
Normalerweise werden diese vier Linsen einfach miteinander vermischt. Aber ViralityNet verfügt über eine spezielle „Cross-Attention"-Funktion.

Die Analogie: Stellen Sie sich vor, Sie lesen einen Nachrichtenartikel. Während Sie lesen, werfen Sie ständig einen Blick aus dem Fenster, um zu sehen, was auf der Straße passiert. Wenn Sie eine Parade sehen, achten Sie besonders auf den Teil des Artikels über die Parade.
Wie es funktioniert: ViralityNet liest den Reddit-Beitrag und schaut dann sofort auf ein „gleitendes Fenster" der Top-512-Trending-Wikipedia-Themen der letzten Woche. Es fragt: „Entspricht dieser Beitrag dem, worüber die Welt gerade spricht?" Wenn die Antwort ja ist, boostet es die Vorhersage, dass der Beitrag viral gehen wird.

3. Wie sie den Erfolg maßen

Sie testeten dies an fast 800.000 Reddit-Beiträgen aus 10 verschiedenen Communities (wie r/technology, r/politics und r/gaming) über einen Zeitraum von drei Jahren.

Das Ziel: Vorhersagen, ob ein Beitrag zu den Top 10 % der Interaktionen für seine spezifische Community gehören würde.
Das Ergebnis:
- Der alte Weg (nur auf den Text zu schauen) war okay, aber nicht großartig.
- Der neue Weg (ViralityNet), der den „Wikipedia-Wetterbericht" einbezog, war durchgängig besser.
- Es verbesserte die Genauigkeit um einen kleinen, aber bedeutenden Betrag. Das System lernte, dass ein Beitrag über einen Börsencrash viel eher viral gehen wird, wenn die Leute gerade jetzt nach diesem Aktienwert auf Wikipedia suchen.

4. Wichtige Nuancen

Die Arbeit hebt einige interessante Details hervor:

Kontext ist wichtig: Das System funktionierte am besten in Communities, in denen die Außenwelt eine Rolle spielt (wie r/technology oder r/stocks). Es hatte in Communities, die von Insider-Witzen oder spezifischer Kultur getrieben werden (wie r/gaming), etwas mehr Schwierigkeiten, wo das „globale Wetter" weniger wichtig ist als die „lokale Stimmung".
Zeit ist der Schlüssel: Das System lernte, dass sich die Normen für Interaktion von Jahr zu Jahr ändern. Ein Beitrag, der 2021 1.000 Upvotes erhält, könnte als „viral" betrachtet werden, während man 2023 vielleicht 5.000 benötigt. Das Modell lernte, sich darauf einzustellen.
Es ist keine Magie: Das System ist nicht perfekt. Es wird manchmal getäuscht. Wenn ein Beitrag beispielsweise einen Titel hat, der nach einem Trendthema klingt, aber tatsächlich ein Witz oder minderwertiger Inhalt ist, könnte das System seinen Erfolg überbewerten. Umgekehrt verpasst es manchmal Beiträge, die wegen reinem Humor oder Wut viral gehen, was nichts mit aktuellen Nachrichtentrends zu tun hat.

Das Fazit

Die Hauptaussage ist einfach: Inhalte gehen nicht im Vakuum viral.

Um vorherzusagen, was Feuer fängt, kann man nicht nur auf das Holz schauen (den Beitrag); man muss auf den Wind schauen (die aktuelle öffentliche Aufmerksamkeit). Indem die Autoren den Text eines Beitrags mit Echtzeitdaten darüber kombinierten, was die Welt tatsächlich liest und worüber sie nachdenkt, zeigten sie, dass wir deutlich bessere Vorhersagen darüber treffen können, was online populär werden wird.

Technische Zusammenfassung: Vorhersage der Viralität nach dem Posten mittels zeitlicher Cross-Attention über Trendsignale

Problemstellung

Aktuelle Modelle zur Vorhersage der Viralität in sozialen Medien stützen sich überwiegend auf statische textuelle und strukturelle Merkmale (z. B. Follower-Zahlen, Veröffentlichungszeitpunkt, Netzwerkkentralität und Textsemantik). Eine kritische Einschränkung dieser Ansätze ist ihre „zeitliche Blindheit": Sie berücksichtigen nicht die dynamische Natur der öffentlichen Aufmerksamkeit. Ein Beitrag zu einem bestimmten Thema kann je nachdem, ob dieses Thema derzeit im öffentlichen Interesse einen Höhepunkt erreicht oder bereits inaktiv ist, ein völlig unterschiedliches virales Potenzial haben. Die Autoren hypothesieren, dass das Ignorieren dieser zeitlichen Dynamiken zu einer Fehlcharakterisierung der Engagement-Treiber und einer verringerten Vorhersagegenauigkeit führt. Das Kernproblem, das adressiert wird, ist, ob reale, exogene Aufmerksamkeitssignale die Viralitätsvorhersage über das hinaus verbessern können, was allein aus dem Beitragstext hervorgeht.

Methodik

Daten und Kennzeichnung

Die Studie verwendet einen Datensatz von 788.873 Reddit-Beiträgen aus 10 verschiedenen Subreddits (abdeckend Nachrichten, Technologie, Finanzen, Wissenschaft und Unterhaltung), die zwischen Januar 2021 und Dezember 2023 gesammelt wurden.

Definition von Viralität: Viralität wird durch eine subreddit-stratifizierte binäre Kennzeichnungsstrategie definiert, um Skalierungsunterschiede zwischen den Communities zu berücksichtigen. Ein Beitrag wird als viral ( $y=1$ ) gekennzeichnet, wenn sein Engagement-Score $v$ das 90. Perzentil der Verteilung seines Subreddits überschreitet UND sein roher Score $s$ einen Mindestschwellenwert von 100 erreicht.
Engagement-Score: $v = s + 0,3 \cdot c$ , wobei $s$ der Beitragsscore (Upvotes minus Downvotes) und $c$ die Anzahl der Kommentare ist. Das Gewicht $\beta=0,3$ spiegelt den höheren Aufwand beim Kommentieren im Vergleich zum Abstimmen wider.
Exogene Signale: Das Modell integriert Wikipedia-Seitenaufrufdaten als Proxy für das kollektive öffentliche Interesse. „Spike"-Begriffe werden täglich basierend auf einem Verhältnis der aktuellen Aufrufe zu den Aufrufen des Vortages ( $\rho \ge 2,0$ ) und absoluten Aufrufsteigerungen identifiziert. Die top 512 trendenden Begriffe pro Tag werden beibehalten, nach Rauschen gefiltert (z. B. Evergreen-Seiten) und kodiert.

Architektur: ViralityNet

ViralityNet ist eine Cross-Attention-Architektur, die entwickelt wurde, um interne Repräsentationen von Beiträgen mit externen zeitlichen Trendsignalen zu verschmelzen.

Post-Encoder: Generiert eine 256-dimensionale Beitragsrepräsentation ( $p$ ) durch Verschmelzung von vier parallelen Strömen:
- Titel & Textkörper: Kodiert mit all-mpnet-base-v2 (768-dimensional). Der Textkörper wird in Blöcke (400 Zeichen) unterteilt, gemittelt (mean-pooled) und renormiert. Ein gelerntes Padding-Embedding behandelt Beiträge ohne Textkörper.
- Strukturelle Merkmale: 9 Merkmale (Veröffentlichungsstunde, Wochentag, logarithmisch normalisierte Alter/Längen, Subreddit-Größe usw.), projiziert auf 64 Dimensionen.
- Subreddit-Embedding: Ein gelerntes 32-dimensionales Embedding für das spezifische Subreddit.
- Verschmelzung: Diese Ströme werden konkateniert (1632 Dimensionen), auf 256 Dimensionen projiziert und über eine residuale Verbindung mit einem gelernten Jahres-Embedding ( $e_y$ ) verschmolzen, um jahresübergreifende Verschiebungen in den Engagement-Normen zu berücksichtigen.
Cross-Attention-Block:
- Trend-Matrix ( $T_d$ ): Für jeden Tag $d$ wird ein gleitendes 7-Tage-Fenster der top 512 Wikipedia-Spike-Begriffe konstruiert. Diese Begriffe werden in eine $512 \times 768$ -Matrix kodiert.
- Mechanismus: Die Beitragskodierung $p$ fungiert als Query mit einem einzelnen Token ( $Q$ ) gegen die Schlüssel und Werte ( $K, V$ ) der Trend-Matrix. Ein 4-Kopf-Multi-Head-Attention-Mechanismus (MHA) ermöglicht es dem Modell, selektiv auf die Teilmenge der aktuellen Themen des öffentlichen Interesses zu achten, die semantisch am besten mit dem Beitragsinhalt übereinstimmen.
- Ausgabe: Der resultierende Kontextvektor $c$ (256 Dimensionen) erfasst die Ausrichtung zwischen dem Beitrag und den aktuellen Trends.
Klassifikator: Die Konkatenation der Beitragskodierung und des Kontextvektors ( $[p; c]$ ) wird durch ein Multi-Layer Perceptron (MLP) mit zwei versteckten Schichten geleitet, um ein virales Logit zu erzeugen. Das Modell wird mit Focal Loss ( $\alpha=0,25, \gamma=2,0$ ) trainiert, um das starke Klassenungleichgewicht (9,7 % positive Rate) zu adressieren.

Hauptbeiträge

Trend-Ausrichtungssignal: Einführung eines auf Beitragsniveau basierenden Trend-Ausrichtungssignals, abgeleitet von Wikipedia-Seitenaufruf-Spikes, das auf Ebene einzelner Beiträge als statistisch signifikant nachgewiesen wurde.
ViralityNet-Architektur: Eine neuartige Cross-Attention-Architektur, die Beitragsrepräsentationen auf täglichen gleitenden Trendmatrizen konditioniert, ergänzt durch gelernte Jahres- und Subreddit-Embeddings.
Systematische Ablation: Eine Studie, die die Beiträge von zeitlichem Kontext (Jahres-Embeddings), exogenen Trends (Cross-Attention) und deren Kombination voneinander trennt.

Ergebnisse

Das Modell wurde auf einem zurückgehaltenen Testset von 118.331 Beiträgen (11.459 viral) evaluiert. Die primäre Metrik ist AUC-PR, wobei AUC-ROC und F1 bei einem festen Schwellenwert von 0,31 (optimiert für F1) berichtet werden.

Leistungssteigerungen: Das vollständige ViralityNet-Modell erreichte einen AUC-PR von 0,3584 und einen AUC-ROC von 0,8355.
Vergleich mit Baselines:
- Nur Text: AUC-PR 0,3431.
- Text + Jahr: AUC-PR 0,3554 (+0,012 Verbesserung).
- Text + Trends: AUC-PR 0,3476 (+0,005 Verbesserung).
- Vollständiges Modell: AUC-PR 0,3584 (+0,015 Verbesserung gegenüber Nur Text).
Komponentenanalyse: Das Jahres-Embedding trug den signifikantesten Gewinn bei (+0,012), was auf sich verschiebende Engagement-Normen zwischen 2021 und 2023 zurückgeführt wird. Die Trend-Cross-Attention lieferte einen kleineren, aber konsistenten ergänzenden Gewinn (+0,003 über die Text+Jahr-Baseline).
Subreddit-Variation: Die Leistung variierte je nach Community. Subreddits mit einer starken thematischen Überschneidung mit Wikipedia-Trends (z. B. r/technology, r/stocks) verzeichneten den höchsten AUC-PR (>0,39). Communities, die von interner Kultur getrieben werden (z. B. r/gaming, r/wallstreetbets), waren schwieriger unter Verwendung externer Signale vorherzusagen.
Schwellenwert-Sensitivität: Aufgrund des Klassenungleichgewichts ergab der Standard-Schwellenwert von 0,5 eine niedrige Recall-Rate (2,7 %). Die Senkung des Schwellenwerts auf 0,31 verbesserte die Recall-Rate auf 53,0 % bei einer Precision von 31,9 %, was für die Hervorhebung potenzieller viraler Beiträge zur Überprüfung geeignet ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Einbeziehung externer Aufmerksamkeitssignale messbare Verbesserungen gegenüber Text-only-Baselines liefert und die Hypothese validiert, dass Viralität nicht allein durch den Inhalt bestimmt wird, sondern durch dessen Ausrichtung mit realen Dynamiken.

Nachweis der Ausrichtung: Die Ergebnisse deuten darauf hin, dass Beiträge, die semantisch mit zeitgleichen Spikes der öffentlichen Aufmerksamkeit übereinstimmen, messbar wahrscheinlicher viral gehen.
Komplementarität: Exogene Signale (Wikipedia-Trends) fungieren als nützliche Ergänzung zu plattforminternen Merkmalen, insbesondere in Communities, in denen Viralität durch externe Ereignisse und nicht durch interne Kultur getrieben wird.
Bescheiden aber konsistent: Die Autoren charakterisieren die Gewinne als „bescheiden aber konsistent" und stellen fest, dass das Trendsignal allein im Vergleich zum zeitlichen Kontext (Jahr) kein dominanter Faktor ist, aber das vollständige Modell zu seiner höchsten Leistung führt.
Einschränkungen: Die Autoren weisen ausdrücklich darauf hin, dass das Modell eine zeitgleiche Ausrichtung misst, keine Vorhersage für die Zukunft. Sie erkennen Einschränkungen hinsichtlich der statischen Natur der Engagement-Daten (Fehlen früher Geschwindigkeitsdaten), des heuristischen Designs der Pipeline und potenzieller Generalisierbarkeitsprobleme aufgrund der spezifischen Subreddit-Auswahl. Sie heben zudem die breitere Bedenken hervor, dass solche Vorhersagefähigkeiten theoretisch missbraucht werden könnten, um die Verbreitung polarisierender Inhalte oder Spam zu optimieren.