💻 computer science

SURGE: An Event-Centric Social Media Sentiment Time Series Benchmark with Interaction Structure

Het artikel introduceert SURGE, een uitgebreide benchmark voor sociale media met 67 gebeurtenissen en meer dan 800.000 berichten die uniek gebeurtenisniveau-tijdreeksen integreert met uitgelijnde tekst en interactiestructuren om het onderzoek te faciliteren naar hoe sociale dynamieken van invloed zijn op voorspelling van opinies en crisisrespons.

Oorspronkelijke auteurs: Chen Su, Pengsen Cheng, Yuanhe Tian, Yan Song

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chen Su, Pengsen Cheng, Yuanhe Tian, Yan Song

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert het weer te voorspellen, maar in plaats van naar wolken en barometers te kijken, probeer je te voorspellen hoe een menigte mensen zich zal voelen en zal gedragen tijdens een specifieke gebeurtenis, zoals een grote sportwedstrijd, een politieke verkiezing of een natuurramp.

Het artikel introduceert SURGE, een nieuwe "trainingshandleiding" (benchmark) voor computers om te leren hoe ze dit moeten doen. Hier volgt een uiteenzetting van wat ze deden en wat ze ontdekten, met behulp van eenvoudige analogieën.

Het Probleem: De "Verspreide Puzzel"

Vroeger hadden onderzoekers twee hoofdproblemen bij het bestuderen van hoe mensen reageren op grote gebeurtenissen op sociale media:

Te Klein of Te Smal: Oude datasets waren als het bekijken van slechts één enkele storm (bijvoorbeeld alleen tweets over COVID-19) of alleen het bekijken van een klein stukje van het gesprek. Ze hadden niet genoeg variatie om een computer te leren hoe het om moet gaan met verschillende soorten gebeurtenissen.
De "Gesprekskaart" Ontbreekt: De meeste datasets behandelden sociale mediaberichten als een lijst met geïsoleerde boodschappenbonnen. Ze telden wat er gezegd werd en wanneer, maar ze gooiden het belangrijkste deel weg: wie antwoordde aan wie. In een echt gesprek maken de volgorde en de verbindingen uit. Als Persoon A Persoon B beledigt en Persoon C ingrijpt om Persoon B te verdedigen, verandert dat de sfeer van de hele groep. Oude data negeerde deze "antwoordketen"-structuur.

De Oplossing: SURGE (De "Gebeurtenis-Tijdsversnelling")

De auteurs bouwden SURGE, wat als een enorme, georganiseerde tijdsversnelde video is van 67 verschillende publieke gebeurtenissen (van aardbevingen tot filmreleases tot politieke debatten).

De Ingrediënten: Ze verzamelden meer dan 800.000 berichten van Twitter, Reddit en Threads.
De Structuur: In plaats van alleen een platte lijst, organiseerden ze de data in drie lagen:
1. De Getallen: Hoeveel mensen er spraken (Volume) en of ze blij, verdrietig of neutraal waren (Sentiment).
2. De Tekst: De daadwerkelijke woorden die mensen gebruikten.
3. De Kaart: Een diagram dat toont wie aan wie antwoordde, waarbij de "draad" van het gesprek behouden blijft.
De Tijdmachine: Ze sneed deze data in tijdblokken (6 uur, 12 uur en 1 dag) zodat computers kunnen leren voorspellen wat er volgt op basis van wat er net voor gebeurde.

De Experimenten: Het Testen van de "Weervoorspellers"

De onderzoekers namen 10 verschillende soorten computermodellen (sommigen die alleen naar getallen kijken, sommigen die tekst lezen, en sommigen die proberen de gesprekskaart te begrijpen) en vroegen hen om de toekomstige stemming en het volume van deze gebeurtenissen te voorspellen.

Hier zijn de drie grote dingen die ze ontdekten:

1. Het "Gisteren's Nieuws" Effect (Persistantie)

De Bevinding: De beste voorspeller van wat mensen nu zullen zeggen, is vaak gewoon wat ze een moment geleden zeiden.
De Analogie: Stel je een menigte op een concert voor. Als de menigte luid juicht, zullen ze waarschijnlijk de komende paar minuten blijven juichen. Als ze stil zijn, zullen ze waarschijnlijk stil blijven.
Het Resultaat: Eenvoudige, "naïeve" modellen die gewoon gokken "het zal hetzelfde zijn als de laatste minuut", waren verrassend moeilijk te verslaan. Complexe, chique AI-modellen slaagden er vaak niet in om deze simpele gok te verbeteren bij het meten van gemiddelde fouten. De stemming van de menigte blijft vastzitten aan zijn huidige pad tenzij er iets groots gebeurt.

2. Tekst is Geen Toverstaf

De Bevinding: Het geven van de daadwerkelijke tekst van de berichten aan de computer maakte het niet automatisch tot een betere voorspeller.
De Analogie: Stel je voor dat je probeert de uitkomst van een wedstrijd te voorspellen door de tweets van de spelers te lezen. Je zou denken dat het lezen van de tweets helpt, maar als de computer niet begrijpt hoe de spelers met elkaar praten (de antwoordketens), is de tekst gewoon ruis.
Het Resultaat: Bestaande AI-modellen die zijn ontworpen voor het lezen van nieuwsartikelen (waarbij één persoon een verhaal schrijft en anderen het lezen), werkten niet goed op sociale media (waar iedereen met iedereen praat). Ze hadden moeite om de tekst te gebruiken om hun voorspellingen te verbeteren, tenzij ze specifiek waren ontworpen om de "antwoordketen"-structuur te begrijpen.

3. De "Stormachtig Weer" Zone (Interactiedichtheid)

De Bevinding: Wanneer het gesprek echt heet loopt en mensen constant aan elkaar antwoorden, wordt het veel moeilijker om te voorspellen wat er als volgt gebeurt.
De Analogie: Het weer voorspellen op een kalm, zonnige dag is makkelijk. Het voorspellen tijdens een plotselinge, chaotische onweersbui is moeilijk.
Het Resultaat: Toen de onderzoekers alleen keken naar de "stormachtige" momenten (tijden met de meeste antwoorden), presteerden de modellen veel slechter. Standaard gemiddelden verbergen deze moeilijkheid omdat ze de kalme dagen mengen met de stormachtige dagen. Het artikel toont aan dat als je wilt weten of een model echt slim is, je het specifiek moet testen tijdens deze chaotische momenten met hoge interactie.

De Conclusie

Het artikel beweert niet een "super-voorspeller" te hebben uitgevonden die de toekomst perfect kan voorspellen. In plaats daarvan bouwden ze een sportschool (de SURGE-benchmark) waar onderzoekers hun modellen kunnen trainen en testen.

Ze ontdekten dat:

De stemming op sociale media erg plakkerig is (het blijft een tijdje hetzelfde).
Het simpelweg voeden van een computer met meer tekst niet helpt tenzij het de structuur van het gesprek begrijpt.
De moeilijkste tijden om te voorspellen precies de momenten zijn waarop het gesprek het meest intens en chaotisch is.

De auteurs hebben ook een eenvoudig "oefenmodel" (een probe) vrijgegeven om te laten zien hoe een computer kan beginnen met het gebruik van de "gesprekskaart" om beter te worden, waardoor de deur openblijft voor toekomstige onderzoekers om nog slimmere tools te bouwen.

Technische Samenvatting: SURGE – Een op gebeurtenissen gerichte benchmark voor sentimenttijdsreeksen op sociale media

1. Probleemdefinitie

Publieke gebeurtenissen op sociale media (bijv. natuurrampen, politieke conflicten, technologie-lanceringen) genereren massale, gefragmenteerde discussies waarvan de collectieve dynamiek cruciaal is voor opinievoorspelling en crisisbeheersing. Effectieve voorspellende modellering vereist het organiseren van deze discussies in tijdsreeksen op gebeurtenisniveau die aansluiten bij de levenscyclus van de gebeurtenis. Bestaande bronnen voldoen echter niet aan drie gelijktijdige eisen:

Organisatie op gebeurtenisniveau: Veel datasets organiseren data per gebruiker of op basis van ankersignalen naar exogene drijvers (bijv. weer) in plaats van op de discussie zelf.
Interactiestructuur: Bestaande tijdsreeksen verwerpen vaak de topologie van antwoorden en herplaatsingen tussen berichten, ondanks het feit dat sociale dynamiek nauw verweven is met interactiestructuren.
Multimodale uitlijning: Hoewel multimodale voorspellingsdatasets bestaan, ontbreekt het aan tekstbronnen (nieuws, financiële rapporten) die de gebruiker-gebruiker antwoordketens kenmerkend voor sociale media bevatten; tekst wordt hier behandeld als een exogene zijkanal in plaats van een interactief signaal.

Gevolg hiervan is dat de voorspellende waarde van de interactiestructuur voor collectieve opiniestromen ongetest blijft, en dat overdraagbaarheid tussen gebeurtenistypen moeilijk te evalueren is.

2. Methodologie: De SURGE-benchmark

SURGE is een benchmark voor sociale media met meerdere gebeurtenissen, ontworpen om temporele signalen op gebeurtenisniveau te koppelen aan uitgelijnde tekst en interactiestructuren.

2.1 Datacollectie en verwerking

Reikwijdte: De dataset omvat 67 publieke gebeurtenissen verdeeld over vijf categorieën: Natuurrampen, Politieke Gebeurtenissen, Sociale Bewegingen, Technologie-lanceringen, en Sport/Entertainment.
Bronnen: Data is geaggregeerd van Twitter, Reddit en Threads, bestaande uit 817.442 berichten (van een initiële ruwe collectie van ongeveer 1,26 miljoen).
Preprocessing:
- Filteren: Berichten worden gededupliceerd en gefilterd om korte tekst, emoji/URL-dominantie en niet-Engelse inhoud te verwijderen.
- Detectie van actieve periodes: Gebeurtenissen worden bijgesneden tot hun "actieve periodes" om schaarse, omgevingsgerelateerde gesprekken uit te sluiten, zodat de tijdsreeks echte betrokkenheid weerspiegelt.
- Sentimentannotatie: Berichten worden gelabeld als Positief, Neutraal of Negatief met behulp van Qwen3-32B in een zero-shot modus. Deze worden gemapt naar numerieke scores $\{+1, 0, -1\}$ .
- Validatie: Een gestratificeerde menselijke verificatiestudie op 3.000 berichten bevestigde een Cohen's $\kappa$ van 0,74 tussen annotatoren en een overeenkomstpercentage van 86,5% met LLM-labels, waarbij de systematische bias begrensd was door $|\mu| \le 0,05$ .

2.2 Constructie van tijdsreeksen

De benchmark bouwt kalenderuitgelijnde tijdsreeksen op drie temporele granulariteiten op: 1 dag, 12 uur en 6 uur.

Doelvariabelen: Voor elke tijdsbin $t$ $t$ worden twee doelvariabelen afgeleid:
1. Discussie-intensiteit ( $c_t$ ): Het aantal berichten in de bin.
2. Sentimentpolariteit ( $\bar{s}_t$ ): Het gemiddelde sentiment van berichten in de bin.
Normalisatie: Doelvariabelen worden genormaliseerd via per-gebeurtenis z-scoring om schaalverschillen tussen gebeurtenissen op te vangen.
Tekstuele weergaven: Elke tijdsbin wordt gekoppeld aan twee tekstuele weergaven afgeleid van dezelfde geselecteerde berichten:
- Vlakke weergave: Berichten chronologisch lineair gemaakt zonder rolmarkers.
- Gestructureerde weergave: Berichten georganiseerd in antwoordketens met expliciete rolmarkers (ouder/kind), waarbij herplaatsingen worden behandeld als antwoord-achtige interacties.

2.3 Evaluatieprotocollen

SURGE definieert vier benchmarkprotocollen:

Alleen-numerieke voorspelling: Het voorspellen van toekomstige waarden met uitsluitend historische tijdsreeksen.
Tekst-aangevulde voorspelling: Voorspellen met historische reeksen plus tekst (getest in configuraties zonder tekst, vlak en gestructureerd).
Structuurbewuste evaluatie: Een metriek ( $MAE_{reply}(k\%)$ ) die prestaties specifiek evalueert op de tijdsbins met de meeste antwoorden (hoogste interactie).
Cross-categorie generalisatie: Een "leave-one-category-out"-protocol om overdraagbaarheid tussen de vijf gebeurtenistypen te testen.

3. Belangrijkste bijdragen

De SURGE-dataset: De eerste benchmark die gelijktijdig multi-gebeurtenisdekking op gebeurtenisniveau, vooraf gebouwde tijdsreeksen, bin-uitgelijnde tekstuele weergaven en een expliciete sociale interactiestructuur (antwoord/herplaatsingsranden) biedt.
Evaluatiekader: Een uitgebreide set protocollen, inclusief structuurbewuste metrieken en cross-categorie generalisatietests, die gaten in bestaande datasets voor sociale media en multimodale voorspelling aanpakt.
Referentie-implementatie: Een lichtgewicht Structure-Aware Probe (CMA) die cross-modale aandacht gebruikt om getypeerde post-tokens en thread-embeddings te verwerken, dienend als referentie voor toekomstige interactiebewuste modellen.

4. Experimentele resultaten

De auteurs evalueerden representatieve modellen voor tijdsreeksvoorspelling (TSF) (lineair, Transformer, CNN, op LLM gebaseerd en op diffusie gebaseerd) en multimodale baselines.

Sterke lokale persistentie: Naïeve baselines (Laatste Waarde, Voortschrijdend Gemiddelde) blijven moeilijk te verslaan onder de Mean Absolute Error (MAE) over alle granulariteiten. Dit wijst op een "regime van sterke lokale persistentie" waarbij de beste voorspelling op korte horizon vaak de meest recente observatie is. Gelernde modellen verminderen vaak de Mean Squared Error (MSE) door voorspellingen te gladstrijken, maar falen in het verbeteren van de MAE.
Beperkte overdracht van tekst-aangevulde modellen: Bestaande multimodale TSF-modellen (ontworpen voor nieuws/financiële tekst) tonen beperkte robuustheid wanneer toegepast op data van sociale media. Ze verbeteren niet consequent ten opzichte van alleen-numerieke baselines, en hun prestaties zijn ongevoelig voor de structurele vorm van de tekst (Vlak versus Gestructureerd).
Interactiedichtheid is van belang: De structuurbewuste metriek ( $MAE_{reply}$ ) onthult dat periodes met veel antwoorden intrinsiek moeilijker te voorspellen zijn. De rangschikking van modellen op deze dichte slices wijkt af van rangschikkingen op geaggregeerde metrieken, wat suggereert dat periodes met hoge interactie het punt zijn waar modellen het meest falen.
Asymmetrie in generalisatie: Cross-categorie-overdracht is structureel asymmetrisch. Natuurrampen zijn de moeilijkste categorie om naar te generaliseren, terwijl sociale bewegingen het makkelijkst zijn. De moeilijkheid varieert aanzienlijk per doelvariabele (Intensiteit versus Sentiment).

5. Betekenis en claims

Het artikel positioneert SURGE niet als een voorstel voor een nieuw voorspellend model, maar als een stress-test voor op gebeurtenissen gebaseerde voorspelling op sociale media. De betekenis ligt in het blootleggen van drie fundamentele eigenschappen van het domein:

Persistentie is sterk maar onvoldoende: Huidige optimalisatiedoelen (MSE) kunnen grote afwijkingen onderdrukken zonder de nauwkeurigheid van de centrale tendens (MAE) op op gebeurtenissen gebaseerde reeksen te verbeteren.
Tekst is niet automatisch nuttig: De interne structuur van tekst op sociale media (antwoordketens) verschilt fundamenteel van de unidirectionele tekst in financiële/nieuwsdatasets. Multimodale modellen moeten expliciet worden ontworpen om deze interactiestructuur te hanteren om effectief te zijn.
Evaluatieregimes verschillen per dichtheid: Geaggregeerde metrieken verbergen modelfalen in periodes met hoge interactie. De benchmark biedt assen (interactiedichtheid en categorieverschuiving) waarlangs bestaande methoden tekortschieten, met name in scenario's die het meest kritiek zijn voor crisisbeheersing en opinemonitoring.

De auteurs concluderen dat SURGE de benodigde data, protocollen en diagnostische metingen biedt om onderzoek naar interactiebewuste voorspelling vooruit te helpen, waarbij het ontwerpen van sterkere modellen wordt overgelaten aan toekomstig werk.