A Decade of News Forum Interactions: Threaded Conversations, Signed Votes, and Topical Tags

Deze paper introduceert een groot, langlopend dataset van meer dan 75 miljoen reacties en 400 miljoen stemmen uit de discussiefora van de Oostenrijkse krant DerStandard (2013-2022), waarbij gebruikersprivacy wordt gewaarborgd door geanonimiseerde ID's en het vrijgeven van vooraf berekende vectorrepresentaties in plaats van de ruwe tekst.

De kern

Stel je voor dat je een enorme, digitale tijdmachine hebt die je terugbrengt naar de afgelopen tien jaar van het internet in Oostenrijk. Dit is precies wat deze wetenschappelijke paper doet. Het beschrijft een gigantische verzameling data van DerStandard, een van de belangrijkste kranten in Oostenrijk.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. De "Gouden Mijne" van Gesprekken

Stel je voor dat het internet een enorme, drukke markt is. Meestal zijn de plekken waar mensen praten (zoals Twitter of Facebook) als een chaotisch plein waar de regels veranderen en de mensen snel weglopen. Maar de discussiepagina's onder nieuwsartikelen zijn meer als een rustig, goed georganiseerd café.

De auteurs van dit paper hebben besloten om dit café te "fotograferen" voor een heel decennium (2013 tot 2022). Ze hebben niet één foto gemaakt, maar een laser-scan van alles wat er gebeurd is:

• 75 miljoen opmerkingen: Dat is alsof elke inwoner van Oostenrijk (en nog veel meer) een heel boek vol heeft geschreven.
• 400 miljoen stemmen: Mensen kunnen niet alleen praten, maar ook "duimen omhoog" of "duimen omlaag" geven. Het is alsof je in een vergaderzaal ziet wie er lacht en wie er boos is.
• Onderwerpen: Alles is netjes ingedeeld in categorieën, zoals "politiek", "sport" of "weer".

2. Het Grote Geheim: Privacy als een Stevige Kluis

Nu komt het lastige deel. Je kunt niet zomaar alle 75 miljoen gesprekken publiceren. Dat zou zijn alsof je de dagboeken van miljoenen mensen openbaar maakt. Dat mag niet om privacyredenen.

Dus, wat hebben de onderzoekers gedaan?

• De namen zijn weggeveegd: Ze hebben elke naam en ID vervangen door een onleesbare code (een soort digitale vingerafdruk die niet terug te rekenen is naar de echte persoon).
• De tekst is verdwenen, de "geest" blijft: Ze hebben de echte woorden niet gedeeld. In plaats daarvan hebben ze een slimme computer (een AI) gebruikt om elke opmerking om te zetten in een digitaal DNA-fragment (een vector).
  • Vergelijking: Stel je voor dat je een boek niet mag kopiëren, maar je wel een lijstje mag maken met de "smaak" van het boek. Is het een spannend avontuur? Een droevig drama? Of een grappig verhaal? De AI heeft voor elke opmerking zo'n "smaakprofiel" gemaakt. Onderzoekers kunnen hiermee zien welke opmerkingen op elkaar lijken, zonder de echte tekst te hoeven lezen.

3. Waarom is dit zo speciaal?

Deze dataset is uniek om drie redenen:

1. Tijdsreizen: Het dekt 10 jaar. Je kunt zien hoe de stemming verandert van 2013 naar 2022, bijvoorbeeld tijdens de coronapandemie of politieke verkiezingen.
2. De "Ja/Nee" Stem: Op sociale media zie je vaak alleen wie er praat. Hier zien we ook wie er het eens of oneens is. Het is alsof je een vergadering kunt bekijken waar iedereen niet alleen spreekt, maar ook met een stemknop aangeeft of het een goed idee is.
3. Niet-Engels: De meeste grote internet-datasets zijn in het Engels. Dit is een van de grootste datasets ooit in het Duits (specifiek Oostenrijks-Duits). Het is alsof je eindelijk een grote schatkist hebt gevonden van een taal die vaak over het hoofd wordt gezien in de tech-wereld.

4. Wat kun je hiermee doen?

Onderzoekers kunnen met deze data allerlei vragen beantwoorden:

• Hoe groeien meningen? Kunnen we zien hoe een klein groepje mensen een heel onderwerp kan veranderen?
• Wie is de "boze" en wie de "vriendelijke"? Omdat ze zien wie wie een "duim omlaag" geeft, kunnen ze zien hoe de gemeenschap zich splitst in groepen (bijvoorbeeld politieke kampen).
• Wat is populair? Ze kunnen zien welke onderwerpen (zoals voetbal of klimaat) de meeste reacties trekken.

Samenvattend

Dit paper is als het openen van een tijdcapsule van de Oostenrijkse publieke opinie. De onderzoekers hebben de inhoud veilig bewaard (geen namen, geen rauwe tekst), maar hebben wel de structuur en de gevoelens onthuld. Het is een goudmijn voor iedereen die wil begrijpen hoe mensen online met elkaar omgaan, zonder dat ze de privacy van de mensen schenden.

Het is alsof ze een enorme, levende stad hebben gescand: je ziet de straten (de discussies), de gebouwen (de artikelen) en de mensen die elkaar groeten of ruzie maken (de stemmen), maar je weet niet precies wie de mensen zijn of wat ze precies zeggen. En dat is precies wat het veilig en waardevol maakt voor onderzoek.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "A Decade of News Forum Interactions: Threaded Conversations, Signed Votes, and Topical Tags", geschreven in het Nederlands.

Probleemstelling

Onderzoekers staan voor een toenemende uitdaging bij het toegang krijgen tot grote, longitudinale datasets van sociale media. Commerciële platforms beperken of sluiten hun publieke API's, en platforms die bekend staan om specifieke discussies (zoals Twitter/X) ondergaan snelle migraties of verschuivingen in focus. Hoewel nieuwsgerelateerde commentsecties waardevol zijn voor het bestuderen van publieke opinie en discussiedynamiek, ontbreekt er vaak een gestructureerde, schaalbare dataset die privacy respecteert en specifiek gericht is op het Duitse taalgebied (een "mid-resourced" taal). Bestaande datasets zijn vaak te klein, niet longitudinaal, of bevatten geen metadata over interacties zoals stemgedrag.

Methodologie

De auteurs hebben een uitgebreide dataset verzameld van het online platform van de Oostenrijkse krant DerStandard, die een decennium bestrijkt (2013–2022).

1. Dataverzameling:

   • Alle data is verkregen via standaard HTML-verzoeken naar de publieke website (derstandard.at).
   • Er zijn scripts gebruikt (op basis van curl, xidel en jq) om HTML-pagina's te scrapen en JSON-gegevens te verwerken.
   • Verzamelde data omvat: nieuwsartikelen, gebruikerscommentaren, stemgedrag (upvotes/downvotes) en redactionele metadata (onderwerptags).

2. Anonimisering en Privacy:

   • Om de privacy van gebruikers te waarborgen, zijn alle persistente identificatoren (gebruikers- en comment-ID's) geanonimiseerd met een gesaldeerde cryptografische hash (BLAKE2s algoritme). Dit zorgt ervoor dat dezelfde gebruiker over alle bestanden heen consistent blijft, maar niet kan worden herleid tot de oorspronkelijke identiteit.
   • De ruwe tekst van de commentaren wordt niet openbaar gedeeld om privacy te beschermen en het risico op verwijderde content te minimaliseren.

3. Tekstrepresentatie (Embeddings):

   • Om tekstanalyse mogelijk te maken zonder de ruwe tekst te delen, zijn voor elk van de 75+ miljoen commentaren voorgerekende vectorrepresentaties gegenereerd.
   • Hiervoor is het state-of-the-art model "KaLM-embedding-multilingual-mini-v1" gebruikt (896 dimensies).
   • Dit model is gekozen vanwege zijn prestaties op benchmarks en de efficiëntie die het mogelijk maakt om op CPU-only infrastructuur te werken.

4. Datastructuur:

   • De dataset is opgesplitst in bestanden per type (Artikelen, Commentaren, Gebruikers, Stemmen, Embeddings) en per tijdsresolutie (maandelijks of jaarlijks).
   • Er zijn extra metadata berekend, zoals de diepte van discussiedraden (thread depth) en geaggregeerde gebruikersprofielen.

Belangrijkste Bijdragen

• Schaal en Lengte: Een dataset van 75,6 miljoen commentaren, 412 miljoen stemmen en 586.942 artikelen over een periode van 10 jaar (2013-2022).
• Gestructureerde Interacties: Unieke beschikbaarheid van gesigneerde stemmen (up- en downvotes), wat directe informatie geeft over instemming of afkeuring tussen gebruikers. Dit is zeldzaam in grote datasets.
• Semantische Tags: Een driedelige hiërarchie van redactionele onderwerptags die artikelen en discussies categoriseren (bijv. politiek, economie, sport).
• Privacy-bewuste Tekstdata: De publicatie van hoogwaardige embedding-vectoren in plaats van ruwe tekst, wat semantische analyse mogelijk maakt zonder de privacy van individuele gebruikers te schenden.
• Duitse Context: Een rijke bron voor onderzoek in het Duits, een taal die minder goed vertegenwoordigd is in grote online datasets vergeleken met het Engels.
• Koppeling aan eerdere studies: De dataset bevat een mapping naar twee ideologische facties die eerder zijn geïdentificeerd in de community, wat onderzoek naar polarisatie vergemakkelijkt.

Resultaten en Validatie

De auteurs hebben de kwaliteit van de dataset en de embeddings grondig gevalideerd:

• Semantische Cohesie: Analyse van cosine-相似iteit (cosine similarity) toont aan dat de embeddings de structuur van discussiedraden correct weergeven. Commentaren die direct op elkaar reageren, hebben een hogere semantische gelijkenis dan commentaren uit verschillende draden.
• Onderwerpsscheiding: Embeddings tonen duidelijke clusters voor verschillende redactionele onderwerpen (bijv. voetbal vs. vluchtelingenbeleid). Semantisch gerelateerde onderwerpen hebben een hogere kruis-correlatie dan niet-gerelateerde onderwerpen.
• Data-integriteit: Er zijn enkele inconsistenties geïdentificeerd en gedocumenteerd (bijv. ongeveer 0,5% van de commentaren verwijst naar verwijderde artikelen, of heeft een tijdstempel voor het artikel). Deze zijn gemarkeerd in de dataset zodat onderzoekers ze kunnen filteren.
• Gebruik in eerdere studies: De data is al succesvol gebruikt om affectieve expressies tijdens de COVID-19-pandemie te monitoren, sentimentanalyse te valideren tegenover traditionele enquêtes, en netwerken van polarisatie te identificeren.

Significantie

Deze dataset is een waardevol hulpmiddel voor het veld van de computationele sociale wetenschappen, netwerkanalyse en natural language processing (NLP).

• Het stelt onderzoekers in staat om polarisatie en discussiedynamiek te bestuderen op een schaal die eerder niet mogelijk was in het Duits.
• De combinatie van expliciete stemgedrag (gesigneerde netwerken) en semantische data maakt het mogelijk om te analyseren hoe meningen vormen en hoe groepen zich tegenover elkaar verhouden.
• Door de privacy-bewuste aanpak (embeddings in plaats van tekst) biedt het een ethisch verantwoord alternatief voor het delen van gevoelige gebruikersdata, terwijl het toch complexe semantische analyses toelaat.
• De dataset kan worden gecombineerd met externe datasets (zoals parlementaire corpora of opiniepeilingen) om de relatie tussen online discussies en maatschappelijke trends te onderzoeken.

De dataset is publiek beschikbaar via het BSC Dataverse-repository onder een CC-BY-licentie.