TruthStance: An Annotated Dataset of Conversations on Truth Social

Probleemstelling

Argumentatie-mining en standpuntdetectie (stance detection) zijn fundamenteel voor het begrijpen van hoe meningen online worden gevormd en betwist. Bestaande datasets en onderzoek richten zich echter bijna uitsluitend op mainstream platforms zoals Twitter (X) en Reddit. Hierdoor blijft de conversatiestructuur op "alt-tech" platforms (zoals Truth Social, Gab, Parler) onderbelicht. Deze platforms, die vaak als reactie op perceived ideologische bias op mainstream platforms zijn ontstaan, vormen een parallel mediasysteem dat invloed heeft op politieke communicatie.

De specifieke tekortkomingen die dit paper adresseert zijn:

1. Gebrek aan context: Bestaande Truth Social-datasets bevatten geïsoleerde posts zonder antwoordstructuren, waardoor dialoogfenomenen zoals disagreement, overtuiging en de evolutie van standpunten niet bestudeerd kunnen worden.
2. Schalingsproblemen: Het handmatig annoteren van grote conversatiestructuren is tijdrovend. Bestaande modellen die conversatiestructuur expliciet coderen, zijn vaak complex en moeilijk te schalen.
3. Domain-shift: Modellen getraind op mainstream data generaliseren vaak slecht naar de ideologisch homogene en specifieke discours van Truth Social.

Methodologie

1. Dataverzameling en Verrijking
De auteurs hebben een dataset samengesteld die voortbouwt op een bestaande verzameling van 776.000 posts (2023-2024).

• Selectie: Posts met minder dan drie directe antwoorden en spam/reposts werden verwijderd, resulterend in 24.352 wortel-posts.
• Augmentatie: Met behulp van een aangepaste scraping-tool (gebaseerd op Stanford's framework) werden alle bijbehorende antwoordtraden (reply trees) opgehaald via de Truth Social API.
• Resultaat: Een corpus van 24.352 conversatiestrands met in totaal 523.360 commentaren, waarbij de volledige hiërarchische structuur (parent-child relaties) behouden is.
• Metadata: Auteur-gerelateerde metadata (volgers, volgend, verificatiestatus) en engagement-metrics (likes, replies, retruths) werden toegevoegd.

2. Annotatie-Opdrachten
Het annotatieproces verloopt in twee fasen:

• Argument Mining (AM): Binaire classificatie om te bepalen of een post een claim bevat die wordt ondersteund door een premisse (argumenterend vs. niet-argumenterend).
• Standpuntdetectie (Stance Detection - SD): Classificatie van commentaren ten opzichte van hun directe ouder (de post of het commentaar waarop wordt gereageerd). De labels zijn:
  • FOR: Steun of versterking van de claim.
  • AGAINST: Betwisting of uitdaging van de claim.
  • NEUTRAL: Geen duidelijk standpunt.
  • Opmerking: Standpunten worden recursief door de boom geïnterpreteerd, maar vertakkingen die beginnen bij een NEUTRAAL commentaar worden niet meegenomen in de afgeleide standpunten ten opzichte van de oorspronkelijke post (OP), omdat de relatie dan onbepaald is.

3. Evaluatie van LLM-strategieën
Om de volledige dataset te annoteren, werden Large Language Models (LLMs) geëvalueerd tegen een traditionele SVM-baseline.

• Modellen: Gemini-2.5-Flash, GPT-o3 en DeepSeek-v3.
• Prompting-strategieën: Few-Shot (FS), Chain-of-Thought (CoT), en een combinatie (CoT+Few-Shot).
• Baseline: Een Support Vector Machine (SVM) met embeddings gegenereerd door Qwen/Qwen3-Embedding-0.6B.
• Menselijke Annotatie: Een subset van 1.500 instances (750 posts voor AM, 750 comments voor SD) werd handmatig geannoteerd om de grondwaarheid (ground truth) te vormen. De inter-annotator overeenstemming (Cohen's κ) was substantieel (0,70 voor AM, 0,76 voor SD).

Belangrijkste Resultaten

1. Prestaties van Modellen

• Argument Mining: Alle LLMs presteerden vergelijkbaar goed, met macro-F1 scores rond de 0,82. De LLMs overtroffen de SVM-baseline (0,76). Er was geen duidelijke winnaar tussen de prompting-strategieën, maar Gemini-2.5-Flash met CoT+Few-Shot werd geselecteerd voor consistentie.
• Standpuntdetectie: Dit bleek een moeilijker taak. Gemini-2.5-Flash met CoT+Few-Shot behaalde de beste prestaties (Macro-F1: 0,783, Accuracy: 0,836), significant beter dan de andere modellen en de SVM. GPT-o3 presteerde goed met CoT alleen, maar slechter met Few-Shot.
• Conclusie: De auteurs kozen voor Gemini-2.5-Flash met CoT+Few-Shot om de volledige dataset te annoteren.

2. Dataset Statistieken en Analyse

• Aanvullende Labels: Met de beste configuratie werden 24.352 posts geannoteerd op argumentatie en 107.873 commentaren op standpunt.
• Predictors van Argumentatie: Logistische regressie toonde aan dat inhoudsgerelateerde kenmerken de sterkste voorspellers zijn voor het labelen van een post als argumenterend.
  • Toxiciteit: Positief gecorreleerd (toxiciteit maakt argumentatie waarschijnlijker).
  • Sentiment: Negatief gecorreleerd (neutrale posts zijn minder vaak argumenterend).
  • Lengte: Langer posts zijn vaker argumenterend.
  • Engagement: Had een klein, maar significant effect.
• Evolutie van Standpunten:
  • Per Onderwerp: De verdeling van FOR/AGAINST/NEUTRAL was consistent over verschillende politieke onderwerpen (MAGA, Trump, Biden, Democraten).
  • Per Diepte: Naarmate de conversatie dieper gaat (hogere reply-depth), neemt het percentage NEUTRALE reacties toe, terwijl expliciete steun (FOR) of verzet (AGAINST) afneemt. Dit suggereert een verschuiving naar conversatie-onderhoud in plaats van standpuntbepaling.
  • Gebruikersgedrag: Gebruikers die beginnen met verzet (AGAINST) houden dit standpunt vaak vast, terwijl gebruikers die beginnen met steun (FOR) vaker overgaan naar neutraal in latere beurten.

Bijdragen

1. TRUTHSTANCE Dataset: De release van een groot, openbaar dataset met 24.352 conversatiestrands en 523.360 commentaren van Truth Social (2023-2025), inclusief volledige reply-structuur en metadata.
2. Gemankeerde Ground Truth: Een handmatig geannoteerde benchmark van 1.500 instances voor argument mining en standpuntdetectie, inclusief inter-annotator overeenstemming.
3. LLM-geannoteerde Data: Een uitgebreide set van LLM-gegenereerde labels voor de volledige dataset, wat analyse mogelijk maakt op schaal.
4. Empirische Inzichten: Eerste systematische analyse van argumentatie en standpuntdynamiek op een alt-tech platform, met inzicht in de rol van toxiciteit, sentiment en conversatiestructuur.

Significantie en Toekomstige Toepassingen

• Vul een Kennislacune: Het biedt het eerste inzicht in de dialoogstructuren op Truth Social, een platform dat vaak wordt genegeerd in NLP-onderzoek ondanks zijn politieke impact.
• Benchmarking: Het stelt onderzoekers in staat om modellen te testen op een niche, ideologisch homogene domein, wat cruciaal is voor het begrijpen van domain-shift.
• Onderzoeksmogelijkheden: De dataset ondersteunt onderzoek naar polarisatie, moderasie, de evolutie van meningen in diepe threads, en de correlatie tussen affectieve signalen (toxiciteit) en argumentatie.
• Ethiek: De auteurs benadrukken het belang van verantwoord gebruik, privacybewustzijn en het vermijden van individuele profilering, gezien de gevoelige aard van politieke data.

Het paper concludeert dat content-gerelateerde signalen (vooral toxiciteit en sentiment) sterk correleren met argumentatie, en dat standpunten in conversaties dynamische patronen van overeenstemming en onenigheid vertonen die diep in de reply-tradities zichtbaar zijn.