Contextualized Prompting For Stance Detection On Social Media

Technische Samenvatting: Contextuele Prompting voor Standpuntdetectie op Sociale Media

Probleemstelling
Standpuntdetectie op sociale media, met name op Twitter, is inherent uitdagend vanwege de korte, ruisgevoelige en sterk contextafhankelijke aard van door gebruikers gegenereerde inhoud. Hoewel Large Language Models (LLMs) sterke zero-shot en few-shot generalisatiecapaciteiten hebben getoond, classificeren standaard prompting-opstellingen tweets meestal in isolatie. Deze aanpak faalt vaak bij het oplossen van ambigue expressies waarbij een enkele post onvoldoende informatie bevat om het standpunt van de auteur ten opzichte van een specifiek doelwit (bijv. een persoon, organisatie of onderwerp) te bepalen. Hoewel eerder onderzoek naar supervised learning suggereert dat het integreren van metadata (zoals gebruikersbiografieën en historische tweets) de prestaties verbetert, blijft het onduidelijk of deze voordelen vertalen naar zero-shot en few-shot prompting scenario's, waarbij LLMs zeer gevoelig zijn voor prompt-ontwerp en moeite kunnen hebben met het onderscheiden van relevante versus irrelevante context.

Methodologie
De auteurs onderzoeken systematisch de impact van het integreren van diverse contextuele kenmerken in zero-shot en few-shot prompting voor standpuntdetectie. De studie maakt gebruik van een diverse set van vier reasoning-gebaseerde, instruction-tuned LLMs (GPT-OSS-20B, Qwen2.5-32B, Gemma3-27B en Ministral3-14B) over vier benchmark-datasets: semeval2016t6, covid19-glandt, wtwt (fusies en overnames), en een nieuw geïntroduceerde hoogwaardige Duitse dataset, covid19-de.

De studie evalueert drie categorieën contextuele kenmerken:

1. Real-world Metadata: Opgesteld via de Twitter API, incluserend gebruikers Usernames, User Biographies en Other Tweets (de tien meest vergelijkbare tweets van dezelfde gebruiker, geselecteerd via Sentence-BERT cosine similarity).
2. Afgeleide Metadata: Auteursclassificaties (bijv. burger, politicus, wetenschapper) en fijnmazige groepen van auteurs afgeleid uit biografieën.
3. Door LLM gegenereerde Context: Synthetische data gegenereerd met GPT-4, specifiek Target Descriptions (een korte beschrijving van het doelwit) en Tweet-Specific Context (een beschrijving van het doelwit in de specifieke context van de tweet).

De experimentele opzet vergelijkt standaard zero-shot en few-shot baselines tegenover prompts die zijn uitgebreid met deze kenmerken. De auteurs evalueren ook Chain-of-Thought (CoT) prompting en een "LLM-as-a-Judge" benadering waarbij het model zijn initiële voorspelling opnieuw evalueert. Prestaties worden gemeten met behulp van macro-gemiddelde F1-scores, gemiddeld over drie random seeds.

Belangrijkste Bijdragen

1. Systematische Evaluatie van Context: Het artikel biedt een uitgebreide analyse van hoe verschillende soorten context (reële, afgeleide en gegenereerde) de prestaties van LLMs bij standpuntdetectie beïnvloeden, waarbij verder wordt gekeken dan de statische kennisbases die in eerder werk werden gebruikt.
2. Nieuwe Dataset: De auteurs publiceren covid19-de, een nieuwe hoogwaardige Duitse Twitter standpuntdetectie-dataset (n=3.750) gericht op overheidsmaatregelen tijdens de COVID-19 pandemie, geannoteerd met een substantiële overeenstemming (Krippendorff $\alpha > 0,67$).
3. Empirische Bevindingen over de Nuttigheid van Context: De studie daagt de aanname uit dat meer context altijd beter is. Het toont aan dat hoewel door LLM gegenereerde doelwitbeschrijvingen de prestaties consistent verbeteren, andere contextuele kenmerken (zoals gebruikersbiografieën of andere tweets) gemengde of zelfs nadelige resultaten opleveren.
4. Kwalitatieve Analyse van Foutmodi: De auteurs identificeren dat LLMs moeite hebben met het onderscheiden van informatieve en irrelevante context. Specifiek leidt het toevoegen van "Other Tweets" of "Tweet-Specific Context" vaak tot onjuiste voorspellingen, met name door het model te bevoordelen richting niet-neutrale standpunten (voor/tegen), zelfs wanneer het juiste label neutraal is.

Resultaten

• Target Descriptions: Door de LLM gegenereerde doelwitbeschrijvingen waren het meest robuuste kenmerk en verbeterden ze consistent de nauwkeurigheid over bijna alle datasets en modellen (bijv. +5,10pp op semeval2016t6 zero-shot). Dit suggereert dat expliciete doelwitinformatie helpt bij het oplossen van impliciete verwijzingen in korte teksten.
• Other Tweets: In tegenstelling tot bevindingen in supervised learning, verslechterde het verstrekken van andere tweets van dezelfde gebruiker over het algemeen de prestaties of leverde het geen significant voordeel op. De toegenomen inputlengte leek het model af te leiden, en de toegevoegde context induceerde vaak een bias naar geopinioneerde standpunten, wat de prestaties op neutrale instanties degradeerde.
• Tweet-Specific Context: Verrassend genoeg had door de LLM gegenereerde tweet-specifieke context in elke setting een negatief effect, waarschijnlijk doordat het model standpunt-dragende woorden uit de gegenereerde context incorporeert die conflicteren met de werkelijke tweet-inhoud.
• Baselines: CoT-prompting presteerde over het algemeen minder goed dan standaard zero-shot baselines op taken met korte teksten zonder extra context. De "LLM-as-a-Judge" benadering was competitief en toonde met name kracht op de ongebalanceerde covid19-de dataset door voorspellingen te corrigeren richting de meerderheidsneutrale klasse.
• Author Metadata: Semi-automatische auteursclassificaties (bijv. politicus vs. burger) presteerden niet significant beter dan de no-context baseline, wat suggereert dat dergelijke metadata niet vertaalt naar winst voor zero-shot/few-shot LLMs.

Significantie en Claims
Het artikel claimt dat hoewel het integreren van contextuele informatie veelbelovend is voor het verbeteren van standpuntdetectie in ruisgevoelige real-world settings, de voordelen zeer voorwaardelijk zijn. De primaire significantie ligt in het belichten van de beperkingen van huidige prompting-strategieën: LLMs missen de robuustheid om effectief irrelevante of conflicterende context te filteren. De auteurs stellen dat het simpelweg toevoegen van meer data aan de prompt onvoldoende is; toekomstig onderzoek moet zich richten op het ontwikkelen van methoden om nuttige van ruisgevoelige context te differentiëren, met name voor subjectieve taken waarbij relevantie niet objectief gedefinieerd is. Het werk breidt de lijn van onderzoek naar contextuele subjectiviteit uit naar standpuntdetectie, en demonstreert dat de heuristiek "meer context is beter" niet universeel van toepassing is op LLM prompting.