🤖 AI

Paying Attention to Deflections: Mining Pragmatic Nuances for Whataboutism Detection in Online Discourse

Oorspronkelijke auteurs: Khiem Phi, Noushin Salek Faramarzi, Chenlu Wang, Ritwik Banerjee

Gepubliceerd 2026-06-24

📖 6 min leestijd🧠 Diepgaand

Oorspronkelijke auteurs: Khiem Phi, Noushin Salek Faramarzi, Chenlu Wang, Ritwik Banerjee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Kernprobleem: De "Wat als?"-valstrik

Stel je voor dat je in een verhitte discussie bent met een vriend. Je zegt: "Je kwam te laat voor de vergadering." In plaats van "Sorry" te zeggen, antwoordt je vriend: "Nou, wat dacht je dan van de keer dat jij vorig jaar te laat was?"

Dit is Whataboutism (wat-over-het-feit-is-isme). Het is een retorische truc waarbij iemand kritiek afbuigt door naar een ander, vaak ongerelateerd probleem te wijzen om de oorspronkelijke kritiek minder belangrijk te laten lijken of om het publiek te verwarren. Het is alsof een goochelaar een rode sjaal in zijn linkerhand zwaait, zodat je niet merkt dat hij met zijn rechterhand je horloge steelt.

Lange tijd waren computers (AI) die deze truc op sociale media probeerden te detecteren erg naïef. Ze zochten alleen naar de specifieke frase "Wat over?" (of "Wat dacht je van?"). Als ze die twee woorden zagen, markeerden ze het als een trucje.

De Grote Ontdekking van het Artikel:
De auteurs realiseerden zich dat dit lijkt op een beveiliger die alleen mensen tegenhoudt die een rode hoed dragen. Maar wat als de bedrieger een blauwe hoed draagt? Of wat als iemand vraagt: "Wat dacht je van het weer?", puur om een oprechte vraag te stellen en niet om iemand te misleiden?

Het artikel stelt dat "Wat dacht je van?" een kameleon is. Soms is het een wapen van propaganda (een afbuiging), en soms is het een geldig onderdeel van een goed argument (een uitdaging of een suggestie). De computer moet de context en de intentie begrijpen, niet alleen de woorden.

De Nieuwe Datasets: Een Nieuwe Blik op het Gesprek

Om computers deze nuance te leren, hebben de onderzoekers twee nieuwe "trainingsgyms" (datasets) gebouwd met echte reacties van YouTube en Twitter.

De YouTube Gym: Ze keken naar reacties onder video's over nieuws over verdeelde onderwerpen (zoals de oorlog in Oekraïne of de Amerikaanse politiek). Ze ontdekten dat YouTube-reacties vaak chaotisch en losgekoppeld zijn, zoals mensen die in een druk stadion schreeuwen.
De Twitter Gym: Ze keken naar reactiedraden (threads). Deze zijn meer als een gestructureerd debat, waarbij één persoon spreekt en anderen direct reageren.

Ze huurden menselijke experts in om deze gesprekken te lezen en te labelen: "Is dit een afbuigingstreek?" of "Is dit een geldig punt?" Ze ontdekten dat eerdere datasets te klein waren en ervan uitgingen dat elke "Wat dacht je van?" een truc was. Hun nieuwe data laat zien dat veel van deze vragen eigenlijk legitieme argumenten zijn.

Het Falen van Oude Methoden: De "Cosine Similarity" Blinde Vlek

De onderzoekers probeerden de standaard, hoogtechnologische AI-tools te gebruiken die normaal gesproken geweldig werken voor andere taken (zoals het detecteren van nepnieuws of het begrijpen van de betekenis van zinnen). Ze gebruikten methoden gebaseerd op Cosine Similarity.

De Analogie:
Stel je voor dat je probeert een "nep" schilderij te vinden in een galerie. De oude methode meet hoeveel het neppe schilderij lijkt op het echte een. Als het neppe schilderij erg anders is dan het echte, denkt de computer: "Oké, dit moet wel de neppe zijn!"

Maar Whataboutism is verraderlijk. Een afbuiging ziet er aan de oppervlakte vaak heel erg hetzelfde uit als een geldig argument. Ze gebruiken dezelfde woorden en grammatica. De oude AI-tools raakten in de war omdat ze keken naar semantische gelijkenis (betekenen deze zinnen hetzelfde?) in plaats van naar pragmatisch verschil (doen deze zinnen iets anders?).

Het artikel vond dat deze standaardtools vreselijk waren in het opsporen van de truc. Ze misten de afbuigingen voortdurend of markeerden onschuldige vragen als trucs.

De Oplossing: MINA (Mining Negatives with Attention)

De auteurs hebben een nieuwe methode uitgevonden genaamd MINA (Mining Negatives with Attention).

De Analogie:
Stel je voor dat je een spion in een menigte probeert te spotten.

Oude Methode: Je kijkt naar één persoon en vraagt: "Lijkt deze persoon op een spion?"
MINA Methode: Je kijkt naar de persoon, en dan kijk je naar iedereen anders in de kamer. Je vraagt: "Van wie gedraagt deze persoon zich het meest verschillend?"

MINA werkt door gebruik te maken van een speciaal "attention mechanisme" (een manier voor de AI om zich te concentreren op specifieke delen van een zin). Het vergelijkt de reactie niet alleen met een generiek "goed" of "slecht" voorbeeld. In plaats daarvan kijkt het naar de reactie en het omliggende gesprek, en vraagt vervolgens: "Welke andere reactie in dit gesprek is het meest pragmatisch tegenovergesteld aan deze?"

Het vindt het "negatieve voorbeeld" (het voorbeeld dat bewijst dat dit geen truc is) door aandacht te besteden aan de subtiele verschuivingen in het gesprek. Het is als een detective die niet alleen naar de verdachte kijkt, maar ook naar wie de verdachte negeert of tegenspreekt om de ware motieven te begrijpen.

De Resultaten: Een Grote Sprong Voorwaarts

Toen ze deze nieuwe "Attention"-methode testten:

Op YouTube verbeterde het de nauwkeurigheid van de detectie met 10% vergeleken met de beste eerdere methoden.
Op Twitter verbeterde de nauwkeurigheid met 4%.

Waarom dit ertoe doet:
Het artikel laat zien dat je, om een afbuiging te vangen, niet alleen naar de woorden kunt kijken. Je moet de dans van het gesprek begrijpen. De nieuwe methode, MINA, slaagde erin om de "danspassen" te leren herkennen die op een afbuiging wijzen, in plaats van alleen de woorden uit het hoofd te leren.

Wat het Papier Niet Zegt

Het beweert niet dat dit alle desinformatie op het internet zal oplossen.
Het beweert niet dat grote taalmodellen (zoals die van chatbots) nutteloos zijn; het stelde juist vast dat ze zonder deze specifieke "attention"-truc moeite hebben met dit specifieke soort nuance.
Het suggereert niet om dit te gebruiken voor medische diagnoses of klinisch gebruik. Het gaat strikt over het analyseren van online tekst.

Samenvatting

Dit artikel gaat over het leren aan computers om te stoppen met "woord-matchen" en te beginnen met "context-lezen". Door een nieuwe techniek te gebruiken die aandacht besteedt aan hoe reacties van elkaar verschillen in een gesprek, hebben de onderzoekers een betere detector gebouwd voor de "Wat dacht je van?"-afbuigingstrant. Hiermee bewijzen ze dat het begrijpen van de intentie achter de woorden belangrijker is dan de woorden zelf.

Technische Samenvatting: Aandacht voor Afbuigingen: Het ontdekken van pragmatische nuances voor de detectie van whataboutism in online discours

Probleemstelling
Het artikel behandelt de onderbelichte uitdaging van het detecteren van "whataboutism" in kwantitatieve Natural Language Processing (NLP). Whataboutism wordt gedefends als een discursieve manoeuvre die wordt gebruikt om kritiek af te buigen of onwelgevallige kwesties te vermijden door een andere, vaak gunstigere zaak aan te dragen of door een tegenbeschuldiging te uiten. Hoewel dit vaak geassocieerd wordt met de tu quoque-drogreden en propaganda, stellen de auteurs dat huidige detectiemethoden te veel leunen op de expliciete lexicale aanwezigheid van de frase "wat betreft" (what about). Deze aanpak faalt in het onderscheiden van:

Propagandistische afbuiging: Het gebruik van de constructie om narratieven te ontsporen en wantrouwen te zaaien.
Geldige argumentatie: Het gebruik van de constructie om stellingen uit te dagen, oplossingen voor te stellen of specificatie toe te voegen binnen een redelijk discours.

De kern van de moeilijkheid ligt in de "pragmatische flexibiliteit" van de constructie. Syntactisch en semantisch vergelijkbare zinnen kunnen, afhankelijk van de discursieve context (de voorafgaande Question Under Discussion, of QUD), fungeren als ofwel schadelijke propaganda of als geldige argumentatie. Bestaande state-of-the-art modellen voor propagandadetectie en semantische gelijkenis slagen er niet in om deze pragmatische nuances te vatten, waardoor ze vaak geldige argumentatie als propaganda classificeren of subtiele afbuigingen missen.

Methodologie
De auteurs stellen een nieuw framework voor dat nieuwe datasets, een thematische analyse en een specifieke architecturale innovatie voor het minen van negatieve samples omvat.

Datasetconstructie (TQ+):
De auteurs introduceren twee nieuwe datasets, TQ+ (Tu Quoque en verder), bestaande uit:
- TQ+YT: 1.642 gelabelde YouTube-reacties verspreid over zes sociaal verdeelde onderwerpen.
- TQ+TW: 1.202 gelabelde Twitter tweet-reply paren over acht onderwerpen.
  In tegen tegenstelling tot eerdere corpora die ervan uitgingen dat alle instanties propagandistisch waren, maken deze datasets onderscheid tussen geldige argumentatie en whataboutism. De annotaties werden uitgevoerd door drie moedertaalsprekers van het Engels met een hoge inter-annotator overeenstemming ( $\kappa = 0,65$ voor YouTube, $\kappa = 0,75$ voor Twitter), waarbij de annotatoren volledige videocontesten of gesprekstraden moesten beoordelen om de pragmatische setting te begrijpen.
Baseline Experimenten:
De studie evalueert eerst standaardbenaderingen:
- Transfer Learning: Het fine-tunen van BERT en RoBERTa (inclusclusief een variant voor ironiedetectie) op de gelabelde data.
- Semantische Gelijkenis: Het gebruik van SBERT, Contrastive Learning met "Correct and Smooth" (C&S), en SimCSE. Deze modellen vertrouwen op cosinusgelijkenis om positieve en negatieve samples te differentiëren.
- Bevindingen: Deze baselines presteren zwak, vooral op YouTube-data. Ze vertonen een sterke bias naar de meerderheidsklasse (niet-whataboutism) en slagen er niet in om pragmatische verschillen te onderscheiden, waarbij ze vaak vertrouwen op oppervlakkige semantische gelijkenis, wat onvoldoende is voor deze taak.
Voorgestelde Methode: MINA (Mining Negatives with Attention):
Om de beperkingen van cosinusgelijkenis in hoogdimensionale ruimtes (waar vectoren bijna orthogonaal zijn) en het onvermogen om pragmatische verschuivingen te vatten te overwinnen, stellen de auteurs MINA voor.
- Mechanisme: In plaats van cosinusgelijkenis te gebruiken om negatieve samples te selecteren, gebruikt MINA cross-attention gewichten van een Transformer-encoder.
- Proces: Voor een doelcomment $t$ construeert het model een context-tuple die $t$ en $c$ reacties uit dezelfde thread/video bevat. Het model gebruikt cross-attention om de reactie binnen de context te identificeren die pragmatisch het meest dissimilar is (i.e., het meest effectieve negatieve sample voor contrast).
- Architectuur: De tekst van de doelcomment en de geselecteerde "meest dissimilaire" contextcomment worden geconcateneerd en gevoed aan een Multi-Layer Perceptron (MLP) voor classificatie. Dit stelt het model in staat om pragmatische gronding te leren binnen het omringende sociale discours, in plaats van enkel te vertrouwen op globale distributionele semantiek.

Belangrijkste Resultaten
De auteurs rapporteren significante verbeteringen ten opzichte van voorheen state-of-the-art methoden met behulp van de MINA-aanpak:

YouTube (TQ+YT): MINA bereikte een verbetering van 10% in F1-score ten opzichte van het op één na beste resultaat. Specifiek: het toepassen van MINA op SBERT verhoogde de F1-score van 0,07 naar 0,58, en het toepassen van MINA op het RoBERTa Irony-model verhoogde de F1 van 0,30 naar 0,52.
Twitter (TQ+TW): MINA bereikte een verbetering van 4% ten opzichte van de beste baseline. SBERT met MINA bereikte een F1 van 0,75, waarmee het de vanilla SBERT (0,69) en RoBERTa (0,71) versloeg.
Ablatie-studies: De optimale configuratie werd gevonden te zijn bij 2 encoder-lagen, 32 attention heads en een contextgrootte van 1. De studie vond ook dat het verhogen van het aantal encoder-lagen of attention heads boven deze waarden geen voordeel opleverde.
LLM Prestaties: De auteurs testten Large Language Models (Llama-2, GPT-3.5-turbo) en stelden vast dat zij slecht presteerden (F1-scores lager dan de BERT-baselines), waarbij ze moeite hadden met genuanceerde, geherformuleerde instanties van whataboutism ondanks hun algemene capaciteiten.

Betekenis en Claims
Het artikel claimt dat de detectie van whataboutism een verschuiving vereist van louter semantische of syntactische analyse naar pragmatische analyse.

Onderscheid van Propaganda: Het werk toont aan dat whataboutism niet synoniem is met propaganda; het overlapt, maar dient verschillende functies, waaronder geldige argumentatietools zoals het uitdagen of centreren van de aandacht.
Beperkingen van Gelijkenheidsmaten: De studie levert empirisch bewijs dat conventionele maten van semantische gelijkenis (zoals cosinusgelijkenis) inadequaat zijn om de pragmatische verschillen te vatten die nodig zijn voor de detectie van afbuiging in sociale mediadiscours.
Nieuwigheid van MINA: De introductie van het gebruik van attention weights voor het minen van negatieve samples wordt gepresenteerd als een nieuwe bijdrage die succesvol het pragmatische contrast modelleert. Deze aanpak suggereert dat het funderen van tekst in de omringende sociale context (via aandacht voor de meest dissimilaire context) effectiever is dan standaard contrastief leren voor taken die complexe discursieve manoeuvres betreffen.
Resource Bijdrage: De release van de TQ+-datasets, die groter en genuanceerder zijn dan eerdere propaganda-corpora, is bedoeld om verder onderzoek naar de rol van pragmatiek in misinformatie- en drogreden-detectie te stimuleren.

De auteurs blijven bescheiden over de beperkingen en merken op dat de datasets ongebalanceerd zijn (wat de werkelijkheid weerspiegelt), dat emotieve onderwerpen de labeling kunnen beïnvloeden, en dat de afhankelijkheid van gerandomiseerde tuple-batches in MINA voor lichte variantie in de opnieuw getrainde modellen kan zorgen. Zij concluderen dat hoewel huidige modellen worstelen, het voorgestelde MINA-framework een levensvatbaar pad biedt naar het begrijpen van complex discours rondom misinformatie.