Leveraging Argument Structure to Predict Content Hatefulness
Dit artikel toont aan dat het benutten van annotaties van argumentstructuren (premissen en conclusies) uit het WSF-ARG+-dataset de algehele haatdragendheid van berichten op forums voor blanken suprematisme effectief kan voorspellen, met een F1-score tot 96%, en zo een veelbelovende aanpak biedt voor het bestrijden van informatieontordening.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je het internet voor als een gigantische, lawaaierige markt waar mensen ideeën uitroepen. Soms zijn deze ideeën gewoon fout (desinformatie), en soms zijn ze ontworpen om specifieke groepen mensen te kwetsen of te beledigen (haatzaaiende taal). Vaak vermengen deze twee problemen zich. Een slechte actor kan een haatvol bericht verpakken in een "logisch" jasje om het als een serieus argument te laten lijken, in de hoop dat je het gelooft.
Dit artikel is als een detective die probeert uit te zoeken hoe je dat "haatvolle pakket" kunt opsporen door te kijken naar de opbouw van het argument, in plaats van alleen de woorden te lezen.
De bouwstenen: Premises en conclusies
Stel je een argument voor als een huis.
- De premises zijn de bakstenen en het metselwerk. Dit zijn de feiten of beweringen die de persoon als fundament gebruikt.
- De conclusie is het dak. Dit is het hoofdpunt dat ze proberen te bewijzen.
Meestal, wanneer we proberen haatzaaiende taal op te sporen, kijken we gewoon naar het hele huis en vragen we: "Ziet dit er eng uit?" Maar dit artikel stelt een andere vraag: "Kunnen we zeggen of het huis gevaarlijk is door alleen te kijken naar hoe de bakstenen zijn gestapeld en wat het dak zegt?"
Het experiment: Een forum voor blank supremacisme
De onderzoekers keken naar een specifieke verzameling berichten van een forum voor blank supremacisme (een plek die bekend staat om haatvol materiaal). Ze hadden 227 haatvolle berichten en 136 niet-haatvolle berichten.
Ze hebben niet alleen de tekst gelezen; ze hebben elk bericht opgebroken in zijn "bakstenen" (premises) en "dak" (conclusie). Ze hebben elk onderdeel ook gemerkt met twee speciale labels:
- Haatvolheid: Is deze specifieke zin gemeen of beledigend?
- Controleerbaarheid: Is dit een bewering die op waarheid kan worden gecontroleerd (zoals "De lucht is blauw") of is het gewoon een mening (zoals "Ik vind de lucht mooi")?
Het detectivewerk: Hoe ze het testten
De onderzoekers bouwden een computermodel (een "slimme sorteerder") om te voorspellen of een bericht haatvol was. Ze probeerden het model te voeden met verschillende soorten aanwijzingen:
Alleen de blauwdruk (Structuur): Ze vertelden het model: "Hier is de volgorde van de bakstenen en het dak, maar geen details over wat ze zeggen."
- Resultaat: Het werkte redelijk. Alleen het kennen van de vorm van het argument hielp het model om ongeveer 70% van de keren correct te raden. Het is als weten dat een huis met een scheve fundering waarschijnlijker een slecht huis is, zelfs zonder de muren te zien.
De blauwdruk + labels voor controleerbaarheid: Ze voegden de "controleerbaarheids"-labels toe (het model vertellen welke delen feiten waren versus meningen).
- Resultaat: Verrassend genoeg werd het model hierdoor slechter. Het is als een detective een kaart geven met te veel verwarrende ruis; de eenvoudige structuur was voor deze specifieke, kleine groep berichten eigenlijk betrouwbaarder.
De blauwdruk + haatlabels: Ze vertelden het model precies welke bakstenen en welk dak haatvol waren.
- Resultaat: Dit was het "rookende pistool". Toen het model wist welke specifieke delen haatvol waren, werd het ongelooflijk nauwkeurig en gaf het ongeveer 96% van de keren het juiste antwoord.
De grote les
Het artikel vond twee belangrijke dingen:
- De structuur maakt uit: De manier waarop een argument is georganiseerd (de volgorde van premises die leiden tot een conclusie) bevat veel aanwijzingen over of het hele bericht haatvol is. Je hoeft niet altijd elk woord te lezen om een sterke hint te krijgen.
- De "bakstenen" vertellen het verhaal: De haatvolle aard van de "bakstenen" (de premises) is vaak genoeg om je te vertellen dat het hele "huis" gevaarlijk is. Je hoeft niet altijd te wachten tot je het "dak" (de conclusie) ziet om te weten dat er iets mis is.
Een waarschuwing voor de toekomst
De onderzoekers merkten ook een addertje onder het gras op. Hoewel het kennen van de "haatlabels" van de onderdelen het model supernauwkeurig maakte, hebben we die labels in de echte wereld niet kant-en-klaar. We moeten ze zelf vinden.
Ze ontdekten ook dat het toevoegen van "controleerbaarheid" (labels voor feitencontrole) hun kleine, eenvoudige model niet hielp. Het is als proberen een enorme, complexe kaart te lezen met een klein vergrootglas; het gereedschap was niet groot genoeg om de extra informatie te verwerken. Ze suggereren dat grotere, krachtigere computers (zoals grote taalmodellen) die feitencontrole-labels misschien effectief kunnen gebruiken, maar voor nu is de eenvoudige structuur de meest betrouwbare aanwijzing die ze hebben gevonden.
Kortom: Door haatzaaiende taal te behandelen als een gebouw en te analyseren hoe de onderdelen zijn samengesteld, kunnen we het gevaar gemakkelijker opsporen. De vorm van het argument zelf is een krachtig signaal.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.