Toxicity in Twitch Chats: An LLM-Based Analysis Across Gaming Communities
Dit artikel analyseert 20 miljoen Twitch-chatberichten met behulp van een vooraf getraind groot taalmodel om aan te tonen dat 2,4% van de berichten giftig is, met aanzienlijke variaties tussen gamegenres en individuele titels, wat de noodzaak onderstreept van gerichte moderatiestrategieën gebaseerd op specifieke gemeenschapsnormen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je Twitch voor als een groot, drukbezocht digitaal plein waar miljoenen mensen zich verzamelen om anderen videospellen te zien spelen. Hoewel dit plein vol zit met opwinding en gemeenschapsgevoel, heeft het ook een donkere kant: mensen die beledigingen roepen, gemeen grappen maken of haatzaaien. Dit artikel is als een enorme volkstelling die door onderzoekers is gehouden om precies uit te vinden hoeveel "slecht gedrag" er op dit plein plaatsvindt en hoe dat eruitziet.
Hier is een overzicht van hun bevindingen, met behulp van eenvoudige analogieën:
Het Detectivewerk: Hoe Ze Het Slechte Gedrag Telden
De onderzoekers hebben niet zomaar 20 miljoen chatberichten één voor één gelezen (dat zou een leven kosten!). In plaats daarvan bouwden ze een digitale detective met behulp van een krachtige AI (een Groot Taalmodel).
- Het Regelboek: Ze gaven deze AI Twitch's eigen officiële "Regelboek" mee voor wat als slecht gedrag telt. Dit regelboek heeft vier hoofdcategorieën: Hinderlijk gedrag (pesten, bedreigingen), Discriminatie (haat op basis van ras, geslacht, enz.), Seksuele inhoud en Vloeken.
- De Context: Net als een mens de hele conversatie moet horen om te weten of iemand een grapje maakt of gemeen is, kreeg de AI een "10-seconden geheugen". Het kon de berichten lezen die direct voor een specifiek chatbericht kwamen om de context te begrijpen.
- De Test: Voordat ze de AI vertrouwden, lieten ze menselijke experts haar werk controleren. De AI kwam even vaak overeen met de mensen als twee verschillende mensen met elkaar overeen zouden komen. Dit bewees dat de AI een betrouwbare detective was.
De Grote Bevindingen: Wat Hebben Ze Ontdekt?
1. De Algemene Sfeer
Van elke 100 berichten die in de chat werden getypt, waren ongeveer 2 tot 3 giftig. Dat klinkt misschien klein, maar in een stad van 20 miljoen berichten zijn dat bijna een half miljoen gemeen of schadelijke berichten.
- De Meest Voorkomende Overtreding: Het overgrote deel van dit slechte gedrag was Hinderlijk gedrag (zoals pesten of scheldnamen).
- De Zijkant: Hinderlijk gedrag ging bijna altijd gepaard met een portie Vloeken. Denk aan een pestkop die scheldwoorden gebruikt om zijn beledigingen nog pijnlijker te maken.
- De Zeldzamere Overtredingen: Discriminatie en seksuele inhoud kwamen minder vaak voor, maar ze waren nog steeds aanwezig en significant.
2. Elk Spel Heeft Zijn Eigen "Persoonlijkheid"
De onderzoekers keken naar verschillende soorten spellen (genres) en specifieke spellen om te zien of de "sfeer" veranderde.
- De "MOBA"-Menigte: Spellen als League of Legends en Dota 2 (waar teams vechten in complexe gevechten) hadden het hoogste percentage giftige chat. Het is als een sportarena met hoge inzet waar de gemoederen snel oplopen.
- De "Sport"-Menigte: Spellen als FIFA hadden het laagste percentage toxiciteit.
- De "Verrassings"-Factor: Zelfs binnen hetzelfde genre waren spellen verschillend. Bijvoorbeeld, Counter-Strike en Valorant (beide competitieve schietspellen) hadden zeer vergelijkbaar chatgedrag, bijna als tweelingen. Maar Red Dead Redemption 2 had een veel hoger percentage toxiciteit dan andere spellen in zijn categorie.
- De Conclusie: Toxiciteit gaat niet alleen over het type spel; het gaat over de specifieke gemeenschap en de regels van dat specifieke spel. Je kunt niet elke gaminggemeenschap op dezelfde manier behandelen.
3. Het "Eén-Maat-Past-Alles"-Probleem
Het artikel suggereert dat het proberen slecht gedrag op te lossen met één enkele regel voor iedereen niet goed zal werken.
- Omdat spelers van League of Legends op een andere manier gemeen kunnen zijn dan spelers van Minecraft, moeten moderatietools zijn toegesneden op het specifieke spel.
- De onderzoekers ontdekten dat, hoewel de AI goed is, Twitch's eigen "Regelboek" soms vaag is. Het is moeilijk het verschil te zien tussen een "pester" en iemand die gewoon "veel vloekt", en zelfs mensen hebben moeite om het verschil te bepalen.
De Conclusie
De studie concludeert dat hoewel het merendeel van de chat prima is, de giftige 2-3% een echt probleem is dat de gemeenschap vormgeeft. Het "slechte gedrag" bestaat voornamelijk uit pesten en vloeken, maar het verandert afhankelijk van welk spel je bekijkt. Om deze online ruimten veiliger te maken, moeten we begrijpen dat elke spelgemeenschap uniek is, en dat de regels om de vrede te bewaren net zo uniek moeten zijn.
Opmerking: Het artikel richt zich strikt op het analyseren van de data om de patronen van toxiciteit te begrijpen. Het stelt geen specifieke klinische behandelingen, nieuwe softwareproducten of toekomstige toepassingen voor, behalve de suggestie dat moderatiestrategieën op basis van deze bevindingen gerichter moeten worden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.