Toxicity in Twitch Chats: An LLM-Based Analysis Across Gaming Communities
Diese Arbeit analysiert 20 Millionen Twitch-Chat-Nachrichten mit einem vortrainierten Large Language Model, um aufzudecken, dass 2,4 % der Nachrichten toxisch sind, wobei erhebliche Unterschiede zwischen Spielgenres und einzelnen Titeln bestehen, was die Notwendigkeit gezielter Moderationsstrategien auf der Grundlage spezifischer Gemeinschaftsnormen unterstreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich Twitch als einen riesigen, geschäftigen digitalen Marktplatz vor, auf dem sich Millionen von Menschen versammeln, um anderen beim Spielen von Videospielen zuzusehen. Während dieser Marktplatz voller Aufregung und Gemeinschaft ist, hat er auch eine dunkle Seite: Menschen, die Beleidigungen schreien, gemeine Witze reißen oder hasserfüllt sind. Diese Studie ist wie eine massive Volkszählung, die von Forschern durchgeführt wurde, um genau herauszufinden, wie viel „schlechtes Verhalten" auf diesem Marktplatz stattfindet und wie es aussieht.
Hier ist eine Aufschlüsselung ihrer Erkenntnisse, unter Verwendung einfacher Analogien:
Die Detektivarbeit: Wie sie das schlechte Verhalten zählten
Die Forscher lasen nicht einfach 20 Millionen Chat-Nachrichten einzeln durch (das würde ein ganzes Leben dauern!). Stattdessen bauten sie einen digitalen Detektiv mit Hilfe einer leistungsstarken KI (eines Large Language Models).
- Das Regelbuch: Sie gaben dieser KI Twitchs eigenes offizielles „Regelbuch" dafür, was als schlechtes Verhalten gilt. Dieses Regelbuch umfasst vier Hauptkategorien: Belästigung (Mobbing, Drohungen), Diskriminierung (Hass aufgrund von Rasse, Geschlecht usw.), Sexuelle Inhalte und Flüche (Schimpfwörter).
- Der Kontext: Genau wie ein Mensch die gesamte Unterhaltung hören muss, um zu wissen, ob jemand einen Witz macht oder gemein ist, erhielt die KI ein „10-Sekunden-Gedächtnis". Sie konnte die Nachrichten lesen, die direkt vor einer bestimmten Chat-Nachricht kamen, um den Kontext zu verstehen.
- Der Test: Bevor sie der KI vertrauten, ließen sie menschliche Experten ihre Arbeit überprüfen. Die KI stimmte so oft mit den Menschen überein, wie zwei verschiedene Menschen untereinander übereinstimmen würden. Dies bewies, dass die KI ein zuverlässiger Detektiv war.
Die großen Erkenntnisse: Was entdeckten sie?
1. Die allgemeine Atmosphäre
Von jeder 100 Nachrichten, die im Chat getippt wurden, waren etwa 2 bis 3 toxisch. Das mag klein klingen, aber in einer Stadt aus 20 Millionen Nachrichten sind das fast eine halbe Million gemeine oder schädliche Nachrichten.
- Die häufigste Straftat: Der Großteil dieses schlechten Verhaltens war Belästigung (wie Mobbing oder Beschimpfungen).
- Der Begleiter: Belästigung ging fast immer mit einer Portion Fluchen einher. Denken Sie daran wie an einen Bully, der Schimpfwörter benutzt, um seine Beleidigungen schmerzhafter zu machen.
- Die seltenen Straftaten: Diskriminierung und sexuelle Inhalte kamen seltener vor, waren aber dennoch vorhanden und signifikant.
2. Jedes Spiel hat seine eigene „Persönlichkeit"
Die Forscher untersuchten verschiedene Spieltypen (Genres) und spezifische Spiele, um zu sehen, ob sich die „Stimmung" ändert.
- Die „MOBA"-Menge: Spiele wie League of Legends und Dota 2 (bei denen Teams in komplexen Schlachten kämpfen) hatten die höchste Rate an toxischem Chat. Es ist wie eine Arena mit hohem Einsatz, in der die Gemüter leicht erhitzen.
- Die „Sport"-Menge: Spiele wie FIFA hatten die niedrigste Rate an Toxizität.
- Der „Überraschungs"-Faktor: Selbst innerhalb desselben Genres waren die Spiele unterschiedlich. Zum Beispiel hatten Counter-Strike und Valorant (beide kompetitive Shooter) ein sehr ähnliches Chat-Verhalten, fast wie Zwillinge. Aber Red Dead Redemption 2 hatte eine viel höhere Rate an Toxizität als andere Spiele in seiner Kategorie.
- Das Fazit: Toxizität hängt nicht nur vom Typ des Spiels ab; sie hängt von der spezifischen Community und den Regeln dieses spezifischen Spiels ab. Man kann jede Gaming-Community nicht auf die gleiche Weise behandeln.
3. Das Problem des „Einheitslösungs"-Ansatzes
Die Studie legt nahe, dass der Versuch, schlechtes Verhalten mit einer einzigen Regel für alle zu beheben, nicht gut funktionieren wird.
- Da League of Legends-Spieler möglicherweise auf eine andere Art gemein sind als Minecraft-Spieler, müssen Moderationstools auf das jeweilige Spiel zugeschnitten sein.
- Die Forscher stellten fest, dass, obwohl die KI gut ist, Twitchs eigenes „Regelbuch" manchmal verschwommen ist. Es ist schwer, den Unterschied zwischen einem „Bully" und jemandem zu erkennen, der nur „viel flucht", und selbst Menschen haben Schwierigkeiten, sich auf den Unterschied zu einigen.
Das Fazit
Die Studie kommt zu dem Schluss, dass, obwohl die meisten Chats in Ordnung sind, die toxischen 2–3 % ein echtes Problem darstellen, das die Community prägt. Das „schlechte Verhalten" besteht hauptsächlich aus Mobbing und Fluchen, ändert sich jedoch je nachdem, welches Spiel Sie beobachten. Um diese Online-Räume sicherer zu machen, müssen wir verstehen, dass jede Spiel-Community einzigartig ist, und die Regeln zur Wahrung des Friedens ebenso einzigartig sein müssen.
Hinweis: Die Studie konzentriert sich strikt auf die Analyse der Daten, um die Muster der Toxizität zu verstehen. Sie schlägt keine spezifischen klinischen Behandlungen, neue Softwareprodukte oder zukünftige Anwendungen vor, außer darauf hinzuweisen, dass Moderationsstrategien basierend auf diesen Erkenntnissen gezielter sein sollten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.