Toxicity in Twitch Chats: An LLM-Based Analysis Across Gaming Communities
本論文は、事前学習済み大規模言語モデルを用いて2000万件のTwitchチャットメッセージを分析し、メッセージの2.4%が有毒であることを明らかにするとともに、ゲームジャンルや個別タイトル間で顕著なばらつきがあることを示し、特定のコミュニティ規範に基づく標的型モデレーション戦略の必要性を浮き彫りにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
Twitch を、何百万人もの人々が集まって他の人のビデオゲームプレイを見る、巨大で賑やかなデジタルの広場だと想像してみてください。この広場は興奮とコミュニティに満ちていますが、裏側もあります：人々が罵声を浴びせたり、意地悪な冗談を言ったり、憎悪をぶつけたりすることです。この論文は、この広場で「悪い行動」がどの程度、そしてどのような形で起きているかを明らかにするために、研究者が行った大規模な国勢調査のようなものです。
以下に、シンプルな比喩を用いた彼らの発見の概要を示します。
探偵仕事：彼らはどのように悪い行動を数えたか
研究者たちは、2000 万ものチャットメッセージを一つずつ読みませんでした（それには一生かかってしまいます！）。代わりに、強力な AI（大規模言語モデル）を用いて「デジタル探偵」を構築しました。
- 規則集： 彼らはこの AI に、Twitch 独自の「悪い行動」の定義となる公式の「規則集」を与えました。この規則集には 4 つの主要なカテゴリがあります：ハラスメント（いじめ、脅迫）、差別（人種、性別などに基づく憎悪）、性的コンテンツ、そして汚い言葉（悪口）。
- 文脈： 人間が冗談なのか悪意なのかを知るために会話全体を聞く必要があるのと同様に、AI には「10 秒間の記憶」が与えられました。特定のチャットメッセージの直前に送られたメッセージを読み、文脈を理解できるようにしたのです。
- テスト： AI を信頼する前に、人間の専門家にその作業をチェックさせました。AI は、2 人の異なる人間が互いに同意するのと同じ頻度で、人間と一致しました。これにより、AI が信頼できる探偵であることが証明されました。
大きな発見：彼らは何を発見したか
1. 全体的な雰囲気
チャットに入力された 100 件のメッセージのうち、約2〜3 件が有毒でした。これは小さく聞こえるかもしれませんが、2000 万件のメッセージの都市では、約 50 万件の意地悪で有害なメッセージに相当します。
- 最も一般的な違反： この悪い行動の大部分はハラスメント（いじめや悪口）でした。
- 相棒： ハラスメントにはほぼ常に汚い言葉（悪口）が伴います。まるで、悪口をより痛烈にするために悪口を使ういじめっ子のようです。
- 稀な違反： 差別や性的コンテンツは頻度は低かったものの、依然として存在し、重大な問題でした。
2. 各ゲームには独自の「性格」がある
研究者たちは、異なるゲームジャンルや特定のゲームを見て、「雰囲気」が変化するかどうかを確認しました。
- 「MOBA」の群れ： 『League of Legends』や『Dota 2』（チームが複雑な戦いを繰り広げるゲーム）は、有毒なチャットの割合が最も高いでした。まるで、短気な人がすぐに怒りを爆発させるような、高リスクのスポーツアリーナのようです。
- 「スポーツ」の群れ： 『FIFA』などのゲームは、有毒性の割合が最も低いでした。
- 「驚き」の要素： 同じジャンル内でも、ゲームによって違いがありました。例えば、『Counter-Strike』と『Valorant』（どちらも競技性の高いシューティングゲーム）は、チャットの行動パターンが非常に似ており、双子のようでした。しかし、『Red Dead Redemption 2』は、同じカテゴリの他のゲームに比べて有毒性の割合がはるかに高かったです。
- 教訓： 有毒性は単にゲームの「種類」の問題ではなく、特定のコミュニティと、その特定のゲームのルールによるものです。すべてのゲームコミュニティを同じように扱うことはできません。
3. 「万能薬」の問題
この論文は、すべての人に共通する単一の規則で悪い行動を修正しようとしても、うまくいかないことを示唆しています。
- 『League of Legends』のプレイヤーと『Minecraft』のプレイヤーが、異なる方法で意地悪をする可能性があるため、モデレーションツールは特定のゲームに合わせてカスタマイズされる必要があります。
- 研究者たちは、AI が優れているにもかかわらず、Twitch の独自の「規則集」が時として曖昧であることを発見しました。「いじめっ子」と「単に悪口が多い人」の違いを区別するのは難しく、人間でさえその違いについて合意するのが困難です。
結論
この研究は、チャットの大部分は問題ないものの、その有毒な 2〜3% がコミュニティを形作る現実的な問題であると結論付けています。「悪い行動」の大部分はいじめと悪口ですが、どのゲームを見ているかによって変化します。これらのオンライン空間をより安全にするためには、すべてのゲームコミュニティが独自のものであることを理解し、平和を維持するための規則もまた、それと同じくらい独自のものである必要があると認識する必要があります。
注記： この論文は、有毒性のパターンを理解するためにデータを分析することに厳密に焦点を当てています。特定の臨床治療、新しいソフトウェア製品、またはこれらの発見に基づいてモデレーション戦略をよりターゲット化するよう提案すること以外、将来の応用を提案するものではありません。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。