PSK@EEUCA 2026: Fine-Tuning Large Language Models with Synthetic Data Augmentation for Multi-Class Toxicity Detection in Gaming Chat
PSK@EEUCA 2026 チームは、Llama 3.1 8B と LoRA 微調整を組み合わせ、5% の合成データ拡張を適用して F1 マクロスコア 0.6234 を達成し、World of Tanks 毒性検出チャレンジで 4 位を獲得するとともに、検証性能が高くてもテストセットに一般化しないという重要な「検証の罠」を特定しました。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
巨大で混沌としたオンラインゲームのロビー（具体的には『World of Tanks』）を想像してください。そこでは毎秒、何千人ものプレイヤーがチャットしています。大半の時間は人々が普通に会話していますが、時には怒りを露わにしたり、互いに罵り合ったり、憎悪的な発言をしたりすることもあります。
この研究の目的は、これらのチャットメッセージを読み取り、6 つのカテゴリーに分類する「デジタル審判（AI）」を構築することでした。
- 通常のチャット（圧倒的多数）
- 侮辱（プレイヤーとしての能力を否定する発言）
- その他の失礼な発言（直接的な攻撃ではないが礼儀に欠けるもの）
- ヘイト・ハラスメント（個人のアイデンティティへの攻撃）
- 脅迫（暴力を予告する発言）
- 過激主義（憎悪イデオロギー）
PSK@EEUCA チームは、最も優れた審判を構築できるかを競うコンペティションに参加しました。彼らは 35 チーム中4 位に入賞しました。彼らがどのようにしてこれを成し遂げたのか、簡単に説明します。
大きな問題：「空っぽの部屋」と「小さな群衆」
主な課題は、チャットデータが極めて偏っていたことです。
- メッセージの**81%**は完全に正常なものでした。
- 「悪い」メッセージ（脅迫や過激主義など）は非常に稀で、全体の1% 未満しか占めていませんでした。
比喩： 広大な野原で、ある特定の希少な花を見つけるように犬を訓練すると想像してください。しかし、その野原の 81% は単なる草で、希少な花は小さな隅に隠れています。もし犬にそのままの野原を見せて訓練すれば、犬は最も安全な賭けである「草だ！」と毎回言うようになるでしょう。練習テストでは（野原の大部分が草であるため）高いスコアを獲得するかもしれませんが、実際に希少な花を見つける必要がある場面では失敗します。
「検証の罠」（偽のスコア）
研究者たちは、「検証の罠」と呼ばれる巧妙な問題を発見しました。
彼らが AI を訓練し、「練習セット（検証データ）」でテストした際、いくつかの最も大きく強力な AI モデルがこの練習セットで非常に高いスコアを獲得しました。その理由は、それらが過度に保守的だったからです。彼らは実質的に、「81% が草だから、ほとんどすべてを『正常』と推測しよう」と言っていたのです。
- 罠： これらのモデルは「81% が正常」というパターンに完全に一致していたため、練習テストでは素晴らしい結果に見えました。
- 現実： 最終テスト（メッセージの構成がわずかに異なる）に直面したとき、これらの「安全志向」のモデルは惨敗しました。彼らは希少な有害なメッセージを指摘することに臆病すぎたのです。
解決策：少量の合成「偽」データ
これを解決するために、チームは単に AI により多くの実際のチャットログを与えたわけではありませんでした。彼らは巧妙なトリック、合成データ拡張を用いました。
これは料理のレシピのようなものです。
- AI は、脅迫やヘイトスピーチといった希少な「有害な」材料の例を飢えていました。
- チームは強力な AI を用いて、実際の有害なメッセージと全く同じように聞こえる新しい偽のチャットメッセージを生成しました。
- これらの偽のメッセージを訓練データに追加し、AI が希少な「悪い」メッセージがどのようなものかを学習できるようにしました。
絶妙なバランス：
彼らはこの「偽」データを異なる量で追加し、スープに塩を加える際の絶妙な量を見つけるような試行錯誤を行いました。
- 少なすぎる（2-3%）： AI は希少なメッセージについて十分に学習できませんでした。
- 多すぎる（10-15%）： AI は混乱し、すべてを有害だと考えるようになったり、実際のパターンではなく偽のパターンを暗記してしまったりしました。
- ちょうど良い（5%）： これが魔法の数字でした。正確に**5%**の偽データを追加することで、AI は「勇敢」になりました。すべてを「正常」と推測するのをやめ、実際に希少な有害なメッセージを特定し始めたのです。
勝利の戦略
彼らの勝利システムは、Llama 3.1 8Bという特定の AI モデルを使用しました。
- モデル： 賢く、事前学習された言語モデル。
- 訓練： 実際のチャットログと、正確な5% の合成（偽）の有害メッセージを混ぜて訓練しました。
- 結果： この組み合わせにより、AI は「検証の罠」から抜け出すことができました。稀で困難なメッセージをフラグ付けすることに前向きになり、最終テストでより良いスコアを達成しました。
彼らが学んだこと
- 大きいことが常に良いわけではない： 巨大な 120 億パラメータのモデルは、より大きな「検証の罠」に陥ったため、実際には 80 億パラメータのモデルよりもパフォーマンスが劣りました。
- アンサンブルは役立たなかった： 多くの異なるモデルを組み合わせ（委員会のように）ようとしましたが、単一の最良のモデルがすでに重労働を担っていたため、機能しませんでした。
- 「検証の罠」は実在する： AI が単に安全策を講じている場合、練習テストでの高いスコアは誤解を招く可能性があります。
最終スコア
合成データの絶妙な 5% のバランスを見つけることで、彼らのシステムは0.6234というスコアを達成し、35 チーム中4 位に入りました。彼らは、時に慎重に作られたわずかな「偽」データが、AI が現実世界をより深く理解する助けになることを証明しました。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。