mdok-style at SemEval-2026 Task 10: Finetuning LLMs for Conspiracy Detection
本論文は、限られた訓練データを解決するためにデータ拡張と自己学習を用いてQwen3-32Bモデルを微調整し、SemEval-2026タスク10の陰謀検出チャレンジで52件中8位という競争力のある結果を達成するmdokスタイルのシステムを提示する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたが Reddit などのソーシャルメディアプラットフォームで、人々が雑談する巨大で騒がしい群衆の中から、特定の種類の噂を見分けようとしていると想像してください。ある人々は単に事実を共有している一方、他の人々は荒唐無稽な陰謀論を広めています。あなたの仕事は、単一のコメントを聞いて「はい、それは陰謀論だ！」または「いいえ、それは単なる普通の会話だ！」と叫ぶことができるロボット探偵を作ることです。
この論文では、mdok-style チームが SemEval-2026 Task 10 というコンペティションのために、どのようにロボット探偵を構築したかを説明します。彼らがどのように行ったかを、シンプルに解説します。
1. 問題：巨大な脳のための小さな図書館
チームは大きな問題に直面していました。彼らには非常に賢いロボット（320 億の「ニューロン」を持つスーパーブレインのような大規模言語モデル Qwen3-32B）がありましたが、トレーニング用の書籍（コメントの例約 4,000 件）はごくわずかしかありませんでした。
通常、スーパーブレインを教育するには膨大な図書館が必要です。これほど少ない例では、ロボットが混乱したり、「考えすぎ」たりする可能性があります。これは、たった 3 つのレシピだけで、巨匠シェフに複雑な料理を教えるようなものです。
2. 解決策：「魔法のコピー機」と「生徒 - 教師ループ」
小さな図書館の問題を解決するために、チームは AI 生成テキストの検出に関する以前の作業から、2 つの巧妙なトリックを流用しました。
トリック A：魔法のコピー機（データ拡張）
既存のコメントを単にコピーするのではなく、彼らは「魔法のコピー機」を使って、同じ話のわずかに異なるバージョンを作成しました。単なるコピー＆ペーストではなく、彼らは以下を行いました：
- 大文字小文字の変更： 一部のコメントをすべて大文字で、一部をすべて小文字で書きました。彼らは、陰謀論が叫ばれていようともささやかれていようとも、陰謀論であることに変わりはないと判断しました。
- 身元の隠蔽： 特定の氏名、メールアドレス、電話番号を
[USER]や[PHONE]などの汎用タグに置き換えました。これにより、ロボットは特定の人物ではなく、陰謀という「アイデア」に集中することを学びました。 - 文字の入れ替え： 一部の文字を、他のアルファベットからの似ている文字に置き換えました（例：'a' をギリシャ文字の 'alpha' に置き換える）。これは変装のようなものです。ロボットにこれらの変装を見抜くように訓練することで、後でロボットが視覚的なトリックにだまされにくくなりました。
彼らはこれらのコピーをすべて使用したのではなく、トレーニングをバランスよく保つために、その一部（10%）のみを使用しました。
トリック B：生徒 - 教師ループ（自己学習）
これが最も創造的な部分です。彼らは「テストデータ」（最終試験の問題）のラベルを持っていませんでしたので、ロボットに自分自身を教育させました。
- 教師： まず、彼らはロボットを小さな既知の図書館で訓練しました。
- 試験： 彼らはロボットに、未知のテストコメントの答えを推測させました。
- フィルター： ロボットは一部の答えについて非常に自信を持っていました（例：「これは陰謀論であると 99% 確信しています」）。チームは、その超自信のある推測のみを取り出し、それらを「ゴールドスタンダード」の新しいトレーニングデータとして扱いました。
- 再授業： 彼らはこれらの新しい「ゴールド」の例をロボットに戻して、再度教えました。これは、生徒が模擬試験を受け、100% 正解した問題だけを保持し、それらをもう一度勉強してさらに賢くなるようなものです。
3. 結果：トップクラスの探偵
チームはロボットをコンペティションに出場させました。
- スコア： ロボットは 0.78 というスコアを達成しました（1.0 が完璧なスケール）。
- ランキング： 52 チーム中、8 位 でした。これは上位 20%（85 パーセンタイル）に入ります。
興味深いことに、彼らははるかに小さく単純なロボット（DeBERTa というモデル）でも、巨大なスーパーブレインとほぼ同じ成果を上げていることを発見しました。これは、彼らの凝った「魔法のコピー機」や「自己学習」というトリックが非常にうまく機能した一方で、時として小さく安価なツールでも、ほぼ同じ効果で作業を遂行できることを示唆しています。
まとめ
チームは、巨大で強力な AI モデルを手にし、ソーシャルメディアのコメントから陰謀論を見分けるように教育しました。十分なデータがなかったため、彼らは変装（テキスト形式の変更）を用いて練習素材をさらに作り出し、AI に自身の自信のある推測を使って自己学習させました。その結果、52 件中 8 位という高い競争力を持つシステムが生まれました。これは、元々 AI 生成テキストの検出のために設計された技術が、人間が作り出した陰謀論の検出にも利用できることを証明しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。