mdok-style at SemEval-2026 Task 10: Finetuning LLMs for Conspiracy Detection
本文提出了 mdok 风格系统，通过数据增强和自训练对 Qwen3-32B 模型进行微调以解决训练数据有限的问题，在 SemEval-2026 第 10 项阴谋检测挑战赛中取得了具有竞争力的成绩（52 个参赛系统中排名第 8）。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图在社交媒体平台（Reddit）上庞大而嘈杂的人群聊天中，识别出一种特定类型的谣言。有些人只是在分享事实，而另一些人则在散布荒诞的阴谋论。你的任务是打造一个机器人侦探，让它能够聆听单条评论，然后大声喊出：“是的，那是阴谋！”或者“不，那只是普通谈话。”
本文描述了mdok-style团队如何为名为SemEval-2026 Task 10的竞赛打造他们的机器人侦探。以下是他们做法的简明解释：
1. 问题：为超级大脑配备微型图书馆
团队面临一个大问题：他们拥有一个非常聪明的机器人（一个名为Qwen3-32B的大语言模型，它就像一个拥有 320 亿个“神经元”的超级大脑），但他们的训练书籍库却非常小（仅有约 4,000 条评论示例）。
通常，训练一个超级大脑需要海量的书籍库。面对如此少的示例，机器人可能会感到困惑或“过度思考”。这就像试图仅用三本食谱来教一位大师级厨师烹饪一道复杂的菜肴。
2. 解决方案：“魔法复印机”与“学生 - 教师”循环
为了解决训练库过小的问题，团队借鉴了他们之前在识别 AI 生成文本方面的两项巧妙技巧。
技巧 A：魔法复印机（数据增强）
他们并非简单地复制现有评论，而是利用“魔法复印机”为相同的故事创建略微不同的版本。他们不只是复制粘贴，而是：
- 改变大小写：他们将一些评论全部改为大写字母，另一些则全部改为小写字母。他们意识到，无论阴谋论是被大声喊出还是低声耳语，它依然是阴谋论。
- 隐藏身份：他们将具体的姓名、电子邮件和电话号码替换为通用标签，如
[USER]或[PHONE]。这教会了机器人关注阴谋的核心思想，而非具体的人物。 - 替换字母：他们将某些字母替换为其他字母表中外观相似的字符（例如，将字母'a'替换为希腊字母'alpha'）。这就像戴上面具。通过训练机器人看穿这些伪装，他们大大增加了机器人日后被视觉把戏欺骗的难度。
他们并未使用所有这些副本，仅选取了其中的一小部分（10%），以保持训练的平衡。
技巧 B：学生 - 教师循环（自训练）
这是最具创意的部分。由于他们没有测试数据（即最终考题）的标签，他们让机器人自我教学。
- 教师：首先，他们利用已知的小规模图书馆训练机器人。
- 考试：他们让机器人猜测未知测试评论的答案。
- 筛选：机器人对某些答案非常有把握（例如：“我有 99% 的把握这是阴谋论”）。团队仅选取那些超级自信的猜测，将其视为“黄金标准”的新训练数据。
- 再授课：他们将这些新的“黄金”示例反馈给机器人，再次对其进行训练。这就像一名学生参加模拟测试，只保留那些答对 100% 的题目，然后再次研习这些题目，从而变得更加聪明。
3. 结果：顶尖侦探
团队将他们的机器人送入了竞赛。
- 得分：他们的机器人取得了0.78的分数（在 1.0 为满分的量表上）。
- 排名：在 52 支参赛队伍中，他们位列第 8 名。这使他们进入了前 20%（即第 85 百分位）。
有趣的是，他们发现即使是一个更小、更简单的机器人（名为 DeBERTa 的模型）的表现也几乎与他们的超级大脑不相上下。这表明，虽然他们华丽的“魔法复印机”和“自我教学”技巧效果显著，但有时更小、更廉价的工具也能几乎同样有效地完成任务。
总结
该团队利用一个庞大而强大的 AI 模型，教会它识别社交媒体评论中的阴谋论。由于数据不足，他们利用伪装（改变文本格式）来创造更多练习材料，并让 AI 利用其自身自信的猜测进行自我教学。最终，他们构建了一个极具竞争力的系统，在 52 支队伍中排名第 8，证明了原本用于识别 AI 生成文本的技术，同样可用于识别人类制造的阴谋论。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。