这篇论文就像是一份**“网络世界安全战场的未来情报报告”**。
想象一下，互联网是一个巨大的、热闹的**“数字广场”。在这个广场上，有一群“守夜人”**（Trust & Safety 专家，即信任与安全团队），他们负责保护大家不受坏人（攻击者）的伤害。这些伤害包括：欺负人、诈骗、传播仇恨、儿童色情内容、选举造假以及恐怖主义宣传。
现在，一种名为**“生成式 AI"（GenAI）**的新魔法工具出现了。这篇论文通过采访 43 位在这个领域摸爬滚打多年的专家，告诉我们这个新魔法如何彻底改变了这场“猫鼠游戏”。
🎭 核心故事：一把双刃剑
专家们一致认为，生成式 AI 就像一把**“超级瑞士军刀”**，它既握在坏人的手里，也握在好人的手里。
🦹♂️ 坏人（攻击者）得到了什么？
以前，坏人想干坏事，需要很高的技术门槛，或者需要很多人手。现在，AI 让他们如虎添翼：
无限复制的“印钞机”（规模与速度）：
- 比喻： 以前坏人想发 1000 封诈骗邮件，得雇人一个个写，累死累活。现在，AI 就像一台**“全自动印钞机”**，几秒钟就能生成成千上万封看起来完全不一样的诈骗信，或者生成无数张虚假的仇恨图片。
- 后果： 坏人的攻击速度太快了，守夜人根本看不过来，就像试图用勺子去舀干洪水。
零门槛的“新手村”（降低门槛）：
- 比喻： 以前制作一张逼真的假照片（Deepfake）需要你是 Photoshop 大师。现在，AI 就像**“傻瓜相机”**，只要你会打字，就能生成任何你想生成的东西。连不懂技术的“独行侠”也能轻易制造出可怕的仇恨内容或诈骗剧本。
- 后果： 坏人的数量暴增，因为谁都能来“玩”坏。
完美的“伪装大师”（增强说服力）：
- 比喻： 坏人以前只会说蹩脚的假话。现在，AI 能让他们**“变身”**成任何语言、任何风格的专家。他们可以用十种语言同时发布假新闻，或者用幽默的动漫风格包装恐怖主义内容，让普通人很难分辨真假，甚至觉得“挺有趣”而转发。
- 后果： 谎言变得太像真理，甚至让人开始怀疑“眼见是否真的为实”。
有毒的“电子朋友”（有害的 AI 伴侣）：
- 比喻： 有些孤独的人可能会和 AI 聊天。坏人利用这一点，制造出**“邪恶的 AI 朋友”**。这些 AI 会假装关心你，实际上却在一步步诱导你去犯罪、加入极端组织或进行自杀。
🛡️ 好人（守夜人/防御者）得到了什么？
虽然坏人变强了，但守夜人手里也拿到了同样的魔法武器。他们希望利用 AI 来扭转局势：
超级“过滤器”（大规模检测）：
- 比喻： 以前守夜人得靠肉眼在垃圾堆里找坏东西，眼睛都看瞎了。现在，AI 可以充当**“超级筛子”**，瞬间过滤掉海量的垃圾信息，只把最棘手的、需要人类判断的“灰色地带”留给真人看。
- 好处： 保护了守夜人的心理健康，让他们不再每天面对令人作呕的内容。
侦探的“透视眼”（刑事调查）：
- 比喻： 在调查诈骗或恐怖组织时，AI 可以像**“福尔摩斯的放大镜”**，快速分析成千上万的聊天记录、资金流向和社交网络，帮警察找出幕后黑手，甚至模拟坏人的思维来预测他们的下一步行动。
温柔的“心理按摩师”（用户支持）：
- 比喻： 当有人遭遇网络霸凌时，AI 可以变成一个**“温暖的陪伴者”**，提供情感支持，指导他们如何举报，甚至帮他们屏蔽那些恶毒的评论，让他们感到不那么孤单。
以毒攻毒的“反叙事”（Counter-narratives）：
- 比喻： 如果坏人用 AI 制造假新闻，好人也可以用 AI 制造**“解毒剂”**。比如，生成一个由名人（如泰勒·斯威夫特）虚拟形象制作的视频，用幽默或感人的方式劝退那些正在走向极端的人。
⚖️ 不同战场的特殊挑战
论文还指出，虽然大家都面临 AI 的挑战，但不同的“战场”情况不同：
- 儿童安全（最紧急的战场）： 这里的坏人在用 AI 生成**“永远洗不掉的噩梦”（比如用 AI 生成已故受害者的新照片）。这彻底打破了以前靠“指纹比对”（哈希值）来识别旧照片的防御体系。这里需要彻底重建**防御系统。
- 选举安全（信息迷雾）： 这里的问题不是 AI 创造了新东西，而是让**“谎言”变得更像真话**。以前就有假新闻，现在 AI 让假新闻更逼真、更个性化。
- 诈骗（军备竞赛）： 这是一个纯粹的**“速度竞赛”**。坏人用 AI 更快，好人也得用 AI 更快。这是一场没有终点的赛跑。
🚀 未来的路怎么走？
论文最后给出了几个关键建议：
- 不要“一刀切”： 不能用同一套规则管所有事。儿童安全和选举安全需要的策略完全不同，必须因地制宜。
- 合作是关键： 就像打怪兽需要组队一样，科技公司、政府、警察和民间组织必须共享情报。如果一家公司发现了新的诈骗套路，必须立刻告诉所有人。
- 负责任地开发 AI： 在开发 AI 时，不仅要防止坏人用，还要确保好人能安全地使用它来防御。不能因为怕坏人用，就把好人也锁在门外。
📝 总结
这篇论文告诉我们：生成式 AI 是一场巨大的风暴。
- 对坏人来说，它是加速器和扩音器，让恶行变得更快、更多、更隐蔽。
- 对好人来说，它既是挑战也是希望。如果我们能善用这个工具，建立更好的合作机制，它也能成为保护我们的**“超级盾牌”**。
未来的网络世界安全，不再是简单的“人 vs 人”，而是**“人 + AI vs 人 + AI"**的较量。谁能更快地适应、更聪明地合作，谁就能守护好这个数字广场。
这是一份关于论文《Generative AI Empowers Attackers and Defenders Across the Trust & Safety Landscape》（生成式 AI 如何赋能信任与安全领域的攻击者与防御者）的详细技术总结。
1. 研究背景与问题 (Problem)
核心问题：
生成式人工智能（GenAI）正在重塑“信任与安全”（Trust & Safety, T&S）领域的格局。虽然关于 GenAI 被恶意利用（如生成虚假内容、深度伪造）的风险已有广泛讨论，但其在防御端的潜力尚未得到充分探索。目前的挑战在于理解 GenAI 如何同时赋能攻击者和防御者，以及这种“军备竞赛”将如何演变。
具体痛点：
- 攻击面扩大： GenAI 降低了创建有害内容的门槛，提高了攻击的规模、速度和 sophistication（复杂程度）。
- 防御滞后： 现有的 T&S 系统（如基于哈希的匹配、传统分类器）在面对 GenAI 生成的海量、多样化内容时显得力不从心。
- 领域差异： 不同的 T&S 领域（如儿童安全、选举完整性、仇恨言论等）面临的威胁模型和防御机制存在显著差异，缺乏针对性的应对策略。
- 人机协作缺失： 现有研究多关注技术层面的安全护栏，缺乏从一线 T&S 专家视角出发，探讨人机协作及运营流程变革的深入分析。
2. 研究方法 (Methodology)
本研究采用**定性参与式研究（Qualitative Participatory Research）**方法，旨在深入挖掘领域专家的真实经验和未来展望。
- 参与者： 共招募了 43 位 来自亚洲、欧洲和北美的 T&S 专家。
- 覆盖领域： 研究聚焦于五个关键领域：
- 儿童安全 (Child Safety)
- 选举完整性 (Election Integrity)
- 仇恨与骚扰 (Hate and Harassment)
- 诈骗 (Scams)
- 暴力极端主义 (Violent Extremism)
- 数据收集形式： 在 2024 年 3 月至 2025 年 1 月期间，组织了 5 场 为期 6 小时的线下参与式研讨会（Workshops）。
- 活动设计：
- 教学干预： 向参与者介绍 GenAI 技术基础，确保共同认知。
- 记忆卡片活动 (Memorable Experience Cards)： 记录参与者对 GenAI 的实际使用体验。
- 变革卡片活动 (Change Cards)： 探讨未来 1-2 年内领域内可能发生的重大变化。
- 攻击者讨论 (Attackers Discussion)： 分析攻击者如何利用 GenAI。
- 未来故事 (Futuring Stories)： 让参与者撰写关于 2026 年 GenAI 如何成功缓解危害的乐观故事，以探索防御潜力。
- 数据分析： 采用反思性主题分析 (Reflexive Thematic Analysis)，对研讨会转录稿、参与者生成的卡片/故事以及视频剪辑进行编码和主题归纳。
3. 主要贡献 (Key Contributions)
- 首个跨领域的定性研究： 首次通过 43 位专家视角，系统性地考察了 GenAI 在五个核心 T&S 领域的双重影响（赋能攻击与防御）。
- 提出“双重赋能”叙事： 确立了 GenAI 同时增强攻击者和防御者能力的核心观点，打破了仅关注风险的单一视角。
- 描绘“军备竞赛”演变路径： 描述了从"GenAI 初期导致攻击速度超过防御”到“防御方利用 GenAI 实现高级能力”的动态过程。
- 揭示领域特异性差异： 指出了不同领域在危害性质、攻击者规模和防御结构上的根本差异，反对“一刀切”的解决方案。
- 构建战略框架： 为 T&S 组织提供了转型运营、应对 GenAI 威胁并充分利用其优势的具体路径和建议。
4. 关键发现 (Key Results)
4.1 GenAI 如何赋能攻击者 (Empowering Attackers)
- 规模与速度 (Scale and Speed)： GenAI 使有害内容的生产呈爆炸式增长，速度远超现有审核系统。例如，诈骗者可以利用 AI 聊天机器人同时向大量受害者发送个性化信息。
- 降低门槛 (Lowered Barriers to Entry)： 无需专业技能即可生成高质量有害内容（如深度伪造 CSAM、多语言虚假信息）。开源模型和“越狱”技术进一步降低了门槛，使“独狼”攻击者也能造成巨大破坏。
- 增强信息传播 (Enhanced Messaging)： 攻击者利用 GenAI 生成极具吸引力、看似合法的内容（如动漫风格的极端主义宣传），甚至通过多语言生成和跨平台分发，使内容更难被检测和识别。
- 信息环境退化 (Degradation of Information Environment)： 生成内容的泛滥导致“真相”难以界定，产生“骗子红利”（Liar's Dividend），即恶意行为者可以轻易将真实证据指认为伪造。
- 有害的人际关系 (Harmful Relationships)： AI 伴侣/聊天机器人可能被用于操纵用户、激进化或诱导线下伤害（如针对老年人的诈骗或极端主义招募）。
4.2 GenAI 如何赋能防御者 (Empowering Defenders)
- 规模化检测与缓解 (Detection at Scale)： 利用 GenAI 处理海量数据，自动标记有害内容，减轻人工审核压力。专家希望 GenAI 能理解文化语境和细微差别，处理传统分类器无法识别的“灰色地带”内容。
- 刑事调查辅助 (Criminal Investigation)： GenAI 可用于模拟攻击者思维、分析复杂的资金流向、识别网络犯罪基础设施，甚至生成策略以破坏恐怖主义网络。
- 审核员福祉 (Moderator Wellbeing)： 通过 AI 预处理，过滤掉最创伤性的内容（如 CSAM），让人类审核员专注于更复杂的决策，减少心理创伤。
- 反叙事与干预 (Counternarratives)： 利用 GenAI 生成个性化的反叙事内容（如说服极端主义倾向者），或开发“安慰机器人”为受害者提供情感支持和战术指导。
- 跨部门协作 (Cross-Sector Collaboration)： GenAI 的威胁迫使行业、政府和民间组织加强数据共享和协同作战。
4.3 领域特异性洞察 (Domain-Specific Perspectives)
- 儿童安全： GenAI 生成的 CSAM（特别是针对真实受害者的深度伪造）正在彻底颠覆基于哈希值的传统防御体系，需要根本性的结构重组。
- 选举完整性： 虽然 GenAI 加剧了虚假信息，但该领域长期面临资源不足和复杂的政治环境，GenAI 可能只是放大了现有问题，而非完全改变规则。
- 仇恨与骚扰： 防御系统已处于崩溃边缘，GenAI 带来的新内容形式（如编码语言）需要更精细的、结合人类理解的审核机制。
- 诈骗： 这是一个成熟的“军备竞赛”领域，GenAI 降低了攻击成本，但也为防御者提供了自动检测和调查的新工具。
- 暴力极端主义： GenAI 被用于整个攻击链条（从宣传到招募再到武器制造），同时也为防御者提供了生成反叙事和干扰招募的机会。
5. 意义与建议 (Significance & Implications)
对 T&S 运营的建议：
- 更新操作手册： 必须摒弃“一刀切”的策略，针对不同领域制定专门的 GenAI 应对方案。
- 内部能力建设： 平台需要培养既懂 T&S 业务又懂 GenAI 技术的内部专家，进行广泛的实验（Experiments）。
- 人机协作优化： 重新设计审核流程，让 AI 处理简单/高风险内容，让人类处理复杂/语境敏感内容，同时保护审核员心理健康。
对技术发展的建议：
- 增强算法： 利用 GenAI 生成合成数据以训练更鲁棒的检测模型；开发能理解多模态、多文化和特定俚语的模型。
- 加速调查： 利用 GenAI 自动化调查工作流（如关联分析、模式识别）。
- 负责任的 AI (Responsible AI)：
- 开发针对 T&S 场景的基准测试（Benchmarks），不仅评估过滤能力，还要评估防御性任务（如生成反叙事）的能力。
- 平衡护栏： 现有的安全护栏不能过于严格，以免阻碍防御者使用模型。需要建立分级访问机制或专用 API，让防御者能安全地使用强大的模型。
总结：
该论文强调，GenAI 是一把双刃剑。虽然它短期内加剧了信任与安全领域的危机，但长期来看，如果防御者能正确利用 GenAI 进行规模化检测、调查和干预，并推动跨部门协作，GenAI 有望从根本上提升在线环境的安全性。关键在于从被动的反应式防御转向主动的、技术驱动的适应性防御体系。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。