Human-Centred Risk Mitigation for AI-Mediated Information Manipulation: A SOCMINT Framework Based on Information Manipulation Sets
本文提出了一种基于信息操纵集（IMS）的人本中心化社交媒体情报（SOCMINT）框架，通过将行动活动视为涉及叙事与基础设施的连贯过程，来缓解由人工智能介导的信息操纵，从而实现结构化推理与可审计决策，填补碎片化事件分析与延迟归因之间的鸿沟。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
以下是该论文的中文翻译，保留了原有的语气、结构和类比：
核心问题：这不仅仅是关于“假新闻”
想象一下，你正在试图识别一场风暴。在过去，你可能只需寻找一朵黑云（一条假新闻帖子）并说：“那就是一场风暴。”
但今天，有了人工智能，信息操纵的“风暴”变得更加复杂了。它们不仅仅是一朵虚假的云，而是一个完整的气象系统。它们涉及：
- 真实的云（真实的事实）被以错误的方式使用。
- 虚假的云（AI 生成的图像）看起来非常真实。
- 风向模式（机器人账号和协同账号）将云朵推向特定的方向。
- 目标： 让人们感到恐惧、愤怒或困惑，而不仅仅是用谎言来欺骗他们。
该论文指出，我们目前的工具过于脆弱。它们要么只关注单朵云（过于狭隘），要么等到能指认出追风者时才行动（反应太慢）。当我们知道是谁引发这场风暴时，破坏已经造成了。
解决方案：“可疑活动组”（IMS）
作者提出了一种观察问题的新方法，称为信息操纵集合（Information Manipulation Sets, IMS）。
类比：侦探与社区守望者
想象一名侦探正在调查一系列入室盗窃案。
- 旧方法（事件级）： 侦探观察一个破碎的窗户。“这是入室盗窃吗？”也许是。但也可能只是个小孩扔了个球。
- 另一种旧方法（先归因）： 侦探等待抓到小偷并获得供词后才报警。但那时，小偷已经抢劫了整个街区。
- 新方法（IMS）： 侦探注意到了一种模式。“好吧，这里有一个破碎的窗户，那里停着一辆可疑的面包车，还有三个人同时在给同一栋房子拍照。我们还不知道幕后黑手是谁，但这些事件显然属于同一个犯罪行动。”
IMS 就是那个“犯罪行动”。它将以下要素组合在一起：
- 信息内容（破碎的窗户）。
- 发布信息的账号（可疑的人）。
- 时间点（发生的时间）。
- 使用的工具（面包车）。
即使你不知道老板的名字，你也能看出这些碎片是如何拼凑成一次协同攻击的。
AI 如何让情况变得更难（“变色龙”效应）
论文解释说，AI 就像一只变色龙。
- 在过去，不法分子会一遍又一遍地复制粘贴同样的谎言。因为用词完全一致，所以很容易识别。
- 现在，AI 可以用一千种不同的方式重写同一个谎言。它可以变换口音，使用不同的俚语，并且看起来像是来自真实的、普通的人。
- 结果： 你不能再仅仅寻找“复制粘贴”的错误了。你必须寻找行为模式。这些不同的声音是否在同一时间都在表达同样的内容？这就是 IMS。
分步计划（流水线）
论文建议分析师遵循一个分步流程，就像飞行员的检查清单一样：
- 捕捉信号： 注意到异常情况（例如，关于特定话题的帖子突然大量涌现）。
- 分诊（“是否真实？”检查）： 询问：“这只是普通的愤怒民众，还是协同攻击？”
- 建立 IMS 假设： 将异常信号组合在一起。“这 50 个账号、10 个网站和 3 个视频似乎在协同工作。”
- 风险评分：
- 置信度： 我们对这是一次协同攻击有多大的把握？（也许是 50% 确定）。
- 严重程度： 如果这真的是一次攻击，后果会有多严重？（也许非常严重，因为它针对的是一家医院）。
- 关键点： 你可以拥有低置信度但高严重性。在这种情况下，你不会采取攻击性措施，但会密切观察。
- 选择应对措施：
- 低风险： 仅观察并记录笔记。
- 中风险： 向公众发出警告或告知社交媒体平台。
- 高风险： 封锁行动或指认攻击者（如果你有证据）。
- 复盘： 我们的行动有效吗？我们是否误伤了真实的抗议活动？为下次调整。
为什么“以人为本”至关重要
论文强调，人类必须坐在驾驶位上。
- 危险： 如果我们让计算机决定一切，我们可能会无意中封禁那些仅仅是在表达不同政见的真实、愤怒的公民。这就是“过度安全化”（将辩论视为战争）。
- 保障机制： 系统应该标记出模式，但必须由人类分析师来决定：“这是一次协同攻击，还是仅仅是很多人感到不满？”
- 目标： 在保护真相的同时，不压制合法的异议。
我们如何测试它？（桌面演习）
由于这是一种全新的思维方式，你无法仅通过计算机代码来测试它。论文建议进行桌面演习（Tabletop Exercise）。
类比：消防演习
想象一群消防员、警察和城市官员围坐在桌旁。他们被给出了一个虚构的情景：“有人在散布谣言，称供水系统被投毒了。”
- 他们必须走完所有步骤：我们看到了模式吗？这是一个 IMS 吗？我们如何反应？
- 目标不在于立即得到“正确答案”。目标是看他们能否共同推理，区分真实的威胁与恐慌，并做出公平且适度的决策。
总结
论文得出结论，我们不能仅靠更好的 AI 检测器来对抗 AI 驱动的信息操纵。我们需要一种以人为本的策略，去观察整个“气象系统”（即 IMS），而不仅仅是盯着单朵云。
我们需要能够说：“我们不确定究竟是谁发起的，但我们知道这些碎片结合在一起会对人们造成伤害，因此我们需要谨慎且适度地采取行动。” 这能保护我们的民主免受操纵，而不至于让我们变成一个恐惧任何争论的监控国家。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。