💬 NLP

LLM-based Few-Shot Early Rumor Detection with Imitation Agent

本文提出了一种新颖的小样本早期谣言检测框架，该框架结合了一个用于确定最佳早期时间点的可训练轻量化自主智能体，以及一个用于谣言分类的无需训练的大语言模型，在实现真实世界数据集上更优准确率和更早检测时效性的同时，避免了微调大型模型的计算成本。

原作者： Fengzhu Zeng, Qian Shao, Ling Cheng, Wei Gao, Shih-Fen Cheng, Jing Ma, Cheng Niu

发布于 2026-01-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Fengzhu Zeng, Qian Shao, Ling Cheng, Wei Gao, Shih-Fen Cheng, Jing Ma, Cheng Niu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心图景：“谣言赛跑”

想象一下，谣言就像森林里燃起的一场野火，而社交媒体上的帖子就是四处飞溅的火星。早期谣言检测（EARD） 的任务就是在火势烧毁整片森林之前，精准地发现那场火。

挑战在于时机：

如果你过早停止（只看到一个火星就判断），你可能会把营火误认为野火。
如果你等待太久（直到整片森林都在燃烧），损失已经造成，你错过了早期阻止的机会。

目标是找到那个完美的时刻，用尽可能少的信息来回答：“是的，那是场火，”或者“不，那只是个营火。”

问题所在：“过度思考者”与“数据饥渴”

研究人员尝试使用 大语言模型（LLMs）（如 ChatGPT 背后的 AI）来解决这个问题。LLMs 非常擅长阅读和理解文本，即使在数据很少的情况下（“少样本”场景）也是如此。

然而，LLMs 在这项特定工作中存在两个重大缺陷：

它们不擅长把握时机： 它们天生不擅长观察随时间展开的一系列事件，并决定何时停止观察。
它们成本高昂： 每当有新帖子到达时都运行一次 LLM 来检查，就像雇佣一位世界级侦探去检查森林里的每一片叶子一样。这太费钱也太费时了。

现有的方法试图训练一个单一的 AI 来同时完成“计时”和“检测”的任务，但它们需要海量的标注数据（数千个示例）来进行学习，而对于新的、突发的新闻事件，这类数据并不存在。

解决方案：“精明侦察兵”与“专家侦探”

作者提出了一种涉及两个角色的协作策略：

轻量级侦察兵（智能体/Agent）： 这是一个小型、廉价且快速的 AI。它的唯一任务是观察帖子流，并决定何时停止。它不试图破解谜团，它只负责观察信息流。
专家侦探（LLM）： 这是一个强大且昂贵的 AI。它在场边待命，只有当侦察兵说“好了，我们已有足够的信息，停下！”时，它才会苏醒。

类比：
把侦察兵想象成博物馆的保安。保安观察人群，当他看到有人举止可疑时，他不会亲自去抓捕那个人，而是按下按钮呼叫侦探（LLM）。随后，侦探介入，查看证据，并做出最终裁决。这节省了侦探的精力，并确保他们只处理真正需要专业知识的案件。

侦察兵如何学习：“模仿学习”

难点在于如何教侦察兵何时按下那个按钮。你不能只给它一个简单的规则，比如“等待 5 个帖子”，因为每个谣言都是不同的。

研究人员使用了模仿学习技术。他们没有给侦察兵一本充满规则的教科书，而是向它展示了如何表现的“专家视频”。他们创建了三种类型的“专家侦察兵”来进行教学：

谨慎型专家（CE）： 这种专家会一直等待，直到他们 100% 确定预测结果不会发生改变。他们非常稳健，但可能反应稍慢。
早行动型专家（EAE）： 这种专家只要得到一个正确的答案就会立即停止，即使他们还没 100% 确定结果是否会保持不变。他们非常快，但有时会有风险。
误导型专家（ME）： 这个专家代表了“错误”的做法。他们要么停止得太早导致判断错误，要么等待太久导致错过窗口期。

训练过程：
侦察兵通过尝试模仿谨慎型和早行动型专家的行为，同时避开误导型专家来学习。

想象一个学生正在学开车： 他观看了一段安全驾驶员（CE）的视频、一段虽然快但仍能安全抵达的驾驶员（EAE）的视频，以及一段车祸（ME）的视频。学生通过观察学会了既要开得足够快以实现“早行动”，又要足够安全以保证“准确”，同时主动避开“车祸”。

研究结果：更快、更聪明、更便宜

研究人员在四个真实世界的数据集（包括关于英国骚乱和疫情的消息）上测试了该系统。

更好的时机把握： 他们的系统比现有方法更早地找到了“停止”时刻。它使用的帖子数量更少（更低的“早期率”）。
更高的准确度： 尽管停止得更早，但其准确度仍高于旧方法。
在极少数据下也能工作： 这是最大的胜利。即使只给它极少量的训练示例（10 到 50 个帖子），该系统依然表现出色。这对于没有任何历史数据的全新、突发新闻事件至关重要。
高性价比： 由于重型 LLM 每个谣言只运行一次（而不是检查每一个帖子），该系统运行起来要便宜得多。

总结

本文介绍了一个“侦察兵与侦探”的搭档组合。廉价的侦察兵学习如何观察新闻流，并决定何时呼叫昂贵的侦探。通过学习如何平衡速度与安全的“专家”经验，这个团队能够比以往的方法更快、更准确地识别谣言，尤其是在数据极其匮乏的情况下。

技术摘要：基于模仿智能体的 LLM 少样本早期谣言检测

1. 问题定义

早期谣言检测 (Early Rumor Detection, EARD) 旨在识别社交媒体帖子序列中，能够准确将一条说法分类为谣言或非谣言的最早可能时间点。这项任务对于缓解误导性信息带来的社会危害至关重要，例如 2024 年南波特（Southport）骚乱等事件所示。

本文强调了当前 EARD 研究中的两个主要挑战：

数据稀缺性： 新发生的事件往往缺乏足够的标注训练数据，且早期传播阶段涉及的帖子数量有限。现有的方法通常需要大量的标注数据来进行检测模块和时机模块的联合训练。
大语言模型 (LLM) 的局限性： 虽然 LLM 在少样本文本理解方面表现出色，但它们并非天生为时间序列数据而设计。将它们直接应用于 EARD 会导致高昂的计算成本，因为随着上下文长度的增加，它们需要在每个时间步生成预测，从而导致极高的推理延迟和成本。

核心解决的问题是：如何在数据受限的情况下，利用 LLM 强大的少样本文本理解能力进行 EMD 检测，同时避免产生难以承受的计算成本或繁重的重训需求。

2. 方法论

作者提出了一种将早期时间点确定与谣言检测过程解耦的新型框架。该系统由两个主要部分组成：

轻量级自主智能体 (Lightweight Autonomous Agent)： 一个负责监控帖子流并决定何时停止观察并触发 LLM 的神经网络。
无需训练的 LLM (Training-Free LLM)： 一个预训练的大语言模型（如 Mistral、Llama 3、ChatGPT），作为谣言检测器，仅在智能体确定的时间点被激活一次。

将其建模为马尔可夫决策过程 (MDP)：
EARD 任务被建模为一个 MDP $(S, A, P, R)$ ：

状态 ( $s_t$ )： 直到时间 $t$ 为止观测到的帖子集合以及之前的动作。
动作 ( $a_t$ )： 二进制选择：继续 (0) 观察下一条帖子，或停止 (1) 触发 LLM 进行预测。
目标： 最大化反映早期性和准确性的预期回报。

模仿学习 (IL) 策略：
由于为 EARD 设计显式的奖励函数非常困难（需要平衡早期性、稳定性与准确性），作者采用了模仿学习。与其使用带有手工设计奖励函数的强化学习，不如让智能体从 LLM 本身生成的“专家轨迹”中学习。

根据 LLM 在全量帖子时间线上的预测序列，共策划了三类专家轨迹：

保守专家 (Conservative Expert, CE)： 选择 LLM 预测正确且在后续所有步骤中保持稳定（未改变）的最早时间点。这确保了准确性和稳定性，但可能过于谨慎。
早期行动专家 (Early-Action Expert, EAE)： 选择 LLM 预测结果与地面真值（ground truth）匹配的最早时间点，无论未来是否稳定。该专家优先考虑早期性。
误导专家 (Misleading Expert, ME)： 捕捉即使在观察完所有帖子后 LLM 仍做出错误预测的轨迹。智能体被训练以避开该专家的状态-动作分布。

目标函数：
智能体使用生成对抗模仿学习 (GAIL) 进行训练。其目标是最小化智能体的占用度量（occupancy measure）与 CE 及 EAE 之间的散度（Jensen-Shannon 散度），同时最大化其与 ME 的散度。

智能体学习合成 CE 的稳定性与 EAE 的主动性。
智能体学习偏离 ME 的行为，以避免错误的早期终止。
训练涉及一个策略网络 (Policy Network)、一个判别器网络 (Discriminator Network，用于区分智能体与专家轨迹) 以及一个价值网络 (Value Network)，并通过近端策略优化 (PPO) 进行优化。

推理：
在推理过程中，训练好的智能体监控帖子流。一旦决定“停止”，它会精确地激活一次 LLM，根据观测到的帖子对说法进行分类。与逐步提示相比，这大幅降低了 LLM 的推理频率。

3. 核心贡献

论文声称了四个主要贡献：

首个少样本 EARD 方法： 引入了一个结合了可训练轻量级智能体与无需训练 LLM 的框架，为数据受限场景提供了高性价比的解决方案。
新颖的 MDP 与模仿公式化： 将 EARD 建模为 MDP，并设计了三种特定的专家轨迹类型（CE、EAE、ME），以引导智能体在无需显式奖励工程的情况下平衡早期性、稳定性与准确性。
理论保证： 提供了一个理论证明，表明所提方法能产生实现早期、稳定且准确检测的最优策略。
经验优越性： 通过广泛实验证明，该方法在准确率 (macro-F1) 和早期性 (Early Rate) 方面均优于现有的全量样本 (full-shot) EARD 方法及基准 LLM 策略。

4. 实验结果

该方法在四个真实世界数据集上进行了评估：PHEME、TWITTER、Twitter-COVID-19 和 BEARD。

性能对比基准： 所提框架显著优于现有的 EARD 方法 (ERD, CED, HEARD) 以及直接的 LLM 策略（仅使用第一条帖子或预设的时间检查点）。
- 在 TWITTER 数据集上，该框架使 Mistral 实现了 0.630 的 macro-F1 和 0.043 的早期率 (ER)，而表现最好的基准方法 (CED) 的 ER 为 0.617。
- 该方法在不同的 LLM 后端（Mistral, Llama 3, ChatGPT）上均表现出一致的提升，相对于基础 LLM 的 F1 值提升范围在 8.2% 到 18.9% 之间。
少样本鲁棒性： 该方法在仅有 10 个标注训练实例的情况下依然有效，实现了高达 27.64% 的相对 F1 提升（较基础 LLM）。
泛化能力： 当在预 COVID 数据集（PHEME, TWITTER）上训练并在未见的 Twitter-COVID-19 数据集上测试时，该方法保持了优于基准方法的性能，而基准方法性能下降严重（例如 ERD 的 F1 下降高达 67.8%）。
权衡分析： 作者通过改变专家轨迹的比例分析了准确性与早期性之间的权衡。该方法达到了帕累托最优点 (Pareto-optimal points)，在较低的 ER 下实现了比现有基准更高的准确性。

5. 意义与主张

本文将此项工作定位为解决谣言检测中数据稀缺这一关键瓶颈的方案。

成本效益： 通过将时机决策与检测模型解耦，该方法允许使用强大的 LLM 而无需承担持续推理的计算负担。只有轻量级智能体需要训练。
适应性： 该框架与模型无关，可以与各种 LLM 集成，使其能够适应不断演进的语言模型。
现实应用价值： 在缺乏标注数据的突发误导性信息事件中，能够实现早期谣言检测的能力，满足了快速干预的实际需求。

作者总结道，他们的模仿学习方法有效地利用了主动时机控制（智能体）与反应式内容评估（LLM）的互补优势，为数据受限环境下的早期谣言检测提供了一个稳健的框架。