Authorship Impersonation via LLM Prompting does not Evade Authorship Verification Methods

这是一份关于论文《Authorship Impersonation via LLM Prompting does not Evade Authorship Verification Methods》（通过 LLM 提示进行的作者身份冒充无法逃避作者身份验证方法）的详细技术总结。

1. 研究背景与问题定义 (Problem)

• 背景：作者身份验证（Authorship Verification, AV）是法医语言学中的核心任务，旨在判断未知文本是否由特定作者撰写。随着大语言模型（LLM）的发展，恶意攻击者可能利用 LLM 模仿特定作者的写作风格（即“作者身份冒充”），从而伪造证据或混淆调查。
• 核心问题：
  1. 通过提示工程（Prompting）调用的 LLM（如 GPT-4o）能否生成足以欺骗现有法医 AV 系统的逼真冒充文本？
  2. 现有的 AV 系统（包括传统统计方法和神经网络方法）在面对 LLM 生成的冒充攻击时，是否仍然保持鲁棒性？
• 研究动机：虽然已有研究探讨 LLM 的文本风格迁移能力，但大多集中在名人模仿或 NLP 基准测试，缺乏在法医框架下（使用似然比框架）对 LLM 冒充攻击的系统性评估。

2. 方法论 (Methodology)

2.1 实验设置

• 模型：使用 GPT-4o 作为攻击者模型。
• 数据集：选取了三个具有法医相关性的语料库，涵盖不同文体：
  • Enron (CEnron)：电子邮件（正式/商务）。
  • BOLT (CBOLT)：短信/聊天（非正式/互动）。
  • Twitter (CTwitter)：社交媒体帖子（非正式/短文本）。
• 任务形式：将冒充任务定义为“重写”任务。LLM 接收目标作者（Target Author）的已知文本作为示例，以及由另一位作者撰写的源文本（Source Text），要求 LLM 重写源文本以模仿目标作者的风格。
• 提示策略 (Prompting Techniques)：设计了四种不同复杂度的提示条件，以测试不同攻击水平：
  1. Naive Prompting：简单的单句指令。
  2. Self-prompting：两步法，让模型先生成详细的指令清单，再执行重写。
  3. Role-Playing Prompting：系统提示设定角色（写作助手），用户提示提供具体任务清单（关注标点、短语动词等语言特征）。
  4. Tree-of-Thoughts (ToT) Prompting：结合规划与投票机制，先生成多个计划并投票选择最佳计划，再生成多个候选文本并投票选择最佳文本。

2.2 评估框架

• 验证方法：评估了 6 种 AV 方法，分为两类：
  • 非神经网络方法：N-gram Tracing（基于字符 n-gram 的相似度）、Ranking-Based Impostors (RBI)、LambdaG（基于功能词的语言模型似然比）。
  • 神经网络方法：AdHominem（基于注意力的 Siamese 网络）、LUAR（通用作者表示学习）、STAR（基于 Transformer 的风格表示）。
• 评价指标：
  • 校准后的对数似然比 (Log-Likelihood Ratios, LLR)：正值表示支持“同一作者”，负值表示支持“不同作者”。
  • 相对真负率 (TNR) 退化：比较 AV 方法在真实测试集与冒充文本上的表现差异。
  • 置信度下降：分析 AV 方法在拒绝冒充文本时的证据强度变化。
• 预处理：对非神经网络方法应用了 POSNoise（将实词替换为词性标签，保留功能词和标点），以消除主题偏差，专注于作者风格特征。

3. 主要结果 (Results)

3.1 冒充成功率极低

• 总体结论：在所有语料库和所有提示策略下，GPT-4o 生成的冒充文本未能成功欺骗 AV 系统。
• LLR 表现：绝大多数 LLR 值为负数，表明 AV 系统一致地将生成的文本判定为“非目标作者所写”。
• 提示策略的影响：从简单的 Naive 提示到复杂的 ToT 提示，没有任何一种策略能显著提高冒充成功率。复杂的提示工程并未带来系统性的优势。

3.2 验证方法的鲁棒性

• 神经网络方法：
  • STAR 和 LUAR 表现出极高的鲁棒性，甚至在某些情况下（如 Enron 语料库），它们拒绝 LLM 冒充文本的准确率（TNR）比拒绝真实的不同作者文本还要高。
  • AdHominem 相对脆弱，其评分常接近零（结论不明），但仍未被完全欺骗。
• 非神经网络方法：
  • LambdaG、N-gram 和 RBI 均表现出强大的抵抗力，主要倾向于拒绝冒充文本。
  • 非神经网络方法在 Enron 语料库上的置信度略低，但在 Twitter 语料库上表现最强。

3.3 反直觉的发现：LLM 文本更易被识别

• 研究发现，某些 AV 方法（特别是 STAR 和 LUAR）在拒绝 LLM 生成的冒充文本时，比拒绝真实的人类不同作者文本表现出更高的置信度（即 LLR 的绝对值更大）。
• 这意味着这些模型不仅没有被欺骗，反而因为 LLM 文本的某些特性而更确信地将其识别为“非人类”或“非目标作者”。

4. 关键贡献与发现 (Key Contributions & Findings)

1. LLM 难以捕捉深层作者个性：仅通过 Few-shot 提示，LLM 难以复制定义特定作者身份的稳定语言特征（idiolectal features）。它们更多模仿了表面特征，而忽略了深层的、习惯性的语言模式。
2. LLM 文本的“高熵”特性：
   • 通过压缩大小、熵（Entropy）和类型 - 标记比（TTR）的分析发现，LLM 生成的文本具有更高的词汇多样性和更高的熵，且冗余度更低。
   • 人类写作通常具有特定的重复模式和可预测的冗余，而 LLM 生成的文本过于“多样化”和“不可预测”，这种系统性差异反而成为了被 AV 系统检测到的特征。
3. 法医 AV 系统的当前鲁棒性：尽管 LLM 易于获取，但目前的 AV 系统（无论是统计方法还是深度学习方法）在面对入门级的 LLM 冒充攻击时，依然保持有效。
4. 提示工程的局限性：即使使用 ToT 或语言学信息提示（LIP），也无法克服 LLM 在捕捉特定作者微观语言习惯上的根本缺陷。

5. 意义与局限性 (Significance & Limitations)

• 法医意义：
  • 为法医语言学界提供了实证证据，表明在当前的 LLM 能力水平下，通过简单提示进行的作者身份冒充尚不足以推翻现有的 AV 鉴定结论。
  • 揭示了 LLM 生成文本在统计特征上与人类文本的显著差异，这为开发新的检测工具提供了方向。
• 局限性：
  • 攻击者水平：本研究仅模拟了依赖公开提示的“入门级”攻击者。未测试使用反馈循环迭代优化提示、微调模型（Fine-tuning）或参数高效微调（PEFT）的高级攻击者。
  • 人类感知：虽然算法能检测，但 LLM 生成的文本对人类读者（如家属、调查员）可能仍然具有欺骗性。
  • 解码参数：实验使用了默认的温度（temperature）等参数，未系统研究调整这些参数对检测难度的影响。

总结

该论文通过严谨的法医科学框架，系统评估了 LLM 在作者身份冒充任务中的能力。结果表明，目前的 LLM 无法通过提示工程生成足以逃避先进 AV 系统的逼真冒充文本。相反，LLM 文本固有的高词汇多样性和低冗余度特征，使其在某些情况下比真实文本更容易被识别为“非目标作者”。这一发现为应对未来的“文本深度伪造”（Textual Deepfakes）提供了重要的基准和信心，但也警示需关注更高级的攻击手段及人类层面的欺骗风险。