Explainable Disentangled Representation Learning for Generalizable Authorship Attribution in the Era of Generative AI

这是一份关于论文《Explainable Disentangled Representation Learning for Generalizable Authorship Attribution in the Era of Generative AI》（生成式 AI 时代可解释的解耦表示学习用于通用作者归属）的详细技术总结。

1. 研究背景与问题定义 (Problem)

核心挑战：内容与风格的纠缠 (Content-Style Entanglement)
在作者归属（Authorship Attribution, AA）和 AI 生成文本检测任务中，现有的深度学习方法面临一个根本性难题：内容混淆（Content Confounding）。

• 现象：模型往往学习到作者身份与其常写话题（Topic）之间的虚假相关性（Spurious Correlations），而不是捕捉作者内在的、与话题无关的写作风格。
• 后果：当测试数据的话题分布与训练数据不一致时（跨域泛化），模型性能急剧下降。例如，模型可能因为某篇文章是“侦探小说”就错误地将其归为阿瑟·柯南·道尔的作品，而忽略了其实际写作风格。
• 现有方法的局限：
  • 大多数解耦方法依赖单一编码器，隐式地将风格和内容混合在同一个嵌入空间中。
  • 缺乏可解释性，难以理解模型是依据哪些特征做出的判断。
  • 难以应对生成式 AI 带来的新挑战（如区分人类写作与机器生成文本）。

2. 方法论：EAVAE 框架 (Methodology)

为了解决上述问题，作者提出了 EAVAE (Explainable Authorship Variational Autoencoder)，这是一个通过“架构设计分离”来显式解耦风格与内容的框架。该方法包含两个主要训练阶段：

2.1 阶段一：基于监督对比学习的预训练 (Contrastive Pre-training)

• 目标：在大规模、多样化的作者标注数据上建立强大的基础作者表示。
• 技术细节：
  • 使用基于大语言模型（LLM）的编码器。
  • 采用监督对比学习（Supervised Contrastive Learning），使同一作者文档的表示在向量空间中聚集，不同作者的表示相互分离。
  • 难负样本挖掘（Hard Negative Mining）：利用 BM25 检索与锚点文档词汇相似但作者不同的文档作为负样本，迫使模型关注风格而非表面词汇。
  • 双向注意力机制：在 LLM 中引入双向上下文建模，提升表示质量。

2.2 阶段二：可解释变分自编码器微调 (Explainable VAE Fine-tuning)

这是 EAVAE 的核心创新部分，旨在显式分离风格和内容。

• 解耦 VAE 架构 (Disentangled VAE Architecture)：

  • 双编码器设计：使用两个独立的编码器，分别将文档映射到风格潜空间 ($z_s$) 和内容潜空间 ($z_c$)。
  • 独立性假设：强制假设风格和内容分布是独立的，即 $q(z_s, z_c|d) = q(z_s|d)q(z_c|d)$。
  • 共享重构器：使用一个共享的重构器（Reconstructor）从 $z_s$ 和 $z_c$ 重构原始文档，确保两个潜变量包含了重建所需的全部信息。

• 可解释判别器 (Explainable Discriminator)：

  • 功能：不仅判断风格/内容对是否来自同一作者/同一主题，还生成自然语言解释来说明判断依据。
  • 任务：
    1. 风格判别：判断两个风格表示是否属于同一作者，并解释区分特征。
    2. 内容判别：判断两个内容表示是否主题相似，并解释区分特征。
  • 作用：通过对抗训练强制风格和内容解耦，同时提供可解释性，消除混淆信息。

• 混合提示生成器 (Hybrid Prompting Generator)：

  • 使用统一的生成架构处理重构和判别任务。
  • 混合提示机制：结合固定模板提示（Fixed Template Prompts）和可学习软提示（Soft Prompts）。通过将输入表示（$z_s, z_c$）动态替换提示中的占位符嵌入，使生成器能够适应不同的任务（重构文档或生成判别解释）。

• 损失函数：
  总损失 $L_{EAVAE} = L_{vae} + \lambda_{dis} L_{dis}$，平衡重构误差与判别损失。

3. 主要贡献 (Key Contributions)

1. 架构解耦框架：提出了一种基于 VAE 的解耦表示学习框架，通过“设计即分离”（Separation-by-design）的架构（双编码器），显式地将作者风格与内容主题分离，解决了内容混淆问题。
2. 可解释对抗判别目标：设计了一种新颖的可解释判别器，不仅执行分类任务，还生成自然语言解释。这既增强了模型的可解释性，又通过对抗机制强化了风格与内容的独立性。
3. SOTA 性能与泛化性：在多个具有挑战性的基准测试中实现了最先进的性能，证明了该方法在跨域作者归属和少样本 AI 生成文本检测中的鲁棒性和泛化能力。

4. 实验结果 (Results)

实验在作者归属（AA）和 AI 生成文本检测两个任务上进行了评估。

4.1 作者归属 (Authorship Attribution)

• 数据集：Amazon Reviews, PAN21 (作者级), HRS 语料库 (文档级，跨五个异构领域)。
• 结果：
  • 在 Amazon Reviews 上，EAVAE 取得了 97.0% MRR 和 99.0% Recall@8，优于之前的最佳模型（如 LUAR）。
  • 在 PAN21 上，MRR 达到 61.0%，Recall@8 达到 66.2%。
  • 在极具挑战性的 HRS 跨域文档级任务中，EAVAE 平均 MRR 为 47.3%，Recall@8 为 72.2%。相比之前的强基线（Man and Nguyen 2024），MRR 提升了 10.7%，Recall@8 提升了 27.4%。
  • 消融实验表明，移除“架构解耦”会导致性能大幅下降（MRR 下降 2.8%，Recall@8 下降 13.9%），证明了显式分离的重要性。

4.2 AI 生成文本检测 (AI-Generated Text Detection)

• 数据集：M4 基准（包含 ArXiv, WikiHow, Wikipedia 等多个领域）。
• 设置：少样本学习（Few-shot），包括单目标检测和多目标检测。
• 结果：
  • 在单目标检测中，EAVAE 在平均 pAUC@1 上达到 65.7%，pAUC@5 达到 93.5%。
  • 在多目标检测（更接近真实场景）中，EAVAE 表现出极强的鲁棒性，平均 pAUC@1 为 62.0%。
  • 即使在未针对检测任务进行微调的情况下，EAVAE 依然取得了优于基线的结果，证明了其学到的风格表示具有高度的通用性和迁移性。

5. 意义与结论 (Significance & Conclusion)

• 理论意义：EAVAE 验证了通过架构设计显式分离风格和内容的假设，能够显著解决“内容混淆”问题，从而提升模型在跨域场景下的泛化能力。
• 实际应用：
  • 可解释性：生成的自然语言解释使得作者归属决策更加透明，有助于法医调查和学术诚信审查。
  • AI 检测：在生成式 AI 时代，该方法提供了一种不依赖特定生成器微调的通用检测手段，能够有效识别机器生成的文本。
• 局限性：生成的解释质量依赖于底层 LLM 的能力；目前主要针对二元作者归属，对多作者协作场景支持有限；随着 AI 模型不断进化，模仿人类风格的能力增强，可能对未来基于风格的检测构成挑战。

总结：EAVAE 通过结合大规模对比预训练、解耦 VAE 架构和可解释判别器，成功构建了一个鲁棒、可泛化且可解释的作者风格表示学习框架，为生成式 AI 时代的文本溯源和检测提供了新的解决方案。