🤖 AI

Measuring Embedding Sensitivity to Authorial Style in French: Comparing Literary Texts with Language Model Rewritings

本文研究了法语语言模型嵌入在改写后捕捉和保留作者风格特征的程度，证明这些信号持续存在并表现出模型特有的模式，从而为检测作者模仿提供了新途径。

原作者： Benjamin Icard, Lila Sainero, Alice Breton, Evangelia Zve, Jean-Gabriel Ganascia

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Benjamin Icard, Lila Sainero, Alice Breton, Evangelia Zve, Jean-Gabriel Ganascia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对该论文的解读。

核心问题：AI 能否“伪造”作家的灵魂？

想象你有一群名厨（比如普鲁斯特、塞利纳和尤瑟纳尔）。每位厨师都有独特的烹饪方式：一位擅长使用长而复杂的食谱，搭配精致的食材；另一位烹饪速度快、声音大且略显凌乱；第三位则精准且富有历史感。

现在，想象一位超级聪明的机器人厨师（AI 或大型语言模型）试图模仿这些人类厨师。机器人接到指令：“烹饪这道特定的菜（巴黎的公交车之旅），但要让它尝起来完全像普鲁斯特大厨的作品。”

这篇论文提出的核心问题是：如果我们尝一口机器人做的菜，还能尝出人类厨师独特的“风味”，还是说机器人自身的机械味道会占据主导？

在计算机领域，“风味”是通过**嵌入（embeddings）**来衡量的。可以将嵌入想象成文本的数字指纹或 GPS 坐标。每一句话都会获得一组特定的数字，告诉计算机它在巨大的语言地图中的位置。

实验：“公交车之旅”测试

研究人员利用法国文学设计了一个受控实验：

基础食谱（主题）： 他们以斯特凡·蒂费里（Stéphane Tufféry）的一本书为起点，这本书讲述了完全相同的故事（巴黎的公交车之旅），但采用了多种不同的风格。这确保了故事本身是相同的，因此任何差异都纯粹源于风格。
人类厨师： 他们选取了三位真实法国作家的文本：
- 普鲁斯特： 以长句、流畅且复杂的句式著称。
- 塞利纳： 以短促、有力、口语化的句式著称。
- 尤瑟纳尔： 以平衡、历史感和精准的写作风格著称。
机器人厨师： 他们要求三个不同的 AI 模型（GPT、Mistral 和 Gemini）重写“公交车之旅”的故事，尝试模仿普鲁斯特、塞利纳和尤瑟纳尔的风格。

如何衡量“风味”

研究人员并没有仅仅让人类去阅读这些文本，而是使用了一张数学地图（称为UMAP）来绘制所有这些文本的落点。

人类地图： 当他们绘制真实人类作家的文本时，这些文本形成了 distinct、分离的岛屿。普鲁斯特的文本聚集在一个簇中，塞利纳的在另一个簇中，尤瑟纳尔的在第三个簇中。
机器人地图： 当他们绘制 AI 生成的文本时，他们想看看这些机器人是否成功落在了与人类相同的岛屿上，还是漂移到了它们自己的“机器人区域”。

他们测量了离散度（dispersion），这就像测量一群人散落在房间里的程度。

如果 AI 成功模仿了风格，AI 生成的文本应该与人类文本紧密聚集在一起（低离散度）。
如果 AI 失败了，AI 生成的文本就会散开，远离人类文本（高离散度）。

他们的发现

1. 机器人可以模仿，但并不完美
研究发现，AI 模型确实捕捉到了一些人类作家的风格。“机器人普鲁斯特”的文本确实比“真实塞利纳”更接近“真实普鲁斯特”。然而，这种联系并不完美。AI 生成的文本就像原作的略微模糊的复印件；“指纹”虽然存在，但变得微弱了。

2. 不同的机器人有不同的“手艺”
就像人类厨师可能更擅长烘焙而非油炸一样，不同的 AI 模型在模仿不同作家方面表现各异：

Mistral 最擅长模仿普鲁斯特复杂的风格。
GPT 在捕捉塞利纳那种凌乱、口语化的风格方面出奇地出色。
Gemini 在尤瑟纳尔的历史精准度方面表现良好。

3. “风味”取决于你询问的对象
研究人员注意到一个有趣的现象：衡量“风味”的方式很重要。

如果他们观察表面特征（例如使用了多少逗号或短词），某台机器人看起来是最好的模仿者。
如果他们观察深层结构特征（例如句子结构的复杂性），另一台机器人看起来才是最好的模仿者。

这就像评判一幅画：如果你只看颜色，一位艺术家胜出；如果你看笔触，另一位艺术家胜出。AI 模型保留了人类风格的不同部分，具体取决于你检查的是“指纹”的哪一部分。

结论

该论文得出结论：AI 嵌入对人类风格是敏感的，但在重写后，信号会变弱并发生扭曲。

这就像玩“传话”游戏。

第一轮： 一个人把故事 whispered 给另一个人。信息基本保持不变，但声音略有变化。
第二轮： 一个人 whisper 给机器人，机器人再 whisper 回去。机器人抓住了故事的大意，但原始人类独特的“声音”变得模糊不清。

这项研究表明，虽然 AI 可以模仿著名作家的外观，但该作家写作中深层的数学“灵魂”仅得到部分保留。这意味着在未来，我们可以通过观察这些风格指纹的“模糊”或“扭曲”程度，来检测文本是由人类还是 AI 撰写的。

重要提示： 该论文并未声称这项技术已准备好用于实时抓捕 AI 作弊者或在法庭上使用。这是一项初步研究，表明“风格信号”确实存在，但很脆弱。作者认为，这只是理解 AI 如何处理人类创造力的开端。

技术摘要：测量法语中嵌入向量对作者风格的敏感性

问题陈述
尽管大语言模型（LLM）能够令人信服地模仿人类写作风格，但语言模型嵌入中编码了多少风格信息，以及这些信号在 LLM 重写后能在多大程度上得以保留，目前仍不明确。现有的基于嵌入的分析往往优先考虑语义任务（如主题建模），而非风格特征。本文调查了嵌入是否能可靠地捕捉法语文学文本中的作者风格特征，以及当文本被 LLM 重写以模仿特定作者时，这些信号在多大程度上得以保留。

方法论
本研究采用受控实验设计，使用包含 1,248 篇法语文学文本的数据集，分为三个组成部分：

参考语料库（人类创作）：
- TUFFERY_REF：来自 Stéphane Tufféry 的《Le style mode d'emploi》的 96 篇文本，所有文本共享单一主题（巴黎的巴士之旅），但风格各异（包括对主要作家的仿作）。
- STYLE_REF：来自三位不同作者的 288 篇文本——普鲁斯特（《斯万之家》）、塞利纳（《夜航》）和尤瑟纳尔（《哈德良回忆录》）——分别代表多样的风格特征（结构复杂性、口语语域和历史锚定）。
生成语料库（LLM 模仿）：
- STYLE_GEN：通过提示三个 LLM（GPT-4o、Mistral-large-2411 和 Gemini-1.5-flash）将TUFFERY_REF文本重写为STYLE_REF中三位作者的风格而生成的 864 篇文本。这构建了一个主题固定、风格可变的数据集。
向量化与分析：
- 所有文本均使用13 种不同的嵌入模型进行编码（维度范围从 384 到 1536），这些模型因架构多样性及在大规模文本嵌入基准（MTEB）上的表现而被选中。
- 聚类验证：使用 K-means 聚类（k=3）和统一流形近似与投影（UMAP）来评估三个语料库组（TUFFERY、STYLE_REF、STYLE_GEN）在嵌入空间中的可分离性。
- 敏感性指标：核心分析测量嵌入离散度（2D UMAP 空间中相对于类别质心的欧几里得距离）与风格特征偏移之间的关系。追踪了五类风格特征：结构特征（词/句长度）、形态句法特征（词性标签）、词汇特征（香农熵、字母频率）和指称性特征（命名实体识别密度）。
- 相关性分析：计算嵌入离散度变化（ $\Delta d$ ）与相对于TUFFERY_REF基线的风格特征频率变化（ $\Delta f_s$ ）之间的皮尔逊相关系数。此操作针对人类创作文本（STYLE_REF）和 LLM 生成的模仿文本（STYLE_GEN）均进行了执行。

主要结果

嵌入对人类风格的敏感性：嵌入能够可靠地捕捉作者风格特征。发现嵌入离散度变化与风格特征变化之间存在显著但中等至微弱的关联。
- 普鲁斯特：在命名实体（NER）、字母、结构特征和词性标签方面表现出广泛的敏感性。
- 塞利纳：敏感性集中在字母频率、NER 和熵上。
- 尤瑟纳尔：主要由对 NER（指称密度）的敏感性主导。
重写后的持久性：风格信号在 LLM 重写后得以保留，但有所减弱并重新加权。
- 普鲁斯特模仿：保留了广泛的特征轮廓，但在结构和字母特征方面的敏感性有所降低。
- 塞利纳模仿：在生成的类别中表现出最高的风格保真度，保留了口语语域标记（字母），同时过度加权了指称性。
- 尤瑟纳尔模仿：保留了基于 NER 的锚定，但部分稀释并转向字母频率。
LLM 特定模式：不同的 LLM 保留了作者风格的不同方面。例如，Mistral 最好地保留了普鲁斯特的广泛特征轮廓，而 GPT 尽管在表面级分类器中的整体“转移准确率”较低，但相比其他模型，它对塞利纳和尤瑟纳尔的定义性模式表现出更高的保真度。
指标分歧：研究强调了表面级风格转移准确率（通过字符 n-gram 测量）与基于嵌入的风格保真度之间的分歧。一个模型在表面准确率上得分可能较低，但能更好地保留定义作者嵌入轮廓的深层结构或指称模式。

意义与主张
本文声称，其分析结果为语言模型时代的作者模仿检测提供了有前景的方向。通过追踪特定风格特征如何通过生成式重写得以保留或改变，本研究补充了传统的风格转移评估。它表明，嵌入空间中相对于人类基线的偏差，特别是关于风格转换模式的偏差，可能作为 LLM 模仿的指标。

作者对其发现保持谦逊，指出：

观察到的相关性显著，但幅度中等。
研究仅限于法语文学文本和特定的一组作者；推广到其他语言或非文学体裁需要进一步验证。
风格特征的清单是为所研究的具体作者量身定制的，可能并不详尽。
依赖 2D UMAP 进行可视化引入了需要进一步研究的失真。

最终，这项工作提供了一个框架，用于量化嵌入向量对风格的敏感性，以及 LLM 在风格转移过程中保留或改变这种敏感性的程度。

核心问题：AI 能否“伪造”作家的灵魂？

实验：“公交车之旅”测试

如何衡量“风味”

他们的发现

结论

技术摘要：测量法语中嵌入向量对作者风格的敏感性

类似论文