💬 NLP

Normalisation-Based Likelihood Ratio Estimation for Forensic Authorship Verification

本文介绍了两种新颖的归一化技术，即平方根校正（Square Root Correction）和单次出现校正（Hapax Correction），它们能够直接推导出用于法庭作者身份验证的经过良好校准的似然比，而无需单独的校准模型，从而在减少数据和时间需求的同时，实现了与传统逻辑回归校准相当或更优的性能。

原作者： Sadie Barlow, Andrea Nini, Edoardo Manino

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sadie Barlow, Andrea Nini, Edoardo Manino

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破解谜团的侦探：同一个人是否写了这两份不同的笔记？ 也许一份是勒索信，另一份是日记。为了解决这个问题，你需要一个特殊的工具，它不仅仅是说“它们看起来很像”，而是要给你一个数字，告诉你同一人创作这两份笔记的可能性究竟高出多少。在法医学领域，这个数字被称为似然比（Likelihood Ratio, LLR）。

长期以来，想要获得一个可靠的数字就像是在没有食谱的情况下尝试烤出一个完美的蛋糕。你必须从计算机程序中获取一个原始分数，然后将其放入一个单独的、复杂的“校准”过程中。这个过程就像一位严厉的老师，在评价你的蛋糕之前，需要先品尝数百个其他蛋糕（数据）的味道，才能告诉你你的蛋糕是真的好，还是仅仅看起来好。这需要大量的时间、大量的数据以及专家的经验判断。

新的捷径：LambdaG 的两个神奇公式

本文介绍了两套全新的、更简单的技巧，用于在不需要那个沉重且依赖数据的“老师”（校准模型）的情况下，修正一个特定的作者身份验证工具——LambdaG 的原始分数。重要提示： 这些技巧是专门为 LambdaG 设计的，而不是作为一种通用的修复方案适用于所有的作者身份验证工具。

之所以需要这些技巧，是因为 LambdaG 的工作方式有一个特定的缺陷。LambdaG 通过累加每个单词的证据来计算分数，并假设每个单词都是一个独立的线索。这被称为**“朴素贝叶斯假设”（naive Bayes assumption）。问题在于，现实生活中的单词并不是独立的；如果作者重复使用一个短语，那么第二次和第三次出现时，所提供的“新信息”并不如第一次多。因为 LambdaG 没有考虑到这一点，它往往会高估**证据的强度，尤其是在长文本或重复性高的文本中。这些新技巧的设计初衷正是为了修正这种高估现象。

研究人员在 15 个不同的文本集合（语料库）上测试了这些技巧，涵盖了从学术论文、推文到电子邮件链和聊天记录等各种文本。他们测试的文本长度从短至 100 个单词到长达 9,500 个单词不等。

以下是他们提出的两个新技巧：

平方根修正（The Square Root Correction）： 想象计算机的分数是一堆砖块。如果文本非常长，这堆砖块会变得巨大，但其中许多并不是新的或有用的砖块，而只是对旧砖块的重复。这个技巧说：“嘿，不要把每一块砖都当作一次新的发现。”它通过对单词数量进行平方根运算来缩小分数。这就像是意识到当你已经见过 50 辆红车后，第 51 辆红车带给你的新信息并没有第一辆那么多。
Hapax 修正（The Hapax Correction）： 这个甚至更聪明。它观察文本中有多少单词是仅出现一次的（这些被称为 hapax legomena）。如果一个文本充满了重复（比如坏掉的唱片），那么它出现的仅一次的单词就会很少。如果一个文本多样且独特，这类单词就会很多。这个技巧通过“仅一次单词”与总单词数的比例来乘以分数。它本质上是在说：“如果你只是在重复自己，你的分数就不应该这么高。”

大考：它们奏效吗？

研究人员将这两个新技巧与旧的标准方法（逻辑回归校准）进行了对比，以观察哪个能给出最准确的“真相”数字。他们使用了一个名为 $C_{llr}$ 的特定分数来衡量准确度（该数值越低越好）。

以下是他们的发现：

Hapax 修正表现最为出色。 在大约 45.4% 的测试中，Hapax 修正的表现实际上比旧的、复杂的校准方法更好。
当它没有胜出时，差距也很小。 在旧方法表现更好的案例中，Hapax 修正的表现通常与旧方法仅差 5% 以内。这就像是一个跑步选手仅以微弱差距落后于冠军。
平方根修正 的一致性稍逊一筹。在超过 70% 的测试中，它被其他方法击败了，但它在特定情况下仍展现出了潜力。

这意味着什么（以及它不是什么）

本文认为，旧的方法过于沉重。它需要专家收集海量的特定数据来训练校准模型，而且专家还必须对选择哪些数据进行主观判断。这种新方法跳过了这些步骤。它更快、更简单，也不需要大量的额外数据。

然而，论文也谨慎地指出，这并不是一个解决所有问题的“万能药”。

它专门针对 LambdaG： 这些新公式是为 LambdaG 系统设计的。它们不是适用于所有作者身份验证工具的一站式解决方案。
它并不完美： Hapax 修正并没有每次都赢。事实上，旧的方法在整体上仍然获胜次数更多。
它尚未得到数学证明： 作者承认，他们目前还没有完美的数学证明来解释为什么这些公式效果如此之好；他们有基于语言学原理（例如词汇量随文本增长而增长变慢）的强大理论，但“为什么”仍在探索之中。
它具有局限性： 这些结果是基于英语文本的。我们目前还不清楚这些技巧是否适用于法语、日语或其他语言。
它有适用范围限制： 在非常短的文本（约 100 个 token）上，Hapax 修正表现得有些吃力，因为数据量不足以准确测量“仅一次单词”的数量。

总结

你可以把这篇论文看作是找到了一双更轻便的登山靴。旧的靴子（逻辑回归）很重，需要很多装备（数据），而且需要很长时间来磨合。新的靴子（Hapax 修正）更轻，也更容易穿上。它们并不总是能让你跑得比旧靴子更快，但在他们测试的大约 45% 的路径中，它们实际上更快了；而在剩下的路径中，它们也几乎一样好。

对于那些需要向陪审团解释其发现，而不希望陷入复杂数据训练过程的法医专家来说，这些新技巧提供了一种无需面对繁琐数据即可获得可靠答案的方法。作者建议，虽然旧方法仍有其地位，但这些更简单、更透明且更易于使用的修正方法，是解决作者身份之谜（特别是使用 LambdaG 工具时）的一个非常有力的替代方案。

技术摘要：基于归一化的似然比估计在法庭作者身份验证中的应用

问题陈述
法庭背景下的作者身份验证（AV）旨在确定两份文本是否出自同一作者。评估此类证据的法律标准是似然比（LR）框架，它量化了在竞争性的控方假设（ $H_p$ ）和辩方假设（ $H_d$ ）下证据的相对概率。虽然存在基于评分的 AV 方法，但它们通常输出未经过校准的相似度分数或原始似然比，这些分数无法可靠地反映经验频率。为了使这些分数能够作为有效的法庭证据进行解释，需要一个单独的校准模型——最常见的是逻辑回归。这种校准过程需要大规模、特定于案例的数据集（同源文本对和异源文本对），而这类数据集的收集往往困难、耗时且成本高昂。此外，校准数据的选择涉及主观的专家决策（例如，锚定策略），这需要进一步的验证，增加了复杂性和不透明性。

方法论
本研究调查了如何将基于 n-gram 语言模型的先进二元外在性 AV 方法 LambdaG 所产生的原始分数，在无需单独训练模型的情况下，转化为经过良好校准的 LR。作者假设 LambdaG 的原始分数（ $\lambda_G$ ）存在“分数膨胀”现象，这是由于该方法依赖于累加独立的标记级贡献。这种聚合假设了特征之间的条件独立性，但由于重复现象的存在，自然语言违反了这一假设。因此，较长或高度重复的文本会积累不成比例的高分，从而夸大了证据强度。

为了解决这一问题，本文提出了两种新型的归一化技术，直接对原始 $\lambda_G$ 分数进行缩放：

平方根校正（Square Root Correction）： 该方法通过被询问文档（ $Q$ ）的标记数量（ $N(Q)$ ）的平方根来缩放分数。其理论基础是：在聚合特征中，方差的增长通常与 $\sqrt{N}$ 成比例。公式为：
$\Lambda_G = \frac{\lambda_G}{\sqrt{N(Q)}}$
其目的是减轻由文本长度引起的膨胀，承认在长文本中，额外的标记对独立证据权重的贡献呈递减趋势。
单次出现词校正（Hapax Correction）： 该方法引入了词汇多样性和冗余度的度量。它通过单次出现词（仅出现一次的单词， $V_1(Q)$ ）与总标记数（ $N(Q)$ ）的比率来缩放分数。公式为：
$\Lambda_G = \lambda_G \times \frac{V_1(Q)}{N(Q)}$
该校正针对的是重复模式的冗余性。在低多样性（高重复）的文本中，该比率较低，从而降低分数以抵消人为的膨胀。这与描述词汇量随文本长度增加呈亚线性增长的赫丹-希普定律（Herdan-Heap's Law）相一致。

实验方案
作者将这些校正方法与逻辑回归校准这一标准基准进行了对比测试，涵盖了 15 个不同的语料库（包括学术论文、新闻、博客、评论、论坛、电子邮件、聊天日志和推文）。评估使用了**对数似然比代价（ $C_{llr}$ ）**指标，其中数值越低表示校准效果和区分度越好。

数据： 研究包含了 13,146 个作者身份验证问题。
变量： 对于部分语料库（Avocado、Twitter、Bolt），作者系统地改变了被询问文本（ $Q$ ）和已知作者文本（ $K$ ）的长度（从 100 到 9,500 个标记），以测试其在不同文本长度下的鲁棒性。
基准： 逻辑回归模型在每个语料库的 40%–50% 数据上进行训练，并在剩余数据上进行测试。所提出的归一化方法直接应用于原始分数，无需训练。

关键结果

整体表现： 在 15 个语料库中，Hapax 校正在 45.4% 的测试中优于逻辑回归校准。在其余逻辑回归表现更好的案例中，Hapax 校正的表现有 56.91% 的情况与基准差距在 5% 以内。
文本长度鲁棒性：
- 在长文本（例如 $K > 5,500$ 标记的 Avocado 和 Twitter）方面，逻辑回归通常能获得略低的峰值 $C_{llr}$ 值，这可能是由于较大的数据集提供了更稳定的参数估计。然而，Hapax 校正在此类条件下始终能产生经过良好校准的 LR（ $C_{llr} < 0.1$ ）。
- 在短文本方面，Hapax 校正经常优于逻辑回归，展示了在数据稀缺时更强的鲁棒性。
- 平方根校正在大多数情况下（超过 70% 的测试）均逊于 Hapax 校正和逻辑回归，尽管它仍比原始分数有所改进。
异常情况： 逻辑回归校准在校准集较小（如 Twitter、Avocado）的数据集上偶尔会出现误导性结果（ $C_{llr} > 1$ ），表明其对噪声敏感且容易过拟合。所提出的归一化方法表现出更低的变异性和更高的稳定性。
Bolt 语料库（短文本）： 在处理极短文本（100–500 标记）的 SMS/聊天语料库时，平方根校正 84% 的情况下优于 Hapax 校正，这可能是因为在词汇增长迅速的极短样本中，Hapax 比率变得具有噪声且不可靠。

意义与主张
本文声称，这些归一化技术为 LambdaG 方法提供了一种功能等效但更简单的替代方案。其主要意义在于消除了校准模型，从而：

降低了数据需求： 无需获取难以获得的、特定于案例的大规模训练数据集。
增加了透明度： 用基于词汇统计学和基于用法语言学理论的简单、可解释的数学校正，取代了“不透明”的逻辑回归转换。
提高了易用性： 简化了法庭工作流程，使经过校准的 LR 的推导对于专家而言更加容易实现，也更容易向法律事实调查者进行解释。

作者得出结论，虽然 Hapax 校正并未在所有情况下都全面超越逻辑回归，但其在不同文本长度和语域下保持相当性能的能力——且无需承担训练模型的计算和数据负担——支持了其在英语语言法庭环境中的应用。研究认为，这些校正有效地模拟了重复语言模式的边际证据价值，对于此类特定的 AV 方法而言，提供了一种比标准校准更具科学有效性的方法。

新的捷径：LambdaG 的两个神奇公式

大考：它们奏效吗？

这意味着什么（以及它不是什么）

总结

类似论文