💬 NLP

How Surprising Is Historical Italian to Language Models? Tokenization Tax, Comprehension Tax, and a Simple Mitigation

本文提出了一个诊断框架，将分词成本与语义理解从历史意大利语中解构出来，揭示了尽管 17 世纪文本具有强大的嵌入相似性，但仍会产生较高的预测不确定性，而这种生成不稳定性可以通过简单的时序上下文提示有效缓解约 60%。

原作者： Maria Levchenko

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Maria Levchenko

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位非常聪明、现代化的图书管理员（一个大型语言模型），他几乎读过互联网上的所有内容。你请这位图书管理员帮你整理一个充满 300 年前古旧书籍的尘封图书馆。论文提出了一个问题：当阅读这些古书时，这位现代图书管理员会有多困惑？

作者 Maria Levchenko 认为，我们通常将“古书很难读”视为一个巨大的、混乱的问题。但本文通过使用意大利语和俄语历史书籍作为测试案例，将这个问题拆解成了三个截然不同的部分。

以下是使用简单类比进行的拆解：

1. “分词税”：断掉的拉链

把语言模型想象成一个正在尝试阅读一本字母以奇怪方式粘连在一起的书的人。

问题： 现代计算机通过将单词分解成被称为“token”（标记/词元）的小块来阅读文本。古书使用了旧式拼写（比如长得像“f”的“s”，或者已经不存在的俄文字母）。
结果： 因为计算机无法识别这些旧字母，它不得不把单词切碎成极小且低效的碎片。这就像尝试拉上一件拉链，但拉链的齿都歪了；你必须费力且漫长地拉扯才能把拉链拉上。
发现： 这种“税”增加了计算机的能量和内存消耗。有趣的是，这在 17 世纪的意大利语和 18 世纪的俄语中情况相同。这两种语言都迫使计算机仅仅为了“看见”单词就必须进行额外的机械性工作。

2. “理解税”：困惑的翻译官

现在，假设计算机已经成功拉上了拉链（读出了单词）。那么它真的理解它所读的内容吗？

惊喜之处： 在这里，两种语言的表现截然不同。
- 俄语： 尽管字母很奇怪且难以“解开拉链”，但一旦计算机看到了它们，它几乎能完美地理解含义。这就像是在读一本用奇怪字体编写的书，但故事本身依然非常熟悉。
- 17 世纪意大利语： 情况完全不同。即使在“解开拉链”读取单词后，计算机仍然感到非常困惑。其词汇是古语，句子结构类似于拉丁语。计算机被它所读到的内容“惊到了”。
类比： 把俄语文本想象成用奇怪字体写的现代食谱。你可以轻松阅读。而 17 世纪的意大利语文本则像是用一种你几乎不了解的语言、使用着你从未听过的食材编写的食谱。计算机知道这些词，但它无法预测接下来会发生什么。
核心洞察： 仅仅因为一段文本难以“输入”（分词），并不意味着它难以“理解”。本文证明了这是两个独立的问题。

3. “语义安全性”：蒙眼的艺术家

这是对图书馆最重要的发现。

问题： 如果计算机很困惑，无法预测下一个词，它是否仍然知道句子的“意思”？
答案： 是的！研究发现，即使计算机在“说话”或预测文本时感到吃力，它仍然能完美地“看见”其中的含义。
类比： 想象一位蒙着眼睛画猫的艺术家。他们可能会在勾勒线条时遇到困难（高困惑度），但如果你问他们：“这是一只猫还是狗？”他们会以 99% 的确定性指向那只猫。
为什么重要： 这意味着数字图书馆可以安全地使用这些 AI 模型来进行搜索和查找古文献。如果要求 AI 重写文本，它可能会踉跄，但它非常擅长了解文本的主题。

魔法修复方案：“时空旅行”提示

论文测试了一个非常简单的技巧来帮助计算机。

技巧： 在向计算机展示旧文本之前，研究人员只需添加一条微小的注释：“这是一篇来自 1687 年的文本。”
结果： 这个简单的提示将计算机的困惑度降低了约 60%。
类比： 这就像告诉一位时空旅行的游客：“你现在处于 1687 年，所以要预料到人们的穿着和谈吐会有所不同。”一旦计算机知道了这个“时区”，它就不再期待现代语法，并调整了自己的预期，使得处理旧文本变得容易得多。

关于名著如何？

论文还警告我们不要使用名著（如曼佐尼的《联姻婚礼》）作为测试案例。

问题： 这些名著太出名了，以至于 AI 在训练期间可能已经读过它们成千上万遍。它们就像是“作弊码”。
现实情况： 如果你在这些名著上测试 AI，它看起来像个天才。但如果你在那些晦涩、尘封、非著名的档案（“长尾”部分）上测试它，它会表现得挣扎得多。论文指出，我们不应根据 AI 处理经典著作的表现来评判其处理历史的能力。

总结

旧文本的处理成本很高（分词税），因为存在奇怪的字母。
旧文本难以预测（理解税），如果其风格与现代差异巨大。
但 AI 仍能理解含义（语义鲁棒性），因此它非常适合用于档案搜索。
一个关于日期的简单提示就能解决大部分困惑。
不要仅凭名著来做判断；真正的历史比经典著作要难得多。

技术摘要：历史意大利语对语言模型而言有多么令人惊讶？

问题陈述

大语言模型（LLMs）正日益集成到数字图书馆的工作流中，用于 OCR 后纠错、索引和检索等任务。然而，这些模型处理历史语言的能力仍未得到充分理解。目前的评估往往将“历史难度”视为一个单一的障碍，混淆了三个截然不同的因素：正字法变体（orthographic variation）、语言距离（linguistic distance）以及预训练暴露度（pretraining exposure）。这种混淆掩盖了模型究竟是由于机械编码效率低下（分词问题）还是由于真正的理解缺陷（预测不确定性）而导致表现不佳。此外，依赖经典历史文本（如曼佐尼的《约婚夫妇》）作为基准可能会产生过于乐观的结果，因为这些文本在训练语料库中的暴露度极高，无法代表非规范化、前标准化档案材料所面临的挑战。

方法论

作者提出了一个诊断框架，将历史难度分解为四个不同的维度：

分词成本（Tokenization Cost）： 测量“分词膨胀”（相对于现代化基准的分词数量相对增幅），以量化编码效率。
预测不确定性（Surprisal/惊异度）： 测量困惑度（$PPL$），以评估模型在下一个 token 预测中的不确定性，将其作为理解难度的代理指标。
语义鲁棒性（Semantic Robustness）： 计算历史句子与现代句子嵌入之间的余弦相似度，以确定古旧的表层形式是否映射到稳定的语义空间。
上下文敏感性（Context Sensitivity）： 评估极简时间上下文提示（例如“1687 年的意大利语文本”）对降低困惑度的影响。

数据集：
本研究评估了跨越三个世纪的三个数据集，以隔离特定的难度来源：

17 世纪意大利语（1610–1689）： 一个新策划的语料库，包含五个从原始页面图像数字化而来的非规范文本（宗教论著、学术散文等）。该数据集具有古旧的正字法（如长 s ſ）、受拉丁语影响的句法，且极不可能在预训练中进行过逐字暴露。
19 世纪意大利语（《约婚夫妇》，Quarantana 版）： 一个高暴露度的对照条件。作为经典文本，它作为一个“最佳情况”的基准，用以说明当正字法标准化且词汇熟悉度较高时的模型行为。
18 世纪俄语民用印刷书籍： 一个对比性的压力测试，具有极端的正字法差异（过时的字符如 yat、fita），但其词汇和句法距离与现代俄语相比相对有限。

模型：

分词： OpenAI o200k_base（GPT-4o/5 系列）和 Qwen 2.5 分词器。
困惑度： Qwen 2.5-1.5B（基础检查点），以确保原始概率分布。
嵌入： OpenAI text-embedding-3-large、Google LaBSE 以及 Qwen 2.5-1.5B 隐藏状态。

核心结果

1. 编码成本与理解能力的脱节

研究揭示了分词效率与预测难度之间的明显解耦。

分词税（Tokenization Tax）： 18 世纪俄语和 17 世纪意大利语都承受了类似的分词惩罚（约 25–30% 的膨胀）。在俄语中，这是由过时字符导致的字节级回退驱动的；在意大利语中，这主要是由长 s (ſ) 驱动的，尽管该字符存在于词表内，但仍会导致子词碎片化。
预测难度： 尽管编码成本相似，但困惑度比例却出现了显著分歧。
- 俄语： 困惑度仅表现出轻微增加（1.25× 现代基准），表明正字法扰动本身并不会显著干扰模型的预测能力。
- 17 世纪意大利语： 平均比其现代对应文本更具惊异度（surprising）达 2.4 倍，其中学术散文的惊异度甚至达到了 3.2 倍。
结论： 分词成本是衡量历史复杂性的糟糕代理指标。高分词膨胀并不一定意味着高理解难度，反之亦然。

2. 文体与语体的重要性超过了年代

历史难度并非时间的线性函数。

在 17 世纪的语料库中，最难的文本（学术序言，1687 年）和最简单的文本（描述性肖像，1689 年）出版时间仅相差两年。
学术文本的困惑度比例为 3.22×，而描述性文本为 1.81×。
发现： 语体（例如，学术散文中的结构性碎片化 vs. 神学叙事中的节奏性冗余）是决定模型表现比年代更强的因素。经典的 19 世纪文本表现为高暴露度基准，掩盖了非规范材料的结构性挑战。

3. 尽管生成不稳定，但语义依然鲁棒

高困惑度并不意味着表示能力的退化。

历史句子与现代句子之间的嵌入相似度在所有数据集中保持稳健（余弦相似度 $\ge$ 0.85）。
尽管在生成任务中观察到高困惑度，Qwen 2.5 模型仍实现了 0.938 的相似度。
启示： 即使模型在逐个 token 生成时缺乏概率信心，它们也能成功地将古旧的表层形式映射到正确的语义空间。

4. 通过时间上下文进行缓解

一种极简的、与模型无关的干预措施显著降低了难度。

在 17 世纪意大利语中，预置一段简短的时间上下文提示（例如“1687 年的意大利语文本”）使历史惊异度降低了约 60%。
该效应在俄语中并不显著（仅降低了 17%），这表明上下文启发对于具有高分布差异（词汇/句法漂移）的文本最为关键，而非主要由正字法噪声驱动的文本。

意义与主张

本文认为，“历史难度”不是一个单一的、不可逾越的问题，而是一个由相互作用的因素组成的复合体，必须分别进行评估：

指标解耦： 研究表明，分词效率（一种机械税）与语义鲁棒性是不相关的。数字图书馆可以安全地部署 LLM 进行语义检索任务（搜索、聚类、分类），即使面对分词成本高且困惑度高的文本，模型仍能保持稳定的内部表示。
基准有效性： 依赖于高暴露度经典文本（如曼佐尼）会导致系统性低估“长尾”档案材料所面临的挑战。评估必须包含非规范、前标准化的文本，以准确评估模型的适用性。
战略部署：
- 检索： 可以以极少的归一化进行部署，因为语义对齐度仍然很高。
- 生成： 诸如 OCR 纠错或摘要等任务对高惊异度仍然敏感，需要特定的缓解策略。
成本效益高的缓解方案： 作者证明，简单的时态提示是一种非常有效的、零成本的策略，能够弥合模型预期与历史语体之间的差距，在无需微调或进行激进文本归一化的情况下，将预测误差降低一半以上。

总之，本文倡导一种评估框架的转变：超越分词计数等表层指标，转而区分机械编码成本、预测不确定性以及语义表示稳定性。这使得数字图书馆能够有效地将 LLM 利用为历史的“能理解者”，即便它们尚未成为完美的“讲述者”。