Evaluating Large Language Models for Diacritic Restoration in Romanian Texts: A Comparative Study

想象一下，你有一堆罗马尼亚语的短信，但有人不小心把所有的特殊“重音符号”都抹去了。在罗马尼亚语中，这些符号（如 ă、î、ș、ț 和 â）是决定一个词的意思是“吃”还是“睡”，或者是“村庄”还是“城市”的关键。没有了它们，文本就像是一张街道名称被擦除的地图——令人困惑且难以阅读。

这项研究提出了一个宏大的问题：我们如今随处可见的那些超级智能聊天机器人（称为大语言模型，或 LLM）能否修复这些混乱的文本，并将重音符号放回正确的位置？

重音恢复大竞赛

研究人员搭建了一个巨大的赛道。他们收集了 2,000 个罗马尼亚语句子，并剥离了所有的重音符号，将其变成了“空白状态”。然后，他们邀请了一系列著名的 AI 模型来到起跑线，看看谁能最好地恢复重音。

参赛阵容包括：

• 重量级选手： OpenAI 的 GPT-3.5、GPT-4 以及最新的 GPT-4o。
• 谷歌竞争者： Gemini 1.0 Pro。
• 开源阵营： Meta 的 Llama 2 和 3（各种尺寸）、MistralAI 的 Mixtral，以及其他一些模型。
• “傻瓜”基准线： 一种被称为“回声”（Echo）模型的简单技巧。这个模型并不尝试进行任何修复，它只是将混乱的文本原样复制回来。它是所有人都必须超越的“零努力”得分。

胜者与败者

冠军们：
结果显而易见：OpenAI 的 GPT-4o 是这场表演中当之无愧的明星。当被给予一组特定的指令（即“提示词”），其中包含了三个如何修复文本的示例时，它实现了 0.9639 的总平均分 (TAS)。

为了让你理解，那个“回声”基准线（懒惰的复制者）仅得分为 0.8100。这意味着 GPT-4o 不仅仅是做得好一点；它的表现比基准线高出了 19%。事实上，表现最好的模型（GPT-4o）是基准线的 1.190 倍。这就像是一位顶级大厨完美地为菜肴调味，而基准线只是平淡无味地端上原味菜肴。

令人惊讶的挣扎者：
有趣的地方就在这里。你可能会认为更大或更著名的开源模型会表现出色，但论文表明事实并非如此。

• Meta 的 Llama 2 7B 彻底失败了。它的得分仅为 0.002，这极低。它表现得非常糟糕，以至于其性能仅为基准线的 0.002 倍。虽然它并没有真的等于零，但实际上是完全没用的，因为它远远无法超越基准线。
• Meta 的 Llama 2 70B（更大的版本）表现稍好一些，但仍然未能超越基准线，得分为 0.146。
• Mixtral 8x7B 和 RoLlama 2 7B 的得分也低于基准线，这意味着它们修复文本的效果甚至比直接复制错误还要差。

论文指出，规模并不总是等于成功。仅仅因为一个模型巨大或属于开源模型，并不意味着它懂得如何处理罗马尼亚语重音的复杂规则。

秘密武器：“提示词”

研究发现，你如何询问 AI 与 AI 本身同样重要。

• “3-Shot”技巧： 当研究人员在要求 AI 执行任务之前，先给它三个“混乱文本”和“修复后文本”的例子时，效果最好。这被称为“3-shot”提示。
• 结果： 使用这种方法，GPT-4o 的得分大幅提升。论文认为，给 AI 提供一些例子（就像在考试前给学生看几个解好的数学题一样）能帮助它更好地理解规则，这比只给它一个简单的命令要有效得多。

他们错在哪里？（错误分析）

即使是赢家也会犯错，研究人员仔细观察了问题发生的地方：

1. â 与 î 的混淆： 最常见的错误是混淆字母 â 和 î。在罗马尼亚语中，â 用于单词中间，而 î 用于开头或结尾。AI 有时会将 î 放在中间（例如写成 romîn 而不是 român）。大约 21.3% 的错误都来自这种特定的混淆。
2. 大写字母： AI 在处理句首的大写单词时表现得更为吃力。例如，它对小写 ș 的处理准确率为 98.7%，但在处理大写 Ș 时，准确率仅为 94.6%。
3. 过度热情： 一些模型，如 Mixtral，变得过于兴奋。它们添加了本不该存在的重音。论文指出，Mixtral 在每 10 个单词的句子中平均增加了 16.35 个多余的重音，制造了“幻觉”（虚假重音），使文本变得更糟。

论文排除了什么

论文非常明确地说明了哪些做法是无效的：

• 它排除了“任何”LLM 都擅长此道的观点。 研究明确显示，一些流行的模型（如 Llama 2 7B）的表现实际上比不做任何事还要差。
• 它排除了“越大越好”的观点。 拥有 700 亿参数的 Llama 2 模型表现糟糕，而较小但经过微调的 GPT-4o 则表现卓越。
• 它排除了“简单复制是一种有效解决方案”的观点。 使用“回声”基准线正是为了展示仅仅复制文本而不进行修复是一个很低的门槛，而许多模型甚至连这个门槛都过不去，从而证明复制并不是一种有效的恢复策略。

我们有多确定？

作者对他们的发现是严谨且具体的。他们并非凭空猜测；他们针对一个包含 1,000 个陈述 的数据集（来自两个不同来源：一个来自词典项目，一个来自网络爬虫）运行了模型。

• 他们认为，最强模型（GPT-4o）与最弱模型（Llama 2 7B）之间的差距是真实且显著的。
• 他们认为，“3-shot”提示策略是成功的关键因素。
• 他们指出，他们的结果是基于特定数据集（1993 年后的罗马尼亚语规则）的，并且并未测试历史文本或其他语言。

总结

如果你想修复带有重音的罗马尼亚语文本，不要随便抓一个 AI 来用。论文建议，如果你使用带有少量示例引导的 OpenAI GPT-4o，它目前是完成这项工作的最佳工具。然而，许多其他流行的模型仍在学习阶段，它们甚至可能让你的文本变得比原来更加混乱。

研究结论是，尽管 AI 功能强大，但它仍然需要一点帮助（比如良好的指令和示例）才能掌握罗马尼亚语细微而美丽的细节。