MUDIDI: A Two-Stage Framework for Multilingual Dictionary Digitization with Language Models
本文介绍了 MUDIDI，这是一个利用视觉语言模型和大型语言模型将多语言词典有效地数字化为机器可读格式的两阶段框架，并辅以一个新的标注数据集以及证明了大型语言模型在处理复杂脚本和布局方面具有卓越性能的基准测试。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一个巨大的图书馆，里面堆满了由数百种不同语言编写的、陈旧且布满灰尘的字典。有些是用英文写的，但许多是使用稀有、濒危语言编写的，拥有独特的脚本，看起来像是古代符文或复杂的书法。这些书对于语言学家和这些语言的使用者来说是珍宝，但现在它们正处于“扫描模式”中——它们仅仅是页面的图片。你无法搜索它们，无法统计词数，也无法轻易地利用它们来教授语言或构建翻译应用。
这些字典非常杂乱。它们有奇怪的布局、微小的缩写以及会让标准计算机扫描仪（比如你用来扫描收据的那些）完全感到困惑的符号。
这篇论文的作者开发了 MUDIDI，这是一个全新的“数字翻译器”来解决这个问题。你可以把它想象成一个两阶段的流水线，将一张字典页面的图片转化为一个整洁、有序的数字数据库。
两阶段流水线
第一阶段：“超级扫描仪”（阅读页面）
想象一位非常细心的图书管理员，他看着充满混乱文字的页面，并试图完全按照其呈现的方式将其打出来，保留加粗的词汇、斜体字以及列的顺序。
- 挑战： 标准扫描仪经常会遗漏字母或弄混列的顺序。
- 解决方案： 作者测试了各种“AI图书管理员”（具体来说是大语言模型和视觉语言模型）。他们发现，最聪明的AI模型（如Gemini）就像超人类的图书管理员。它们可以阅读复杂的脚本（如古代楔形文字或基于阿拉伯语的脚本），并保持完美的格式，表现远优于传统的扫描软件。
- 技巧： 有时，给AI一份“小抄”（该特定语言的有效字母表）能帮助它读得更好，但并不总是如此。有时，仅仅让AI观察图片就足够了。
第二阶段：“组织者”（分类条目）
一旦文本被输入，它仍然只是一堵“文字墙”。它需要被整理成整齐的小方块。一个字典条目不仅仅是一个词；它有定义、词性（名词/动词）、示例和交叉引用。
- 挑战： AI需要观察这堵文字墙并说：“好的，这个加粗的词是词头（Headword），这个斜体部分是示例，而这个符号表示交叉引用。”
- 解决方案： AI被赋予了一本特定的规则手册（称为 MDF架构，这就像是字典的标准归档系统）。AI学习将文本切割成独立的条目，并将每一部分信息正确地打上标签。
- 助力： 作者发现，如果他们在提供规则手册的同时，也把这本字典的引言页（解释了这本书是如何组织的）交给AI，AI在分类数据时会变得更加出色。这就像是在要求一名新员工整理文件柜之前，先给他们看一遍员工手册。
他们的发现
- 智能AI胜过旧式扫描仪： 新型的“通用型”AI模型在阅读这些棘手的旧字典方面，比我们几十年来使用的专门化扫描软件要出色得多。它们能够轻松处理奇特的字体和布局。
- 语境即王道： 如果你想让AI正确地分类字典条目，你必须给它提供“语境”。向AI展示字典的引言页有助于它理解那本特定书籍的规则，从而大幅减少错误。
- 它适用于高难度任务： 该系统适用于各种语言，从希腊语、日语等常见语言，到楚科奇语、叙利亚语等濒危语言。
结果：一个数字宝库
作者不仅开发了工具，还建立了一个测试套件。他们收集了30本不同的字典，由人类专家进行核查，并创建了一个数据集来证明其系统的有效性。
简而言之： 他们创造了一种方法，可以将一张陈旧、复杂的字典页面图片，转化为一个整洁、可搜索、机器可读的文件。这使得社区和研究人员终于能够解锁困在这些旧书中的知识，从而帮助保护那些可能消失的语言。
代价： 虽然AI非常强大，但它并非完美无缺。对于极其罕见的脚本或极其混乱的布局，人类专家仍然需要对工作进行复核。但这种新方法使得人类的工作比以前快得多，也容易得多。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。