A Comprehensive Survey of Deep Learning-Based OCR and Information Extraction for Low-Resource Languages
本综述通过对 100 多篇同行评审论文的回顾，分析了基于深度学习的 OCR 与信息提取技术，重点强调了它们的独立发展、在孟加拉语等低资源语言中面临的挑战，以及多模态学习对未来研究日益增长的重要性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个这样的世界：锁在纸质文档中的故事——褪色墨迹书写的土地契约、手写处方、古代手稿和政府表格——能够被机器像人类阅读书籍一样轻松地读取。这就是光学字符识别（OCR）所承诺的愿景，这项技术将文本图像转化为计算机可以搜索、分类和理解的数字词汇。几十年来，这项技术一直依赖于僵化的规则和简单的模式来识别字母，对于整洁的印刷英文文本效果尚可。然而，现实世界是混乱的。文档往往带有污渍、倾斜，或者由复杂的脚本书写，其中的字母会以不可预测的方式连接并改变形状。当这些挑战遇到像孟加拉语这样数字资源较少的语言时，技术往往会陷入困境。核心难点不仅在于“看到”字母，还在于理解它们是如何在页面上排列以及如何组合在一起以形成意义的。
来自达卡联合国际大学（United International University）的一个研究小组对人工智能如何应对这些问题进行了全面的考察。他们查阅了一百多篇科学论文，以绘制当前技术水平的图谱，特别关注了高资源语言（如英语）与低资源语言（如孟加拉语）之间的差距。他们的工作表明，虽然深度学习模型彻底改变了这一领域，使系统从简单的模式匹配转向能够同时“看”和“读”的系统，但显著的障碍依然存在。研究人员发现，对于像孟加拉语这样具有数百个复合字符和复杂变音符号的语言，缺乏大规模、高质量的数据集是一个主要的瓶颈。如果没有足够的范例供机器学习，即使是最先进的系统也难以将其技能泛化到新的、混乱的文档中。
该综述追溯了文档理解从依赖手工规则的早期系统到由深度学习驱动的现代方法的演变过程。早期的机器只能处理整洁、统一的文本。如果文档是皱巴巴的、手写的，或者包含表格和图像的复杂布局，系统就会失效。神经网络的引入模仿了人类大脑处理视觉信息的方式，使计算机能够直接从数据中学习特征。最近，一种基于 Transformer 架构的新一代模型出现了。这些系统不仅仅观察单个字母，它们还分析整个页面，理解文本、图像与文档物理布局之间的关系。这使得它们能够确定多栏报纸中的正确阅读顺序，或从混乱的收据中提取特定细节。
尽管取得了这些进展，研究人员强调了进展中的显著差异。虽然英语和其他主要语言受益于庞大的注释数据库和专门工具，但低资源语言却被遗留在后。研究指出，许多现有的基准测试和数据集都向英语倾斜，这使得公平评估或改进其他文字系统的系统变得困难。对于孟加拉语而言，其脚本本身的复杂性——即单个字符可以通过多种方式结合多个辅音和元音来构成——创造了标准模型经常忽略的独特挑战。研究人员指出，识别页面布局时的错误往往会导致阅读文本时的错误，从而产生一系列连锁反应，导致整个系统的性能下降。
该论文还探讨了正在部署这些技术的实际应用领域。在土地记录和法律文档领域，准确的数字化对于防止欺诈和保存历史至关重要。在医疗保健领域，读取手写处方的能力可以通过确保医生的指令被正确解读来挽救生命。在金融领域，从发票和收据中自动提取数据可以简化会计和审计流程。然而，调查发现，目前的解决方案往往难以应对这些领域中出现的特定情况，例如褪色的墨迹、印刷与手写混合的文本以及多样化的文档格式。研究人员强调，仅仅提高识别字母的能力是不够的；系统还必须理解文档的上下文和结构，才能真正发挥作用。
展望未来，作者们建议，前进的道路在于开发能够利用更少数据进行学习并能更容易适应新语言的系统。他们指出了新兴的技术，如自监督学习（模型从大量未标记文本中学习），以及使用大语言模型来纠正错误和推断意义。最终目标是创建一个通用的系统，能够以人类读者般的流利度阅读任何语言的任何文档。这不仅将实现世界信息的数字化，还将保护文化遗产，并使公共服务更加普及。研究人员总结道，虽然这项技术已经取得了长足的进步，但要实现针对低资源语言的真正“文档智能”，需要通过建立更好的数据集、确立公平的基准测试以及开发尊重每种文字独特复杂性的模型来进行共同努力。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。