Handwritten German Administrative Forms (HGAF): A Dataset for Handwriting Recognition with Fine-Tuned and Zero-Shot Baselines

在德国各处办公室和政府大楼的寂静角落里，大量的文书工作仍然以其原始的纸质形式存在。尽管处于数字化时代，那里仍有近百分之四十的公司仍以纸质方式处理其一半的行政任务，而许多其他公司对此的依赖程度甚至更高。这造成了一个持续存在的瓶颈：手写的笔记必须被转换为数字数据才能发挥作用。虽然计算机在阅读印刷文本方面已经变得非常出色，但在处理人类手写体时却表现得相当吃力，尤其是当这些文字散落在页面上细小、孤立的方框内，而非呈连续句子流动时。挑战不仅在于识别字母，还在于理解哪个词属于哪个特定的字段，例如姓名、日期或签名。对于处理敏感个人信息的机构而言，解决方案不能涉及将这些文档发送到云端服务器；数据必须留在公司自身的安全围墙之内。这一约束迫使人们在构建专门的定制软件与使用强大的、从未见过该特定表格的通用人工智能之间做出艰难的选择。

卡尔斯鲁厄应用技术大学的研究团队致力于通过创建一个针对这一确切场景的新基准来解决这个难题。他们收集了291份真实的行政表格，由95个不同的人填写，从而创建了一个名为“手写德语行政表格”的数据集。为了确保数据可以在不违反隐私的情况下公开共享，其内容是合成的，这意味着姓名和地址是虚构的，但手写体是真实且多样化的。研究人员设计了三个不同版本的同一份表格，分别标记为布局A、B和C。布局A宽敞且易于填写，布局B是一个紧凑的表格，迫使人们写得更小，而布局C则没有任何方框，让书写者自行决定答案的位置。至关重要的是，每位书写者都用完全相同的信息填写了这三种布局，这使得团队能够隔离出纸张本身的形状和结构如何影响计算机阅读文本的能力。

该研究比较了两种不同的数字化方法。第一种是“专家型”流水线，这是一种传统方法，计算机程序首先切割出每个单独的手写方框，对其进行清理，然后将其输入到一个已经在数千个类似示例上经过专门训练的模型中。第二种方法使用了“视觉语言模型”，这是一种能够像人类一样观察整幅图像并理解图像的类型人工智能，无需针对每个新任务进行重新训练。研究人员在三种布局上测试了这些系统，以观察哪种方法更准确，以及哪种方法在面对表格设计的变化时更具韧性。

结果揭示了权力平衡的一次令人惊讶的转变。在简单、宽敞的布局A上，通用人工智能模型实际上优于经过高度训练的专家模型。即使专家模型已经针对该特定布局进行了微调，两个视觉语言模型产生的错误仍然比专家流水线少。专家模型在长篇自由文本注释字段中表现最差，因为那里的手写体受到的约束较少，而通用模型处理这些部分的难度更小。当研究人员转向更困难的布局B和C时，这种差距进一步扩大。由于专家模型依赖于精确知道方框的位置，因此当方框变小或完全缺失时，它开始显著失效。它无法适应新的视觉结构，而通用模型则保持了稳健性，尽管布局发生了变化，仍能准确地阅读文本。

其中一个最关键的发现涉及输出结果的可靠性。虽然通用模型在平均水平上表现更好，但研究人员发现，没有任何一种被评估的系统能够完全取代人工审核员。表现最好的本地部署设置仅在约7.7%的情况下能够实现无误转录。这意味着对于绝大多数表格，仍需要人工来检查工作。然而，研究强调了通用模型在灵活性方面的重大优势。要使专家流水线适应新的表格设计，工程师需要重新训练模型并重写用于切割文本框的代码。相比之下，通过改变给模型的指令，即可让通用模型适应新布局，而无需任何重新训练。这表明，对于处理多种不同类型表格的机构而言，使用灵活的通用模型可能比为每一种表格构建定制系统更具实际意义，前提是它们接受仍需人工验证最终结果的事实。

研究还触及了当前技术的局限性。虽然通用模型表现良好，但有时会产生奇怪的错误，例如重复单词或未能识别书写者划掉的内容。与此同时，专家模型则显得非常脆弱；如果计算机无法完美定位文本框（例如书写者写得稍微超出了线条），整个字段就会被误读。研究人员得出结论，虽然人工智能已经取得了巨大进步，但实现完全自动、无误的手写表格数字化的梦想在目前看来仍难以实现。最有效的路径似乎是一种混合方法：利用强大的通用模型来承担阅读文本的繁重工作，同时依靠人工监督来捕捉不可避免的错误，并始终将敏感数据安全地保留在组织自身的架构之内。