GLaDViT: interpretable gated fusion of frozen vision, text and layout features for document image classification
GLaDViT 是一个轻量级、可解释的文档分类模型，它通过一个可训练的门控头融合了冻结的 CLIP、BERT 以及源自 Tesseract 的布局特征，在实现高准确度的同时，能够将决策精确归因于各个模态，并证明了尽管布局特征获得的门控权重较低，但其仍提供了显著的互补价值。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代企业和政府机构庞大的数字档案库中，数以百万计的扫描页面正静静地等待着被分类。这些不仅仅是图像；它们是信函、发票、报告和表格，需要被路由到正确的部门，进行索引以便未来搜索，并实现自动化处理。为了让计算机完成这项工作，它必须首先识别出自己正在看的是哪种类型的文档。这项被称为文档图像分类的任务，传统上依赖于大规模且复杂的人工智能系统。这些系统通常需要在数百万页文档上进行训练，以学习区分备忘录与科学报告的细微视觉和文本模式。尽管这些大型模型功能强大，但运行成本高昂，难以更新，且往往表现为“黑盒”，在做出决策时无法解释原因。研究人员现在正在探讨，是否可以通过一种更轻量、更透明的方法，在不增加沉重计算成本或丧失清晰度的前提下，取得类似的效果。
由奥斯蒂姆技术大学（Ostim Technical University）的 Murat Simsek 领导的一个团队提出了一种名为 GLaDViT 的新方法来回答这个问题。该方法并没有从头开始训练一个巨大的神经网络，而是使用了三只不同的“眼睛”来观察文档，每只眼睛都处于冻结状态，无法发生改变。第一只眼睛是一个视觉模型，它将页面视为一张图片，捕捉整体形状和布局。第二只是一个文本模型，它阅读页面上的文字，理解语言。第三个是一个专门的工具，用于绘制单词所在位置的物理方框，从而创建文档结构的几何图。这项创新的核心不在于这些“眼睛”，而在于位于它们之间的一个微小的、可训练的“门控”（gate）。这个门控决定了对于它看到的每一份文档，应该给予图片、文本和布局图多少权重，并将它们组合成最终的决策。
研究人员在一个经过修正的知名数据集 Tobacco-3482 上测试了这个系统，该数据集包含 2,737 页涵盖从广告到简历等各类文档的页面。他们发现，仅靠视觉模型就能在约 88% 的情况下正确识别文档类型，而文本模型达到了 84%。布局图在单独使用时表现较弱，成功率仅为 60% 左右。然而，当研究人员将视觉模型与文本模型结合时，准确率跃升至接近 90%。将布局图加入这一组合后，效果进一步提升，使系统的准确率达到了 93.7%。这种进步表明，尽管布局图本身不足以独立工作，但它提供了视觉和文本模型所遗漏的关键结构线索，例如表单中字段的具体排列方式或信件的间距。
这项研究的一个关键部分是理解系统如何做出选择，这种特性被称为可解释性。在许多复杂的 AI 系统中，决定重要性的内部权重常被误认为是解释，但它们可能会产生误导。研究人员证明，在他们的系统中，门控对布局图权重的分配并不能说明问题的全貌。尽管门控为布局图分配的角色非常小——在大多数情况下，其分配的注意力不到总量的 10%——但布局信息仍然对最终答案产生了可衡量的影响。通过分解决策背后的数学逻辑，他们展示了如果布局信息能与文档的具体特征完美契合，那么少量的布局信息也可以具有极高的影响力。这使得系统能够为每一个决策提供忠实且精确的解释，展示图片、文字和结构各自对最终分类贡献了多少。
研究还探讨了一种称为对比对齐（contrastive alignment）的技术——即在训练期间强制不同类型的数据相互一致——是否能提高性能。研究人员发现，当主要的视觉和文本模型处于冻结状态且无法学习新模式时，这种对齐技术实际上损害了性能，导致准确率下降了几个百分点。这表明，当这些固定模型无法进行适应时，试图强迫它们的内部视图保持一致是适得其反的。最终结果是一个既高度准确又透明的系统。它在测试集上达到了 93.7% 的成功率，统计置信区间在 90.2% 到 96.0% 之间，证明了通过冻结特征进行轻量化、门控融合，可以成为大规模、不透明模型的强大且可审计的替代方案。这项工作证实，虽然布局分析本身不是最强的信号，但它是拼图中的关键一环，当它与视觉和文本正确结合时，能够带来对文档类型更清晰、更可靠的理解。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。