DistilVDR: A Compact End-to-End Visual Document Retriever via Dual-Student Distillation
DistilVDR 是一个紧凑的、端到端的 524M 参数视觉文档检索器，它通过从一个冻结的 8B 参数教师模型进行双学生蒸馏，在无需相关性标签或对比训练的情况下，实现了高性能的检索以及显著更快速、更小的索引。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图在一座拥有数百万份文档的海量图书馆中寻找特定的页面，但这些不仅仅是纸上的文字；它们是收据、图表、手写笔记和技术图纸的复杂图像。这就是**视觉文档检索（Visual Document Retrieval, VDR）**的世界。这是计算机科学的一个分支，机器通过学习“阅读”文档图像来回答问题。通常，为了做好这件事，计算机需要极其聪明，但也必须极其庞大。把目前的顶尖系统想象成巨大的、耗油量极高的超级卡车：它们足以找到正确的页面，但由于体积庞大且运行缓慢，导致运行成本高昂且加载到内存中需要很长时间。
为了让这些系统变得更快，研究人员尝试了两种主要的技巧。一种是从头开始制造一辆微型、轻量级的汽车，但这些小车在路面颠簸时往往会发生碰撞（即失去准确性）。另一种技巧是教一辆小车如何驾驶，让它跟随一辆巨大的超级卡车。但通常情况下，这只能教会驾驶员（理解你问题的部分），而卡车本身（扫描文档的部分）仍然保持着巨大且沉重的规模。核心问题在于：我们能否将整个系统——包括驾驶员和卡车——缩减为一辆单一、快速、紧凑的车辆，同时又不损失寻找正确文档的能力？
DistilVDR 应运而生，它是一个全新的系统，它说：“是的，我们可以。”研究人员构建了一个紧凑的端到端视觉文档检索器，它表现得像一辆灵巧的跑车，却拥有超级卡车的精准度。他们通过使用一种“双学生”（dual-student）训练法实现了这一目标。想象一位掌握了每道菜完美滋味的顶级大厨（一个拥有 80 亿参数的 AI 模型）。与其让学生去品尝食物并猜测食材，大厨直接将每道菜精确的“食谱卡片”（数学上的“嵌入/embeddings”）递给他们。然后，学生们只需练习完美地复制这些卡片即可。
巧妙之处在于他们是如何构建这些学生的。他们意识到，提出问题（查询）和阅读文档（图像）是不同的任务。因此，他们构建了一个不对称的团队：一个仅有 7000 万参数的微型“纯文本”学生来处理你的问题，以及一个稍大一些的、拥有 4.54 亿参数的“视觉密集型”学生来处理文档图像。两者共同构成了一个 5.24 亿参数的系统。这仅仅是他们所学习的 80 亿参数巨型教师模型的极小一部分。
结果令人印象深刻。“HiRes”版本的这个新系统保留了巨型教师模型约 87% 的准确率，在名为 ViDoRe 的严苛测试中平均得分 61.74。更令人兴奋的是，“Fast”版本（它通过减少视觉细节来节省空间）得分仍有 59.98，击败了研究人员测试过的所有其他小型系统。但真正的魔力在于速度和存储。虽然旧的多向量系统（将文档分解为许多微小碎片）需要一个巨大的仓库来存储数据，且搜索时间较长，但 DistilVDR 存储一百万份文档的索引体积缩小了 15.6 倍。此外，它对语料库（组织图书馆）的索引速度快了 10 倍。
论文明确排除了通过添加复杂的“对比性”（contrastive）训练（即通过猜错答案并进行纠正来学习）来获得良好结果的可能性。他们尝试过添加这一额外步骤，但发现并没有帮助；仅仅是完美复制教师的“食谱卡片”就足够了。他们还表明，在训练完成后，你并不需要让那个巨大的教师模型继续在你的计算机中运行；这个小型的学生完全可以独立胜任这项工作。
简而言之，DistilVDR 证明了你不需要用一辆超级沉重的卡车来递送包裹。通过将知识从一个巨型模型精巧地蒸馏到一个专门的、轻量级的团队中，你可以获得一个既快速、存储成本低，又能极其出色地在视觉文档海洋中找到正确页面的系统。对于任何想要拥有强大的文档搜索能力却不想背负沉重负担的人来说，这都是一个胜利。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。