🤖 AI

KoVRE: Training an Efficient Embedding Model for Korean Visual Document Retrieval

该论文介绍了 KoVRE，这是一种用于韩语视觉文档检索的高效单向量嵌入模型，它利用针对性的双语监督和先进的训练策略，在无需大规模规模的情况下，实现了超越更大骨干网络和多向量基准模型的性能。

原作者： Yongbin Choi, Gyuho Shim, Youngjoon Jang

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Yongbin Choi, Gyuho Shim, Youngjoon Jang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一座庞大且杂乱的图书馆里寻找特定的页面，而这些书是由图片而非仅仅是文字组成的。如果你向一位图书管理员询问“一张带有红色图表和关于金钱故事的页面”，他们可能会尝试先大声朗读出文字。但如果文字很模糊，或者图表的绘制方式无法用文字来描述呢？这就是**视觉文档检索（Visual Document Retrieval）**发挥作用的地方。它不仅仅是阅读文字，而是观察页面的实际图像——布局、颜色、表格和图片——从而精准找到你所需的内容。这就像拥有一位不仅能读字母，还能“看见”整个页面的图书管理员。

通常情况下，这些聪明的图书管理员主要是在英文书籍上接受训练的。如果你询问关于韩文文档的问题，他们可能会感到困惑，因为字母的形状和页面的设计方式是不同的。此外，让这些图书管理员变得超级聪明往往需要它们规模庞大、运行缓慢且成本高昂，就像一台试图记住每一本书中每一个像素点的巨型超级计算机。核心问题在于：我们能否构建一个更小、更快、更便宜，且专门针对理解韩文视觉文档而训练的图书管理员，而不需要它成为一个庞然大物？

这正是 KOVRE 背后的研究人员致力于解决的问题。他们创建了一个专门用于韩文视觉文档的紧凑型“图书管理员”（计算机模型）。他们并没有把图书管理员做得更大，而是教得更聪明。他们在由 708,729 对问题和文档页面组成的庞大集合上对其进行了训练，其中混合了韩文和英文以保持模型的敏锐度。他们使用了一个巧妙的两步训练过程：首先，向模型展示棘手的例子（难负样本），以教会它什么不应该被选中；其次，让一个“教师”模型（一个非常聪明但运行缓慢的专家）引导“学生”模型如何对最佳答案进行排序。

结果令人惊喜且充满希望。他们这个拥有 20 亿参数的新模型（规模相对较小）不仅表现良好，甚至击败了一个规模大得多的 80 亿参数模型，还超越了一个使用复杂且耗费内存的方法来存储信息的强大系统。该论文表明，通过精心设计训练方案——特别是处理困难样本的方式以及在“教师-学生”学习阶段进行分数归一化的方式——你可以创建一个高效的韩文文档查找器，而无需庞大的计算机或巨大的存储系统。这证明了通过正确的训练策略，一个小型且高效的模型完全可以与那些巨头模型一样出色，甚至更胜一筹。

技术摘要：KOVRE – 训练高效的韩语视觉文档检索嵌入模型

问题陈述

视觉文档检索（Visual Document Retrieval, VDR）旨在将文本查询直接与渲染后的文档图像进行匹配，从而保留关键的视觉和结构信息（如表格、图表、布局），这些信息在光学字符识别（OCR）和文本提取流水线中往往会丢失。虽然最近的 VDR 模型取得了强劲的表现，但仍面临三个主要局限性：

以英语为中心的偏差： 现有的训练数据和基准测试主要以英语为主，导致在高性能韩语系统方面存在空白。
资源密集型： 高性能模型通常依赖于庞大的骨干网络（例如 8B+ 参数）或多向量表示（每页存储多个嵌入），这会产生显著的存储和检索成本。
探索不足的训练策略： 关于如何针对特定语言有效地训练紧凑的单向量检索器，目前研究有限，特别是在训练数据构成、难负样本挖掘以及从重排序器（reranker）进行知识蒸馏方面。

方法论

作者介绍了 KOVRE（KOrean Visual-document Retrieval Embedding），这是一个基于 Qwen3-VL-Embedding-2B 模型改进的紧凑型单向量检索器。训练过程分为两个截然不同的阶段：

1. 基础模型与表示

架构： 该模型保留了原始 Qwen3-VL-Embedding-2B 的视觉-语言架构，未做修改。
输入： 它接收文本查询和渲染后的文档页面图像，并将它们映射到共享的稠密空间。
Matryoshka 表示学习 (MRL)： 模型被训练为输出多个维度的嵌入（2048, 1024, 768, 512, 256, 128），从而允许在检索质量和存储效率之间进行灵活权衡。
相似度： 训练和推理均使用余弦相似度。

2. 第一阶段：对比学习 (CL)

数据： 模型在包含韩语和英语数据的 708,729 个“查询-页面”对上进行训练。
- 韩语： 结合了公开的 KoViDoRe 数据和私有的 AI Hub 数据集。
- 英语： 从五个现有的 VDR 资源（报告、幻灯片、表格）中聚合，以防止对骨干网络多语言能力的灾难性遗忘。
难负样本挖掘 (Hard-Negative Mining)： 使用规模更大的 Qwen3-VL-Embedding-8B 模型为每个查询挖掘 7 个难负样本。
- 正向感知过滤 (Positive-Aware Filtering)： 排除得分高于标注正样本相似度 95% 的候选样本，以减少假负例。
- 自引导过滤 (Self-Guide Filtering)： 排除得分显著高于正样本（基于停止梯度阈值）的负样本，以将其排除在损失计算之外。
损失函数： 使用带有难度加权 (hardness weighting) 的 InfoNCE 目标进行优化。显式挖掘出的难负样本会获得一个额外的停止梯度项，其权重系数为 $\alpha=2.0$ ，以强调困难样本，而批次内（in-batch）负样本则不加权。
目标： 损失在所有 Matryoshka 维度上共同计算。

3. 第二阶段：知识蒸馏 (KD)

数据： 仅使用语料库中的韩语子集。
教师模型： Qwen3-VL-Reranker-8B 为每个查询对 64 个页面候选池（32 个挖掘出的难负样本 + 32 个随机样本）进行评分。
目标构建： 选择得分最高的 8 个负样本连同正样本一起组成训练实例。
分数归一化： 一个关键步骤是在应用 softmax 之前，对教师模型和学生模型的分数进行逐行最大最小归一化 (per-row min-max normalization) 到 [0, 1] 范围。这解决了重排序器分数不受限且依赖于查询的问题，从而保留了相关性分布的形状。
损失函数： 学生模型最小化其得分分布与教师模型在所有 Matryoshka 维度上的归一化分布之间的 KL 散度。

核心贡献

KOVRE 模型： 开发了一种用于韩语视觉文档的紧凑型单向量检索器，在不需要更大的骨干网络或多向量索引的情况下，实现了具有竞争力的性能。
系统化的训练方案： 对训练组件进行了全面分析，证明了以下各项的有效性：
- 双语监督（韩语 + 英语）以保留多语言能力。
- 正向感知难负样本挖掘和自引导过滤。
- 针对挖掘出的负样本进行难度加权。
- 用于有效知识蒸馏的最小-最大分数归一化。
- Matryoshka 表示对于紧凑检索的效用。

结果

在韩语 VDR 基准测试（KoViDoRe 和 SDS KoPub VDR）上进行评估，KOVRE 展示了显著的提升：

性能增益： 最终的 2B KOVRE 模型显著优于其基础 Qwen3-VL-Embedding-2B 骨干网络。
与更大模型的比较： 在综合性能（nDCG@10）方面，KOVRE 优于 8B 单向量对应模型（Qwen3-VL-Embedding-8B）以及一个强大的 4B 多向量基准模型（Jina Embeddings v4）。
维度效率： 即使在降低维度（如 256）时，KOVRE 仍保持了强劲的性能，略微超过了 4096 维的 Qwen3-VL-Embedding-8B。
消融实验洞察：
- 双语训练优于仅限韩语的训练。
- 添加额外的韩语文本数据集（不含视觉上下文）降低了性能。
- 第二阶段中的最小-最大归一化至关重要；若没有它，蒸馏会损害性能。

重要性与主张

论文声称，有针对性的双语监督和精心设计的训练策略可以产生高度有效的韩语 VDR 模型，而无需扩大模型规模或采用存储密集型的多向量表示。

作者将 KOVRE 定位为当前模型服务不足的语言的一种实用解决方案，证明了经过良好训练的紧凑型模型可以媲美甚至超越更大、更复杂的系统。这项工作提供了一个可复现的训练方案，强调了在视觉文档检索的知识蒸馏中，数据构成、负样本挖掘策略和分数归一化的重要性。

注明的局限性： 作者承认，与英语相比，韩语训练语料库包含的独特页面图像较少，这可能限制了训练期间观察到的布局和文档类型的多样性。他们建议未来的工作应侧于增加韩语页面图像的多样性，而非仅仅增加查询数量。