技术摘要：检索、匹配与升级

问题定义

本文研究了大规模按需市场（DoorDash）规模下的商品链接（实体解析）问题。该任务涉及将数十亿条嘈杂、多语言且多类别的商家商品记录（SKU）映射到包含数千万件产品的标准目录中。

核心挑战在于成本与能力的权衡。

• 规模： 对每一对候选对使用单一的高容量模型进行解析在计算上是极其昂贵的。
• 难度差异： 许多配对非常简单（例如，精确的条形码匹配），而另一些则因数据缺失、属性冲突或需要区分细微差异（如尺寸、口味）而具有歧义。
• 数据质量： 商家记录通常包含缺失的图像、未规范化的条形码和自由文本属性，这使得简单的文本匹配不足以处理存在歧义的“长尾”情况。
• 标注瓶颈： 获取可靠的人类标签非常困难，因为商品身份是结合性的（在品牌、尺寸等方面保持一致），且标注过程需要对不完整的证据进行联合解析。

方法论

作者提出了一种基于置信度路由的三阶段级联架构，根据决策难度分配计算资源。

1. 第一阶段：检索

在匹配之前，系统将全球目录缩小到每个商家记录的一个较小的候选集（$K=20$）。

• 机制： 向量索引融合了三个通道：文本（名称/结构化字段）、图像（产品照片）和条形码（GTIN/UPC）。
• 技术： 使用近似最近邻（ANN）搜索进行文本和图像检索，并结合精确/部分条形码匹配。结果通过倒数排名融合（RRF）进行合并。
• 目标： 确保高召回率；如果正确的标准产品未被检索到，则后续无法进行匹配。

2. 第二阶段：轻量级交叉编码器匹配器

此阶段对候选对进行评分，并根据置信度进行路由。

• 架构： 一个仅限文本的 ModernBERT-base 交叉编码器（1.5 亿参数），带有 Sigmoid 输出头。它将来自两个记录的序列化字段（类别、名称、GTIN/UPC 列表、尺寸、单位）拼接成一个 256 个 token 的序列。
• 输入策略： 原始条形码数字直接输入序列，而不是预计算的等值标志，从而允许模型学习部分和噪声模式的匹配规律。
• 训练与蒸馏： 该模型通过双 VLM 共识生成的 530 万个配对进行训练。两个独立的 VLM 对每个配对进行评分；只有当两者达成一致时，该配对才会被用作训练标签。这用 130 倍于人类标签的、更具一致性的合成标签取代了 4 万个高质量人工标签。
• 路由策略： 模型输出一个校准后的分数 ($s \in [0, 1]$)。
  • 高置信度 ($s \geq \theta_{high}$)： 自动接受（精度 $\geq 98\%$）。
  • 低置信度 ($s \leq \theta_{low}$)： 自动拒绝。
  • 中等置信度： 升级至第三阶段。

3. 第三阶段：智能体化多模态 VLM

此阶段负责裁决第二阶段无法解决的模糊“中等”区间。

• 架构： 一个自托管的开源权重混合专家模型（MoE）VLM（Qwen 3.6 35B-A3B）。
• 能力： 该智能体是具备智能体属性的（Agentic）。它接收商品记录、图像，并通过 MCP 接口访问网络搜索工具。它遵循 ReAct 模式，决定何时搜索外部证据（例如，验证条形码或品牌是否与零售商网站一致）以解决记录中缺失的冲突信息。
• 优化：
  • 提示工程： 特定的补充说明引导模型将“搜索结果为空”视为不确定（而非不存在的证明），并将身份证明限制在同一零售商的证据内。
  • 循环控制： 智能体被限制在四轮工具调用内，以防止过度搜索和延迟膨胀。
• 成本降低： 系统从闭源前沿 VLM（GPT-5.4）迁移到开源权重模型，消除了按 token 计费的供应商成本，并实现了对搜索后端的控制。

核心贡献

1. 使用工具的多模态推理： 将模糊的商品链接形式化为一项需要主动收集证据（网络搜索）和多模态推理的任务，通过带有特定提示词的预训练 VLM 实现。
2. 可扩展的置信度路由级联： 展示了如何将轻量级的蒸馏交叉编码器与智能体化 VLM 相结合。交叉编码器高效地解决高信号的大多数情况，而智能体则处理困难的长尾部分，从而优化了成本-准确度权衡。
3. 生产验证与蒸馏洞察：
   • 在生产运行点（98% 精度）验证了该流水线。
   • 表明开源权重智能体在实现精度对等的同时，其成本仅为闭源前沿模型的 ~1/7（同时伴随 4 个百分点的召回率权衡），且无需微调。
   • 识别了交叉编码器的一个失效模式（条形码在损坏标识符上的过度索引），并通过使用正则化教师进行的第二次蒸馏过程而非手动修复解决了该问题。

结果

• 检索： 检索阶段在去重切片（独立地面真值）上达到了 93.06% 的召回率，在已链接配对上达到了 99.12%。
• 匹配器（第二阶段）： 蒸馏后的交叉编码器在留出集上实现了 77.05% 的召回率，精度为 98% (R@P98)。在生产环境中，它在这一精度标准下自动接受了 43.7% 的链接。
• 智能体（第三阶段）：
  • 对比人类： 在困难的中等置信度任务上，该智能体的准确率比受训的操作员高出 +13.7%，召回率高出 +18.5%，精度高出 +4.7% ($p < 0.0001$)。
  • 对比闭源模型： 开源权重智能体在匹配闭源前沿模型精度的同时（98.0%），召回率略低（88% vs 92%），但单对成本降低了 ~7 倍。
• 端到端影响： 通过解决最模糊的记录，该级联架构将端到端链接覆盖率从 68.1%（仅使用廉价阶段）提升至 77.1%，实现了 9.0 个百分点的增益。

意义与主张

论文声称，标签才是瓶颈，而非架构。结果表明，通过扩大高一致性合成标签的规模（通过双 VLM 共识），所带来的性能提升比增加模型容量或调整超参数更为显著。

该系统建立了一个生产运行点，其中：

• 成本效率： 仅在必要时投入计算。每对配对的成本跨越了五个数量级，但级联机制确保了昂贵的智能体仅在处理“困难长尾”时才被调用。
• 鲁棒性： 通过结合原始 Token 学习（针对条形码）与智能体搜索（针对缺失上下文），该流水线能够处理嘈杂、异构的数据（缺失图像、未规范化的条形码）。
• 可移植性： “检索-匹配-路由-蒸馏”的设计是领域无关的。其成功依赖于能够在保持提示词和工具契约稳定的前提下，灵活更换模型（例如，从闭源转向开源权重），而无需重新训练整个流水线。

作者强调，该系统并非实现 100% 覆盖的“银弹”（受限于检索和目录的完整性），但它代表了在大规模市场中实现可扩展、准确且具成本效益的实体解析的重要进展。