技術要約：検索、照合、エスカレーション

問題定義

本論文は、大規模なオンデマンド・マーケットプレイス（DoorDash）における規模の大きな製品リンキング（エンティティ・レゾリューション）を取り上げている。タスクの本質は、数十億件のノイズが多く、多言語かつ多カテゴリにわたるマーチャント製品レコード（SKU）を、数千万件の製品からなる標準的なカタログへとマッピングすることである。

核心となる課題は、コストと能力のトレードオフである。

• 規模: すべての候補ペアに対して高容量モデルを適用することは、計算量的に不可能である。
• 難易度の分散: 多くのペアは単純（例：バーコードの完全一致）であるが、他のペアはデータの欠落、属性の矛盾、あるいは微妙なバリエーション（サイズ、フレーバーの違いなど）を区別する必要があるために曖昧である。
• データ品質: マーチャントのレコードには、画像の欠落、正規化されていないバーコード、自由形式のテキスト属性が含まれることが多く、単純なテキストマッチングだけでは「ハード・テイル（困難な事例）」の曖昧なケースに対処できない。
• ラベル付けのボトルネック: 製品の同一性は結合的（ブランド、サイズなどが一貫している必要がある）であり、不完全な証拠を統合して判断する必要があるため、信頼できる人間によるラベル取得は困難である。

手法

著者らは、決定の難易度に応じて計算量を割り当てる、信頼度に基づいた3段階のカスケード（連鎖）方式を提案している。

ステージ1：検索（Retrieval）

マッチングを行う前に、システムはマーチャントレコードごとにグローバルカタログから少数の候補セット（$K=20$）に絞り込む。

• メカニズム: ベクトルインデックスは、テキスト（商品名/構造化フィールド）、画像（製品写真）、およびバーコード（GTIN/UPC）の3つのチャネルを融合させる。
• 技術: テキストと画像には近似最近傍（ANN）探索を用い、バーコードの完全一致または部分一致を組み合わせる。結果は、相互ランク融合（RRF）を用いて統合される。
• 目的: 高い再現率（リコール）を確保すること。正しい標準製品が検索されなければ、後続の工程でマッチングすることはできない。

ステージ2：軽量クロスエンコーダー・マッチャー

このステージでは、候補ペアのスコアを算出し、信頼度に基づいてルーティングを行う。

• アーキテクチャ: シグモイド関数ヘッドを備えた、テキストのみのModernBERT-baseクロスエンコーダー（150Mパラメータ）である。両方のレコードからのシリアライズされたフィールド（カテゴリ、名称、GTIN/UPCリスト、サイズ、単位）を、単一の256トークンのシーケンスに連結する。
• 入力戦略: 生のバーコード数字は、事前に計算された一致フラグとしてではなく、シーケンスに直接投入される。これにより、モデルは部分的かつノイズを含む一致パターンを学習できる。
• 学習と蒸留: デュアルVLMコンセンサスによって生成された530万組のペアを用いてモデルを学習させる。2つの独立したVLMが各ペアをスコアリングし、両者が一致した場合のみを学習ラベルとして使用する。これにより、4万件の人間によるラベルを、130倍多く一貫性のある合成ラベルに置き換えている。
• ルーティング・ポリシー: モデルは較正されたスコア（$s \in [0, 1]$）を出力する。
  • 高信頼（$s \geq \theta_{high}$）: 自動承認（精度 $\geq 98\%$）。
  • 低信頼（$s \leq \theta_{low}$）: 自動拒否。
  • 中信頼: ステージ3へエスカレーション。

ステージ3：エージェンティック・マルチモーダルVLM

ステージ2で解決できなかった曖昧な「中信頼」領域を裁定する。

• アーキテクチャ: 自己ホスト型のオープンウェイト混合エキスパート（MoE）VLM（Qwen 3.6 35B-A3B）を使用する。
• 機能: このエージェントはエージェンティック（自律的）である。製品レコード、画像を受け取り、MCPインターフェースを介してウェブ検索ツールへのアクセス権を持つ。ReActパターンに従い、レコードに欠落している矛盾を解消するために、外部の証拠（例：小売サイトでのバーコードやブランドの検証）を検索するかどうかを自ら判断する。
• 最適化:
  • プロンプトエンジニアリング: 空の検索結果を「（情報の捏造ではなく）結論が出せない状態」として扱うよう、また、同一小売業者の証拠のみを同一性の証明として制限するよう、特定の補足事項を用いてガイドする。
  • ループ制御: 過剰な検索とレイテンシの増大を防ぐため、エージェントのツール使用回数は4ラウンドに制限されている。
• コスト削減: システムは、クローズドな最先端VLM（GPT-5.4）からオープンウェイトモデルへと移行し、トークンごとのベンダーコストを排除し、検索バックエンドの制御を可能にした。

主な貢献

1. ツールを使用するマルチモーダル推論: 曖昧な製品リンキングを、能動的な証拠収集（ウェブ検索）とマルチモーダルな推論を必要とするタスクとして定式化し、特定のプロンプトを用いた学習済みVLMによって実装した。
2. スケーラブルな信頼度ルーティング・カスケード: 軽量で蒸留されたクロスエンコーダーと、エージェンティックなVLMをどのように組み合わせるかを示した。クロスエンコーダーは高シグナルの大部分を効率的に解決し、エージェントは困難な「テイル」部分を処理することで、コストと精度のトレードオフを最適化する。
3. プロダクション検証と蒸留の洞察:
   • パイプラインをプロダクションの動作点（精度98%）で検証した。
   • オープンウェイトのエージェントが、（手動のパッチ適用ではなく）正則化された教師を用いた第2段階の蒸留パスを通じて、（バーコードの破損した識別子に対する過剰インデックスといった）クロスエンコーダーの特定の失敗モードを解決したことを示した。

結果

• 検索（Retrieval）: 検索ステージは、デデュプリケーション（重複排除）のスライスにおいて93.06%の再現率（独立したグラウンドトゥルースに基づく）を達成し、リンクされたペアでは99.12%に達した。
• マッチャー（ステージ2）: 蒸留されたクロスエンコーダーは、保持されたセットに対して77.05%の再現率を精度98%で達成（R@P98）した。プロダクションにおいては、この精度基準で43.7%のリンクを自動承認している。
• エージェント（ステージ3）:
  • 人間との比較: 困難な中信頼タスクにおいて、エージェントは訓練を受けた人間のオペレーターを、精度 +13.7%、再現率 +18.5%、適合率 +4.7% 上回った（$p < 0.0001$）。
  • クローズドモデルとの比較: オープンウェイトのエージェントは、クローズドな最先端モデルの精度（98.0%）に匹敵するが、約7倍低いコストで、わずかに低い再現率（88% vs 92%）となる。
• エンドツーエンドの影響: カスケードにより、最も曖昧なレコードを解決することで、エンドツーエンドのリンク・カバレッジが68.1%（安価なステージのみの場合）から**77.1%**へと、9.0ポイント向上した。

意義と主張

本論文は、ボトルネックはアーキテクチャではなく、ラベルであると主張している。結果は、高一貫性の合成ラベルのボリュームを拡大すること（デュアルVLMコンセンサスによる）が、モデルの容量増加やハイパーパラメータのチューニングよりも大きな性能向上をもたらすことを示している。

本システムは、以下の特性を持つプロダクション動作点を確立している：

• コスト効率: 計算量は必要な場所にのみ費やされる。ペアあたりのコストは5桁の範囲で変動するが、カスケードにより、高価なエージェントは「ハード・テイル」に対してのみ呼び出される。
• 堅牢性: 生のトークン学習（バーコード用）とエージェンティックな検索（不足している文脈用）を組み合わせることで、ノイズが多く不均質なデータ（画像の欠落、正規化されていないバーコード）を処理する。
• ポータビリティ: 「検索してからマッチングする」「信頼度によるルーティング」「蒸留」という設計は、ドメインに依存しない。この成功の特異性は、プロンプトとツールの契約が安定している限り、パイプライン全体を再学習することなくモデルを交換できる（例：クローズドからオープンウェイトへ）能力に基づいている。

著者らは、本システムは（検索とカタログの完全性に制約されるため）100%のカバレッジを実現する「銀の弾丸」ではないものの、大規模なマーケットプレイスにおける、スケーラブルで正確、かつコスト効率の高いエンティティ・レゾリューションに向けた重要な一歩であると強調している。