Retrieve, Match, Escalate: Accurate and Scalable Product Linking with VLM-Distilled Cross-Encoders and Agentic VLMs
تقدم هذه الورقة نظاماً لربط المنتجات يتسم بالقابلية للتوسع وكفاءة التكلفة، حيث يستخدم بنية متتالية (cascade architecture) يقوم فيها مشفر تقاطعي مُقطّر (distilled cross-encoder) بحل المطابقات عالية الثقة، بينما يتولى نموذج رؤية-لغة وكيلِيّ (agentic vision-language model) معالجة الحالات الغامضة، مما يؤدي إلى تعظيم التغطية مع تقليل التكاليف الحسابية ومتطلبات التوسيم البشري إلى أدنى حد.
المؤلفون الأصليون:Jian Wang, Steven Xu, Sanjyot Thete, Maryam Barouti, Tom Tang, Elaine Wu, Charu Sareen, Kyle MacDonald
في السوق الشاسعة والفوضوية للإنترنت الحديث، يدرج ملايين البائعين المستقلين نفس السلع بأسماء مختلفة، وصور مختلفة، وأحياناً بتفاصيل مفقودة أو مربكة. قد يظهر منتج واحد، مثل نوع معين من آلات صنع القهوة، في كتالوج آلاف المرات، وكل مدخل يختلف قليلاً عن الآخر. بالنسبة للحواسيب التي تشغل محركات البحث وأنظمة الترشيح، يخلق هذا ضباباً مربكاً. فإذا لم يتمكن النظام من التعرف على أن هذين الإدراجين المختلفين هما في الواقع نفس السلعة، فلن يتمكن من دمج تقييماتهما، أو تتبع مبيعاتهما، أو إظهارهما للعملاء المناسبين. إن الهدف من "ربط المنتجات" هو تبديد هذا الضباب، والعمل كأمين مكتبة رقمي يقوم بفرز الضجيج للعثور على الهوية الصحيحة والوحيدة لكل عنصر على الرف. لا يعد هذا مجرد مسألة تنظيم؛ بل هو الأساس لكيفية فهم المتاجر عبر الإنترنت لما تبيعه.
قام فريق من الباحثين في "DoorDash" ببناء نظام جديد لحل هذه المشكلة على نطاق هائل، حيث يتعامل مع مليارات السجلات دون استنزاف الميزانية. لقد أدركوا أن معاملة كل منتج بنفس الطريقة هو هدر للموارد. فبعض السلع يسهل تحديدها لأن أسماءها وأكوادها تتطابق تماماً، بينما البعض الآخر يشبه التوائم الذين فصلت بينهم الظروف عند الولادة، مما يتطلب تحقيقاً عميقاً للتمييز بينهم. وبدلاً من استخدام عقل حاسوبي قوي ومكلف لفحص كل منتج، ابتكروا عملية مكونة من ثلاث خطوات تبذل الجهد فقط عندما تكون هناك حاجة حقيقية لذلك. أولاً، يقوم النظام بتضييق الاحتمالات بسرعة إلى قائمة صغيرة من المطابقات المحتملة. بعد ذلك، يقوم برنامج حاسوبي سريع وخفيف الوزن بفحص هذه الأزواج؛ فإذا كان التطابق واضحاً، يقبله النظام فوراً، وإذا كان التطابق خاطئاً بشكل جلي، يرفضه. أما إذا كان البرنامج غير متأكد، فإنه يصعد الحالة الصعبة إلى وكيل ذكاء اصطناعي أكثر تقدماً.
هذا الوكيل المتقدم هو قلب الاكتشاف الجديد. فخلافاً للبرنامج السريع الذي يقرأ النصوص فقط، يمكن لهذا الوكيل النظر في صور المنتجات، والأهم من ذلك، البحث في الإنترنت المفتوح عن أدلة إضافية. عندما يواجه النظام زوجاً مربكاً من الإدراجات حيث الأسماء متشابهة لكن التفاصيل غامضة، يعمل الوكيل كالمحقق؛ فقد ينظر إلى صورة قدر ليرى ما إذا كان مصنوعاً من الحديد الزهر أو الفولاذ المقاوم للصدأ، أو قد يبحث في الويب باستخدام رقم الباركود للعثور على الوصف الرسمي للشركة المصنعة. هذه القدرة على جمع الأدلة من خارج السجلات الأصلية تسمح للنظام بحل الحالات التي قد تحبط أداة بسيطة تعتمد على مطابقة النصوص. وقد وجد الباحثون أنه باستخدام استراتيجية "التصعيد" هذه، تمكنوا من ربط ما يقرب من 77 في المئة من جميع المنتجات تلقائياً، وهي قفزة كبيرة من نسبة 68 في المئة التي كان بإمكان الأدوات الأرخص والأسرع تحقيقها بمفردها.
اكتشف الفريق أيضاً حقيقة مفاجئة حول كيفية تدريب هذه الأنظمة. فبدلاً من توظيف آلاف البشر لتصنيف ملايين الأمثلة، استخدموا نموذجين مختلفين من الذكاء الاصطناعي المتقدم لتقييم نفس العناصر؛ حيث احتفظوا فقط بالإجابات التي اتفق فيها النموذجان، مما خلق مجموعة بيانات تدريب موثوقة للغاية. سمحت هذه الطريقة بتعليم البرنامج السريع والخفيف كيفية اتخاذ القرارات بنفس ثقة النموذج المكلف والبطيء، ولكن بجزء بسيط من التكلفة. كما وجدوا أن مجرد تغذية النظام بالأرقام الخام للباركود كان يعمل بشكل أفضل من إعطائه علامة "مطابقة" أو "عدم مطابقة" جاهزة، لأن الحاسوب يمكنه تعلم رصد المطابقات الجزئية والأخطاء من تلقاء نفسه. ومع ذلك، كان عليهم توخي الحذر، إذ إن الاعتماد المفرط على الباركود قد يؤدي إلى أخطاء عندما يتشارك منتجان مختلفان بالصدفة نفس الكود. وقد حلوا ذلك بتعليم النظام التحقق المزدوج من اسم المنتج كلما تطابق الباركود، لضمان عدم تعرضه للخداع بسبب الأخطاء النادرة.
من خلال الجمع بين مرشح سريع ووكيل ذكي يبحث في الويب، ابتكر الباحثون نظاماً يتسم بالدقة والتكلفة المناسبة في آن واحد. لقد استبدلوا ذكاءً اصطناعياً مكلفاً ومغلق المصدر بنسخة مستضافة ذاتياً تكلف حوالي سُبع التكلفة لتشغيلها، مع الحفاظ على دقة عالية. يعني هذا النهج أن المتاجر عبر الإنترنت يمكنها تنظيف كتالوجاتها بشكل أكثر شمولاً، مما يضمن أن يرى العملاء مدخلاً واحداً واضحاً لكل منتج بدلاً من فوضى مبعثرة من النسخ المكررة. إن النتيجة هي طريقة أكثر ذكاءً وكفاءة لتنظيم بضائع العالم، مما يثبت أن أفضل طريقة لحل مشكلة ضخمة ليست دائماً باستخدام أكبر مطرقة لكل مسمار، بل بمعرفة الوقت المناسب لاستدعاء الخبير.
ملخص تقني: الاسترجاع، المطابقة، التصعيد
تعريف المشكلة
تتناول الورقة البحثية مسألة ربط المنتجات (حل الكيانات - Entity Resolution) على نطاق سوق ضخم للطلب عند الطلب (DoorDash). تتمثل المهمة في ربط مليارات السجلات لمنتجات التجار (SKUs) التي تتسم بالضجيج، وتعدد اللغات، وتنوع الفئات، بكتالوج معياري يضم عشرات الملايين من المنتجات.
التحدي الجوهري هو المقايضة بين التكلفة والقدرة:
النطاق: إن عملية حل كل زوج مرشح باستخدام نموذج واحد عالي القدرة أمر غير ممكن حسابياً.
تباين الصعوبة: العديد من الأزواج واضحة (مثل تطابق الباركود التام)، بينما البعض الآخر غامض بسبب نقص البيانات، أو تضارب السمات، أو الحاجة للتمييز بين المتغيرات الدقيقة (مثل الحجم أو النكهة).
جودة البيانات: غالباً ما تحتوي سجلات التجار على صور مفقودة، وباركود غير موحد، وسمات نصية حرة، مما يجعل المطابقة النصية البسيطة غير كافية لحالات "الذيل الصعب" (Hard Tail) الغامضة.
عنق زجاجة التوسيم (Labeling): الحصول على تسميات بشرية موثوقة أمر صعب لأن هوية المنتج هي عملية تلازمية (متسقة عبر العلامة التجارية، الحجم، إللخ)، ويتطلب التوسيم حلاً مشتركاً للأدلة غير المكتملة.
المنهجية
يقترح المؤلفون تسلسلاً هرمياً ثلاثي المراحل يعتمد على توجيه الثقة، حيث يتم تخصيص الحوسبة بما يتناسب مع صعوبة القرار.
1. المرحلة الأولى: الاسترجاع (Retrieval)
قبل عملية المطابقة، يقوم النظام بتضييق نطاق الكتالوج العالمي إلى مجموعة مرشحة صغيرة (K=20) لكل سجل تاجر.
الآلية: يقوم فهرس متجه (Vector Index) بدمج ثلاث قنوات: النص (أسماء العناصر/الحقول المهيكلة)، الصور (صور المنتجات)، والباركود (GTIN/UPC).
التقنية: تُستخدم عملية البحث عن أقرب جار تقريبي (ANN) للنصوص والصور، بالتزامن مع مطابقة الباركود الدقيقة أو الجزئية. يتم دمج النتائج باستخدام دمج الرتبة العكسية (Reciprocal Rank Fusion - RRF).
الهدف: ضمان استرجاع عالٍ (High Recall)؛ فإذا لم يتم استرجاع المنتج المعياري الصحيح، فلن يمكن مطابقته في المراحل اللاحقة.
تقوم هذه المرحلة بتقييم أزواج المرشحين وتوجيههم بناءً على الثقة.
البنية: مشفر متقطع (Cross-encoder) يعتمد على نموذج ModernBERT-base (بـ 150 مليون معلمة) مع رأس سيجمويد (Sigmoid head). يقوم النموذج بدمج الحقول المتسلسلة (الفئة، الاسم، قوائم GTIN/UPC، الحجم، الوحدة) من كلا السجلين في تسلسل واحد بطول 256 رمزاً (Token).
استراتيجية المدخلات: يتم تغذية أرقام الباركود الخام مباشرة في التسلسل بدلاً من استخدام أعلام المساواة المحسوبة مسبقاً، مما يسمح للنموذج بتعلم أنماط الاتفاق الجزئي والمشوش.
التدريب والتقطير (Distillation): تم تدريب النموذج على 5.3 مليون زوج تم توليدها عبر إجماع ثنائي لنماذج الرؤية واللغة (Dual-VLM Consensus). يقوم نموذجان مختلفان من نوع VLM بتقييم كل زوج؛ وتُستخدم فقط الأزواج التي يتفق فيها النموذجان كعلامات للتدريب. هذا الاستبدل 40 ألف تسمية بشرية بـ 130 ضعفاً من التسميات الاصطناعية الأكثر اتساقاً.
سياسة التوجيه: يخرج النموذج درجة معايرة (s∈[0,1]).
مرتفع (s≥θhigh): قبول تلقائي (دقة ≥98%).
منخفض (s≤θlow): رفض تلقائي.
متوسط: تصعيد إلى المرحلة الثالثة.
3. المرحلة الثالثة: نموذج الرؤية واللغة (VLM) الوكيل متعدد الوسائط
تقوم هذه المرحلة بالفصل في الحالات "المتوسطة" الغامضة التي لا يستطيع المشفر المتقاطع (المرحلة الثانية) حسمها.
البنية: نموذج رؤية ولغة (VLM) مفتوح الأوزان يعمل بنظام خليط الخبراء (MoE) (نموذج Qwen 3.6 35B-A3B) مستضاف ذاتياً.
القدرات: الوكيل هو وكيل (Agentic)؛ حيث يتلقى سجلات المنتجات، والصور، ولديه إمكانية الوصول إلى أداة بحث ويب عبر واجهة MCP. يتبع نمط ReAct، حيث يقرر متى يبحث عن أدلة خارجية (مثل التحقق من باركود أو علامة تجارية مقابل موقع تجزئة) لحل النزاعات الغائبة عن السجلات.
التحسين:
هندسة الأوامر (Prompt Engineering): توجد إضافات محددة توجه النموذج لاعتبار نتائج البحث الفارغة غير حاسمة (وليست دليلاً على الاختلاق) وتقصر إثبات الهوية على الأدلة من نفس التاجر.
التحكم في الحلقة (Loop Control): يتم وضع حد أقصى للوكيل بأربع جولات من استخدام الأدوات لمنع الإفراط في البحث وتضخم زمن الاستجابة (Latency).
تقليل التكلفة: انتقل النظام من نموذج VLM مغلق (GPT-5.4) إلى نموذج مفتوح الأوزان، مما أدى لإزالة تكاليف المورد لكل رمز (Token) والتحكم في الخلفية البرمجية للبحث.
المساهمات الرئيسية
الاستدلال متعدد الوسائط باستخدام الأدوات: صياغة ربط المنتجات الغامض كمهمة تتطلب جمع أدلة نشط (البحث في الويب) واستدلالاً متعدد الوسائط، مُنفذاً عبر نموذج VLM مدرب مسبقاً مع أوامر محددة.
تسلسل هرمي قابل للتوسع يعتمد على توجيه الثقة: إثبات كيفية الجمع بين مشفر متقطع خفيف الوزن (مقطر) ونموذج VLM وكيل، حيث يحل المشفر المتتابع معظم الحالات ذات الإشارة العالية بكفاءة، بينما يتعامل الوكيل مع "الذيل الصعب".
التحقق من الإنتاج ورؤى التقطير:
التحقق من المسار عند نقطة تشغيل إنتاجية (دقة 98%).
إظهار أن الوكيل (Open-weight) الذي يعتمد على نموذج مفتوح يحقق دقة توازي النموذج المغلق (Frontier Model) بـ تكلفة تقارب 1/7 فقط (مع مقايضة قدرها 4 نقاط في الاستدعاء) دون الحاجة لضبط دقيق (Fine-tuning).
تحديد نمط فشل محدد في المشفر المتقاطع (تركيز الباركود الزائد على المعرفات التالفة) ومعالجته عبر عملية تقطير ثانية باستخدام معلم منظم، بدلاً من الإصلاح اليدوي.
النتائج
الاسترجاع: يحقق مرحلة الاسترجاع استدعاءً بنسبة 93.06% في شريحة إزالة التكرار (Ground Truth مستقل) و99.12% في الأزواج المرتبطة.
المطابق (المرحلة الثانية): يحقق المشفر المتقر المقطر استدعاءً بنسبة 77.05% عند دقة 98% (R@P98) في مجموعة اختبار. ويقبل تلقائياً 43.7% من الروابط في الإنتاج عند معيار الدقة هذا.
الوكيل (المرحلة الثالثة):
مقابل البشر: في المهام الصعبة ذات الثقة المتوسطة، تفوق الوكيل على المشغلين البشريين المدربين بـ +13.7% في الدقة، و +18.5% في الاستدعاء، و +4.7% في الضبط (p<0.0001).
مقابل النموذج المغلق: يطابق الوكيل مفتوح الأوزان دقة النموذج المغلق (98.0%) ولكنه يسجل استدعاءً أقل قليلاً (88% مقابل 92%) بتكلفة أقل بـ ~7 أضعاف لكل زوج.
الأثر النهائي (End-to-End): يزيد التسلسل الهرمي من تغطية الربط النهائي من 68.1% (باستخدام المرحلة الرخيصة فقط) إلى 77.1%، بزيادة قدرها 9.0 نقاط مئوية، من خلال حل أكثر السجلات غموضاً.
الأهمية والادعاءات
تؤكد الورقة أن التسميات (Labels) هي عنق الزجاجة، وليس البنية الهيكلية. وتظهر النتائج أن زيادة حجم التسميات الاصط never-ending عالية الاتساق (عبر إجماع Dual-VLM) تحقق مكاسب في الأداء أكبر من زيادة سعة النموذج أو ضبط المعلمات الفائقة.
يؤسس النظام نقطة تشغيل إنتاجية حيث:
كفاءة التكلفة: يتم صرف الحوسبة فقط عند الضرورة. يتراوح تكلفة الزوج الواحد عبر خمس مراتب عشرية، لكن التسلسل يضمن استدعاء الوكيل المكلف فقط لـ "الذيل الصعب".
المتانة: يتعامل المسار مع البيانات الضوضية وغير المتجانسة (صور مفقودة، باركود غير موحد) عبر الجمع بين تعلم الرموز الخام (للباركود) والبحث الوكيل (للسياق المفقود).
القابلية للنقل: التصميم (استرجاع ثم مطابقة، توجيه الثقة، التقطير) مستقل عن المجال. يعتمد النجاح المحدد على القدرة على استبدال النماذج (مثلاً من مغلقة إلى مفتوحة الأوزان) دون إعادة تدريب المسار بالكامل، طالما ظلت الأوامر وعقود الأدوات مستقرة.
يؤكد المؤلفون أن النظام ليس "حلاً سحرياً" لتغطية بنسبة 100% (المقيدة بالاسترجاع واكتمال الكتالوج)، ولكنه يمثل خطوة مهمة نحو حل كيانات دقيق، وقابل للتوسع، وفعال من حيث التكلفة في الأسواق الكبيرة.