One Hierarchy, Two Systems: Semantic Product IDs for Discovery-Surface Ranking and Search-Page Query Reformulation
تُثبت هذه الورقة أن تمثيلاً هرمياً واحداً لـ "المعرف الدلالي" (Semantic ID) يتم تعلمه يمكنه توحيد مهام اكتشاف المنتجات والبحث بفعالية، وذلك من خلال تمكين تحسين التصنيف المخصص عبر إشارات سلوكية مجمعة، وتطوير إعادة صياغة الاستعلامات بشكل أكثر فاعلية عبر الملاحة القائمة على المفاهيم، مع الحفاظ في الوقت ذاته على السياقات الخاصة بكل مهمة.
في الأسواق الرقمية الشاسعة حيث نشتري المواد الغذائية والملابس والسلع المنزلية، غالبًا ما يرتدي المنتج الواحد وجوهًا عديدة مختلفة. فقد يُدرج نوع معين من الحليب من قبل متجر ما تحت اسم واحد، ومن قبل متجر آخر تحت رمز مختلف تمامًا، رغم أن الزجاجة الموجودة على الرف متطابقة. هذا التجزؤ يجعل من الصعب على الحواسيب أن تفهم أن العميل الذي يشتري نسخة من منتج ما، من المرجح أن يكون مهتمًا بالنسخة الأخرى. ولحل هذه المعضلة، حاول الباحثون منذ فترة طويلة تنظيم المنتجات في فئات، تمامًا كما تستخدم المكتبة نظام تصنيف. ومع ذلك، فإن هذه الفئات التي صنعها البشر غالبًا ما تكون واسعة جدًا بحيث لا تستطيع التقاط الاختلافات الدقيقة بين العناصر، بينما تكون البيانات الخام من كل متجر فوضوية للغاية لدرجة تمنع الربط بين النقاط. ويكمن التحدي في إيجاد طريقة لتعليم الكمبيوتر رؤية العلاقات بين المنتجات دون فقدان التفاصيل المحددة التي تهم المتسوق.
لقد وضع فريق من الباحثين في "DoorDash" نصب أعينهم حل هذه المشكلة من خلال ابتكار طريقة جديدة لتمثيل المنتجات، تعمل كلغة مشتركة لكل من توصية العناصر والمساعدة في بحث الناس عنهم. لقد طوروا نظامًا يحول معلومات المنتج إلى رمز فريد وقصير، يشبه بصمة الإصبع الرقمية. وعندما حللوا هذه الرموز، اكتشفوا أنها تشكل طبيعيًا تسلسلاً هرميًا، مثل مجموعة من الصناديق المتداخلة. فالطبقات الخارجية من الرمز تجمع المنتجات في فئات عريضة، بينما تغوص الطبقات الداخلية في تفاصيل أكثر دقة وتحديدًا. سمح هذا الهيكل للنظام بفهم أن منتجين مرتبطان لأنهما يتشاركان بداية الرموز الخاصة بهما، حتى لو كانت المتاجر التي تدرجهما تستخدم أسماءً مختلفة. اختبر الباحثون ما إذا كان هذا التسلسل الهرمي الواحد يمكنه تشغيل مهمتين مختلفتين تمامًا: تحديد المنتجات التي تُعرض للعميل في صفحة التصفح، واقتراح مصطلحات بحث أفضل عندما يكتب العميل استعلامًا.
طبق الباحثون أولاً هذا التسلسل الهرمي على مشكلة ترتيب المنتجات في صفحات الاكتشاف، حيث يتصفح المستخدمون قوائم مثل "شواء الصيف" أو "الجمال". في الماضي، كان النظام يعاني في تعلم تفضيلات العميل لأنه كان يعامل كل إدراج من متجر ما ككيان منفصل. فإذا اشترى مستخدم نوعًا معينًا من القهوة من متجر واحد، لم يكن النظام يعرف تلقائيًا أنه قد يحب نفس القهوة من متجر آخر. وباستخدام هذه الرموز الهرمية، استطاع النظام تجميع هذه العناصر المتشابهة معًا وتجميع تاريخ العميل عبر جميع هذه الإدراجات. سمح هذا لخوارزمية الترتيب بالتعرف على التفضيل لـ "مفهوم المنتج" بدلاً من مجرد إدراج واحد من متجر معين. وعندما اختبروا ذلك في العالم الحقيقي، أصبح النظام أفضل بشكل ملحوظ في التنبؤ بما سيرغب العميل في إضافته إلى عربة التسوق الخاصة به. وأظهرت النتائج زيادة ملحوية في التفاعل، حيث أضاف العملاء المزيد من العناصر إلى عربات تسوقهم، لا سيما في المواقع الأولى من قوائم التصفح. ولعل الأهم من ذلك، أن النظام بدأ يعرض تنوعًا أكبر من المنتجات، مما منح المنتجات الأقل شهرة فرصة عادلة للظهور بدلاً من مجرد تكرار نفس السلع الأكثر مبيعًا.
استُخدم الهيكل الهرمي نفسه لتحسين تجربة البحث، وتحديدًا الاقتراحات التي تظهر عندما يكتب المستخدم استعلامًا. تقليديًا، تقترح أنظمة البحث مصطلحات جديدة من خلال النظر فيما كتبه الأشخاص بعد ذلك في سجل بحثهم. وغالبًا ما يفشل هذا النهج لأنه يرتبك بسبب الأخطاء الإملائية، أو الاختصارات، أو حقيقة أن الكلمات نفسها يمكن أن تعني أشياء مختلفة في سياقات مختلفة. وبدلاً من ذلك، يقوم النظام الجديد بترجمة بحث المستخدم إلى مفاهيم المنتجات المحددة في الرموز الهرمية. ثم يبحث عن الانتقالات بين هذه المفاهيم بدلاً من الانتقالات بين الكلمات الخام. على سبيل المثال، إذا بحث مستخدم عن "حليب"، فإن النظام يفهم هذا كمفهوم منتج ويمكنه اقتراح الانتقال جانبًا إلى "حبوب الإفطار" أو تدقيق البحث إلى "حليب كامل الدسم"، اعتمادًا على ما نقر عليه المستخدم بالفعل في الماضي. أثبتت هذه الطة أنها أكثر دقة من النهج السابق. وفي الاختبارات، أنتج النظام الجديد اقتراحات كانت أكثر تميزًا وفائدة، مما ساعد المستخدمين على العثور على ما يبحثون عنه بشكل أسرع. وعند تطبيقه على مستخدمين حقيقيين، قلل النظام من عدد عمليات التمرير والنقرات المطلوبة للعثور على منتج، مما يعني أن المتسوقين وصلوا إلى عناصرهم المنشودة بجهد أقل.
توضح الدراسة أن تسلسلاً هرميًا واحدًا متعلمًا من رموز المنتجات يمكن أن يعمل كأساس قوي لكل من التوصية بالمنتجات وتحسين استعلامات البحث. ومن خلال الابتعاد عن الفئات الجامدة التي يصنعها البشر، واستخدام هيكل تعلمه الكمبيوتر مباشرة من البيانات، أنشأ الباحثون نظامًا يتسم بالمرونة والدقة في آن واحد. وتشير النتائج إلى أنه عندما تفهم الحواسيب العلاقات بين المنتجات على مستويات متعددة من التفاصيل، يمكنها خدمة الاحتياجات المحددة لكل متسوق بشكل أفضل. ولم تكن النتائج نظرية فحسب؛ بل تم قياسها في تجارب واقعية حيث تفوق النظام الجديد باستمرار على الأساليب القديمة، مما أدى إلى عملاء أكثر رضا وسوق أكثر كفاءة. يسلط هذا العمل الضوء على كيفية قدرة الفهم المشترك لهيكل المنتج على سد الفجوة بين الواقع الفوضوي لملايين الإدراجات المختلفة والتجربة الشخصية التي يتوقعها كل متسوق.
ملخص تقني: تسلسل هرمي واحد، نظامان
بيان المشكلة
تواجه كتالوجات التجارة الإلكترونية متعددة التجار تحديًا جوهريًا في التمثيل: حيث غالبًا ما تُدرج المنتجات المتكافئة والمرتبطة تحت معرفات مختلفة خاصة بكل تاجر، مما يؤدي إلى تفتت الأدلة السلوكية عبر المنصة. وتكافح الحلول الحالية للموازنة بين الدقة والتعميم:
معرفات القوائم المرتبطة بالتاجر (Merchant-scoped Listing IDs): تحافظ على الهوية الدقيقة ولكنها تفشل في نقل إشارات التفضيل للمنتجات المتكافئة عبر التجار المختلفين، مما يؤدي إلى ندرة البيانات اللازمة لتعلم التفضيلات الموثوقة.
التصنيفات المحددة من قبل الخبراء (Expert-defined Taxonomies): تسمح بمشاركة أدلة أوسع نطاقًا، ولكنها غالبًا ما تكون فضفاضة جدًا بالنسبة للتخصيص والاكتشاف دقيق التفاصيل.
إعادة صياغة الاستعلام (Query Reformulation): تعاني الأنظمة التي تعتمد على انتقالات سلاسل الاستعلام الخام من تفتت الأدلة بسبب الأخطاء الإملائية، والاختصارات، والتعبيرات المترادفة. علاوة على ذلك، يمكن للاستعلامات المتطابقة أن تخلط بين مقاصد متميزة عبر مجالات عمل مختلفة.
المشكلة الجوهرية هي تحديد تمثيل منتج واحد يكون دقيقًا بما يكفي للحفاظ على التمايزات المفيدة للتخصيص، وفي الوقت نفسه هرميًا بما يكفي لدعم تجميع الأدلة وتحسين المقصد عبر كل من مجالات التوصية والبحث.
المنهجية
يقترح المؤلفون إطار عمل موحد يستخدم تسلسلاً هرميًا للمعرفات الدلالية المتعلمة (SID hierarchy) كتمثيل مشترك للمنتجات لنظامين متميزين: ترتيب العناصر المخصص وإعادة صياغة الاستعلام.
1. بناء التسلسل الهرمي للمنتجات المشترك
يتم بناء التسلسل الهرمي مرة واحدة من محتوى الكتالوج باستخدام تجميع k-means للكمية المتبقية (RQ-K-means):
التضمين (Embedding): يتم تشفير ملفات تعريف المنتجات (اسم المنتج، العلامة التجارية، الحجم) إلى ناقلات عالية الأبعاد (3,072 بُعدًا) باستخدام مشفر نصي مدرب مسبقًا (gemini-embedding-001).
الكمية (Quantization): تخضع الناقلات لعملية كمية متبقية مكونة من 3 مراحل مع 512 مركز ثقل لكل مرحلة.
الهيكل: يتم تخصيص تسلسل مكون من 3 رموز لكل منتج si=[ci,0,ci,1,ci,2]. وتحدد البوادئ (Prefixes) عند المستويات 1 و2 و3 (L1، L2، L3) تقسيمات متداخلة للكتالوج.
الخصائص: يلتقط التسلسل الهرمي مفاهيم المنتجات بزيادة في التحديد. وتترابط البوادئ المشتركة الأطول مع تماسك دلالي أفضل وفصل مجموعات أفضل (مؤشر دافيز-بولدين أقل) مع الحفاظ على استخدام متوازن للرموز.
2. التطبيق (أ): ترتيب العناصر المخصص
يُستخدم تسلسل SID الهرمي لتعزيز الترتيب في واجهات الاكتشاف (مثل كراوسيل الفئات) عن طريق تجميع سلوك المستهلك عند مستويات دلالية متعددة.
الميزات الكثيفة (Dense Features): يتم تجميع الإحصائيات السلوكية (تكرار الطلب، حداثة الشراء، معدلات الأداء) عبر بادئات SID (L1، L2، L3) للمستهلكين، والأسواق الفرعية، والسياقات العالمية. وهذا يسمح للنموذج بتعلم التفضيلات للمفاهيم الواسعة والمتغيرات دقيقة التفاصيل في آن واحد.
ميزات التسلسل (Sequence Features): يتم ترميز رموز SID باستخدام SentencePiece (نسخة من BPE) لإنشاء "رموز SPM". تمثل هذه الرموز كلاً من العناصر المرشحة وسجل المستهلك (المنتجات المرتبة من آخر 180 يومًا).
بنية النموذج: تستقبل شبكة عصبية متعددة المهام (تتنبأ بـ CTR، وATC، وCVR) هذه التجميعات الكثيفة وتضمينات التسلسل. ويسمح جدول التضمين المشترك للنموذج بربط الكلمات الفرعية للمنتجات المرشحة مباشرة بتفضيلات المستهلك التاريخية.
3. التطبيق (ب): إعادة صياغة الاستعلام
يعمل التسلسل الهرمي على ربط استعلامات البحث بمفاهيم المنتجات لتحسين "حبوب" الاستعلام المقترحة (Suggested query pills).
ربط الاستعلام بالمفهوم (Query-to-Concept Grounding): يتم ربط الاستعلامات بالبوادئ المهيمنة لـ SID (L1 أو L2) بناءً على أحداث "الإضافة إلى العربة" (ATC) المرتبطة بها، مع اشتراط المجال التجاري لحل الغموض.
نمذجة الانتقال (Transition Modeling):
التنقل الجانبي (Lateral Navigation): يتم نمذجة الانتقالات بين بادئات SID المرتبطة باستخدام معلومات متبادلة نقطية طبيعية (NPMI) لالتقاط التحولات الجانبية (مثل: حليب → حبوب إفطار).
التحسين الهرمي (Hierarchical Refinement): يسمح مسار موازٍ بالهبوط من بادئة L2 إلى أبنائها في L3 لالتقاط عمليات التحسين (مثل: حليب → حليب كامل الدسم)، مما يمنع انهيار المقاصد دقيقة التفاصيل في حلقات ذاتية.
العرض والفلترة (Rendering & Filtering): يقوم نموذج لغوي بتحويل المفاهيم المستهدفة إلى استعلامات يراها المستهلك. ويتم فلترة المرشحين مقابل تشكيلة التاجر النشطة لضمان أن الاقتراحات قابلة للتنفيذ.
المساهمات الرئيسية
دراسة على نطاق الإنتاج: تقدم الورقة نشرًا واسع النطاق لتسلسلات SID الهرمية المتعلمة كتمثيل قابل لإعادة الاستخدام عبر أنظمة التوصية والبحث.
التكيف الخاص بالمهام: توضح كيف يدعم تسلسل هرمي واحد هدفين متميزين:
الترتيب: تجميع التفاعلات عبر بادئات SID لنمذجة التفضيلات عند مستويات دقة متعددة.
إعادة الصياغة: ربط الاستعلامات بمفاهيم المنتجات ونمذجة الانتقالات داخل التسلسل الهرمي لدعم كل من التنقل الجانبي والتحسين الهرمي.
التفوق التجريبي: تقدم الدراسة أدلة على أن SIDs المتعلمة تتفوق على التصنيفات المحددة من قبل الخبراء في الحفاظ على تميزات المقصد، وعلى سلاسل الاستعلام الخام في استخراج التحولات السلوكية.
النتائج
التقييم غير المتصل (Offline Evaluation)
الترتيب: أظهرت دراسة الاستبعاد (Ablation study) أن إزالة الميزات المشتقة من SID (FC-A) أدت إلى انخفاض كبير في الأداء مقارنة بالنموذج الكامل (FC). حقق النموذج الكامل +6.98% في MRR@5 و +6.76% في NDCG@5، بينما حقق النموذج المستبعد +2.10% و +2.92% فقط، مما يشير إلى أن ميزات SID هي المحرك الرئيسي لهذا الربح.
إعادة الصياغة: مقارنة بالتصنيفات المحددة من قبل الخبراء، قللت SIDs من معدل انتقالات انهيار المقصد من 18.8% إلى 10.9%. ومقارنة برسوم الاستعلام النصية الخام، حسن النظام القائم على SID جودة الاقتراحات في المرتبة الأولى من 0.522 إلى 0.734.
التقييم المتصل (Online Evaluation)
تأثير الترتيب: أدى العلاج الكامل (ميزات SID + التحديثات المتزامنة) إلى تحسين متوسط معدل "الإضافة إلى العربة" (ATC) في الكروسيل بنسبة 5.5%، مع مكاسب محددة بلغت +8% في المركز 1 و +16% في المركز 2. كما أدى أيضًا إلى زيادة إجمالي المبيعات بنسبة 0.31%. والجدير بالذكر أن هذا العلاج قلل من تركيز الشعبية، حيث خفض متوسط الشعبية التاريخية للعناصر في المركز الأول من الكروسيل بنسبة 18.1%.
تأثير إعادة الصياغة: أدت وحدة إعادة الصياغة القائمة على SID إلى زيادة قدرها +0.558% في Purchase MRR، و تقليل موقع ATC بنسبة 1.571%، و تقليل عمق التمرير في البحث بنسبة 1.866%، مما يشير إلى وصول المستخدمين إلى المنتجات القابلة للشراء بشكل أسرع وبجهد أقل.
الأهمية
تزعم الورقة أن التسلسل الهرمي الدلالي المشترك للمنتجات يمكن أن يدعم بفعالية كلاً من التوصية والبحث مع الحفاظ على السياق الخاص بالمهمة المطلوب لكل تطبيق. ومن خلال فصل بناء التسلسل الهرمي (بناءً على محتوى الكتالوج) عن تطبيقه (بناءً على السياق السلوكي)، يتيح النظام نقل التفضيلات عبر التجار والتحرك من العام إلى الخاص في الاستعلام دون الحاجة لمشاركة معاملات النموذج أو أهداف التدريب بين النظامين. يقدم هذا النهج حلاً قابلاً للتوسع لمشكلة تفتت الأدلة السلوكية في بيئات التجارة الإلكترونية متعددة التجار.