🤖 machine learning

PaletteID: Prototype-Composed Semantic Identifiers for Multimodal CTR Prediction

تقترح هذه الورقة البحثية PaletteID، وهو معرف دلالي قائم على النماذج الأولية يستفيد من مجموعة متنوعة من العناصر النموذجية التمثيلية لربط التضمينات متعددة الوسائط سابقة التدريب بنماذج التوصية، مما يتغلب على قيود طرق المعرفات المنفصلة الحالية لتحسين دقة التنبؤ بمعدل النقر (CTR)، لا سيما بالنسبة للعناصر ذات الذيل الطويل.

المؤلفون الأصليون: Huanyu Liu, Baining Chen, Hui Liu, Zengyang Li, Ziyi Huang

نُشر 2026-08-03

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Huanyu Liu, Baining Chen, Hui Liu, Zengyang Li, Ziyi Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تسير في مكتبة ضخمة ولا متناهية حيث يمتلك كل كتاب رمزًا شريطيًا (باركود) فريدًا. في عالم التسوق عبر الإنترنت أو بث الفيديو، تعمل الحواسيب مثل أمناء المكتبات الذين يحاولون تخمين الكتاب الذي ستعشقه تاليًا. وللقيام بذلك، ينظرون إلى خياراتك السابقة و"الرموز الشريطية" (المعرفات) للعناصر التي نقرت عليها. ولكن تكمün المشكلة هنا: هذه الرموز الشريطية غالبًا ما تكون مجرد أرقام عشوائية لا تعني شيئًا للبشر. إذا وصل كتاب جديد لم يره أحد من قبل، يصاب الكمبيوتر بالارتباك لأنه لا يملك تاريخًا لهذا الرمز الشريطي المحدد.

لإصلاح ذلك، حاول العلماء إعطاء العناصر "رموزًا ذات معنى" بناءً على ما تبدو عليه أو ما تقوله بالفعل. إنهم يأخذون صورة أو وصفًا لعنصر ما ويحولونه إلى قائمة من الأكواد القصيرة والمنفصلة، تمامًا مثل تحويل لوحة معقدة إلى مجموعة بسيطة من الألوان الأساسية. هذا يساعد الكمبيوتر على فهم أن تفاحة حمراء وكرة حمراء مرتبطان نوعًا ما لأنهما يتشاركان في كود "الأحمر". ومع ذلك، فإن الطريقة القديمة في القيام بذلك جامدة بعض الشيء. الأمر يشبه محاولة وصف غروب الشمس عبر إجبار الوصف أن يكون "أحمر" فقط أو "برتقالي" فقط، دون وجود أي حالة وسطى. إذا كان الغروب يميل قليلاً نحو اللون الوردي، فقد ينتقل النظام فجأة إلى وصف "وردي" بالكامل، مما يفقدنا كل التفاصيل الدقيقة. تعالج هذه الورقة البحثية هذه الصلابة، وتقترح طريقة أكثر ذكاءً لخلط هذه "الألوان الدلالية" حتى يستطيع الكمبيوتر فهم الدرجات الخفية لما نحبه.

مشكلة لوحة الألوان: لماذا الرموز الشريطية القديمة مملة؟

لاحظ الباحثون وراء هذه الدراسة، بقيادة هوانيو ليو وزملاؤه، أن الطريقة الحالية لإنشاء هذه "الرموز الشريطية ذات المعنى" (المسماة Semantic IDs) تعاني من عيبين كبيرين. أولاً، هي شديدة التباين بين الأبيض والأسود؛ فهي تجبر العنصر على وضع في "صندوق" واحد صلب، مما يؤدي إلى التخلص من التفاصيل الدقيقة التي تجعل العنصر فريدًا. ثانيًا، الأمر يشبه بناء برج من المكعبات حيث يعتمد كل مكعب جديد كليًا على المكعب الذي تحته؛ فإذا غيرت المكعب السفلي، سيهتز البرد بأكمله، مما يجعل النظام غير مستقر ويصعب توسيعه ليشمل ملايين العناصر.

تساءل الفريق: ماذا لو لم نجبر العنصر على الانتماء لصندوق واحد فقط؟ ماذا لو وصفنا كل عنصر كمزيج فريد من عدة عناصر "رئيسية"؟

دخول PaletteID: فن مزج الألوان

يقترح المؤلفون نظامًا جديدًا يسمى PaletteID (أو PID للاختصار). يستلهمون فكرتهم من كيفية استخدام الفنانين لمجموعة محدودة من ألوان الطلاء على لوحة الألوان (الباليت) لإنشاء لوحات غنية ولا متناهية. بدلاً من اختيار "كود" واحد فقط للعنصر، يختار PID مجموعة صغيرة من العناصر "النموذجية" ويمزجها معًا.

إليك كيف يحدث السحر، خطوة بخطوة:

إنشاء لوحة الألوان الرئيسية: أولاً، يقوم النظام بمسح مكتبة العناصر بأكملها ويختار مجموعة مدمجة وخاصة من العناصر "النموذجية". هذه العناصر ليست عشوائية؛ بل يتم اختيارها باستخدام خدعة رياضية ذكية تسمى SQ-DPP. تضمن هذه الطالة أن تحتوي لوحة الألوان على مزيج جيد من الأنواع المختلفة من العناصر (التنوع)، مع التأكد من أن العناصر المختارة هي في الواقع شائعة وتمثل مجموعاتها (الجودة). فكر في الأمر كمعلم فنون يختار المجموعة المثالية من 500 لوحة رئيسية لتمثيل كل أسلوب في العالم، من المناظر الطبيعية إلى الصور الشخصية، دون اختيار 500 لوحة لنفس مشهد الغروب.
مزج الألوان: عندما يحتاج النظام لوصف عنصر معين (مثل فيديو جديد عن "صناعة المجوهرات اليدوية")، فإنه لا يكتفي باختيار تطابق واحد. بل ينظر إلى لوحة الألوان الرئيسية ويجد أكثر 12 إلى 15 نموذجًا تشابهًا. ربما يكون أحد النماذج هو "إكسسوار يدوي"، والآخر هو "مشروع صغير"، والثالث هو "فيديو ترويجي".
السر الخفي (الأوزان الناعمة): هنا يتفوق PID على الطرق القديمة. فبدلاً من القول ببساوة "هذا العنصر هو النموذج (أ) بنسبة 100%"، يقوم PID بحساب مقدار استخدام كل نموذج بدقة. إنه يستخدم التشابه الفعلي بين العنصر والنماذج لتحديد "وزن". إذا كان العنصر مشابهًا جدًا لنموذج "الصناعة اليدوية" ولكنه يشبه نموذج "الأعمال" قليلًا فقط، فإن النظام يعطي نموذج "الصناعة اليدوية" وزنًا ثقيلاً ويمنح نموذج "الأعمال" لمسة خفيفة. الأمر يشبه خلط 70% من الطلاء الأحمر مع 30% من الطلاء الأصفر للحصول على برتقالي مثالي، بدلاً من مجرد الصراخ "أحمر!" أو "أصفر!".

ما وجدوه: أذكى، أقوى، وأكثر استقرارًا

اختبر الباحثون هذا النظام الجديد على مجموعتي بيانات ضخمتين من الواقع: إحداهما من Taobao (موقع تسوق صيني ضخم يحتوي على 1.0 مليون عنصر و7.2 مليون مستخدم) والأخرى من Kuaishou (تطبيق فيديو يحتوي على 10.7 ألف عنصر). وقارنوا PaletteID بطرق "الكود الصلب" القياسية.

كانت النتائج واعدة. تشير الورقة إلى أن PaletteID يحسن باستمرار دقة التنبؤ بما إذا كان المستخدم سينقر على عنصر ما. لكن الفوز الحقيقي كان بالنسبة لعناصر "الذيل الطويل" (long-tail)—وهي الأشياء الغامضة أو النادرة أو الجديدة التي ليس لها الكثير من النقرات بعد. نظرًا لأن PaletteID يمكنه مزج أفكار دلالية متعددة، فإنه يساعد الكمبيوتر على فهم هذه العناصر النادرة بشكل أفضل بكثير من الأنظمة القديمة الجامدة. على سبيل المثال، في مجموعة بيانات Taobao، حسن الأسلوب الجديد درجة التنبؤ بالعناصر الأكثر ندرة بهامش ملحوız مقارنة بالطرق القديمة.

وجد المؤلفون أيضًا أن PaletteID أكثر متانة. فإذا قمت بتعديل وصف العنما طفيفًا (مثل تغيير كلمة في العنوان)، فقد يقفز النظام القديم فجأة إلى كود مختلف تمامًا، مما يربك النموذج. أما PaletteID، فيتغير "مزيجه" بسلاسة. إذا أصبح العنصر أكثر "تشابهًا مع الأعمال"، فإن وزن نموذج الأعمال يزداد قليلًا فقط، بدلاً من أن تنقلب هوية العنصر بالكامل.

لماذا يهم هذا؟

يقدم هذا النهج طريقة أكثر مرونة وقابلية للتفسير لتعليم الحواسيب عن العالم. بدلاً من إخفاء معنى العنصر خلف كود غامض مثل "Token #492"، يسمح لنا PaletteID برؤية أي الأمثلة الواقعية يستخدمها الكمبيوتر لفهم هذا العنصر. إنه تحول من إجبار العناصر على الدخول في صناديق جامدة إلى السماترك بأن تكون تكوينًا فريدًا وممزوجًا من الأشياء التي تشبهها.

تخلص الورقة إلى أنه بينما يتطلب هذا النظام بعض العمل المسبق لبناء لوحة الألوان وحساب المزيج، إلا أنه سريع جدًا في الاستخدام في الوقت الفعلي. وهي تقترح أنه من خلال معاملة العناصر كـ "لوحة ألوان" من النماذج بدلاً من كود واحد، يمكننا بناء أنظمة توصية ليست فقط أكثر دقة، بل وأيضًا أفضل في فهم الأسباب الدقيقة والمعقدة التي تجعلنا ننقر على ما ننقر عليه.

ملخص تقني: PaletteID (المعرفات الدلالية المكونة من نماذج أولية للتنبؤ بمعدل النقر عبر الظهور متعدد الوسائط)

1. بيان المشكلة

تحمل المعلومات متعددة الوسائط (مثل الصور، النصوص، الفيديو) إمكانات كبيرة لتحسين التنبؤ بمعدل النقر عبر الظهور (CTR)، لا سيما بالنسبة للعناصر ذات البداية الباردة (cold-start) والعناصر في ذيل التوزيع (long-tail) حيث توجد بيانات تفاعل ضئيلة. وبينما تقوم الأساليب الحديثة بتحويل تضمينات الوسائط المتعددة سابقة التدريب إلى معرفات دلالية (SIDs) لربط المحتوى بالسلوك، تواجه الأساليب الحالية قيودين حرجين:

فقدان الإشارات الدلالية المستمرة: إن التعيين القسري للرموز (hard codebook assignment) (مثل VQ-VAE أو RQ-KMeans) يجبر العناصر على الدخول في فئات منفصلة، مما يؤدي إلى التخلص من الإشارات المستمرة دقيقة التفاصيل، ويجعل من الصعب التمييز بين درجات التباين في الترابط الدلالي بين العناصر.
القابلية للتوسع والغموض في الرموز المتبقية (Residual Codes): تعاني المعرفات الدلالية الهرمية المتبقية من تبعية البادئة (prefix dependency). فقد يمثل نفس رمز الفهرس في المستويات الأعمق دلالات مختلفة اعتمادًا على البادئة، مما يؤدي إلى إشارات تعاونية غير متسقة. علاوة على ذلك، فإن إنشاء تضمينات متميزة لكل مسار رمز يؤدي إلى نمو أسي في المعلمات، بينما يؤدي مشاركة التضمينات عبر البادئات إلى غموض دلالي. بالإضافة إلى ذلك، فإن المعرفات الصلبة غير مستقرة؛ حيث يمكن للاضطرابات الطفيفة في فضاء التضمين أن تسبب تغييرات مفاجئة في المعرفات، خاصة عند مستويات التكميم العميقة.

2. المنهجية: PaletteID (PID)

يقترح المؤلفون PaletteID (PID)، وهو معرف دلالي قائم على النماذج الأولية مستوحى من تركيب الألوان. بدلاً من تعيين رمز صلب واحد، يمثل PID كل عنصر كـ تركيب ناعم لعدة نماذج أولية دلالية ممثلة.

2.1 اختيار النماذج الأولية عبر SQ-DPP

جوهر PID هو "لوحة النماذج الأولية" (prototype palette)—وهي مجموعة مدمجة من العناصر التمثيلية المختارة من فضاء تضمين الوسائط المتعددة.

عملية نقطة التحديد الدلالية النوعية (SQ-DPP): على عكس طرق التجميع أو إعادة البناء القياسية، يختار PID عناصر حقيقية كمرتكزات دلالية.
نواة Cosine-RBF: لتجنب اختناقات الرتبة في المساحات عالية الأبعاد، يقوم المؤلفون ببناء نواة باستخدام تشابه جيب التمام الممرر عبر دالة RBF ( $K_{ij} = \exp(-\gamma(1 - \cos(\hat{x}_i, \hat{x}_j)))$ ).
تسجيل الجودة: يتم حساب درجة كثافة المحتوى ( $\rho_i$ ) باستخدام البحث عن أقرب جار تقريبي (ANN). توجه هذه الدرجة عملية الاختيار نحو المناطق الكثيفة دلاليًا والممثلة، مما يمنع اختيار عناصر معزولة.
التحسين: تجمع النواة النهائية $L_{ij} = q_i K_{ij} q_j$ بين التنوع (عبر محدد $K$ ) والتمثيل المحلي (عبر درجات الجودة $q$ ). وتستخدم خوارزمية استدلال MAP جشعة لاختيار المجموعة المثلى من النماذج الأولية $M$ دون اتصال (offline).

2.2 توليد تضمين PID

بالنسبة لعنصر مستهدف $i$ :

الاسترجاع: يسترجع النظام أكثر $K$ نماذج أولية تشابهًا من اللوحة بناءً على تشابه الوسائط المتعددة.
التجميع: يتم تجميع التضمينات القابلة للتدريب المقابلة لهذه النماذج الأولية.
التوزين الناعم: على عكس التعيين الصلب، يستخدم PID تحويلًا أفينيًا (affine transformation) خفيف الوزن على درجات التشابه لإنشاء أوزان ناعمة ( $\alpha_i$ ). يضمن مصطلح التنظيم الرتيب (monotonic regularization) أن النماذج الأولية ذات التصنيف الأعلى تحصل على ثقة مساوية أو أكبر.
التركيب: التضمين النهائي لـ PID هو مجموع مرجح: $e^{PID}_i = \alpha_i^T E_i$ ، مما يحافظ على التقارب المستمر دقيق التفاصيل.

2.3 التكامل في المهام اللاحقة

تعمل تضمينات PID كميزات إضافية لجانب العناصر في هياكل CTR القياسية (مثل DeepFM، DCNv2، DIN). يجمع هدف التدريب بين خسارة التقاطع الثنائي المستعرض (binary cross-entropy) القياسية لـ CTR مع خسارة التنظيم الرتيب.

3. المساهمات الرئيسية

معرف قائم على النماذج الأولية: يقترح البحث PID، الذي يبتعد عن تعيين دفتر الرموز المنفصل إلى نهج التركيب الناعم للنماذج الأولية. هذا يحافظ على تشابه الوسائط المتعددة مع توفير قدرة تركيبية أعلى.
SQ-DPP لبناء اللوحة: طريقة مبتكرة لاختيار نماذج أولية من عناصر حقيقية تعمل على تحسين التنوع الدلالي العالمي وكثافة المحتوى المحلي معًا، مما يتجنب عيوب التجميع النقي أو أخذ العينات العشوائي.
التحقق التجريبي: أظهرت التجارب المكثفة على مجموعتي بيانات عامتين (TAOBAO-MM و KuaiRec) أن PID يتفوق على أساليب SID المتبقية الحالية في التنبؤ بـ CTR، والتعميم في حالات ذيل التوزيع، والمتانة، والقابلية للتفسير.

4. النتائج التجريبية

قيم المؤلفون PID مقابل الخطوط المرجعية (VQ-VAE، RQ-VAE، RQ-KMeans) عبر هياكل CTR مختلفة (DCNv2، RankMixer).

التنبؤ بـ CTR: حقق PID باستمرار أعلى درجات AUC و GAUC. على سبيل المثال، في TAOBAO-MM مع DCNv2+، حقق PID درجة AUC بلغت 0.6314، متفوقًا على أفضل خط مرجعي لـ SID (وهو RQ-VAE الذي حقق 0.6297).
أداء ذيل التوزيع (Long-Tail): كانت المكاسب أكثر وضوحًا للعناصر في ذيل التوزيع. حسن PID درجة AUC بمقدار +0.0128 لمجموعة الذيل (40% من العناصر) مقارنة بالخط المرجعي، متفوقًا بشكل كبير على RQ-VAE (+0.0098). يشير هذا إلى أن PID ينقل المعرفة الدلالية بفعالية إلى العناصر ذات التفاعلات الضئيلة.
المتانة: تحت تأثير اضطرابات الضجيج الغاوسي (Gaussian noise) في تضمينات المدخلات، حافظ PID على استقرار تعيين أعلى بكثير (Assignment Cosine) مقارنة بطرق SID المتبقية. بينما انخفض اتساق SID بشكل حاد مع الضجيج، ظل مزيج النماذج الأولية المرجح لـ PID مستقرًا.
القابلية للتوسع: يتوسع حجم اللوحة المطلوب ( $M$ ) مع التعقيد الدلالي بدلاً من حجم الكتالوج الخام. في TAOBAO-MM (1 مليون عنصر)، كان حجم لوحة مثالي قدره 650 كافيًا، مما يشير إلى أن PID لا يتطلب نموًا خطيًا في المعلمات مع توسع كتالوج العناصر.
القابلية للتفسير: أظهرت دراسات الحالة أن نماذج PID الأولية تتوافق مع جوانب محتوى حقيقية وقابلة للتفسير (مثل "صناعة يدوية"، "تجارة"، "ترويج")، بينما تعتبر رموز SID مؤشرات مجردة.

5. الأهمية والادعاءات

يدعي البحث أن PaletteID يعالج المقايضة الأساسية بين كفاءة المعرفات المنفصلة وتعبير التضمينات المستمرة. من خلال استخدام تركيب ناعم لنماذج أولية من عناصر حقيقية، يقوم PID بـ:

سد الفجوة: يربط بفعالية بين دلالات الوسائط المتعددة سابقة التدريب وأهداف CTR المدفوعة بالسلوك دون فقدان المعلومات دقيقة التفاصيل.
تعزيز التعميم: يوفر آلية قوية للتوصية في حالات ذيل التوزيع من خلال السماح للعناصر بمشاركة المعرفة عبر عدة مرتكزات دلالية متكاملة بدلاً من رمز واحد جامد.
تحسين الاستقرار: يخفف من عدم استقرار التكميم الصلب، حيث تؤدي التغييرات الطفيفة في المدخلات إلى تحولات جذرية في المعرفات.
تقديم قابلية للتفسير: على عكس مؤشرات دفتر الرموز المجردة، يمكن تتبع مكونات PID إلى عناصر نماذج أولية ملموسة، مما يجعل التمثيل الدلالي قابلاً للفحص.

يخلص المؤلفون إلى أن PID يقدم بديلًا قابلًا للتوسع، ومتينًا، وقابلًا للتفسير لأساليب SID الحالية، وهو مناسب لأنظمة التوصية واسعة النطاق في الصناعة حيث يمكن نشر اختيار النماذج الأولية دون اتصال وتجميع خفيف الوزن عبر الإنترنت بكفاءة.