💬 NLP

Variable-Length Semantic IDs for Recommender Systems

تقدم هذه الورقة إطار عمل للمعرفات الدلالية متغيرة الطول لأنظمة التوصية باستخدام مشفر تلقائي متباين (VAE) منفصل مع إعادة تمثيل "غومبل-سوفتماكس" (Gumbel-Softmax) للتغلب على عدم كفاءة المعرفات ثابتة الطول، وذلك عبر تخصيص أوصاف أقصر للعناصر المتكررة بشكل تكيفي، مما يجسّر الفجوة بين التوصية التوليدية ومبادئ التواصل الناشئ.

المؤلفون الأصليون: Kirill Khrylchenko

نُشر 2026-02-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kirill Khrylchenko

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير مكتبة ضخمة تحتوي على مليارات الكتب. مهمتك هي مساعدة القارئ في العثور على الكتاب التالي الذي سيحبه بناءً على ما قرأه من قبل.

في الأيام الخوالي، كنت ستعطي كل كتاب رمز شريطي (باركود) فريداً وطويلاً ومعقداً (مثل Book_98234712). لتعليم الكمبيوتر فهم هذه الكتب، سيتعين عليك حفظ كل باركود منها. إذا كان لديك مليار كتاب، فهذا يعني مليار شيء يجب حفظه! هذا الأمر بطيء، وغير عملي، وإذا وصل كتاب جديد لم يره أحد من قبل (كتاب "بارد")، فلن يعرف الكمبيوتر ماذا يفعل.

مؤخراً، بدأ أذكياء في استخدام الذكاء الاصطناعي التوليدي (مثل التقنية التي تقف وراء روبوتات الدردشة) لحل هذه المشكلة. فبدلاً من حفظ الباركودات، علموا الذكاء الاصطناعي كيف "يتحدث" عن الكتب باستخدام لغة خاصة ومبسطة. ويسمونها المعرفات الدلالية (Semantic IDs).

المشكلة في الطريقة الحالية: المعرفات الدلالية ذات الطول الثابت

المشكلة: البدلة ذات المقاس الموحد

تخيل أنك تجهز حقيبة للسفر.

القطعة الشهيرة: أنت تحزم قميصاً لمشهور مشهور جداً. إنه بسيط، والجميع يعرفه، ومن السهل وصفه. يمكنك فقط أن تقول: "قميص النجم".
القطعة النادرة: أنت تحزم ملعقة أثرية غريبة ونادرة وفريدة من نوعها. من الصعب وصفها. أنت بحاجة إلى فقرة كاملة لتشرح تاريخها، ومادتها، وشكل يدها الغريب.

أنظمة الذكاء الاصطناعي الحالية تجبرك على استخدام نفس حجم الحقيبة لكليهما.

بالنسبة لـ "قميص النجم": عليك ملء حقيبة ضخمة بمساحة فارغة فقط لتلتزم بالقواعد.
بالنسبة لـ "الملعقة الأثرية": عليك حشرها في تلك الحقيبة نفسها، لكن قد لا تملك مساحة كافية لوصف كل تفاصيلها، مما يؤدي لفقدان المعلومات.

هذا ما يسميه البحث المعرفات الدلالية ذات الطول الثابت (Fixed-Length Semantic IDs). إنها غير فعالة؛ فهي تهدر المساحة على الأشياء الشائعة، وتكافح مع الأشياء النادرة.

الحل: المعرفات الدلالية متغيرة الطول

يقترح المؤلف، كيريل، طريقة جديدة: اجعل حجم الحقيبة يتغير بناءً على ما تقوم بتعبئته.

هذا مستوحى من كيفية تحدث البشر. فكر في كيفية حديثنا:

نقول "مرحباً" (حرفان) لتحية صديق.
نقول "الطقس جميل اليوم" (5 كلمات) لوصف يوم.
نستخدم جملة طويلة ومعقدة لشرح مفهوم صعب.

نحن نستخدم بشكل طبيعي كلمات قصيرة للأشياء الشائعة وأوصافاً طويلة للأشياء النادرة أو المعقدة. هذه قاعدة في اللغة تسمى قانون زيبف (Zipf's Law).

نظام كيريل يعلم الذكاء الاصطناعي القيام بالشيء نفسه مع العناصر:

العناصر الشائعة (مثل "قمصان النجوم"): يتعلم الذكاء الاصطناعي إعطاء هذه العناصر رموزاً قصيرة وقوية (مثلاً: رمزان أو ثلاثة فقط). هذا يوفر مساحات هائلة.
العناصر النادرة/الباردة (مثل "الملاعق الأثرية"): يعطيها الذكاء الاصطناعي رموزاً أطول وأكثر تفصيلاً (مثلاً: 5 أو 6 رموز) حتى يتمكن من وصفها بدقة.

كيف يعمل ذلك؟ (الخدعة السحرية)

لتحقيق ذلك، بنى المؤلف آلة خاصة تسمى المشفر التلقائي التبايني المنفصل (dVAE) مع لمسة من "Gumbel-Softmax".

المُشفّر (المُعبئ): ينظر إلى العنصر ويقرر: "هل هذا شائع؟ إذاً سأستخدم رمزاً قصيراً. هل هذا نادر؟ إذاً سأستخدم رمزاً طويلاً".
المُفكك (المُفرغ): يأخذ ذلك الرمز القصير أو الطويل ويحاول إعادة بناء هوية العنصر.
التدريب: يُعاقب الذكاء الاصطناعي إذا استخدم كلمات كثيرة جداً (ليظل فعالاً)، ولكنه يُكافأ إذا وصف العنصر بشكل مثالي. وبذلك يجد التوازن المثالي: أقصر وصف ممكن يظل منطقياً ومعبراً.

فكر في الأمر كأنه خوارزمية ضغط ذكية. فهو يضغط "الأشياء الشائعة" بشدة لأن تخمينها سهل، ويترك "الأشياء النادرة" دون ضغط حتى لا تضيع تفاصيلها.

لماذا يهم هذا الأمر؟

اختبر المؤلف هذه الطريقة على مجموعات بيانات ضخمة للموسيقى والفيديو (مثل سبوتيفاي أو تيك توك). وهذا ما وجده:

أسرع وأرخص: لأن العناصر الشائعة تحصل على رموز أقصر، يمكن للذكاء الاصطناعي "قراءة" المزيد من تاريخ المستخدم في نفس الوقت. إنه يشبه قراءة كتاب حيث تُكتب الكلمات الشائعة باختصار.
أذكى: يتعامل الذكاء الاصطناي مع العناصر الجديدة والنادرة بشكل أفضل لأنه ليس مجبراً على حشرها في صندوق صغير. فهو يمنحها المساحة التي تحتاجها لتُفهم.
أكثر استقراراً: قارن المؤلف طريقته بأسلوب تدريب "المقامرة" القديم (المسمى REINFORCE) المستخدم غالباً في تواصل الذكاء الاصطناعي. الطريقة الجديدة تشبه قطاراً ثابتاً وموثوقاً، بينما كانت الطريقة القديمة تشبه الأفعوانية (Rollercoaster) المتعرجة التي غالباً ما تتحطم.

الصورة الكبيرة

هذا البحث يربط بين عالمين: أنظمة التوصية (كيف تقترح نتفليكس الأفلام) والتواصل الناشئ (كيف يتعلم وكلاء الذكاء الاصطناعي التحدث مع بعضهم البعض).

من خلال إدراك أن الذكاء الاصطناعي يجب أن يتحدث مثل البشر — باستخدام كلمات قصيرة للأشياء الشائعة وكلمات طويلة للأشياء النادرة — يمكننا بناء أنظمة توصية تكون:

أكثر كفاءة (تحتاج طاقة حوسبة أقل).
أكثر دقة (أفضل في العثور على ما تحبه).
أفضل في التعامل مع العناصر الجديدة (لا مزيد من مشاكل "البداية الباردة").

باخت-الكلمات: توقف عن إجبار كل عنصر على دخول صندوق بنفس الحجم. دع الذكاء الاصطناعي يحزم الأمتعة بكفاءة، تماماً كما يفعل البشر.

إليك ملخص تقني مفصل لورقة البحث "Variable-Length Semantic IDs for Recommender Systems" للباحث كيريل خريلشينكو.

1. بيان المشكلة

تتناول الورقة قيوداً حرجة في تطبيق النماذج التوليدية على أنظمة التوصية واسعة النطاق، وتحديداً فيما يتعلق بـ تمثيل العناصر (item representation):

فجوة المفردات والعدد الهائل (Cardinality): يعيق دمج النماذج اللغوية الكبيرة (LLMs) مع أنظمة التوصية الضخامة الهائلة في عدد عناصر الكتالوج (من الملايين إلى المليارات). إن استخدام معرفات العناصر (item IDs) مباشرة كرموز (tokens) يخلق فجوة في المفردات، حيث تفتقر هذه المعرفات إلى التوافق الدلالي مع اللغة الطبيعية.
عدم كفاءة المعرفات ثابتة الطول: تستخدم الحلول الحالية المعرفات الدلالية (Semantic IDs) (وهي تسلسلات من الرموز ذات العدد المنخفض) لتمثيل العناصر. ومع ذلك، فإن الطرق الحالية تخصص طولاً ثابتاً لكل عنصر، وهذا غير فعال لأن:
- يتجاهل توزيع التكرار الملتوي في كتالوجات العالم الحقيقي (قانون زيبف - Zipf's law)، حيث تتطلب العناصر الشائعة معلومات أقل لوصفها مقارنة بالعناصر النادرة (long-tail items).
- يهدر ميزانية الرموز (token budgets) على العناصر الشائعة ويحد من القدرة التعبيرية للعناصر ذات البداية الباردة (cold-start items).
- لا يتوافق مع اللغة الطبيعية، حيث تُوصف المفاهيم المتكررة بعبارات أقصر (قانون زيبف للاختصار).
عدم استقرار التدريب: تعتمد المحاولات السابقة لتعلم التمثيلات المنفصلة متغيرة الطول في مجالات ذات صلة (التواصل الناشئ - Emergent Communication) غالباً على طريقة REINFORCE (تدرج السياسة)، وهي معروفة بعدم استقرارها وصعوبة توسيع نطاقها لتشمل مجموعات البيانات الكبيرة.

2. المنهجية

يقترح المؤلفون إطار عمل لتعلم المعرفات الدلالية متغيرة الطول (VarLen Semantic IDs) باستخدام مشفر تلقائي متغير ديسكريتي (dVAE) مع إعادة بارامترية Gumbel-Softmax.

البنية الأساسية

النموذج التوليدي: يعامل النموذج تمثيل العنصر $x$ $x$ كأنه ناتج عن توليد رسالة ديسكريتية $z$ $z$ (المعرف الدلالي) وطولها $L$ $L$ .
- $p(x, z, L) = p(L) p(z|L) p(x|z_{1:L})$
المفردات المشتركة: على عكس التكميم الهرمي التقليدي (مثل RQ-VAE) حيث يكون لكل موضع مفردات متميزة، يستخدم هذا الأسلوب مفردات مشتركة واحدة عبر جميع المواضع، حيث يتم التعامل مع المعرف كسلسلة تشبه اللغة الطبيعية.
نمذجة الطول:
- الأولوية (Prior): يُستخدم توزيع هندسي مبتور كأولوية لطول الرسالة $L$ ، مما يشجع على الرسائل الأقصر.
- آلية التوقف: بدلاً من استخدام رمز خاص لنهاية التسلسل (EOS)، يتنبأ المشفر بـ احتمالية التوقف عند كل خطوة. يتم تحديد الطول $L$ ديناميكياً بناءً على هذه الاحتمالات.
المشفر (الاستدلال التبايني):
- يستخدم Gumbel-Softmax للسماح بأخذ عينات قابلة للتفاضل من التوزيعات الفئوية، مما يتيح التدريب من البداية إلى النهاية عبر الانتشار العكسي (backpropagation) (تجنباً للتباين العالي في REINFORCE).
- ينفذ الترميز المتبقي مع الاسترخاء الناعم (Residual Encoding with Soft Relaxation): بدلاً من التكميم المتجهي الصلب، يحسب المشفر تعييناً ناعماً على المفردات ويطرح التمثيل المتوقع من المتبقي، مما يخلق نظيراً قابلاً للتفاضل للتكميم المتبقي.
المفكك (Decoder): يقوم محول سببي (causal transformer) بإعادة بناء تمثيل العنصر من البادئة (prefix) للمعرف الدلالي المولد.

دالة الهدف (ELBO)

يتم تدريب النموذج لتعظيم الحد الأدنى للاحتمال (ELBO)، والذي يتكون من ثلاثة حدود:

خسارة إعادة البناء ( $L_{recon}$ ): تقلل الخطأ بين تمثيل العنصر الأصلي والتمثيل المعاد بناؤه بناءً على البادئة المولدة.
تنظيم المفردات ( $L_{vocab}$ ): يشجع على الاستخدام الموحد للمفردات المشتركة (لمنع الانهيار إلى عدد قليل من الرموز) عبر تباعد KL مقابل أولوية موحدة.
تنظيم الطول ( $L_{length}$ ): يتكون من حد مركب يحتوي على:
- عقوبة الطول: تعاقب الرسائل الطويلة لتشجيع الكفاءة.
- حد الإنتروبيا: يمنع النموذج من الانهيار إلى طول ثابت واحد، مما يعزز التنوع في أطوال الأكواد.

3. المساهمات الرئيسية

المعرفات الدلالية متغيرة الطول: أول تطبيق منهجي للترميز متغير الطول في أنظمة التوصية، حيث يتم تكييف طول الكود مع شعبية العنصر (أكواد أقصر للعناصر الشائعة، وأطول للعناصر الباردة/النادرة).
إطار عمل تدريب مستقر: يقدم نموذج dVAE مع Gumbel-Softmax لتعلم أكواد ديسكريتية متغيرة الطول. هذا يجسّر الفجوة بين استقرار الطرق التباينية والطبيعة المنفصلة للمعرفات الدلالية، مما يوفر بديلاً أكثر قوة للنهج القائم على REINFORCE.
المفاضلة بين الكفاءة والجودة: يوضح أن المعرفات متغيرة الطول يمكن أن تقلل بشكل كبير من ميزانية الرموز المطلوبة للعناصر الشائعة دون التضحية بجودة إعادة البناء، مع توفير أكواد أكثر تعبيراً للعناصر النادرة.
التركيب عبر المجالات: يدمج بنجاح مفاهيم من التواصل الناشئ (ألعاب الإشارة لويس، عقوبات الطول) في بنية أنظمة التوصية التوليدية الحديثة.

4. النتائج التجريبية

تم تقييم الطريقة على ثلاث مجموعات بيانات واسعة النطاق: Yambda (موسيقى)، VK-LSVD (فيديو قصير)، و Amazon Toys & Games.

RQ1: كفاءة المعرفات متغيرة الطول (VarLen IDs):
- جودة إعادة البناء: حققت VarLen dVAE جودة إعادة بناء تضاهي أو تتفوق على النماذج ثابتة الطول (R-KMeans و fixed-length dVAE) مع استخدام عدد أقل بكثير من الرموز في المتوسط (على سبيل المثال، تقليل متوسط الطول من 5 إلى حوالي 2.3–3.6 اعتماداً على مجموعة البيانات).
- الارتباط بالشعبية: تعلم النموذج طبيعياً تخصيص أكواد أقصر للعناصر الشائعة (عدد تفاعلات مرتفع) وأكواد أطول للعناصر الباردة، مما يتوافق مع قانون زيبف للاختصار دون إشراف صريح.
RQ2: أداء التوصية في المهام النهائية:
- في مهام التوصية المتسلسلة (التنبؤ بالعنصر التالي)، تفوقت المعرفات متغيرة الطول على المعرفات ثابتة الطول في Recall@K و Coverage@K.
- كفاءة ميزانية الرموز: تحت ميزانية رموز ثابتة (512 رمزاً)، استطاعت نماذج VarLen تمثيل أحداث مستخدم تاريخية أكثر بكثير (حوالي 50% أكثر من الأحداث) مقارنة بالنماذج ثابتة الطول، مما أدى إلى نمذجة سياقية أفضل ودقة توصية أعلى.
RQ3: المقارنة مع REINFORCE:
- أثبت نهج dVAE أنه أكثر استقراراً بشكل ملحوظ من تدريب REINFORCE. عانت تجارب REINFORCE من انهيار إعادة البناء والتباين العالي، بينما استقر dVAE القائم على Gumbel-Softmax بشكل موثوق.
RQ4: القابلية للتوسع:
- تتوسع الطريقة بشكل جيد مع زيادة حجم المفردات وأقصى طول للتسلسل. سمحت المفردات الأكبر بتمييز أدق باستخدام رموز أقل، مما حسن الكفاءة بشكل أكبر.

5. الأهمية

يوفر هذا العمل حلاً مستنداً إلى أسس نظرية وعملياً لمشكلة "عنق زجاجة المفردات" في أنظمة التوصية التوليدية. من خلال اعتماد المعرفات الدلالية متغيرة الطول:

القابلية للتوسع: يتيح استخدام النماذج اللغوية الكبيرة (LLMs) للتوصية دون أن يكون مقيداً بالحجم الهائل لكتالوجات العناصر.
الكفاءة: يحسن ميزانية الرموز، مما يسمح للنماذج بمعالجة سجلات مستخدم أطول أو أوصاف عناصر أكثر تعقيداً ضمن نفس الحدود الحسابية.
التعامل مع البداية الباردة (Cold-Start): يوفر آلية لتخصيص قدرة تمثيلية أكبر للعناصر النادرة والجديدة، مما يحسن من إمكانية اكتشافها.
التوجه المستقبلي: يضع نموذجاً جديداً لـ "الاسترجاع التوليدي" (generative retrieval) حيث لا يتم مجرد استرجاع العناصر، بل يتم توليدها كمتواليات دلالية ذات طول تكيفي، مما يجسر الفجوة بين استرجاع المعلومات ومعالجة اللغات الطبيعية.