🤖 machine learning

Grounded Token Initialization for New Vocabulary in LMs for Generative Recommendation

تحدد هذه الورقة أن تهيئة المتوسط القياسي تسبب انهيار رموز المفردات الجديدة في فضاء جزئي متدهور، مما يعيق الضبط الدقيق، وتقترح تهيئة الرموز المرتكزة (GTI)، وهي طريقة خفيفة الوزن تقوم بmapping الرموز الجديدة إلى مواقع ذات معنى دلالي في فضاء التضمين مسبق التدريب لتحسين الأداء بشكل كبير في مهام التوصية التوليدية.

المؤلفون الأصليون: Daiwei Chen, Zhoutong Fu, Chengming Jiang, Haichao Zhang, Ran Zhou, Tan Wang, Chunnan Yao, Guoyao Li, Rui Cai, Yihan Cao, Ruijie Jiang, Fedor Borisyuk, Jianqiang Shen, Jingwei Wu, Ramya Korlakai Vinay

نُشر 2026-04-03

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Daiwei Chen, Zhoutong Fu, Chengming Jiang, Haichao Zhang, Ran Zhou, Tan Wang, Chunnan Yao, Guoyao Li, Rui Cai, Yihan Cao, Ruijie Jiang, Fedor Borisyuk, Jianqiang Shen, Jingwei Wu, Ramya Korlakai Vinayak

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: تعليم روبوت ذكي كلمات جديدة

تخيل أن لديك روبوتًا عبقريًا ومطلعًا (نموذج لغوي - Language Model) يعرف ملايين الكلمات ويفهم المحادثات البشرية تمامًا. الآن، تريد تعليم هذا الروبوت وظيفة جديدة: توصية العناصر (مثل الملابس أو المرشحين للوظائف).

للقيام بذلك، تحتاج إلى تزويد الروبوت بـ "قاموس" جديد يحتوي على آلاف الرموز الخاصة (تسمى Semantic IDs) التي تمثل عناصر محددة. على سبيل المثال، بدلًا من قول "بنطال جينز أزرق"، يحتاج الروبوت لتعلم رمز مثل <a_138>.

المشكلة هي أن الروبوت لا يعرف معنى <a_138> بعد. الأمر يشبه تسليم طالب جديد كتابًا مدرسيًا يحتوي على فصل مليء بالرموز غير المفهومة وقولك له: "اكتشف معنى هذا".

الطريقة القديمة: خطأ "اللوحة الفارغة"

الممارسة القياسية:
في السابق، عندما كان الباحثون يضيفون هذه الرموز الجديدة إلى عقل الروبوت، كانوا يستخدمون اختصارًا كسولًا. كانوا يأخذون "متوسط" كل الكلمات التي يعرفها الروبوت بالفعل، ويخصصون نفس المعنى المتوسط لكل رمز جديد.

التشبيه: تخيل أنك تقدم 1,000 طالب جديد إلى مدرسة. بدلًا من إعطائهم أسماء أو وجوهًا، تقول للمعلم: "عامل جميع الطلاب الـ 1,000 الجدد بنفس الطريقة تمامًا. جميعهم مجرد 'طالب متوسط رقم 1'".
النتيجة: يصاب الروبوت بالارتباك. لا يستطيع التمييز بين "بنطال جينز أزرق" و"قميص أحمر" لأنها في عقله تبدأ جميعًا كأنها الشيء نفسه تمامًا. ويضطر لبذل قدر هائل من الوقت والطاقة لمحاولة إصلاح هذا الخطأ لاحقًا.

التشخيص: لماذا تفشل الطريقة القديمة؟

أجرى مؤلفو هذه الورقة البحثية "فحصًا طبيًا" لعقل الروبوت. ووجدوا أن نهج "المتوسط" هذا يسبب انهيارًا (collapse).

الاستعارة: فكر في معرفة الروبوت كخريطة واسعة وملونة. عندما تضيف الرموز الجديدة باستخدام الطريقة القديمة، فإنك تسقط كتلة رمادية ضخمة ومسطحة فوق الخريطة. جميع المواقع الجديدة تُسحق في نقطة واحدة. وحتى بعد محاولة الروبوت التعلم (ضبط النموذج - fine-tuning)، يصعب فرد تلك الكتلة الرمادية لتصبح خريطة مفيدة. التمايزات تضيع للأبد.

الحل الجديد: GTI (التهيئة المرتكزة على الرموز - Grounded Token Initialization)

يقترح المؤلفون طريقة أكثر ذكاءً تسمى Grounded Token Initialization (GTI).

كيف تعمل:
قبل أن تطلب من الروبوت تعلم الوظيفة الجديدة، تعطيه "دورة مكثفة" باستخدام الرموز الجديدة. تعرض للروبوت صورة لبنطال جينز وتقول له: "هذا هو <a_138>". ثم تعرض الرمز <a_138> وتقول: "هذا يعني 'بنطال جينز أزرق'".

التشبيه: بدلًا من إلقاء الطلاب الجدد في الفصل ككتلة بلا ملامح، تقوم بتقديمهم واحدًا تلو الآخر. تقول: "هذه سارة، وهي تحب الفن. وهذا مايك، وهو يحب الرياضة". أنت تمنحهم هويات متميزة قبل بدء اليوم الدراسي.
السحر: يستخدم الروبوت معرفته الحالية (هو يعرف بالفعل معنى "جينز" و"أزرق") ليفهم فورًا أين تنتمي هذه الرموز الجديدة على خريطته الذهنية. الرموز الجديدة "مرتكزة" (grounded) في الواقع.

النتائج: لماذا يهم هذا الأمر؟

اختبر الفريق هذه الطريقة على مجموعتي بيانات ضخمتين:

LinkedIn: مطابقة الباحثين عن عمل مع الوظائف المتاحة.
بيانات الملابس العامة: التوصية بملابس للإيجار.

النتيجة:

الطريقة القديمة (المتوسط): عانى الروبوت في إيجاد المطابقات الصحيحة.
الطريق الوسط (محاولة الإصلاح لاحقًا): استخدمت طريقة تسمى LC-Rec لمحاولة إصلاح الارتباك أثناء مرحلة التعلم، لكنها كانت مقبولة فقط.
الطريقة الجديدة (GTI): وجد الروبوت المطابقات الصحيحة بشكل أفضل بكثير.
- في مجموعة بيانات الوظائف، حسنت GTI الدقة بنسبة تزيد عن 20% مقارنة بالطريقة القديمة.
- عملت بشكل أفضل حتى عندما لم يُجبر الروبوت على القيام بمهام "واجب منزلي" إضافية أثناء التدريب.

الخلاصة

تثبت هذه الورقة أن كيفية البداية تهم أكثر من كيفية محاولة الإصلاح لاحقًا.

إذا كنت تريد من ذكاء اصطناعي أن يتعلم أشياء جديدة، فلا تكتفِ برمي رموز عشوائية عليه أو إعطائها جميعًا معنى عامًا واحدًا. اجعلها مرتكزة أولاً. اربط الرموز الجديدة بأشياء يفهمها الذكاء الاصطناعي بالفعل. هذا يمنح الذكاء الاصطناعي أساسًا قويًا، مما يسمح له بالتعلم بشكل أسرع، وأذكى، وبدقة أكبر.

باختصار: لا تعلم الروبوت كلمات جديدة عبر تسميتها جميعًا بكلمة "شيء". علمه من خلال إظهار ما يبدو عليه هذا "الشيء" حقًا.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "Grounded Token Initialization for New Vocabulary in LMs for Generative Recommendation" (التهيئة المرتكزة للرموز (Tokens) للمفردات الجديدة في النماذج اللغوية الكبيرة من أجل التوصية التوليدية).

1. بيان المشكلة

يتم تكييف النماذج اللغوية الكبيرة (LMs) بشكل متزايد مع المجالات المتخصصة (مثل التوصية التوليدية) عن طريق توسيع مفرداتها بآلاف الرموز الجديدة القابلة للتعلم (مثل المعرفات الدلالية أو SIDs).

العقبة: الممارسة القياسية لتهيئة هذه الرموز الجديدة هي "التهيئة بمتوسط المفردات" (Mean-of-Vocabulary Initialization)، حيث يتم تعيين جميع تضمينات (embeddings) الرموز الجديدة لتكون مساوية لمتوسط تضمينات المفردات الموجودة مسبقًا.
نمط الفشل: حدد المؤلفون أن هذه الاستراتيجية تسبب "انهيار تضمين الرموز" (token-embedding collapse). فمن خلال تعيين ناقلات (vectors) متطابقة لجميع الرموز الجديدة، تمحو هذه الطريقة الفوارق بين الرموز وتتخلص من البنية الدلالية اللازمة لعمل هذه الرموز.
محدودية الضبط الدقيق (Fine-Tuning): توضح الورقة، من خلال التحليل الطيفي والهندسي، أن الضبط الدقيق الخاضع للإشراف (SFT) اللاحق غير كافٍ لاستعادة البنية الدلالية المفقودة؛ حيث تظل التضمينات في فضاء فرعي متدهور ومنخفض الرتبة (low-rank subspace)، مما يمنع النموذج من الاستفادة بفعالية من معرفته العامة السابقة في المجال الجديد.

2. المنهجية: التهيئة المرتكزة للرموز (GTI)

لمعالجة عقبة التهيئة، يقترح المؤلفون GTI، وهو خط إنتاج تدريبي خفيف الوزن يتكون من مرحلتين.

الفرضية الجوهرية

فرضية التهيئة المرتكزة للرموز (Grounded Token Initialization Hypothesis): إن ترسيخ الرموز الجديدة لغويًا في فضاء التضمين المسبق للنموذج اللغوي الكبير قبل عملية الضبط الدقيق يمكّن النموذج من الاستفادة بشكل أفضل من معرفته العامة للمجال الجديد.

خط إنتاج GTI

تجميد الهيكل الأساسي (Freeze the Backbone): يتم تجميد الهيكل الأساسي للنموذج اللغوي الكبير وتضمينات المفردات الأصلية. وتكون فقط تضمينات الرموز الجديدة المقدمة ( $E_{new}$ ) قابلة للتعلم.
الإشراف اللغوي المزدوج: يتم إدراج مرحلة "الترسيخ" (grounding) قبل عملية الضبط الدقيق القياسية الشاملة. يتم تدريب النموذج على مجموعة بيانات مزدوجة $(x_i, y_i)$ $(x_{i}, y_{i})$ حيث:
- $x_i$ : وصف لغوي طبيعي للعنصر (مثل العنوان، الوصف).
- $y_i$ : تسلسل الرموز المقابل من المعرفات الدلالية (Semantic ID tokens).
- التدريب ثنائي الاتجاه: يتضمن التدريب الاتجاهين:
  - النص $\leftarrow$ الرموز: بناءً على وصف معين، يتم توليد المعرف الدلالي.
  - الرموز $\leftarrow$ النص: بناءً على معرف دلالي معين، يتم إعادة بناء الوصف.
التحسين (Optimization): يقوم النموذج بتقليل "الاحتمالية اللوغاريتمية السالبة" (negative log-likelihood) عبر تضمينات الرموز الجديدة ( $E_{new}$ ) مع إبقاء بقية الشبكة ثابتة. هذا يجبر الرموز الجديدة على رسم خرائط لمواقع متميزة وذات معنى دلالي في الفضاء المتعدد الأبعاد (manifold) المسبق التدريب، بما يتوافق مع الأوصاف اللغوية.
الضبط الدقيق للمهام النهائية: بعد مرحلة الترسيخ، تعمل $E_{new}$ المتعلمة كتهيئة للضبط الدقيق القياسي للنموذج الكامل (أو محولات LoRA) على المهمة المستهدفة.

3. المساهمات الرئيسية

تشخيص عدم الاتساق: من خلال التحليل الطيفي (تفكيك القيم المفردة - SVD) والتشخيص الهندسي (تشابه جيب التمام الزوجي)، يثبت المؤلفون أن تهيئة المتوسط تؤدي إلى انهيار الرموز الجديدة في فضاء فرعي متدهور. ويظهرون أن الضبط الدقيق القيسي يفشل في استعادة البنية عالية الرتبة الضرورية للاسترجاع الفعال.
إطار عمل GTI: قدموا GTI، وهو مرحلة ترسيخ بسيطة وفعالة تستخدم الإشراف اللغوي المزدوج لتهيئة الرموز الجديدة. وخلافًا للطرق السابقة (مثل LC-Rec) التي تعتمد على التعلم متعدد المهام أثناء الضبط الدقيق، يعالج GTI المشكلة قبل بدء عملية الضبط الدقيق.
التحقق التجريبي: تم التحقق من منهجية GTI على معايير التوصية التوليدية (GR)، وهي مهمة متطلبة تتطلب دمج آلاف الرموز الجديدة. تفوق GTI باستمرار على كل من تهيئة المتوسط والأساليب المرجعية الأخرى للضبط الدقيق متعدد المهام عبر مجموعات بيانات ضخمة وعامة.

4. النتائج التجريبية

قيم المؤلفون GTI على مجموعتي بيانات:

مجموعة بيانات صناعية: نظام استرجاع مرشحين من منصة توظيف كبرى (مطابقة الوظائف بالمرشحين).
مجموعة بيانات عامة: مجموعة بيانات Vibrent Clothes Rental.

النتائج الرئيسية:

مكاسب الأداء: تفوق GTI بشكل كبير على الخط المرجعي (التهيئة بالمتوسط + SFT) وعلى أحدث طريقة LC-Rec (التهيئة بالمتوسط + SFT متعدد المهام).
- في المجموعة الصناعية، حقق GTI زيادة نسبية قدرها +21.63% في الدقة عند 5 (Precision@5) مقارنة بالخط المرجعي، مقارنة بـ +6.38% فقط لـ LC-Rec.
- في المجموعة العامة، أظهر GTI تحسينات جوهرية في الاستدعاء عند K (على سبيل المثال، +26.02% عند Recall@20) مقارنة بـ LC-Rec.
الحفاظ على البنية:
- التحليل الطيفي: تُظهر التضمينات المهيأة بواسطة GTI اضمحلالًا طيفيًا أبطأ ورتبة فعالة أعلى بعد الضبط الدقيق، مما يشير إلى فضاء فرعي غير متدهور.
- تحليل تشابه التمثيل (RSA): تحافظ تضمينات GTI على ارتباط أقوى مع بنية "كودبوك" (codebook) لـ RQ-VAE مقارنة بالطرق الأخرى.
- التصور (Visualization): تُظهر مصفوفات تشابه جيب التمام أن GTI يحافظ على البنية الهرمية المتدرجة للمعرفات الدلالية، بينما تؤدي تهيئة المتوسط إلى كتلة موحدة ومنهارة حتى بعد الضبط الدقيق.

5. الأهمية

إعادة تعريف توسيع المفردات: تنقل الورقة التركيز من كيفية تدريب الرموز الجديدة أثناء الضبط الدقيق إلى كيفية تهيئتها. فهي تثبت أن جودة التهيئة هي العقبة الرئيسية في توسيع المفردات.
الكفاءة: يعد GTI فعالًا حاسوبيًا؛ فهو يتطلب تدريب تضمينات الرموز الجديدة فقط (جزء صغير من المعلمات) لفترة قصيرة قبل عملية الضبط الدقيق الرئيسية، مما يتجنب تعقيد محاذاة أهداف المهام المتعددة أثناء حلقة التدريب الرئيسية.
القابلية للتعميم: رغم اختباره في التوصية التوليدية، فإن مبدأ "الترسيخ اللغوي قبل الضبط الدقيق" قابل للتطبيق في أي مجال يتطلب توسيع المفردات (مثل استخدام الأدوات، أو المفاهيم البصرية، أو الأكواد الطبية المتخصصة)، مما يوفر حلاً قويًا لمشكلة "البداية الباردة" (cold start) للرموز الجديدة.

في الختام، تجادل الورقة بأن التهيئة ليست مجرد نقطة انطلاق بل هي محدد حاسم للنجاح في توسيع المفردات. ومن خلال ترسيخ الرموز الجديدة في الفضاء اللغوي المسبق عبر الإشراف المزدوج، يطلق GTI العنان لقدرة النموذج على نقل المعرفة العامة إلى المجالات الجديدة بفعالية.