💬 NLP

Rethinking Personalization in Large Language Models at the Token Level

تقدم هذه الورقة البحثية PerContrast وPerCE loss، وهو نموذج تدريب على مستوى الرموز (token-level) يستخدم التدخل السببي لتحديد الرموز الخاصة بالمستخدم وزيادة وزنها بشكل تكيفي، مما يعزز بشكل كبير أداء التخصيص للنماذج اللغوية الكبيرة بتكلفة حوسبية ضئيلة.

المؤلفون الأصليون: Chenheng Zhang, Yijun Lu, Lizhe Fang, Chunyuan Zheng, Jiajun Chai, Xiaohan Wang, Guojun Yin, Wei Lin, Yisen Wang, Zhouchen Lin

نُشر 2026-03-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chenheng Zhang, Yijun Lu, Lizhe Fang, Chunyuan Zheng, Jiajun Chai, Xiaohan Wang, Guojun Yin, Wei Lin, Yisen Wang, Zhouchen Lin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة عبقرياً وعليم كل شيء (وهو النموذج اللغوي الكبير، أو LLM). يمكن لهذا الأمين كتابة المقالات، والإجابة على الأسئات، وإلقاء النكات بشكل أفضل من أي شخص آخر. لكن هناك مشكلة: في الوقت الحالي، يكتب هذا الأمين كل شيء بأسلوب "واحد يناسب الجميع".

إذا طلبت منه قصة عن قطة، فقد يكتبها كتقرير إخباري، أو حكاية خرافية، أو ورقة علمية، لكنه لن يعرف ذوقك الخاص. هل تحب القطط المضحكة؟ القطط الحزينة؟ أم القطط التي ترتدي قبعات؟

هذه الورقة البحثية، "إعادة التفكير في التخصيص في النماذج اللغوية الكبيرة على مستوى الرمز (Token)"، تدور حول تعليم أمين المكتبة هذا التوقف عن الكتابة لـ "الجميع" والبدة في الكتابة خصيصاً لك.

إليك تفصيل كيفية قيامهم بذلك، باستخدام بعض التشبيهات البسيطة.

1. المشكلة: الطالب "المتوسط"

حالياً، عندما يتم تدريب هذه النماذج الذكية، فإننا نعامل كل كلمة (أو "رمز" - Token) في الجملة على أنها متساوية في الأهمية. الأمر يشبه معلماً يصحح مقال طالب ويعطي كل كلمة فيه نفس القدر من الاهتمام.

لكن في عملية التخصيص، لا تسير الأمور بهذا الشكل.

الكلمات "المملة": كلمات مثل "الـ"، "هو"، "و"، أو "إلى" هي عادةً نفسها للجميع. إنها الغراء الذي يربط الجملة ببعضها.
الكلمات "الشخصية": كلمات مثل "أنا أحب الطعام الحار"، "أفضل المكتبات الهادئة"، أو "أكره الاستيقاظ مبكراً" هي المكونات السحرية. هذه هي الكلمات التي تجعل الإجابة تبدو وكأنها جاءت منك أنت.

تجادل الورقة بأن التدريب الحالي للذكاء الاصطناعي يشبه طباخاً يحرك القدر بأكملى بنفس الكثافة، سواء كان يحرك الماء الباهت أو التوابل الثمينة والغالية. هم بحاجة إلى تركيز الحرارة أكثر على التوابل!

2. الحل: محقق الـ "ماذا لو؟" (PerContrast)

احتاج الباحثون إلى طريقة لمعرفة أي الكلمات هي "التوابل" (الشخصية) وأيها مجرد "ماء" (عام). فابتكروا طريقة تسمى PerContrast.

اعتبر PerContrast بمثابة محقق يسافر عبر الزمن.

السيناريو أ: يسأل المحقق الذكاء الاصطناعي: "اكتب قصة عن قطة، مع العلم أن المستخدم يحب الطعام الحار".
السيناريو ب: يسأل المحقق الذكاء الاصطناعي: "اكتب قصة عن قطة، ولكن انسَ أن المستخدم يحب الطعام الحار".

ثم يقارن المحقق بين القصتين كلمة بكلمة.

إذا كتب الذكاء الاصطناعي "القطة جلست على الحصيرة" في النسختين، فهذه الكلمة عامة. فهي لا تهتم بالمستخدم.
إذا كتب الذكاء الاصطناعي "القطة أكلت فلفلاً حاراً" في السيناريو أ، ولكنه كتب "القطة أكلت فأراً" في السيناريو ب، فإن كلمة "فلفل حار" هي رمز شخصي عالي القيمة.

من خلال القيام بمقارنة "ماذا لو؟" هذه لكل كلمة، يتعلم الذكاء الاصطناعي بالضبط أي الكلمات تعتمد على شخصية المستخدم.

3. التدريب: طريقة "تسليط الضوء" (PerCE)

بمجرد أن يعرف الذكاء الاصطناعي أي الكلمات هي "التوابل"، ابتكر الباحثون قاعدة تدريب جديدة تسمى PerCE.

تخيل عملية التدريب كأنها تسليط ضوء (Spotlight) على مسرح.

الطريقة القديمة (التدريب القياسي): يسلط الضوء بالتساوي على المسرح بأكمله. يحاول الممثل (الذكاء الاصطعي) حفظ النص بأكمله بالتساوي.
الطريقة الجديدة (PerCE): الضوء ذكي. يظل خافتاً في الأجزاء المملة من النص ولكنه يتوهج ببراعة في الأجزاء الشخصية (كلمات "الفلفل الحار").

يحصل الذكاء الاصطناعي على درجات إضافية مقابل إتقان تلك الكلمات الشخصية. إنه يشبه معلماً يقول: "لقد ضبطت القواعد النحوية بشكل صحيح، ولكن إذا نجحت في التقاط صوت الطالب الفريد في هذه الجملة الواحدة، فستحصل على درجة امتياز!"

4. النتيجة: ذكاء اصطناعي "حرباء"

اختبرت الورقة ذلك على عدة نماذج مختلفة للذكاء الاصطناعي. وكانت النتائج مبهرة:

تخصيص أفضل: أصبح الذكاء الاصطناعي أفضل بكثير في محاكاة مستخدمين محددين. لم يبدُ ذكياً فحسب؛ بل بدا وكأنه هم.
سحر المهام المتعددة: حتى لو تم تدريب الذكاء الاصطناعي على كتابة مراجعات الكتب، فإنه يستطيع استخدام "مهارات التخصيص" هذه لكتابة رسائل بريد إلكتروني أفضل أو الدردشة بطريقة ودودة. لقد تعلم مهارة أن يكون شخصياً، وليس مجرد المهمة المحددة.
رخيص وسريع: الجزء الأفضل؟ لم يتطلب هذا سوبر كمبيوتر أو ملايين الدولارات. لقد أضاف فقط القليل من وقت التفكير الإضافي (مثل مراجعة مسودة ثانية) للحصول على تحسينات هائلة.

الصورة الكبيرة

ببساء الكلمات، تعلم هذه الورقة الذكاء الاصطناعي كيف يتوقف عن كونه روبوتاً عاماً ويبدأ في كونه حرباء. بدلاً من طلاء كل الجدران بنفس اللون، يتعلم النظر إلى الغرفة (المستخدم) وطلاء الدرجة المثالية من الأزرق أو الأحمر أو الأخضر لذلك الشخص تحديداً.

لقد فعلوا ذلك من خلال تعليم الذكاء الاصطناعي أن يسأل: "هل كنت سأكتب هذه الكلمة لو لم أكن أعرف مع من أتحدث؟" إذا كانت الإجابة هي "لا"، فإن تلك الكلمة تحصل على تسليط ضوء خاص أثناء التدريب.

الخلاصة: لجعل الذكاء الاصطناعي شخصياً حقاً، لا نحتاج إلى تعليمه المزيد من الحقائق؛ نحن فقط بحاجة إلى تعليمه أن يولي اهتماماً وثيقاً للكلمات المحددة التي تهمك أنت.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "إعادة التفكير في التخصيص في النماذج اللغوية الكبيرة على مستوى الرمز (Token)".

١. بيان المشكلة

يُتوقع من النماذج اللغوية الكبيرة (LLMs) بشكل متزايد تخصيص المخرجات لتناسب المستخدمين الأفراد (على سبيل المثال، التكيف مع أساليب الكتابة، أو التفضيلات، أو سجلات التفاعل) مع الحفاظ على الأداء في مهام معالجة اللغات الطبيعية الأساسية. ومع ذلك، فإن نماذج التدريب الحالية تعامل التخصيص كمهمة موحدة، حيث تطبق دالة فقدان "الإنتروبيا المتقاطعة" (Cross-Entropy - CE) القياسية حيث تُعامل جميع الرموز (tokens) بوزن متساوٍ.

يجادل المؤلفون بأن هذا يمثل خللاً جوهرياً:

التباين على مستوى الرمز: في الاستجابة المخصصة، تساهم الرموز المختلفة في عملية التخصيص بدرجات متفاوتة. فعلى سبيل المثال، في الحوار، تكون كلمات محددة تعكس سمات المستخدم حاسمة، بينما في توليد الملخصات، تكون الرموز الأسلوبية هي المفتاح.
تمييع الإشارة: إن معاملة جميع الرموز بشكل موحد تؤدي إلى تمييع إشارة التعلم للرموز المحددة التي تشفر التخصيص فعلياً، مما يحد من قدرة النموذج على التكيف بفعالية.
غياب القياس: لا توجد طريقة منهجية لقياس "درجة التخصيص" لكل رمز على حدة أثناء التدريب.

٢. المنهجية

تقترح الورقة إطار عمل يتكون من مرحلتين: PerContrast (للتقدير) و PerCE (للتحسين).

أ. PerContrast: القياس السببي للتخصيص على مستوى الرمز

لتحديد الرموز الحرجة للتخصيص، قدم المؤلفون PerContrast، وهي طريقة تباين ذاتي تعتمد على التدخل السببي.

المفهف الجوهري: تقيس مدى اعتماد رمز مخرج $y_i$ $y_{i}$ على معلومات خاصة بالمستخدم (شخصية المستخدم $p_u$ $p_{u}$ ) من خلال مقارنة احتمالية تنبؤ النموذج تحت شرطين:
1. السياق الكامل: مشروط بكل من الاستعلام $x$ وشخصية المستخدم $p_u$ .
2. السياق المتدخل: مشروط بالاستعلام $x$ فقط (بعد إزالة الشخصية).
نسبة التأثير الشخصي (PIR): تُعرف النسبة كفرق اللوغاريتم الاحتمالي:
$PIR(y_i; \theta) = \log P_\theta(y_i | p_u, x, y_{<i}) - \log P_\theta(y_i | x, y_{<i})$
الضمان النظري السببي: يثبت المؤلفون أنه بموجب الافتراضات السببية القياسية (عدم التداخل، وعدم وجود متغيرات مربكة)، فإن PIR يتوافق مع الأثر السببي للرمز على توليد الرمز الناتج. تشير قيمة PIR العالية إلى أن الرمز يعتمد بشدة على معلومات المستخدم.

ب. PerCE: فقدان التوقع التبايني المخصص (Personalized Contrastive Expectation-Maximization Loss)

بناءً على PerContrast، يقترح المؤلفون PerCE، وهو هدف تدريبي يعيد وزن الرموز بشكل تكيفي.

إطار عمل EM: يعامل PerCE التخصيص على مستوى الرمز كمتغير كامن ويعمل في حلقة "توقع-تعظيم" (Expectation-Maximization - EM):
- خطوة التوقع (E-Step): في كل خطوة تدريب، يحسب النموذج PIR لكل رمز في الاستجابة المرجعية لتقدير وزن التخصيص الخاص به ( $w_i$ ).
- خطوة التعظيم (M-Step): يقوم النموذج بتحديث المعلمات عن طريق تقليل فقدان الإنتروبيا المتقاطعة الموزون:
  $L_{PerCE} = -\frac{1}{n} \sum_{i=1}^{n} w(y_i) \log P_\theta(y_i | p_u, x, y_{<i})$
  حيث $w(y_i)$ هو نسخة مقصوصة (clipped) من درجة PIR لضمان استقرار التدريب.
آلية التمهيد (Bootstrap Mechanism): يقوم النموذج بالتناوب بين تقدير أي الرموز "شخصية" وبين التحسين للتركيز عليها، دون الحاجة إلى تسميات (annotations) خارجية لأهمية الرموز.

٣. المساهمات الرئيسية

التحليل على مستوى الرمز: أول عمل يحلل وينمذج التخصيص صراحةً على مستوى الرمز، موضحاً أن الرموز لا تساهم جميعها بالتساوي في المواءمة مع المستخدم.
PerContrast: طريقة مبتكرة ومبنية على أسس سببية لقياس درجة التخصيص للرموز الفردية باستخدام التباين الذاتي والتدخل.
فقدان PerCE: هدف تدريبي جديد يدمج إعادة الوزن على مستوى الرمز في حلقة التدريب عبر إجراء شبيه بـ EM، وهو أمر مستقل عن مسارات التخصيذ الحالية (مثل RAG أو الضبط الدقيق).
التحقق التجريبي: تجارب واسعة النطاق تظهر تفوق PerCE بشكل كبير على معايير CE القياسية ومعايير إعادة الوزن الأخرى (LossCE، EntCE) عبر نماذج ومهام متعددة.

٤. النتائج التجريبية

قيم المؤلفون PerCE على مجموعة بيانات LongLaMP (توليد الملخصات المخصصة، كتابة المراجعات، كتابة المواضيع) ومعيار ALOE (الحوار متعدد الأدوار)، باستخدام نماذج تتراوح معلماتها من 4 مليار إلى 14 مليار (Qwen3، Llama3).

مكاسب الأداء:
- حقق PerCE متوسط تحسن يزيد عن 10% في مقاييس التخصيص (ROUGE-L، METEOR) عبر جميع النماذج والمهام.
- الحد الأقصى للمكسب: تحسن يصل إلى 68.04% في مهمة كتابة المراجعات المخصصة.
- تفوق PerCE باستمرار على النماذج المرجعية مثل LossCE (الوزن القائم على الخطأ) و EntCE (الوزن القائم على الإنتروبيا).
التعميم والقدرة على الانتقال:
- عبر المهام: أظهرت النماذج المدربة باستخدام PerCE على مهمة واحدة (مثل كتابة المواضيع) مكاسب كبيرة (تصل إلى +56%) عند تقييمها على مهام أخرى (مثل توليد الملخصات)، متفوقة بذلك على النماذج المدربة بـ CE.
- عبر السيناريوهات: في معيار الحوار ALOE (حيث تكون معلومات المستخدم ضمنية)، أظهر PerCE مكاسب جوهرية (تصل إلى +1.85 نقطة على مقياس من 5 نقاط) مقارنة بـ CE، مما يدل على قدرة أفضل على استنتاج وتطبيق تفضيلات المستخدم.
المتانة: أظهر PerCE استقراراً فائقاً عبر معدلات التعلم المختلفة مقارنة بـ CE القياسي، الذي أظهر تبايناً وحساسية عالية.
الكفاءة: تتضمن الطريقة عبئاً إضافياً ضئيلاً، حيث تتطلب فقط تمريرة أمامية (forward pass) إضافية واحدة بسياق منزوع الشخصية (وهو سياق قصير، مما يقلل طول المدخلات بنسبة ~7% في LongLaMP).
القدرات العامة: لم يؤدِ PerCE إلى تدهور قدرات الاستدلال العامة (التي تم اختبارها باستخدام HotpotQA و DROP) بل أظهر تحسينات طفيفة.

٥. الأهمية

تؤسس هذه الورقة التدريب المدرك للرموز (token-aware training) كنموذج حاسم للتقدم في نماذج LLM المخصصة. من خلال الانتقال من التعامل الموحد مع الرموز إلى آلية تركيز سببية على مستوى الرمز، يقدم المؤلفون حلاً بسيطاً وفعالاً للغاية:

يفصل التخصيص عن البنية الهيكلية: يمكن تطبيقه على أي مسار تدريب لـ LLM حالي دون تغييرات في البنية.
يحسن كفاءة البيانات: يعظم الاستفادة من بيانات التخصيص الموجودة من خلال التركيز على الرموز الأكثر صلة.
يعزز القدرة على الانتقال: يخلق نماذج تتعمم بشكل أفضل عبر المهام والسيناريوهات المختلفة، مما يعالج عقبة رئيسية في أنظمة الذكاء الاصطناعي المخصصة الحالية.

تشير الدراسة إلى أن الأبحاث المستقبلية في المواءمة مع المستخدم يجب أن تتجاوز "ما هي" البيانات المستخدمة لتشمل "كيفية" وزن رموز محددة داخل تلك البيانات أثناء عملية التحسين.