ملخص تقني: CURP (تمثيل المستخدم المستمر القائم على كتاب الرموز للإنشاء المخصص باستخدام النماذج اللغوية الكبيرة)

1. بيان المشكلة

تواجه الأساليب الحالية لنمذجة المستخدم في النماذج اللغوية الكبيرة (LLMs) توتراً جوهرياً بين دقة التخصيص والكفاءة الحسابية. تندرج الطرق الموجودة عموماً تحت نموذجين، وكلاهما يعاني من قيود كبيرة:

• التلقين غير البارامتري (Non-parametric Prompting): يقوم بحقن تاريخ المستخدم أو أوصاف الشخصية مباشرة في التلقين (Prompt). ورغم كونه خفيف الوزن وعام الغرض، إلا أن هذا النهج غالباً ما يعاني من الضجيج، والتكرار، وتضخم طول السياق، مما يؤدي إلى مخرجات غير دقيقة أو نمطية.
• الضبط الدقيق البارامتري (Parametric Fine-tuning): يعمل على تكييف أوزان النموذج (عبر LoRA أو الضبط الدقيق الكامل مثلاً) لتناسب بيانات مستخدم محدد. وبينما يحقق هذا دقة عالية، إلا أنه مكلف حسابياً وغير عملي على نطاق واسع، لأنه يتطلب عادةً تدريب نموذج أو مُلحق (Adapter) منفصل لكل مستخدم.

التحدي المركزي الذي يعالجه هذا العمل هو كيفية تحقيق محاكاة وفية للمستخدم توازن بين جودة التخصيص العالية والكفاءة الحسابية والقابلية للتوسع.

2. المنهجية: إطار عمل CURP

يقترح المؤلفون CURP، وهو إطار عمل ينمذج المستخدمين من خلال فضاء نماذج أولية كامنة مشتركة ومنظمة، بدلاً من النصوص الخام أو الأوزان الخاصة بكل مستخدم. الفكرة الجومة مستوحاة من نظرية التصنيف الذاتي (SCT)، التي تفترض أن الهوية تتشكل من خلال مزيج من النماذج الاجتماعية المشتركة (مثل "مراهق"، "مؤمن"، "يحب الرياضة") بدلاً من مفهوم ذاتي ثابت ومعزول.

المكونات الأساسية

1. مشفر المستخدم (User Encoder - $E$): بنية مشفرة فقط (Encoder-only) مدربة مسبقاً ثنائية الاتجاه (مثل Contriever)، تقوم بتلخيص بيانات سلوك المستخدم التاريخية في تمثيلات تنسورية كثيفة. هذا يستبدل عملية دمج النصوص الساذجة، مما يقلل الضجيج وطول السياق.
2. كتاب رموز النماذج الأولية (Prototype Codebook - $C$): كتاب رموز قابل للتعلم، حيث يمثل كل مدخل فيه نموذجاً أولياً سلوكياً متسقاً.
   • الكمية (Quantization): يتم تفكيك تضمينات المستخدم إلى $L$ من الفضاءات الفرعية وتكميمها باستخدام الكمية بالمنتج (Product Quantization - PQ). يتم رسم كل حدث للمستخدم كتركيبة متفرقة من $L$ من المؤشرات المنفصلة من كتاب الرموز المشترك.
   • القابلية للتفسير: التمثيل الناتج هو مزيج من النماذج الأولية (مثلاً: #مراهق + #مؤمن + #مرح)، مما يوفر قابلية للتفسير وفوائد تتعلق بالخصوصية (عبر نقل المؤشرات فقط).
3. المفكك (Decoder - $D$): نموذج لغوي كبير مجمد (مثل Qwen-2.5) يقوم بإنشاء استجابات مخصصة. يقوم طبقة بسيطة متعددة الطبقات (MLP) بإسقاط تضمينات النماذج الأولية المكممة إلى فضاء التضمين الخاص بالمفكك، والتي تُلحق بعد ذلك باستعلام المهمة لتهيئة عملية الإنشاء.

خط أنابيب التدريب ذو المرحلتين

1. المرحلة الأولى: بناء كتاب رموز النماذج الأولية (PCC):
   • يتم التدريب على مجموعة سلوكية واسعة النطاق (مثلاً 24 مليون سجل من 150 ألف مستخدم).
   • يستخدم خوارزمية k-means متوازنة لتهيئة كتاب الرموز ويتم التحسين لثلاثة أهداف:
     • خسارة الكمية ($L_{quant}$): تقلل خطأ إعادة البناء بين التضمينات الأصلية والمكممة.
     • خسارة التنوع ($L_{div}$): تضمن تميز مدخلات كتاب الرموز عن بعضها البعض.
     • خسارة الاستخدام ($L_{usage}$): تمنع انهيار كتاب الرموز من خلال تشجيع الاستخدام الموحد لجميع المدخلات.
2. المرحلة الثانية: محاذاة سلوك النماذج الأولية (PBA):
   • يتم تدريب مُلحق خفيف الوزن (MLP) لرسم خريطة تمثيل النماذج الأولية المكممة للمستخدم إلى فضاء النموذج اللغوي الكبير المجمد.
   • يظل النموذج اللغوي نفسه مجمداً؛ حيث يتم تحديث المُلحق وكتاب الرموز فقط (إذا تم ضبطه). وهذا يجعل النهج مستقلاً عن النموذج (Model-agnostic) وعالي الكفاءة.

3. المساهمات الرئيسية

• آلية كتاب الرموز القائمة على النماذج الأولية: تستبدل الأوصاف النصية الهشة بتضمينات مستمرة، مدمجة، وقابلة للتحكم. تتيح الكمية في كتاب الرموز تعاون السحابة والحافة للحفاظ على الخصوصية عبر نقل مؤشرات الرموز المنفصلة فقط بدلاً من التضمينات الكاملة أو التاريخ الخام.
• إطار عمل التدريب ذو المرحلتين: يتيح للنموذج فهم واستخدام النماذج الأولية للمستخدم دون الحاجة إلى تدريب إضافي للنموذج اللغوي الكبير، مما يضمن القابلية للتوسع.
• الأداء المتوازن: يحقق توازناً عملياً بين دقة التخصيص والكفاءة، باستخدام حوالي 20 مليون معلمة قابلة للتدريب (حوالي 0.2% من حجم النموذج الإجمالي) مقارنة بالطرق التي تتطلب ضبطاً دقيقاً لكل مستخدم.

4. النتائج التجريبية

قام المؤلفون بتقييم CURP عبر أربع مهام تخصيص متنوعة: أسئلة وأجوبة Reddit (RQ)، توليد عناوين الأخبار (NH)، إعادة صياغة التغريدات (TP)، وكتابة المراجعات (RW).

• الأداء: تفوق CURP باستمرار على النماذج المرجعية القوية، محققاً نتائج هي الأفضل في حالتها (SOTA) في 70% من المقاييس عبر جميع المهام. وقد تجاوز كلاً من طرق التلقين (مثل ICL و RAG و CoT) وطرق التدريب (مثل LoRA و OPPU و Soft Prompt).
• الكفاءة: على عكس OPPU، الذي يتطلب 8 ملايين معلمة لكل مستخدم، يستخدم CURP كتاب رموز مشترك ومُلحقاً صغيراً، مما يقلل التكاليف الحسابية بشكل كبير.
• المتانة:
  • طول التاريخ: على عكس ICL و LoRA، اللذين يتدهوران مع زيادة طول السياق، يظل CURP مستقراً حتى مع اختلاف عدد التفاعلات التاريخية.
  • التعميم: حافظ كتاب الرموز المدرب على مجموعة بيانات واحدة (Reddit QA) على فائدة عالية عند تطبيقه على مهام أخرى مع تثبيت الأوزان، مما أظهر أنماطاً دلالية قابلة للنقل.
  • استقلالية البنية: أظهر الإطار أداءً تنافسياً عبر تركيبات مختلفة من المشفر والمفكك (مثل RoBERTa+Qwen و Contriever+LLaMA).
• القابلية للتفسير: كشف تحليل مؤشرات كتاب الرموز أن الفضاءات الفرعية المختلفة تتوافق مع مفاهيم دلالية متسقة (مثل اتساق المستوى الموضوعي، والمشاعر، والموقف)، مما يؤكد الطبيعة المنظمة للنماذج الأولية المتعلمة.

5. الأهمية والادعاءات

يزعم البحث أن CURP يقدم حلاً مبتكراً لمقايضة الكفاءة والدقة في التخصيص القائم على النماذج اللغوية الكبيرة. من خلال تفكيك المستخدمين إلى مزيج من النماذج الأولية القابلة للتعلم والتفسير، فإن الإطار:

1. يخفف من ندرة البيانات: يسمح الفضاء الكامن المشترك بالتعلم من الإشارات المجمعة عبر المستخدمين مع الحفاظ على الفروق الفردية من خلال المزج المرن.
2. يعزز الخصوصية: تمنع الطبيعة المنفصلة لمؤشرات كتاب الرموز نقل بيانات المستخدم الخام أو التضمينات الكاملة الحساسة.
3. القابلية للتوسع: يعد النهج عملياً للنشر في العالم الحقيقي، حيث يتجنب التكاليف الباهظة للضبط الدقيق لكل مستخدم مع الحفاظ على جودة إنشاء عالية.

يشير المؤلفون إلى وجود قيود، بما في ذلك نقص أوصاف الشخصية الصريحة في مجموعات البيانات اللاحقة، واحتمالية فقدان الأنماط السلوكية الدقيقة (مثل استخدام الكلمات المعتاد) بسبب الكمية. ومع ذلك، يؤكدون أن الإطار يوفر أساساً قوياً، وقابلاً للتوسع، وقابلاً للتفسير للإنشاء المخصص.