💬 NLP

Optimizing User Profiles via Contextual Bandits for Retrieval-Augmented LLM Personalization

تقدم الورقة البحثية PURPLE، وهو إطار عمل للمقامر السياقي (contextual bandit) يعمل على تحسين ملفات تعريف المستخدمين من أجل تخصيص النماذج اللغوية الكبيرة المعززة بالاسترجاع عبر استبدال الصلة الدلالية بنموذج ترتيب Plackett-Luce مدرب على احتمالية التوليد لمواءمة اختيار السجلات مباشرة مع جودة الاستجابة.

المؤلفون الأصليون: Linfeng Du, Ye Yuan, Zichen Zhao, Fuyuan Lyu, Emiliano Penaloza, Xiuying Chen, Zipeng Sun, Jikun Kang, Laurent Charlin, Xue Liu, Haolun Wu

نُشر 2026-04-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Linfeng Du, Ye Yuan, Zichen Zhao, Fuyuan Lyu, Emiliano Penaloza, Xiuying Chen, Zipeng Sun, Jikun Kang, Laurent Charlin, Xue Liu, Haolun Wu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً ذكياً للغاية ومعرفياً (نموذج لغوي كبير، أو LLM) يعرف كل شيء عن العالم ولكنه لا يعرفك أنت. إذا سألته: "ماذا يجب أن أشاهد الليلة؟"، فقد يقترح عليك قائمة عامة من الأفلام الأعلى تقييماً. ولكن إذا كان يعرف أنك تحب الكوميديا في التسعينيات وتكره أفلام الرعب، فيمكنه تقديم الاقتراح المثالي لك.

المشكلة تكمن في أن تعليم هذا المساعد ذوقك الخاص أمر صعب. لا يمكنك إعادة تدريب "دماغه" بالكامل في كل مرة تغير فيها رأيك (لأن ذلك مكلف وبطيء للغاية). لذا، بدلاً من ذلك، نحاول إعطاءه "ورقة غش" تحتوي على تفاعلاتك السابقة (تاريخك) مباشرة قبل أن يجيب.

هذه الورقة البحثية، PURPLE، تحل مشكلة رئيسية في كيفية إنشاء أوراق الغش هذه. إليك التفاصيل بتبسيط شديد:

1. المشكلة: "الارتباط" ليس هو نفسه "الفائدة"

تخيل أنك تبحث عن فيلم مريح للأعصاب لقضاء ليلة الجمعة.

الطريقة القديمة (الارتباط): يبحث النظام في تاريخك ويرى أنك شاهدت ذات مرة فيلماً بعنوان "Friday Night Lights". يفكر النظام: "مهلاً، 'Friday Night' موجودة في الطلب! دعنا نظهر هذا!". لكن هذا الفيلم هو دراما رياضية عالية التوتر. إنه مرتبط بالكلمات المفتاحية، لكنه عديم الفائدة (ومزعج في الواقع) لهدفك المتمثل في الاسترخاء.
طريقة PURBLE (المنفعة): ينظر النظام بعمق أكبر. يرى أنك شاهدت أيضاً كوميديا لطيفة الأسبوع الماضي ووثائقياً عن الطبيعة. حتى لو لم تكن تلك العناوين تحتوي على كلمات "Friday" أو "Night"، إلا أنها تجسد نيتك للاسترخاء. يختار PURPLE تلك العناصر بدلاً من ذلك.

التشبيه:
فكر في بناء ملف تعريف مستخدم كأنك تجهز حقيبة نجاة لرحلة سير على الأقدام.

الأنظمة القائمة على الارتباط تجمع فقط الأشياء التي تشبه الكلمات الموجودة في طلبك. إذا قلت "أحتاج إلى ماء"، فقد يمسك بزجاجة من "كولا" لأن كلمة "ماء" موجودة في قائمة المكونات.
PURPLE يعمل كدليل خبير. هو يعلم أنه على الرغم من أن المصباح اليدوي لا يشبه كلمة "ماء"، إلا أنه أكثر فائدة لرحلتك المحددة من زجاجة الكولا. إنه يختار العناصر التي تساعدك حقاً على النجاة (أو في هذه الحالة، الحصول على إجابة جيدة).

2. الفخ: الأكثر ليس دائماً الأفضل

تشير الورقة البحثية إلى فخ ثانٍ: مشكلة "الكل في واحد" (The Kitchen Sink problem).
إذا قمت فقط بجلب أكثر 5 عناصر "ارتباطاً" من تاريخك، فقد تتعارض هذه العناصر مع بعضها البعض.

مثال: تريد فيلماً لـ ليلة عائلية.
- العنصر (أ): فيلم كوميدي تحبه.
- العنصر (ب): فيلم رعب تحبه أيضاً.
- العنصر (ج): رسوم متحركة للأطفال.
إذا أعطيت الذكاء الاصطناعي الثلاثة معاً، فسيصاب بالارتباك: "هل يريدون شيئاً مخيفاً أم لطيفاً؟". النتيجة ستكون توصية فوضوية وسيئة.

التشبيه:
تخيل أنك طاهٍ يصنع حساءً.

إذا رميت فقط أكثر 5 مكونات شعبية (طماطم، شوكولاتة، ملح، فلفل، وآيس كريم)، فسيكون طعم الحساء سيئاً للغاية.
يعمل PURPLE كطاهٍ ماهر يعرف أن الشوكولاتة والملح لا يتناسبان، لكن الطماطم والفلفل يعملان معاً بشكل مثالي. هو لا يختار فقط "أفضل" المكونات؛ بل يختار أفضل تركيبة تعمل معاً بشكل جيد.

3. الحل: "المقامر السياقي" (The Contextual Bandit)

كيف يتعلم PURPLE أن يكون طاهياً ذكياً كهذا؟ يستخدم مفهوماً يسمى المقامر السياقي (Contextual Bandit).

تشبيه الكازينو: تخيل كازينو به العديد من آلات القمار (سجلات تاريخك). أنت لا تعرف أي آلة تعطي أفضل عائد.
الطريقة القديمة: أنت فقط تسحب الرافعة في الآلة التي تبدو أكثر لمعاناً (الأكثر ارتباطاً).
طريقة PURPLE: يحاول تجربة تركيبات مختلفة من الآلات. إذا أدت مجموعة معينة من السجلات إلى مستخدم سعيد (إجابة رائعة)، فإنه يكافئ نفسه. وإذا كانت التركيبة مربكة، فإنه يتلقى "عقوبة".

مع مرور الوقت، يتعلم PURPLE استراتيجية (سياسة) تقول: "بالنسبة لطلب حول 'أفلام مريحة للأعصاب'، يجب أن أسحب رافعة 'الكوميديا' و'الوثائقيات الطبيعية'، ولكن يجب أن أتجنب 'الرعب' حتى لو كان شائعاً".

4. السر الخفي: التعلم من خلال "استشعار" الإجابة

معظم الأنظمة تحكم على النجاح من خلال التحقق مما إذا كانت الإجابة صحيحة واقعياً (مثل اختبار الرياضيات). أما PURPLE فيفعل شيئاً أذكى.
فهو يسأل الذكاء الاصطنا_ي: "إذا أعطيتك هذا الملف الشخصي المحدد، ما مدى احتمالية توليدك للإجابة المثالية؟"

التشبيه:

الطريقة القديمة: معلم يصحح اختباراً بقلم أحمر. "حصلت على 8/10. هذه درجة B". (هذا وصف غامض جداً).
PURPLE: مدرب يراقب جولة تدريبية. "إذا ركضت بهذه الطريقة تحديداً، فستفوز بالسباق. وإذا ركضت بتلك الطريقة، فستتعثر". إنه يستخدم احتمالية النجاح لتوجيه التدريب، وهو ما يوفر إشارة أكثر ثراءً وتفصيلاً.

الملخص

PURBLE هو نظام جديد يبني "أوراق غش" لمساعدي الذكاء الاصطناعي. بدلاً من مجرد جلب أكثر الملاحظات تشابهاً، فإنه يعمل كمحرر ذكي:

يتجاهل المطابقات السطحية للكلمات المفتاحية.
يبحث عن النية الكامنة وراء تاريخك.
يختار ويرتب الملاحظات بعنا_ية حتى لا تتناقض مع بعضها البعض.
يتعلم من خلال محاكاة النتيجة النهائية، مما يضمن حصول الذكاء الاصطناعي على أفضل إجابة ممكنة لك.

النتيجة؟ ذكاء اصطناعي لا يشعرك بأنه مجرد محرك بحث، بل يشبه صديقاً يعرف ذوقك حقاً.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تحسين ملفات تعريف المستخدم عبر المربعات السياقية (Contextual Bandits) لتخصيص النماذج اللغوية الكبيرة المعززة بالاسترجاع (RAG)" (PURPLE).

1. بيان المشكلة

تعالج الورقة تحدي تخصيص النماذج اللغوية الكبيرة (LLMs) دون التكلفة الحسابية العالية للضبط الدقيق (مثل RLHF أو LoRA). وبينما يوفر التوليد المعزز بالاسترجاع (RAG) بديلاً خفيف الوزن عن طريق حقن تاريخ المستخدم في المطالبة (Prompt)، تعاني الطرق الحالية من عيبين حرجين:

الارتباط $\neq$ المنفعة: تختار الأنظمة الحالية سجلات المستخدم بناءً على التشابه الدلالي أو اللفظي مع الاستعلام. ومع ذلك، يمكن أن يكون السجل متشابهاً دلالياً ولكنه ضار بجودة التوليد بسبب التكرار، أو المعلومات المتضاربة، أو عدم التوافق مع نية المستخدم الأساسية.
فشل الاختيار الجشع (Greedy Selection): تتجاهل الأساليب الحالية عادةً الاعتماد على اختيار أفضل $k$ من السجلات بشكل مستقل؛ حيث إنها تتجاهل الارتباطات بين السجلات؛ فمجموعة من السجلات "الجيدة" فردياً قد تؤدي إلى تدهور الأداء إذا كانت متضاربة أو تسببت في تمييع إشارة التكييف. إن منفعة ملف تعريف المستخدم هي غير رتيبة (non-monotonic) — أي أن إضافة المزيد من السجلات لا يضمن نتائج أفضل بالضرورة.

المشكلة الجوية هي: كيف يمكن بناء ملف تعريف مستخدم مرتب من تاريخ من السجلات بما يعظم جودة التوليد اللاحقة (المنفعة)، بدلاً من مجرد الارتباط الدلالي؟

2. المنهجية: إطار عمل PURPLE

يقترح المؤلفون PURPLE (تحسين ملفات تعريف المستخدم لتخصيص النماذج اللغية الكبيرة - oPtimizes UseR Profiles for LLM pErsonalization)، وهو إطار عمل يصنف بناء ملف التعريف كمسألة مربعات سياقية (Contextual Bandit).

أ. صياغة المشكلة

السياق ( $C$ ): الاستعلام الحالي ( $x$ ) وتاريخ سجلات المستخدم الكامل ( $H$ ).
الإجراء ( $P$ ): اختيار مجموعة مرتبة من $K$ من السجلات من $H$ لتكوين ملف تعريف. الترتيب مهم لأن النماذج اللغوية الكبيرة حساسة لتسلسل المطالبة.
المكافأة ( $R$ ): جودة توليد النموذج اللغوي الكبير بالنظر إلى ملف التعريف والاستعلام، مقاسة مقابل استجابة مرجعية ( $y$ ).
الهدف: تعلم سياسة $\pi_\theta$ تعظم المكافأة المتوقعة $E[R]$ .

ب. بنية النموذج

نموذج ترتيب Plackett-Luce (PL):
- بدلاً من التقييم المستقل، يستخدم PURPLE نموذج PL لتعيين احتمالات لتباديل السجلات.
- يقوم بإخراج درجة نزعة (propensity score) لكل سجل، مما يحدد توزيعاً على جميع ملفات التعريف المرتبة الممكنة.
- يسمح هذا للنموذج بالتقاط الارتباطات بين السجلات (على سبيل المثال، إدراك أن السجل A والسجل B مكرران عند الجمع بينهما).
مشفر سجل المستخدم ( $f_\theta$ ):
- يستخدم استراتيجية التفاعل المتأخر (late interaction).
- يقوم مشفر مدرب مسبقاً (Contriever) بتوليد تضمينات (embeddings) على مستوى الرموز (tokens) للاستعلام والسجلات.
- تخضع السجلات لعملية انتباه متبادل (cross-attention) على مستوى الرموز مع الاستعلام لدمج النية.
- ثم يقوم مشفر Transformer بنمذجة الارتباطات عبر تضمينات السجلات الناتجة (بدون ترميزات موضعية لتجنب الانحياز).
التدريب عبر تدرج السياسة (Policy Gradient):
- بما أن المكافأة غير قابلة للاشتقاق، يستخدم PURPLE مقدر تدرج نسبة الاحتمالية (likelihood ratio gradient estimator) المعروف بـ (REINFORCE).
- أثناء التدريب، يقوم بأخذ عينات من $M$ من ملفات التعريف من توزيع PL، ويولد استجابات، ويحسب التدرجات بناءً على المكافأة.
- دالة المكافأة: بدلاً من المقاييس الخاصة بالمهمة (مثل ROUGE)، يستخدم PURSIBLE لوغاريتم الاحتمالية (log-likelihood) للاستجابة المرجعية التي ولدها النموذج اللغوي الكبير المجمد. يوفر هذا إشارة غنية دلالياً ودقيقة ترتبط بجودة التوليد بشكل أفضل من المقاييس الفجة.

ج. الاستدلال (Inference)

في وقت الاستدلال، يحسب النموذج درجات النزعة لجميع السجلات المرشحة.
يتم اختيار أفضل $K$ من السجلات وترتيبها حسب هذه الدرجات لبناء ملف تعريف المستخدم النهائي، والذي يتم تغذيته بعد ذلك للنموذج اللغوي الكبير المجمد.

3. المساهمات الرئيسية

صياغة مبتكرة: يقدم PURPLE، أول إطار عمل يعامل استرجاع التخصيص المعزز بالاسترجاع كمسألة مربعات سياقية، مع التركيز على تحسين المنفعة بدلاً من الارتباط.
نمذجة التبعيات: يستخدم نموذج Plackett-Luce للتعامل مع الطبيعة غير الجمعية لمنفعة السجلات، مما يلتقط التفاعلات المعقدة وتأثيرات الترتيب التي يفتقدها الاختيار الجشع.
مكافأة غنية دلالياً: يقترح استخدام لوغاريتم الاحتمالية للاستجابة المرجعية كإشارة تدريب، والتي تتفوق على المقاييس التقليدية للمهام (الدقة، ROUGE) من خلال توفير تغذية راجعة أكثر دقة.
تقييم شامل: تم التحقق من صحته عبر تسع مهام تخصيص (تصنيف، انحدار، توليد نص قصير/طويل) على معايير LaMP وLongLaMP.

4. النتائج التجريبية

قيم المؤلفون PURPLE باستخدام نماذج لغوية كبيرة مجمدة (Phi-4-Mini، Llama-3-8B، و Llama-3-70B) مقابل خطوط أساس قوية:

خطوط الأساس: مسترجعات استدلالية (BM25، Contriever)، ونماذج IC-RALM و REPLUG، ونماذج إعادة الترتيب صفرية المحتوى (RankGPT، ICR).
الأداء: تفوق PURPLE باستمرار على جميع خطوط الأساس عبر جميع المهام وأحجام النماذج.
- حقق دقة/F1 أعلى في التصنيف، وMAE أقل في الانحدار، ودرجات ROUGE/METEOR أفضل في التوليد.
- بشكل ملحوظ، تفوق PURPLE على نماذج أكبر بكثير (مثل RankGPT القائم على GPT-5-nano) مع كونه أكثر كفاءة بشكل كبير.
الكفاءة: يحافظ PURPLE على إنتاجية حسابية عالية، متفوقاً على ICR و RankGPT في مقايضة الأداء والإنتاجية.
التقييم البشري: في دراسة عمياء على إعادة صياغة التغريدات، فضل المقيمون البشريون مخرجات PURPLE على أفضل خط أساس (ICR) بفارق 14.4%، مشيرين إلى قدرته الأفضل على التقاط شخصية المستخدم، والنبرة، والأسلوب.
دراسات الاستئصال (Ablation Studies): أكدت أن إزالة الانتباه المتبادل على مستوى الرموز، أو نمذجة التبعية بين السجلات (Transformer)، أو الانتقال إلى مكافآت قائمة على المقاييس، أدى إلى تدهور الأداء بشكل كبير.

5. الأهمية والخلاصة

تحول في النموذج: تتحدى الورقة نموذج "الاسترجاع القائم على الارتباط" القياسي في RAG، وتثبت أن التحسين القائم على المنفعة أمر بالغ الأهمية للتخصيص.
القابلية للتوسع: من خلال تجنب تحديث المعلمات للنموذج اللغوي الكبير واستخدام سياسة إعادة ترتيب خفيفة الوزن، يقدم PURPLE حلاً قابلاً للتوسع، وشفافاً، وقابلاً للنشر للتخصيص في الوقت الفعلي.
رؤية نظرية: تثبت الورقة أن ملفات تعريف المستخدم حساسة للترتيب وأن منفعة السجل غير رتيبة، مما يستوجب التفكير المدرك للقائمة بدلاً من الاختيار المستقل.
العمل المستقبلي: أشار المؤلفون إلى القيود المتعلقة بالاعتماد على الاستجابات المرجعية للتدريب (الإشراف) والحاجة إلى تحسين التعميم عبر المهام غير المرئية، مما يشير إلى اتجاهات لاستغતર التغذية الراجعة الضمنية للمستخدم.

باختصار، يوفر PURPLE نهجاً مبدئياً، وقابلاً للتوسع، وفعالاً للغاية لتخصيص النماذج اللغوية الكبيرة من خلال معاملة بناء ملف تعريف المستخدم كمسألة اتخاذ قرار متسلسلة يتم تحسينها لجودة التوليد اللاحقة.