💬 NLP

From Correctness to Preference: A Framework for Personalized Agentic Reinforcement Learning

تقترح هذه الورقة إطار عمل موحداً لتعلم تعزيزي وكيلِيّ مخصص يدمج بين تحسين السياسة بفك الارتباط بمكافأة المرساة المخصصة (PARPO)، ونموذج مكافأة مفكك التفضيلات، وذاكرة رسم بياني لتطور المهارات المتوافقة مع التفضيلات (PSGM)، وذلك لمعالجة تفضيلات المستخدمين غير المتجانسة بفعالية وتحسين أداء الوكيل عبر سيناريوهات التخطيط واستخدام الأدوات المتنوعة.

المؤلفون الأصليون: Ranxu zhang, zeyang li, Jiacheng Huang, Rui Zhang, Xiaozhou Xu, sun zhe, Yanyong Zhang, Chao Wang

نُشر 2026-05-25✓ Author reviewed ⓘ

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ranxu zhang, zeyang li, Jiacheng Huang, Rui Zhang, Xiaozhou Xu, sun zhe, Yanyong Zhang, Chao Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوت مساعد شخصي. في الماضي، كنا نعلم هذه الروبوتات كيف تكون "صحيحة". إذا سألت: "خطط لرحلة إلى طوكيو"، سيتعلم الروبوت مسار الرحلة المثالي رياضياً والذي يناسب الشخص المتوسط. سيكون المسار فعالاً، منطقياً، ودقيقاً من الناحية الواقعية.

ولكن في العالم الحقيقي، "الصحة" ليست كافية. إذا كان المستخدم (أ) محباً هادئاً للمتاحف ويكره المشي، والمستخدم (ب) معجباً بالأنمي مفعماً بالحيوية ويحب الحياة الليلية، فإن الرحلة "المثالية" إلى طوكيو لكل منهما ستكون مختلفة تماماً. السؤال نفسه يتطلب إجابتين مختلفتين.

تقترح هذه الورقة البحثية طريقة جديدة لتدريب وكلاء الذكاء الاصطناعي حتى يتوقفوا عن محاولة أن يكونوا خبراء "بنموذج واحد يناسب الجميع" ويبدأوا في التحول إلى رفيق شخصي حقيقي. إليك كيف فعلوا ذلك، مشروحاً ببساطة:

1. المشكلة: فخ "المتوسط"

تدريب الذكاء الاصطناعي الحالي يشبه تعليم طاهٍ كيفية طبخ وجبة "متوسطة" واحدة يحبها الجميع. إذا طلبت طبقاً حاراً، قد يعطيك الطاهي شيئاً معتدل الحرارة لأنه يحاول إرضاء الأغلبية.

المشكلة: المستخدمون الحقيقيون لديهم أذواق وعادات وقيود فريدة. نظام المكافأة العام (مثل الدرجة التي تُمنح بناءً على "هل أنهيت المهمة؟") لا يمكنه التمييز بين خطة رحلة صحيحة واقعياً ولكنها مملة للمستخدم، وبين خطة مصممة بدقة لتناسبه.
الضجيج: أحياناً يتصرف المستخدمون بطرق لا تتوافق مع رغباتهم الحقيقية (ربما اشتروا شيئاً فقط لأن أصدقاءهم فعلو ذلك). يحتاج الذكاء الاصطناعي إلى معرفة ما يريده المستخدم حقاً، وليس فقط ما فعله.

2. الحل: مجموعة أدوات ثلاثية الأجزاء

قام المؤلفون ببناء إطار عمل يسمى PARPO (تحسين السياسة المنفصلة للمكافأة المرتكزة على التخصيص). فكر في هذا كترقية ثلاثية الخطوات لعقل الذكاء الاصطعي:

الجزء (أ): المدرب "ثنائي المسار" (PARPO)

تخيل مدرباً رياضياً يدرب رياضيين في نفس الوقت.

المسار 1 (الأساسيات): يضمن المدرب أن يركض كلا الرياضيين لفة مثالية وآمنة. هذه هي مكافأة الجودة العامة. هل أنهوا السباق؟ هل اتبعوا القواعد؟
المسار 2 (الأسلوب الشخصي): بعد ذلك، يقدم المدرب ملاحظات محددة بناءً على أسلوب كل رياضي. بالنسبة للعداء السريع، الملاحظة هي "انطلق بسرعة أكبر". أما بالنسبة لعداء الماراثون، فهي "حافظ على طاقتك". هذه هي مكافأة التفضيل الشخصي.
المرتكز (The Anchor): للحفاظ على الاستقرار، يستخدم المدرب "مرتكزاً شخصياً" لكل رياضي. فبدلاً من مقارنة العداء السريع بعداء الماراثون (وهو أمر غير عادل)، يقارن المدرب العداء السريع بأدائه السابق الخاص به. هذا يمنع الذكاء الاصطناعي من الارتباك بسبب اختلاف "مقاييس" المستخدمين المختلفين.

الجزء (ب): كاشف "الاهتمام الحقيقي" (نموذج المكافأة)

كيف يعرف الذكاء الاصطناعي ما يحبه المستخدم حقاً مقابل ما فعله فقط بسبب ضغط الأقران؟

قدمت الورقة كاشفاً ثنائي المراحل.
- المرحلة 1: يبني ملفاً تعريفياً للمستخدم من زوايا متعددة (مثل قراءة سيرته الذاتية، وتاريخه، ودائرته الاجتماعية).
- المرحلة 2: يعمل مثل المحقق الذي يفصل بين "الاهتمام الحقيقي" و"الامتثال للغير". يتساءل: "هل فعل المستخدم هذا لأنه يحبه، أم لمجرد أن الجميع كانوا يفعلون ذلك؟" إنه يقوم بتصفية الضجيج للعثستخراج الإشارة الحقيقية.

الجزء (ج): "المكتبة الحية" (PSGM)

ذاكرة الذكاء الاصطناعي القديمة تشبه كومة مسطحة من الأوراق. تسأل سؤالاً، فيبحث في الكومة بأكملها.

تبني هذه الورقة رسم بياني لتطور المهارات. تخيل شبكة عنكبوتية ثلاثية الأبعاد ديناميكية حيث كل عقدة متصلة بالأخرى.
- عقدة واحدة هي "المستخدم أ".
- تتصل بـ "مهارة: التخطيط للمتاحف".
- التي تتصل بـ "سيناريو: يوم ممطر".
- و"أداة: حجز التذاكر".
عندما يسأل المستخدم سؤالاً، لا يقوم الذكاء الاصطناعي بالبحث فحسب؛ بل يسافر عبر هذه الشبكة للعثور على المهارات والأدوات الدقيقة التي تتوافق مع تاريخ وتفضيلات ذلك المستخدم تحديداً. إنه يشبه أمين مكتبة يعرف بالضبط أي كتاب أعجبك العام الماضي ويقترح واحداً مشابهاً، بدلاً من مجرد تسليمك الكتاب الأكثر مبيعاً.

3. النتائج: أفضل من البقية

اختبر الفريق هذا على ثلاثة تحديات مختلفة:

ETAPP: اختبار قياسي للمساعدين الشخصيين (تخطيط المهام اليومية).
ETAPP-Hard: نسخة أصعب تحتوي على مشكلات معقدة ومتعددة الخطوات.
SJAgent: اختبار صناعي واقعي باستخدام بيانات من منصة تجارة إلكترونية صينية ضخمة (لمساعدة التجار في اتخاذ القرارات).

النتيجة:
تفوق إطار العمل الجديد باستمرار على أفضل الأساليب الموجودة.

لم يكتفِ بالحصول على الحقائق الصحيحة فحسب؛ بل ضبط "الأجواء" (the vibe) أيضاً.
تعلم كيف يكون استباقياً (يتوقع الاحتياجات) ويتبع الإجراءات المعقدة بشكل أفضل.
والأهم من ذلك، حافظ على جودة عالية مع التكيف مع المستخدمين الأفراد، مما أثبت أنه ليس عليك التضحية بـ "الصحة" من أجل أن تكون "شخصياً".

ملخص التشبيه

فكر في الذكاء الاصطناعي القديم كـ مرشد سياحي حفظ نصاً واحداً مثالياً لطوكيو وألقاه على الجميع.
أما الذكاء الاصطناعي الجديد فهو صديق محلي يعرفك شخصياً. يعرف أنك تكره المشي، وتحب الأنمي، وتلتزم بميزانية محددة. هو لا يعطيك خريطة فحسب؛ بل يصمم لك يوماً يبدو وكأنه صُنع خصيصاً لك، مستخدماً ذاكرته لما أعجبك سابقاً، مع التأكد في الوقت نفسه من أنك سترى بالفعل المعالم التي أردت رؤيتها.

تزعم الورقة أن هذا يتحقق من خلال الفصل بين "أداء العمل بشكل صحيح" وبين "أداء العمل بالطريقة التي تحبها أنت"، واستخدام نظام ذاكرة ذكي لتذكر من أنت بالضبط.

ملخص تقني: من الصحة إلى التفضيل: إطار عمل لتعلم التعزيز الوكيل المخصص

1. تعريف المشكلة

بينما حقق تعلم التعزيز الوكيل (Agentic RL) نجاحًا ملحوظًا في المهام القابلة للتحقق ذات الإجابات الواضحة (مثل توليد الكود، والملاحة عبر الويب)، فإنه يواجه تحديات جوهرية في تطبيقات العالم الحقيقي حيث يكون السلوك الأمثل معتمدًا على المستخدم. في مجالات مثل مساعدة التجارة الإلكترونية، وتخطيط السفر، والجدولة اليومية، تسمح استعلامات متعددة (مثل "خطط لرحلة ليوم واحد في طوكيو") بمسارات متعددة معقولة، حيث يتم تحديد المسار المفضل بناءً على تفضيلات المستخدم الفردية، وعاداته، وقيوده.

تعتمد الأساليب الحالية عادةً على تحسين أهداف عامة (الجودة الإجمالية، الفائدة) أو تقوم بالتخصيص فقط في وقت الاستنتاج عبر التلقين (Prompting) أو استرجاع الذاكرة. وهي تفتقر إلى إطار عمل أصيل في وقت التدريب لتحسين السياسات من أجل المسارات المرتبطة بالمستخدم. يفرض هذا الإعداد ثلاثة تحديات أساسية:

غموض المكافأة المخصصة: تلتقط المكافآت العامة جودة المهمة ولكنها تفشل في التعبير عن كيفية تقييم مستخدمين محددين للمسارات أو التعامل مع مقاييس المكافآت غير المتجانسة عبر المستخدمين.
فك تشابك التفضيلات: غالبًا ما تكون سلوكيات المستخدم الملحوظة متشابكة مع الاهتمامات الجوهرية مع آثار الامتثال الخارجي أو السياقية، مما يجعل إشارات التفضيل صاخبة.
الذاكرة الواعية بالمستخدم: غالب غالبًا ما تكون ذاكرات الوكلاء الحالية مسطحة ومركزة حول الاستعلام، وتفشل في نمذجة العلاقات الهيكلية بين المستخدمين، والنوايا، والمهارات، والأدوات، والسيناريوهات المطلوبة للاسترجاع المخصص.

2. المنهجية

يقترح المؤلفون إطار عمل موحد لـ تعلم التعزيز الوكيل المخصص يدمج التخصيص في حلقة التحسين في وقت التدريب. يعمل الإطار كحلقة مغلقة من تحديد التفضيلات، وتحسين السياسة، وتراكم المهارات الهيكلي، ويتكون من ثلاثة مكونات أساسية:

2.1 PARPO: تحسين السياسة المعتمد على مرساة مكافأة مفككة التخصيص

PARPO هو خوارزمية تحسين السياسة الأساسية المصممة للتعامل مع تفضيلات المستخدم غير المتجانسة.

فك الارتباط بالمكافأة: يفصل عملية التحسين إلى مسارين: مسار أساسي لجودة المهمة العامة (الصحة، التماسك المنطقي) ومسار مخصص لتحسين التفضيل المرتبط بالمستخدم.
المراسي الخاصة بالمستخدم: لضمان استقرار التعلم تحت مقاييس المكافآت غير المتجانسة، يحافظ PARPO على مرساة مستمرة خاصة بالمستخدم (المتوسط والتباين الجاري) للمكافآت المخصصة.
تقدير الميزة (Advantage Estimation):
- تستخدم الميزة الأساسية ( $A_{base}$ ) المعايرة النسبية القياسية داخل المجموعة.
- تستخدم الميزة المخصصة ( $A_{pers}$ ) خط أساس واعي بالمستخدم: $b_{u,g} = \max(\bar{R}_{pers}^{(g)}, m_u - \gamma_p \sqrt{v_u})$ ، حيث $m_u$ و $v_u$ هما الإحصائيات التاريخية للمكافأة للمستخدم. هذا يمنع خط الأساس من الانجراف بعيدًا عن المركز التاريخي للمستخدم.
- الميزة الإجمالية هي مجموع مرجح: $A_{total} = w_{base}A_{base} + w_{pers}A_{pers}$ .
التبرير النظري: يثبت المؤلفون أنه في ظل التفضيلات غير المتجانسة، فإن التحسين الواعي بالمستخدم ليس أسوأ أبدًا من التحسين غير الواعي بالمستخدم. كما يوضحون أن خوارزمية GRPO القياسية تعاني من تحيز هيكلي بسبب خطوط الأساس المجمعة والمعايرة، بينما يقلل PARPO من هذا التحيز من خلال تفكيك المكافأة ومعايرة المرساة.

2.2 نموذج مكافأة مفكك التفضيلات على مرحلتين

لتوفير إشراف مخصص نظيف، يستخدم الإطار نموذج مكافأة يفصل بين الاهتمامات الجوهرية والامتثال.

المرحلة 1 (تمثيل ملف تعريف متعدد الرؤى): بناء تضمينات المستخدم من خلال دمج رؤى دلالية متعددة لملف تعريف المستخدم باستخدام آليات الانتباه وخسائر إعادة البناء للحفاظ على المعلومات الخاصة بكل رؤية.
المرحلة 2 (التفكيك التعاوني): استخدام رسم بياني يعتمد على LightGCN لنشر الإشارات التعاونية. يتعلم فرعين متميزين:
- مشفر الاهتمام: يعطي وزنًا أكبر للعناصر الأقل شعبية لالتقاط الاهتمامات الجوهرية.
- مشفر الامتثال: يعطي وزنًا أكبر للعناصر الشائعة لالتقاط آثار الامتثال.
- تنظيم التعامد: يضمن بقاء الفرعين متميزين.
الدرجة المخصصة النهائية هي تمثيل مدمج لهذه الفروع، تمت معايرته ودمجه مع التقييم القائم على نماذج اللغة الكبيرة (LLM).

2.3 ذاكرة رسم بياني لتطور المهارات المتوافقة مع التفضيلات (PSGM)

لدعم سياقات التشغيل المخصصة، يستبدل PSGM الاسترجاع المسطح بذاكرة رسم بياني غير متجانس.

الهيكل: تمثل عقد الرسم البياني المستخدمين، والمهارات، والأدوات، والسيناريوهات، والمسارات. وتشفر الحواف الملكية، والقابلية للتطبيق، والتكامل، والتعارض، وسجل التنفيذ.
كشف المجتمعات: يقوم كشف المجتمعات الهرمي (Leiden/Louvain) بتنظيم المستخدمين والمهارات في مجتمعات لالتقاط البنية متعددة المستويات.
آلية الاسترجاع:
1. التهيئة الدلالية: استرجاع أفضل $K$ من المهارات بناءً على تشابه الاستعلام.
2. التوسع بخطوتين (2-Hop Expansion): توسيع المرشحين من المهارة إلى المستخدم المالك، ثم إلى المهارات الشقيقة لذلك المستخدم، مما يحقن بنية محلية مخصصة.
3. التسجيل الواعي بالرسم البياني: ترتيب المرشحين بناءً على تشابه الاستعلام-المهارة، وتشابه المستخدم-المهارة، وصلة المجتمع، والتكامل، وعقوبات التعارض.

3. المساهمات الرئيسية

صياغة المشكلة: يصيغ البحث تعلم التعزيز الوكيل المخصص كعملية قرار ماركوف (MDP) مشروطة بالمستخدم حيث يعتمد السلوك الأمثل على التفضيلات الفردية بدلاً من حقيقة أرضية واحدة.
خوارزمية PARPO: يقترح طريقة تحسين سياسة مستقرة بالمرساة ومفككة المكافأة، تتعلم بفعالية السياسات المخصصة تحت مقاييس مكافآت المستخدم غير المتجانسة.
الإشراف المفكك والذاكرة: يقدم نموذج مكافأة مفكك التفضيلات على مرحلتين لعزل الاهتمامات الحقيقية عن الامتثال، وذاكرة تطور المهارات الهيكلية (PSGM) لاسترجاع المهارات المتوافقة مع التفضيلات.
التحقق التجريبي: يظهر مكاسب ثابتة عبر عدة معايير، مما يبين أن الإطار يحسن التخصيد والجودة الإجرائية مع الحفاظ على النزاهة الواقعية والمنطقية.

4. النتائج التجريبية

تم تقييم الإطار على ETAPP، و ETAPP-Hard (تقسيم أكثر صعوبة يتطلب تنسيقاً متعدد الأدوات واستدلالاً ضمنياً)، و SJAgent (سيناريو صناعي حقيقي من منصة تجارة إلكترونية صينية).

الأداء: تفوق الأسلوب المقترح (PARPO + PSGM) بشكل كبير على النماذج المرجعية القوية، بما في ذلك أساليب التلقين (ReẠct)، والوكلاء القائمين على الذاكرة (Mem0)، وخوارزميات تعلم التعزيز المختلفة (GRPO, DAPO, GSPO, GiGPO, SkillRL).
- في ETAPP-Hard، حقق أعلى درجات "الحكم" (Judge) و"الشخصي" (Personal)، مما يشير إلى المتانة في السيناريوهات المخصصة المعقدة.
- في SJAgent، تصدر في أبعاد رئيسية مثل أصالة البيانات، ومنطق الأعمال، وإكمال المهام، مما يدل على القدرة على التعميم عبر المجالات.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة ذاكرة المهارات إلى أكبر انخفاض في الأداء، مما يؤكد مركزيتها في اتخاذ القرار المخصص.
- استبدال PARPO بـ GRPO القياسي أو إزالة معايرة مرساة المستخدم أدى إلى تدهور كبير في الأداء، مما يثبت ضرورة النهج المفكك والمستقر بالمرساة.
- أدى عدم تفكيك نموذج المكافأة (إزالة فروع الاهتمام/الامتثال) أيضاً إلى تقليل الأداء، مما يسلط الضوء على أهمية فصل التفضيلات الحقيقية عن الضجيج.
التقييم البشري ونماذج اللغة (LLM): في دراسة عمياء على 20 مهمة من ETAPP، حقق PARPO أعلى متوسط درجات من الخبراء البشر وحكام LLM، لا سيما في "صلة المستخدم"، مما يؤكد أن التحسينات كانت بسبب التخصيص الحقيقي وليس مجرد الفصاحة.
ديناميكيات التدريب: أظهر PARPO استقراراً فائقاً في التدريب، ومعدلات نجاح أعلى، ونجاحاً أفضل في استدعاء الأدوات مقارنة باستراتيجيات RL الأخرى، مع تباعد KL مستقر يشير إلى تحسين فعال للسياسة دون انحراف مفرط.

5. الأهمية والقيود

الأهمية:
يجادل البحث بأن التخصيص يغير بشكل جذري هدف التحسين في تعلم التعزيز الوكيل. من خلال الانتقال من السياسات "الموحدة للجميع" إلى تحسين المسارات المرتبطة بالمستخدم، يجسر الإطار المقترح الفجوة بين الكفاءة العامة للمهمة والمواءمة الخاصة بالمستخدم. وهو يثبت أن التحسين في وقت التدريب، المدعوم بنموذج مكافأة مفكك وذاكرة مهيكلة، ضروري للوكلاء الذين يعملون في بيئات العالم الحقيقي المدفوعة بالتفضيلات.

القيود:
يقر المؤلفون بأن حجم التقييم البشي محدود بسبب تكاليف التدوين، حيث قدم الأحكام 15 خبيراً فقط على 20 مثالاً مختاراً. وبينما تتوافق هذه النتائج مع تقييمات LLM، يشير المؤلفون إلى أن العمل المستقبلي يجب أن يوسع الدراسات البشرية لتشمل مجموعات أكبر وأكثر تنوعاً لتقييم المتانة والصلاحية في العالم الحقيقي بشكل أفضل. بالإضافة إلى ذلك، يعتمد التنفيذ الحالي على هياكل رسوم بيانية وآليات مرساة محددة قد تتطلب التكيف مع مجالات تطبيقية مختلفة.