🤖 AI

Beyond Cooperative Simulators: Generating Realistic User Personas for Robust Evaluation of LLM Agents

تقدم هذه الورقة "سياسات الشخصية" (PPol)، وهو إطار عمل قائم على البحث التطوري يولد شخصيات مستخدم متنوعة وشبيهة بالبشر للتغلب على الانحياز التعاوني لمحاكيات النماذج اللغوية الكبيرة القياسية، مما يحسن بشكل كبير من متانة ودقة تقييم وكلاء النماذج اللغوية الكبيرة في سيناريوهات التفاعل الواقعية.

المؤلفون الأصليون: Harshita Chopra, Kshitish Ghate, Aylin Caliskan, Tadayoshi Kohno, Chirag Shah, Natasha Jaques

نُشر 2026-05-14

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Harshita Chopra, Kshitish Ghate, Aylin Caliskan, Tadayoshi Kohno, Chirag Shah, Natasha Jaques

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتدريب روبوت ليكون وكيل خدمة عملاء. تريد أن يكون مفيداً، صبوراً، وذكياً. ولتختبر ما إذا كان مستعداً للعالم الحقيقي، تجعله عادةً يتدرب مع "مستخدم محاكى" — وهو ذكاء اصطناعي آخر مبرمج ليلعب دور العميل.

المشكلة: شريك التدريب "المهذب للغاية"
تشير الورقة البحثية إلى خلل رئيسي في التدريب الحالي: هؤلاء المستخدمون المحاكون يشبهون طلاباً مثاليين ومؤدبين للغاية. فهم يجيبون دائماً على الأسئلة بوضوح، ولا يرتبكون أبداً، ولا يفقدون صبرهم أبداً. الأمر يشبه التدرب على مقابلة عمل مع صديق لا يقول لك سوى "نعم، هذه فكرة رائعة!" ولا يتحدى قدراتك أبداً.

بسبب ذلك، يكتسب الوكيل الروبوتي شعوراً زائفاً بالثقة؛ فهو يعتقد أنه بارع في عمله لأنه يستطيع التعامل بسهولة مع هذه المحاكاة المثالية والمتعاونة. ولكن عندما يتصل به إنسان حقيقي — قد يكون مشتتاً، أو يكتب بأخطاء مطبعية، أو يشعر بالإحباط، أو يرفض الإفصاح عن رقم طلبه فوراً — غالباً ما ينهار الروبوت ويفشل.

الحل: "سياسات الشخصيات" (PPol)
ابتكر المؤلفون نظاماً جديداً يسمى "سياسات الشخصيات" (PPol). فكر في هذا كـ "نص المخرج" للمستخدمين المحاكاتين. فبدلاً من مجرد قول "أنت عميل يريد إرجاع سترة"، تمنح PPol الذكاء الاصطناعي شخصية محددة وغريبة ليلعب دورها.

الطريقة القديمة: "أنت عميل يريد إرجاع سترة." (النتيجة: يعمل الذكاء الاصطناعي كروبوت عام ومفيد).
طريقة PPol: "أنت مسافر متوتر في مترو مزدحم، تكتب على شاشة هاتف مشروخة بيد واحدة. أنت في عجلة من أمرك، وتكره مشاركة بريدك الإلكتروني، وتستمر في التشتت بسبب ضجيج القطار." (النتيقة: يكتب الذكاء الاصطناعي في شكل جمل مجزأة، ويرتكب أخطاء مطبعية، ويتصرف بنفاد صبر).

كيف فعلوا ذلك: "المدرب التطوري"
لم يكتب الباحثون هذه النصوص يدوياً، بل بنوا نظاماً يعمل كـ "مدرب بقاء للأصلح".

المولد (The Generator): كتبوا برنامجاً حاسوبياً ينشئ مئات "الشخصيات" المختلفة (مثل متقاعد غاضب، أو شاب مهووس بالتقنية ومشكك، أو والد مشتت).
الاختبار: تركوا هؤلاء المستخدمين المحاكاتين يتحدثون إلى الوكيل الروبوتي.
بطاقة التقييم: استخدموا "حكماً" (نموذج تعلم آلي مدرب على محادثات بشرية حقيقية) لتقييم المحاكاة. طرح الحكم سؤالين:
- هل يبدو هذا كإنسان حقيقي؟ (التشابه البشري)
- هل هذا المستخدم مختلف عن الآخرين؟ (التنوع)
التطور: إذا بدا المستخدمون آليين للغاية أو تصرفوا جميعاً بنفس الطريقة، يقوم النظام بـ "طفرة" في الكود. يقوم بتعديل التعليمات، وتغيير الشخصيات، والمحاولة مرة أخرى. وعبر جولات عديدة، "طوّر" النظام مكتبة من الشخصيات البشرية الواقعية، والمتنوعة، والصعبة أحياناً.

النتائج: وكيل أقوى وأذكى
اختبر الباحثون هذا في سيناريوهين من العالم الحقيقي: تجارة التجزئة (شراء الملابس) وشركات الطيران (حجز الرحلات الجوية).

محاكاة أفضل: تم تقييم الشخصيات المتطورة على أنها "بشرية" من قبل حكام بشريين بنسبة 80.4% من المرات. في المقابل، تم تقييم المحاكات القياسية المتعاونة على أنها بشرية بنسبة 46.5% فقط.
وكلاء أقوى: عندما تم تدريب الوكلاء الروبوتيين باستخدام "سياسات الشخصيات" الجديدة والواقعية، أصبحوا أكثر صلابة. فعند اختبارهم ضد مستخدمين صعبين وغير تقليديين (مثل شخص مرتبك أو نافد الصبر)، نجح هؤلاء الوكلاء بنسبة 17% أكثر من الوكلاء الذين تدربوا فقط على المحاكاة السهلة القديمة.

الخلاصة
تظهر الورقة البحثية أنه لبناء وكلاء ذكاء اصطناعي أقوياء حقاً، لا يمكننا الاكتفاء بتدريبهم على شركاء ممارسة مثاليين ومتعاونين. نحن بحاجة إلى تطوير مجموعة متنوعة من البشر المحاكات "الصعبين" ولكن الواقعيين. ومن خلال استخدام هذا الأسلوب التطوري لتوليد "سياسات الشخصيات"، نجح المؤلفون في تضييق الفجوة بين المحاكاة المزيفة والسلوك البشري الحقيقي، مما خلق وكلاء مستعدين للواقع الفوضوي وغير المتوقع للمحادثة البشرية.

ملخص تقني: ما وراء المحاكيات التعاونية (سياسات الشخصيات - Persona Policies)

بيان المشكلة

يتم نشر وكلاء النماذج اللغوية الكبيرة (LLM) بشكل متزايد في بيئات تتطلب التفاعل مع مستخدمين بشريين متنوعين. ومع ذلك، تعتمد معايير التقييم الحالية بشكل كبير على محاكيات مستخدمين تعتمد على النماذج اللغوية الكبيرة، والتي تعاني من فجوة "الواقعية والمحاكاة" (Sim2Real) حرجة: فهي بطبيعتها تعاونية، ومتسقة، ومفرطة في تقديم المعلومات. في المقابل، يُظهر المستخدمون الحقيقيون سلوكيات غير متوقعة مثل نفاد الصبر، والتشكيك، والغموض، والتردد في مشاركة البيانات. يؤدي هذا التجانس السلوكي إلى إنتاج وكلاء يبدون أقوياء في بيئة المحاكاة، لكنهم يفشلون عند مواجهة الاحتكاك في التواصل الواقعي. وتعتمد الطرق الحالية لإدخال التنوع على شخصيات مصاغة يدوياً أو أخذ عينات من سمات ثابتة، وهي طرق تفشل في استيعاب التوزيع المعقد والمرتبط بالمهام للسلوكيات البشرية الفعلية.

المنهجية: سياسات الشخصيات (PPol)

يقدم المؤلفون سياسات الشخصيات (PPol)، وهي طبقة تحكم قابلة للتركيب والتشغيل (plug-and-play) مصممة لاستحثاث تباين سلوكي واقعي في محاكيات المستخدم دون تغيير مهام المعايير الأساسية أو المكافآت. الابتكار الجوهري هو صياغة توليد الشخصية كعملية بحث تطوري للبرامج بدلاً من هندسة الأوامر (prompt engineering) اليدوية.

1. المولد القابل للتطور

يستخدم النظام برنامج بايثون، $G$ ، كـ "نمط جيني" (genotype). هذا البرنامج مسؤول عن توليد مجموعة من $N$ من سياسات الشخصية لسياق مهمة معينة $c_t$ . وتتم عملية التوليد عبر مرحلتين:

توليد الجمهرة (Population Generation): يقترح نموذج لغوي متطور (Frontier LLM) بشكل مشترك $N$ من الملفات التعريفية السلوكية المتميزة، مع تخصيص قيم ثنائية لمجموعة من المحاور السلوكية ( $D$ ). تمثل هذه المحاور أبعاداً سلوكية محددة (مثل: "عنيد"، "مشتت"، "غير دقيق").
توسيع الشخصية (Persona Expansion): يتم توسيع كل ملف تعريفي إلى تعليمات لعب أدوار مفصلة تحافظ على المهمة (السياسة $P_\pi$ )، والتي تملي كيفية تواصل المستخدم (النبرة، الإيقاع، الإفصاح) مع الحفاظ على أهداف المهمة الأصلية.

2. التحسين متعدد الأهداف

يتم تحسين المولد باستخدام OpenEvolve، وهو وكيل ترميز تطوري. يتم تقييم المولدات المرشحة بناءً على هدفين رئيسيين مشتقين من البصمات السلوكية (19 ميزة لغوية وتفاعلية):

الواقعية البشرية ( $P_{human}$ ): تُقاس بواسطة مُميّز (discriminator) من نوع "الغابة العشوائية" (Random Forest) يصنف ما إذا كان المسار يشبه بيانات بشرية حقيقية أم بيانات المحاكي الافتراضية.
التغطية السلوكية ( $B_{cover}$ ): تُقاس باستخدام مسافة تشامفر (Chamfer distance) بين توزيع البصمات للشخصيات المولدة وسحابة مرجعية من الحوارات البشرية الحقيقية. يضمن ذلك أن تغطي الجمهرة مناطق متنوعة من السلوك البشري بدلاً من التقارب نحو أسلوب نمطي واحد.

درجة اللياقة هي مزيج مرجح من هذه المقاييس: $M(G; T) = \lambda_h P_{human} + \lambda_b B_{cover}$ .

3. الطفرة الموجهة بالتفكير (Reflection-Guided Mutation)

لتوجيه البحث التطوري، يستخدم النظام آلية تفكير (reflection). يقوم نموذج منفصل بتحليل درجات اللياقة ومقتطفات الحوار لأفضل وأسوأ المسارات لتوليد انتقادات باللغة الطبيعية. تحدد هذه الانتقادات أوجه الفشل المحددة (مثل: "تعاون مفرط"، "لعب أدوار غير طبيعي") ويتم تغذيتها مرة أخرى إلى وكيل الطفرة لتنقيح كود المولد، وأوامره، وتعريفات المحاور.

المساهمات الرئيسية

طبقة تحكم قابلة للتركيب والتشغيل: تضخ PPol تنوعاً سلوكياً واقعياً في محاكيات المستخدم القياسية عن طريق إلحاق سياسات ديناميكية بأمر النظام، مما يحافظ على سلامة مهام المعايير الموجودة.
إطار عمل تطوري مؤتمت: تصيغ الورقة توليد الشخصية كمسألة بحث مؤتمتة، حيث تكتشف سلوكيات متنوعة وشبيهة بالبشر دون تدخل يدوي، متجاوزةً بذلك أخذ عينات السمات الثابتة.
التحقق الشامل (End-to-End): تم التحقق من صحة الإطار لتقليص الفجوة بين المحاكي والإنسان، وإنتاج شخصيات لا يمكن تمييزها عن البشر في التقييمات العمياء، وتحسين متانة الوكيل بشكل كبير عند استخدامه للتدريب.

النتائج

قيم المؤلفون PPol على نطاقي تجارة التجزئة وخطوط الطيران في $\tau^2$ -bench باستخدام ثلاثة خلفيات مختلفة لمحاكيات المستخدم (DeepSeek-V3.1، Qwen3-Next-80B، GPT-5.4-Mini).

تحسينات اللياقة: حققت برامج PPol المتطورة مكاسب مطلقة تتراوح بين 33-62% في درجة اللياقة المشتركة مقارنة بالمحاكيات الأساسية.
التقييم البشري: في دراسة عمياء مع مقيمين بشريين، تم تصنيف المستخدمين المشروطين بـ PPol على أنهم بشر بنسبة 80.4% من الوقت، وهو ما يقارب المسارات البشرية الحقيقية (95.3%) ويتفوق بشكل كبير على المحاكيات الأساسية (46.5%).
المواءمة السلوكية: حسنت PPol بشكل جذري المواءمة في الأبعاد التفاعلية مثل سلوك التوضيح (D3) ورد الفعل على الخطأ (D4)، حيث فشلت المحاكيات الأساسية سابقاً. على سبيل المثال، في مجال التجزئة مع Qwen3، تضاعفت المواءمة في رد الفعل على الخطأ ثلاث مرات من 23.3% إلى 76.4%.
متانة الوكيل: أظهر الوكلاء الذين تم ضبطهم بدقة (fine-tuned) باستخدام تفاعلات PPol تحسناً نسبياً قدره +17% في معدلات نجاح المهام عند اختبارهم ضد سمات مستخدمين صعبة وخارج نطاق التوزيع (مثل: المشكك، غير المترابط، نافد الصبر) مقارنة بالوكلاء الذين تدربوا فقط على التفاعلات المحاكية الافتراضية.

الأهمية والادعاءات

تزعم الورقة أن PPol تقدم نهجاً جديداً لتعزيز التقييم والتدريب القائم على المحاكاة دون الحاجة لتغيير المهام الأساسية أو هياكل المكافآت. ومن خلال الانتقال من السمات المصاغة يدوياً إلى البحث التطوري المرتكز على التوزيعات السلوكية البشرية الحقيقية، يعالج الإطار انحياز "المحاكي التعاوني" الذي يعيق تقييم الوكلاء حالياً. ويرى المؤلفون أنه مع انتقال الوكلاء إلى عمليات النشر الاجتماعية المعقدة، يصبح مواءمة محاكيات المستخدم مع الطيف الكامل لأنماط التفاعل البشري أمراً ضرورياً لضمان بقاء نتائج المعايير تمثيلاً ذا معنى للواقع. وتوضح الدراسة أن عشوائية النطاق (domain randomization) عبر الشخصيات المتطورة يمكن أن تعمل كإشارة قوية لتدريب الوكلاء ليكونوا أكثر متانة تجاه عدم القدرة على التنبؤ بسلوك المستخدمين في العالم الحقيقي.