🤖 machine learning

Reinforcing Human Behavior Simulation via Verbal Feedback

تقدم هذه الورقة نموذج DITTO، وهو نموذج تم تدريبه عبر التعلم التعزيزي باستخدام التغذية الراجعة اللفظية لمحاكاة السلوك البشري بشكل أفضل، إلى جانب مجموعة اختبار SOUL، مما يظهر تحسينات كبيرة في الأداء مقارنة بالنماذج الأساسية وتفوقاً على GPT-5.4 في مهام محاكاة متعددة شبيهة بالبشر.

المؤلفون الأصليون: Weiwei Sun, Xuhui Zhou, Jiarui Liu, Weihua Du, Haojia Sun, Yiqing Xie, Qianou Ma, Sihao Chen, Mengting Wan, Longqi Yang, Pei Zhou, Sherry Wu, Sean Welleck, Graham Neubig, Yiming Yang, Maarten Sap

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Weiwei Sun, Xuhui Zhou, Jiarui Liu, Weihua Du, Haojia Sun, Yiqing Xie, Qianou Ma, Sihao Chen, Mengting Wan, Longqi Yang, Pei Zhou, Sherry Wu, Sean Welleck, Graham Neubig, Yiming Yang, Maarten Sap

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "تعزيز محاكاة السلوك البشري عبر التغذية الراجعة اللفظية" باستخدام لغة بسيطة وتشبيهات إبداعية.

الفكرة الكبرى: تعليم الذكاء الاصطناعي كيف "يتصرف كبشر" من خلال التحدث إليه

تخيل أنك تعلم طفلاً كيف يتصرف في مأدبة عشاء.

الطريقة القديمة (المكافآت الرقمية): تعطي الطفل درجة مثل "6 من 10" بعد انتهائه من الأكل. أنت لا تخبره لماذا حصل على 6. هل تحدث كثيراً؟ هل استخدم الشوكة الخاطئة؟ هل سكب الحساء؟ ليس لديه أدنى فكرة عن كيفية التحسن، لذا سيقوم بمجرد التخمين في المرة القادمة.
الطريـقة الجديدة (التغذية الراجعة اللفظية): تجلس معه وتقول له: "لقد كنت رائعاً في استخدام المنديل، لكنك قاطعت جدتك أثناء حديثها، وكان ذلك وقاحة. في المرة القادمة، انتظر حتى تنهي كلامها".

تجادل هذه الورقة بأن نماذج الذكاء الاصطناعي الحالية (LLMs) يتم تدريبها مثل ذلك الطفل الذي يحصل على درجة "6". إنها بارعة في الرياضيات والبرمجة لأن هذه الأشياء لها إجابات صحيحة وخاطئة واضحة (مثل درجات الاختبار). ولكن عندما نطلب من الذكاء الاصطناعي محاكاة السلوك البشري — مثل تمثيل دور مريض، أو طالب، أو صديق — فإن الدرجات الرقمية البسيطة لا تجدي نفعاً. البشر يتعلمون الأعراف الاجتماعية من خلال الكلمات، والتفسيرات، والتصحيحات، وليس من خلال الأرقام.

قام المؤلفون ببناء نظام جديد يسمى DITTO يعلم الذكاء الاصطناعي كيف يتصرف كبشر باستخدام طريقة "التغذية الراجعة اللفظية" هذه.

كيف يعمل DITTO: لعبة "المسودة والتنقيح"

تخ die DITTO كورشة عمل للكتابة الإبداعية حيث يكون الذكاء الاصطناعي هو الطالب والمحرر في آن واحد. إليك العملية:

المسودة الأولى (الطالب): يحاول الذكاء الاصطناعي الإجابة على أمر ما (مثلاً: "تقمص دور معلم غاضب"). يكتب استجابته.
النقد (القاضي): يقرأ "قاضٍ" ذكاء اصطناعي قوي المسودة ويعطي تغذية راجعة لفظية. هو لا يكتفي بقول "عمل جيد"، بل يقول: "كنت مهذباً أكثر من اللازم. المعلم الغاضب سيكون أكثر نفاداً للصبر. أيضاً، لقد نسيت ذكر الواجب المنزلي".
المسودة الثانية (المعلم): يأخذ الذكاء الاصطناعي تلك التغذية الراجعة المحددة ويكتب نسخة جديدة ومحسنة من الاستجابة.
الدرس (السحر): يقوم النظام بتدريب الذكاء الاصطناعي على النظر إلى الأمر الأصلي وتوليد النسخة المحسنة فوراً، دون الحاجة لنص التغذية الراجعة بعد ذلك. الأمر يشبه الطالب الذي يقرأ ملاحظات المعلم، ويصلح المقال، ثم يحفظ "إحساس" كيفية كتابة مقال جيد بحيث لا يحتاج للملاحظات في المرة القادمة.

النتيجة: يتعلم الذكاء الاصطناعي "استيعاب" النصيحة داخلياً. عندما تتحدث إليه لاحقاً، يتصرف بشكل أكثر بشرية لأنه تعلم لماذا تعتبر بعض السلوكيات أفضل، وليس فقط أنها أفضل.

الملعب: SOUL (صالة ألعاب المحاكاة)

لاختبار ما إذا كان هذا يعمل حقاً، بنى الباحثون صالة ألعاب ضخمة تسمى SOUL (صالة ألعاب محاكاة السلوك البشري - Simulation gym Of hUman-Like behavior).

تخيل صالة ألعاب بها 10 محطات مختلفة، كل منها يختبر نوعاً مختلفاً من المهارات "البشرية":

نظرية العقل (Theory of Mind): هل يستطيع الذكاء الاصطناعي فهم أن شخصاً آخر يعرف شيئاً لا يعرفه هو؟ (مثل لعبة الغميضة).
لعب الأدوار (Role Play): هل يمكنه تمثيل شخصية معينة من كتاب دون الخروج عن الشخصية؟
المهارات الاجتماعية (Social Skills): هل يمكنه إدارة محادثة للوصول إلى هدف (مثل طلب زيادة في الراتب) دون أن يكون فظاً؟
محاكاة المستخدم (User Simulation): هل يمكنه التظاهر بأنه عميل مرتبك يتحدث إلى مكتب المساعدة؟

وجدوا أن نماذج الذكاء الاصطناعي الحالية غالباً ما تفشل في هذه الاختبارات. كانت تبدو آلية للغاية، أو مثالية جداً، أو متشابهة جداً مع بعضها البعض.

النتائج: DITTO يفوز في الصالة الرياضية

اختبر الباحثون نموذجهم الجديد (DITTO) مقابل أفضل النماذج الموجودة حالياً (بما في ذلك النماذج العملاقة من شركات التقنية الكبرى).

الدرجة: تحسن DITTO بنسبة 36% مقارنة بالنموذج الأساسي.
المواجهة: هزم DITTO نموذج "GPT-5.4" المتطور في 6 من أصل 10 تحديات.
أين تألق: كان بارعاً بشكل خاص في المهام التي تتطلب دقة وتفاصيل، مثل المهارات الاجتماعية ولعب الأدوار. لقد تعلم كيف يحافظ على الأسرار بشكل أفضل وكيف يدير محادثات معقدة دون أن "يتعثر" أو يبدو مزيفاً.

لماذا هذا مهم (وفقاً للورقة البحثية)

تدعي الورقة أنه لجعل الذكاء الاصطناعي مفيداً حقاً لمحاكاة البشر (مثل روبوتات العلاج النفسي، أو المعلمين التعليميين، أو التدريب على خدمة العملاء)، يجب أن نتوقف عن معاملتهم كطلاب رياضيات يحتاجون فقط إلى درجة. يجب أن نعاملهم ككائنات اجتماعية تحتاج إلى تفسيرات.

من خلال استخدام التغذية الراجعة اللفظية (الكلمات) بدلاً من مجرد المكافآت الرقمية (الأرقام)، يتعلم الذكاء الاصطنا_ "نسيج" السلوك البشري. إنه يتعلم أن كون المرء "فظاً" ليس مجرد درجة منخفضة، بل هو طريقة محددة في التحدث تجرح المشاعر.

باختصار: DITTO هو ذكاء اصطناعي تعلم كيف يتصرف كبشر من خلال الاستماع إلى انتقادات معلمه المفصلة، وممارسة التصحيحات، ثم نسيان ملاحظات المعلم لأنه أخيراً "فهم الأمر".

ملخص تقني: تعزيز محاكاة السلوك البشري عبر التغذية الراجعة اللفظية

بيان المشكلة
تعاني نماذج محاكاة السلوك البشري الحالية القائمة على النماذج اللغوية الكبيرة (LLMs) من فجوات نظامية في "الواقعية المحاكية" (Sim2Real)، حيث تظهر مخرجات متجانسة، وانحيازات معرفية غير متوافقة، وسلوكيات خارقة للبشر تبتعد عن المستخدمين الحقيقيين. ويكمن أحد القيود الرئيسية في نموذج التدريب: إذ تقوم طرق التعلم المعزز (RL) القياسية (مثل RLHF وDPO وGRPO) بضغط جميع أشكال التغذية الراجعة في مكافآت عددية (scalar rewards) أو تفضيلات ثنائية. وبينما تعد هذه الطرق فعالة في المجالات ذات الصحة القابلة للتحقق (مثل البرمجة والرياضيات)، إلا أن المكافآت العددية تفشل في التقاط الفروق الدقيقة المطلوبة لمحاكاة السلوك البشري، وهو أمر ذاتي، ومتعدد الأوجه، ويعتمد على السياق. البشر لا يتعلمون الأعراف الاجتماعية من الدرجات الرقمية، بل من التغذية الراجعة اللفظية—أي الشروحات، والتصحيحات، والحوار. أما النهج الحالية التي تحاول دمج التغذية الراجعة اللفظية، فهي تعتمد غالباً على الضبط الدقيق تحت الإشراف (SFT) أو التأمل أثناء الاستنتاج، مما يفتقر إلى قدرة الاستكشاف التي يوفرها التعلم المعزز (RL) أو تفشل في تحديث أوزان النموذج بفعالية من خلال الخبرة.

المنهجية: DITTO
يقترح المؤلفون DITTO، وهو نموذج يتم تدريبه عبر التعامل مع التغذية الراجعة اللفظية كإشارة أساسية ضمن إطار عمل التعلم المعزز. الابتكار الجوهري هو حلقة تدريب تولد تحسينات مشروطة بالتغذية الراجعة وتعمل على تحسينها بشكل مشترك مع السياسة الأساسية (base policy)، مما يسمح للنموذج باستيعاب التوجيه دون الحاجة إلى التغذية الراجعة وقت الاختبار.

تسير عملية التدريب لطلب (prompt) معين $x$ كما يلي:

المسودة الأولية (Draft Rollout): تقوم السياسة $\pi_\theta$ بتوليد استجابة أولية $y_0$ .
توليد التغذية الراجعة: يقوم نموذج لغوي كبير (LLM judge) بتقييم $y_0$ ، منتجاً مكافأة عددية $r_0$ وتغذية راجعة لفظية مهيكلة $h$ (تشمل الانتقادات والتأملات حول أبعاد مثل المصداقية، والحفاظ على العلاقات، وتحقيق الأهداف).
المسودة المنقحة (Refined Rollout): تولد السياسة استجابة ثانية $y_1$ مشروطة بالطلب والتغذية الراجعة ( $x, h$ ).
التحسين المشترك (Joint Optimization): يتم تحسين كل من $y_0$ $y_{0}$ و $y_1$ $y_{1}$ باستخدام تحسين السياسة النسبي للمجموعات (GRPO).
- يتم حساب الميزة النسبية للمجموعة (group-relative advantage) على مجموعة المسودات الأصلية والمنقحة.
- يتم تطبيق هدف GRPO المقتطع القياسي ( $L_{group}$ ) على المجموعة المشتركة لتشجيع السياسة الأساسية على التعلم من التحسينات.
- يتم تطبيق هدف إضافي ( $L_{fb}$ ) خصيصاً على المسودات المشروطة بالتغذية الراجعة لتحسين قدرة النموذج على الاستجابة للتغذية الراجعة مباشرة.
- الهدف النهائي هو $L = L_{group} + L_{fb}$ .

الأهم من ذلك، تُعامل التغذية الراجعة اللفظية $h$ كـ معلومات مميزة (privileged information): فهي متاحة أثناء التدريب لتوجيه توليد $y_1$ وتحسين السياسة، ولكنها ليست مطلوبة أثناء الاستنتاج. الهدف هو أن تستوعب السياسة الأساسية سلوك "المعلم" (الاستجابة المحسنة $y_1$ ) في عملية التوليد القياسية الخاصة بها.

معيار SOUL
لتسهيل التدريب والتقييم، قدم المؤلفون SOUL (صالة ألعاب محاكاة السلوك البشري)، وهو معيار موحد ومجموعة بيانات تدريبية. يعالج SOUL مشكلة نقص بيانات التدريب لمحاكاة البشر من خلال توفير تقسيمات تدريب RL منسقة لـ 10 مهام عبر ست فئات:

نظرية العقل (Theory of Mind): FanToM، HiToM، ToMi.
لعب الأدوار الشخصية (Character Role Play): CoSER، LifeChoices.
المهارات الاجتماعية (Social Skill): Sotopia.
محاكاة المتعلم (Learner Simulation): Mistakes.
محاكاة المستخدم (User Simulation): MirrorBench، UserLLM.
محاكاة الشخصية (Persona Simulation): TwinVoice.

تغطي المجموعة التنسيقات التمييزية (الاختيار من متعدد)، والتوليدية (الحوار المفتوح)، والتفاعلات متعددة الأدوار/الوكلاء.

النتائج الرئيسية
أُجريت التجارب باستخدام نموذج Qwen3-8B كنموذج أساسي.

الأداء: حقق DITTO متوسط درجة معيارية قدره 0.726 عبر مهام SOUL، مما يمثل تحسناً بنسبة 36% عن النموذج الأساسي.
المقارنة مع أحدث التقنيات (SOTA): تفوق DITTO على النموذج المغلق الرائد GPT-5.4 في 6 من أصل 10 معايير، بما في ذلك جميع مهام نظرية العقل الثلاث ومهام محاكاة المستخدم كليهما. كما تفوق باستمرار على النماذج المتخصصة في محاكاة البشر (مثل Sotopia-RL وHER).
الدراسة الاستقصائية (Ablation): وفرت آلية التغذية الراجعة اللفظية مكاسب ثابتة مقارنة بـ GRPO القياسي، حيث لوحظت أكبر التحسينات في المهام التوليدية والمتعددة الأدوار (على سبيل المثال، +14 نقطة في TwinVoice، و+11 في ToMi).
الأمان: أظهر التحليل أن التغذية الراجعة اللفظية ساعدت في تخفيف مخاطر السلامة. فبينما أدى GRPO القياسي إلى تدهور في أبعاد "حفظ الأسرار" أثناء التحسين، نجح DITTO في الحفاظ بشكل أفضل على القدرة على حفظ الأسرار، ويرجع ذلك على الأرجى إلى التوجيه الصريح المقدم في التغذية الراجعة اللفظية.

الأهمية والادعاءات
يزعم البحث أن الانتقال من المكافآت العددية نحو تغذية راجعة لفظية أكثر ثراءً هو اتجاه واعد لتدريب محاكيات أكثر شبهاً بالبشر. تكمن أهمية هذا العمل في ثلاث مساهمات رئيسية:

التغذية الراجعة اللفظية كإشارة: إثبات أن التغذية الراجعة اللفظية توفر توجيهاً قابلاً للتنفيذ ومحدداً بالأبعاد، مما يحسن سرعة التعلم ويقلل من مخاطر السلامة (مثل تسريب الأسرار) مقارنة بالمكافآت العددية.
بنية DITTO: تقديم طريقة لتقطير التغذية الراجعة اللفظية في السياسة الأساسية عبر مسودات مشروطة بالتغذية الراجعة، مما يحقق مكاسب كبيرة في الأداء باستخدام نموذج 8B يضاهي أو يتجاوز النماذج الأكبر والأكثر انغلاقاً.
معيار SOUL: توفير أول بيئة موحدة للتدريب والتقييم للسلوك الشبيه بالبشر عبر تنسيقات مهام متنوعة، مما يعالج النقص الحاد في بيانات التدريب في هذا المجال.

يخلص المؤلفون إلى أن نهجهم يمكّن السياسة الأساسية من استيعاب توجيه غني وقابل للتنفيذ، مما يشير إلى أن التعلم المعزز (RL) باستخدام التغذية الراجعة اللفظية هو مسار قابل للتطبيق لسد فجوة "الواقعية المحاكية" (Sim2Real) في محاكاة السلوك البشري.

الفكرة الكبرى: تعليم الذكاء الاصطناعي كيف "يتصرف كبشر" من خلال التحدث إليه

كيف يعمل DITTO: لعبة "المسودة والتنقيح"

الملعب: SOUL (صالة ألعاب المحاكاة)

النتائج: DITTO يفوز في الصالة الرياضية

لماذا هذا مهم (وفقاً للورقة البحثية)

أبحاث مشابهة