🤖 AI

SAVOIR: Learning Social Savoir-Faire via Shapley-based Reward Attribution

يقدم SAVOIR إطار عمل جديد للتعلم التعزيزي يستفيد من قيم شابلي والمنفعة المتوقعة لحل مشكلة تخصيص الائتمان في الحوار الاجتماعي، محققاً أداءً هو الأفضل في فئته على معيار SOTOPIA ومتفوقاً على النماذج المملوكة عبر التقاط الإمكانات الاستراتيجية للتصريحات الفردية بفعالية.

المؤلفون الأصليون: Xiachong Feng, Yi Jiang, Xiaocheng Feng, Deyi Yin, Libo Qin, Yangfan Ye, Lei Huang, Weitao Ma, Yuxuan Gu, Chonghan Qin, Bing Qin, Lingpeng Kong

نُشر 2026-04-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiachong Feng, Yi Jiang, Xiaocheng Feng, Deyi Yin, Libo Qin, Yangfan Ye, Lei Huang, Weitao Ma, Yuxuan Gu, Chonghan Qin, Bing Qin, Lingpeng Kong

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تلعب لعبة بوكر معقدة وعالية المخاطر، أو تفاوضاً دبلوماسياً مع صديق لك. أنت تقول شيئاً، وهو يرد عليك بشيء آخر، وفي النهاية، إما أن تربح الجولة، أو تبرم صفقة، أو يتلاشى الحوار.

الآن، تخيل أنك روبوت يحاول تعلم كيف يكون بارعاً في هذه اللعبة. المشكلة الكبرى هي: كيف تعرف أي جملة محددة قلتها كانت هي "الخطوة الرابحة"؟

إذا نظرت فقط إلى النتيجة النهائية (فوز أو خسارة)، فقد تعتقد: "أوه، لقد فزت لأنني كنت صاخباً في النهاية!" ولكن ربما فزت لأنك كنت مهذباً قبل ثلاث جولات، أو لأنك لمحت بذكاء إلى حل قبل دقيقتين. النتيجة النهائية لا تخبرك "لماذا" فزت.

هذه هي المشكلة التي تحاول ورقة بحثية بعنوان SAVOIR حلها. إليك تفصيل الأمر بكلمات بسيطة:

١. المشكلة: فخ "النظر إلى الوراء" (Hindsight)

تحاول نماذج الذكاء الاصطناعي الحالية تعلم المهارات الاجتماعية من خلال النظر إلى نهاية المحادثة والسؤال: "ماذا قلتُ الذي جعلنا نفوز؟"

الخلل: هذا يشبه مدرباً يقول للاعب كرة قدم: "لقد سجلت هدفاً، لذا فإن الركلة التي قمت بها قبل ١٠ ثوانٍ كانت رائعة!" ولكن ماذا لو كان السبب الحقيقي لتسجيلك الهدف هو تمريرك للكرة بشكل مثالي قبل ٣٠ ثانية؟
الذكاء الاصطناعي الحالي: يقوم فقط بالتخمين حول أي الجمل كانت جيدة بناءً على النتيجة النهائية. إنه "تخمين أفضل" ولكنه غالباً ما يفتقد الخطوات الاستراتيجية الدقيقة التي تهم حقاً.

٢. الحل: SAVOIR (المدرب الذي يستشرف المستقبل)

ابتكر المؤلفون إطار عمل جديداً يسمى SAVOIR (والذي يرمز إلى ShApley Value fOr SocIal RL). فكر فيه كمدرب ذكي للغاية لا ينظر فقط إلى لوحة النتائج، بل ينظر إلى "إمكانات" كل حركة.

لقد استخدموا حيلتين رئيسيتين من الرياضيات ونظرية الألعاب:

الحيلة (أ): سيناريوهات "ماذا لو؟" (المنفعة المتوقعة)

بدلاً من السؤال: "ماذا فعلت هذه الجملة للنتيجة النهائية؟"، يسأل SAVOIR: "إذا قلت هذه الجملة، فما هي فرص حدوث مستقبل جيد؟"

التشبيه: تخيل أنك لاعب شطرنج. اللاعب السيئ ينظر إلى اللوحة ويقول: "لقد حركت بيدقي هنا، وفزت، لذا كانت تلك حركة جيدة".
نهج SAVOIR: يقوم بمحاكاة آلاف السيناريوهات لـ "ماذا لو؟". "إذا قلت هذا الشيء اللطيف، فربما يثق بي الطرف الآخر، ومن ثم يمكننا إبرام صفقة لاحقاً". إنه يقدر الإمكانات الاستراتيجية للجملة، وليس فقط نتيجتها الفورية. الأمر يشبه زراعة بذرة وتقدير الشجرة التي يمكن أن تنمو منها، وليس فقط الورقة التي سقطت اليوم.

الحيلة (ب): التقسيم العادل (قيم شابلي - Shapley Values)

بمجرد أن يعرف الذكاء الاصطناعي "القيمة المستقبلية" للمحادثة، يتعين عليه معرفة كيفية تقسيم الائتمان (التقدير) بين جميع الجمل المنطوقة. وهنا يأتي دور قيم شابلي.

التشبيه: تخيل مجموعة من الأصدقاء (الجمل) يعملون معاً لخبز كعكة (المحادثة الناجحة).
- الصديق (أ) أحضر الدقيق.
- الصديق (ب) أحضر البيض.
- الصديق (ج) قام بالخلط.
- الصديق (د) قام بالخبز.
- إذا كانت الكعكة لذيذة، فكيف تقسم التقدير؟
الطريقة القديمة: "الصديق (د) خبز الكعكة، لذا يحصل على ٩٠٪ من التقدير". (هذا غير عادل؛ فبدون الدقيق، لا توجد كعكة).
طريقة SAVOIR: يستخدم صيغة رياضية لاختبار كل تركيبة ممكنة. "ماذا لو كان لدينا دقيق وبيض ولكن بدون خلط؟ ماذا لو كان لدينا خلط ولكن بدون خبز؟" إنه يحسب بالضبط مقدار "القيمة الإضافية" التي أضافها كل صديق إلى كل مجموعة ممكنة.
النتيجة: تحصل كل جملة على "حصتها العادلة" من التقدير بناءً على مقدار مساهمتها المحددة في فوز الفريق، بغض النظر عن الترتيب الذي قيلت به.

٣. النتائج: روبوت صغير، عقل كبير

اختبر الباحثون هذا النهج على اختبار شهير للذكاء الاجتماعي يسمى SOTOPIA.

المفاجأة: قاموا بتدريب نموذج ذكاء اصطناعي صغير نسبياً (٧ مليارات معلمة/Parameter) باستخدام هذه الطريقة.
الفوز: تفوق هذا النموذج الصغير على نماذج "الاستنتاج" الضخمة والمكلفة (مثل تلك التي تستغرق وقتاً طويلاً للتفكير في الألغاز المنطقية) بل ونافس النماذج الاحترافية الرائدة مثل GPT-4o.
الدرس المستفاد: أن تكون بارعاً في التفاعل الاجتماعي لا يتعلق بـ "التفكير بعمق أكبر" أو حل المسائل الرياضية الطويلة. بل يتعلق بفهم الدقة، والتوقيت، والاستراتيجية. كانت نماذج "الاستنتاج" مشغولة جداً بالتحليل المفرط، بينما تعلم SAVOIR فن اللباقة الاجتماعية.

الملخص

SAVOIR يشبه تعليم الذكاء الاصطناعي كيف يكون دبلوماسياً من خلال:
١. النظر للأمام: تقدير الجمل بناءً على المستقبلات الجيدة التي تخلقها، وليس فقط بناءً على نتائج الماضي.
٢. تقسيم الفاتورة بعدالة: استخدام الرياضيات لضمان حصول كل جملة على التقدير المستحق لمساهمتها المحددة في نجاح الفريق.

النتيجة؟ ذكاء اصطناعي يعرف كيف يدير المحادثات البشرية المعقدة ببراعة الدبلوماسي المتمرس، مما يثبت أنه في المواقف الاجتماعية، الاستراتيجية تهزم التفكير بالقوة الغاشمة.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "SAVOIR: تعلم اللباقة الاجتماعية عبر إسناد المكافآت القائم على قيم شابلي (Shapley)."

1. بيان المشكلة

تتناول الورقة تحدي تدريب الوكلاء اللغويين على إظهار الذكاء الاجتماعي — وهو القدرة على خوض تفاعلات بين شخصية معقدة ومتعددة الأدوار لتحقيق أهداف اجتماعية. وبينما يعد التعلم التعزيزي (RL) نهجاً واعداً، إلا أنه يعاني من مشكلة حرجة في إسناد الائتمان (Credit Assignment Problem): وهي تحديد كيفية مساهمة كل عبارة فردية في النتيجة النهائية للحوار.

تعتمد الأساليب الحالية (مثل Sotopia-RL) على النماذج اللغوية الكبيرة (LLMs) لتوزيع المكافآت على مستوى الحلقة (episode-level) بشكل تجريبي (heuristic) على العبارات الفردية. وتفتقر هذه الأساليب إلى ميزتين جوهريتين:

الافتقار إلى التأسيس النظري: توزيع الائتمان هو عملية تجريبية تفتقر إلى ضمانات العدالة أو الدقة.
التحيز الاسترجاعي (Retrospective Bias): فهي تقيم العبارات بناءً على مساهمتها في النتيجة الملاحظة. وهذا يفشل في التقاط الإمكانات الاستراتيجية (Strategic Potential)، حيث قد تبدو العبارة ثانوية في السياق المباشر، لكنها تفتح آفاقاً لمسارات مستقبلية مواتية (القيمة الاستشرافية).

2. المنهجية: إطار عمل SAVOIR

يقترح المؤلفون إطار عمل SAVOIR (ShApley Value fOr SocIal RL)، وهو إطار قائم على نظرية الألعاب التعاونية لحل مشكلة إسناد الائتمان. وهو يدمج مبدأين متكاملين:

أ. المنفعة المتوقعة للتقييم الاستشرافي

بدلاً من السؤال: "ما الذي ساهمت به هذه العبارة في النتيجة النهائية؟"، يسأل SAVOIR: "ما هي القيمة المتوقعة للتفاعلات المستقبلية بالنظر إلى هذه العبارة؟"

الآلية: بالنسبة لمجموعة فرعية من العبارات (ائتلاف $S$ )، يقوم إطار العمل بإعادة بناء تاريخ الحوار وإجراء محاكاة مونت كارلو (Monte Carlo rollouts) (محاكاة حوارات مستقبلية مع سياسة شريكة).
دالة القيمة ( $v(S)$ ): القيمة هي المنفعة المتوقعة لهذه المسارات المستقبلية المحاكات، والتي تُحسب باستخدام نظام تسجيل متعدد الأبعاد (الهدف، المصداقية، العلاقة، إلخ) من معيار SOTOPIA.
الفائدة: هذا يلتقط الإمكانات الاستراتيجية للعبارة، مما يكافئ الأفعال التي تهيئ ظروفاً مواتية حتى لو كانت المكافأة الفورية منخفضة.

ب. قيم شابلي (Shapley Values) لإسناد الائتمان العادل

بمجرد تحديد قيمة الائتلافات، يجب على إطار العمل توزيع هذه القيمة الإجمالية بشكل عادل بين العبارات الفردية.

الآلية: يستخدم SAVOIR قيم شابلي، وهي الحل الفريد في نظرية الألعاب التعاونية التي تحقق بديهيات الكفاءة، والتناظر، والهامشية.
الحساب: قيمة شابلي $\phi_i$ للعبارة $i$ هي المتوسط المرجح لمساهمتها الهامشية عبر جميع الترتيبات الممكنة للعبارات.
التحسين: بما أن حساب قيم شابلي الدقيقة أمر مستعصٍ حاسوبياً ( $2^n$ مجموعة فرعية)، فقد استخدم المؤلفون KernelSHAP. هذا يعيد صياغة المشكلة كنموذج انحدار خطي مرجح، مما يعطي الأولوية للائتلافات ذات الأحجام القصوى (صغيرة جداً أو كبيرة جداً) لتقريب القيم بكفاءة باستخدام عدد محدود من عمليات المحاكاة.

ج. مسار التدريب

جمع البيانات: يخوض الوكلاء عمليات لعب ذاتي (self-play) لتوليد حلقات تفاعل اجتماعي.
نمذجة المكافأة: يقوم خوارزمية SAVOIR بحساب مكافآت دقيقة على مستوى العبارة ( $\hat{\phi}_i$ ) لهذه الحلقات.
تدريب السياسة: يتم تدريب نموذج مكافأة ( $R_\theta$ ) للتنبؤ بدرجات SAVOIR هذه. ثم يتم تحسين سياسة الوكيل عبر الضبط الدقيق تحت الإشراف (SFT) متبوعاً بـ التعلم التعزيزي عبر الإنترنت (GRPO) باستخدام نموذج المكافأة المتعلم.

3. المساهمات الرئيسية

إطار عمل نظري: تقديم SAVOIR، وهو أول إطار يجمع بين المنفعة المتوقعة (للتقييم الاستراتيجي الاستشرافي) وقيم شابلي (لتوزيع الائتمان القائم على البديهيات والعدالة) في التعلم التعزيزي الاجتماعي.
أداء رائد (State-of-the-Art): أثبت أن نموذجاً بـ 7 مليارات معلمة (Qwen2.5-7B) تم تدريبه باستخدام SAVOIR يضاهي أو يتجاوز النماذج المملوكة (GPT-4o، Claude-3.5-Sonnet) في معيار SOTOPIA.
رؤية حول التفكير مقابل الذكاء الاجتماعي: كشف البحث أن نماذج التفكير الضخمة (مثل OpenAI-o1، DeepSeek-R1) تحقق أداءً أقل باستمرار في المهام الاجتماعية. وهذا يشير إلى أن الذكاء الاجتماعي يعتمد على قدرات حدسية واستراتيجية تختلف عن التفكير التحليلي والتدبري الذي تتفوق فيه هذه النماذج.
التحقق البشري: أكد التقييم البشري الخبير أن SAVOIR ينتج استجابات أكثر استراتيجية وأن نموذج المكافأة الخاص به يتوافق بشكل أفضل مع الحدس البشري فيما يتعلق بعدالة الائتمان والإمكانات المستقبلية.

4. النتائج التجريبية

المعيار: تم التقييم على SOTOPIA (تقسيمات "الكل" و"الصعب") مع إعدادين: اللعب الذاتي (Self-Play) وGPT-4o كشريك.
الأداء:
- في SOTOPIA-Hard (مع شريك GPT-4o)، حقق SAVOIR درجة هدف (Goal score) بلغت 7.18، محققاً تحسناً بنسبة 7.5% عن أقوى خط أساس (Sotopia-RL).
- في اللعب الذاتي، تفوق SAVOIR (7.93) على DSI (7.31) وSotopia-RL (7.81).
- تفوق نموذج SAVOIR (7B) على GPT-4o (8.19 مقابل 8.43 في Self-Play All) وعلى Claude-3.5-Sonnet.
دراسات الاستئصال (Ablation Studies):
- إزالة المنفعة المتوقعة (باستخدام النتائج النهائية فقط) أدى إلى انخفاض الأداء.
- إزالة قيم شابلي (باستخدام الإسناد التجريبي) أدى أيضاً إلى انخفاض الأداء.
- حقق الجمع بينهما أفضل النتائج، مما يثبت أن المكونين يعالجان قيوداً متمايزة (تقدير القيمة مقابل توزيعها).
التوسع (Scaling): أدت زيادة بيانات تدريب نموذج المكافأة من 2 ألف إلى 7.5 ألف حلقة إلى زيادة بنسبة 15.2% في درجات الهدف، مما يشير إلى أن الطريقة تتوسع بشكل جيد مع البيانات.

5. الأهمية والآثار المترتبة

تحول في النموذج: ينقل SAVOIR التعلم التعزيزي الاجتماعي من إسناد المكافآت الاسترجاعي التجريبي إلى التقييم الاستشرافي والمبدئي. وهذا يسمح للوكلاء بتعلم "اللباقة الاجتماعية" (social savoir-faire) — فن التصرف بشكل مناسب لتمكين النجاح المستقبلي.
طبيعة الذكاء الاجتماعي: يشير ضعف أداء النماذج كثيفة التفكير إلى أن التفاعل الاجتماعي يتطلب مهارة نوعية مختلفة (الحدس، بناء الألفة، التموضع الاستراتيجي) لا تقتصر مجرد كونها وظيفة لزيادة العمق الحسابي أو التفكير المتسلسل (Chain-of-Thought).
الاتجاهات المستقبلية: يربط هذا العمل بين نظرية الألعاب والذكاء الاصطناائي، ويقدم أساساً رياضياً قوياً لإسناد الائتمان في الأنظمة متعددة الوكلاء. كما يسلط الضوء على الحاجة إلى التعلم المنهجي (Curriculum Learning) مع شركاء متنوعين وتقييم عابر للثقافات لتعميم الذكاء الاجتماعي بشكل أكبر.

في الختام، يثبت SAVOIR أنه من خلال الصياغة الرياضية لـ "قيمة" الحركات الاجتماعية عبر نظرية الألعاب، يمكن للنماذج الأصغر والمتخصصة أن تتفوق على النماذج الضخمة العامة في البيئات الاجتماعية المعقدة.