Enhancing Social Intelligence in LLMs with Hierarchical Reasoning and Utterance-Level Goal Rewarding

ملخص تقني: تعزيز الذكاء الاجتماعي في النماذج اللغوية الكبيرة (LLMs) عبر التفكير الهرمي والمكافأة على مستوى التعبير

بيان المشكلة
بينما تتفوق النماذج اللغوية الكبيرة (LLMs) في المهام الاستاتيكية القائمة على القواعد، إلا أنها تعاني في التفاعلات الاجتماعية الديناميكية، لا سيما في المفاوضات متعددة الوكلاء التي تتطلب تنسيقاً للأهداف طويلة المدى وتكيفاً سريعاً. غالباً ما تتبع طرق التحسين الحالية أسلوب تطبيق مكافآت موحدة قائمة على الأهداف لكل تعبير (utterance)، مما يغفل عن خصوصية الأهداف في كل دور حواري، ويفشل في مراعاة المنطق الكامن وراء الاستراتيجيات المحتملة. هذا النهج ينطوي على مخاطرة بتدريب الوكلاء على تحديد "التعبيرات المختصرة" (shortcut utterances) التي تعظم مقاييس النجاح دون تعلم حقيقي للاستنتاج الاجتماعي الشبيه بالبشر أو التخطيط الاستراتيجي. علاوة على ذلك، تركز الأساليب الهرمية الحالية غالباً على تحسين مستوى الاستراتيجية مع إهمال استقرار وتماسك التنفيذ على مستوى التعبير.

المنهجية
يقترح المؤلفون إطار عمل "التفكير-الاستراتيجية-الاستجابة" (TSR)، المستند إلى نظرية السلوك المخطط (TPB)، لتفكيك الحوار الاجتماعي إلى مرحلتين هرميتين:

1. التخطيط الاستراتيجي عالي المستوى (التفكير والاستراتيجية): يقوم النموذج أولاً بتوليد مرحلة "التفكير" (التكهن، الاستنتاج، التحليل) ومرحلة "الاستراتيجية" (النية السلوكية). تترجم هذه المرحلة التقييم المعرفي إلى خطة قابلة للتنفيذ، مما يضمن توجيه الاستجابة بواسطة استراتيجية محددة وعالية المستوى بدلاً من هدف عام.
2. التنفيذ اللغوي منخفض المستوى (الاستجابة): بناءً على الاستراتيجية المولدة، ينتج النموذج التعبير الفعلي. ومن الجدير بالذكر أنه يتم استبعاد محتوى "التفكير" من مدخلات المرحلة الثانية لتقليل العبء الحسابي ومنع التفكير المفرط من الإضرار بالأداء.

لتحسين إطار العمل هذا، يقدم البحث خوارزمية التعلم التعزيزي الهرمي الخطي مع المكافآت ذات البوابة التباينية (LHRL-VGR). تستخدم هذه الخوارزمية آلية مبتكرة لتوجيه المكافأة:

• المكافأة المركبة للاستراتيجية: يتم تحسين مولد الاستراتيجية باستخدام مكافأة مركبة تتكون من مكافآت النتائج المتوقعة (تقدير التقدم نحو الهدف) ومكافآت اكتمال المحتوى (تقييم المواءمة مع التوجيه السلوكي وأهداف مستوى التعبير).
• المكافأة ذات البوابة التباينية للاستجابة: يستخدم مولد الاستجابة موجهاً ديناميكياً للمكافأة. يقوم النظام بحساب التباين في درجات تحقيق الهدف عبر عينات استجابة متعددة.
  • إذا تجاوز التباين عتبة معينة ($\theta$)، مما يشير إلى عدم اليقين في إكمال الهدف، فإن النظام يعطي الأولوية لـ مكافأة إكمال الهدف ($r_{goal}$).
  • إذا كان التباين منخفضاً (مستقراً)، فإن النظام يعطي الأولوية لـ مكافأة اتباع الاستراتيجية ($r_{follow}$)، مما يضمن الالتزام بالاستراتيجية المخططة.
• تحسين السياسة النسبي للمجموعات ثنائي المرحلة (GRPO): تعمل عملية التدريب على تحسين كلتا المرحلتين بشكل مشترك باستخدام خوارزمية تحسين السياسة النسبي للمجموعات. تقوم الخوارزمية بحساب المزايا لمحتوى الاستراتيجية ومكافآت إكمال الهدف المنقولة، مع موازنتها عبر معامل فائق ($\alpha$).

المساهمات الرئيسية

1. إطار عمل TSR: نموذج هرمي خطي يفصل صراحة بين التخطيط الاستراتيجي والتنفيذ اللغوي، مما يتيح توليد حوار أكثر عقلانية وقابلية للتفسير.
2. خوارزمية LHRL-VGR: خوارزمية تدريب مبتكرة تتميز بموجه مكافأة ذي بوابة تباينية، يقوم بتعيين مكافأة إكمال الهدف أو مكافأة الالتزام بالاستراتيجية لمولد الاستجابة ديناميكياً، مع تدريب كلا مستويي السياسة بشكل مشترك من خلال مكافأة استراتيجية مركبة.
3. الأداء المتفوق (State-of-the-Art): تحقق الطريقة نتائج متفوقة على معيار SOTOPIA، حيث أظهر وكيل Qwen2.5-7B الذي تم ضبطه بدقة باستخدام LHRL-VGR تفوقاً على خط الأساس GPT-4o.

النتائج التجريبية
أُجريت التجارب على معايير SOTOPIA و SOTOPIA-Hard، لتقييم الوكلاء في حوارات متعددة الأدوار ضد GPT-4o كشريك.

• الأداء: حقق وكيل Qwen2.5-7B الذي تم ضبطه باستخدام LHRL-VGR تحسناً نسبياً بنسبة 7.32% في نجاح إكمال الهدف مقارنة بخط الأساس GPT-4o على معيار SOTOPIA.
• دراسات الاستئصال (Ablation Studies): أدى حذف مكافأة اكتمال الاستراتيجية أو حذف مكافأة إكمال الهدف المنقولة إلى انخفاض كبير في الأداء، مما يؤكد ضرورة التحسين المشترك.
• نموذج التدريب: تفوق التدريب المشترك المنسق لكلا المرحلتين على التدريب المتسلسل (المرحلة الأولى ثم الثانية، أو العكس) وعلى مناهج التعلم التعزيزي أحادية المرحلة، لا سيما في المقاييس التي قيمها البشر لجودة الاستراتيجية والاستجابة.
• توجيه المكافأة: تفوقت آلية التوجيه ذات البوابة التباينية بشكل كبير على استراتيجيات التوجيه البديلة القائمة على أنماط الحوار المحددة مسبقاً أو الأنماط المتوقعة للاستراتيجية.

الأهمية والادعاءات
يزعم البحث أن النهج المقترح يعالج تحديين أساسيين في تعزيز الذكاء الاجتماعي للنماذج اللغوية الكبيرة:

1. الاستنتاج الاجتماعي الحقيقي: من خلال توليد وتحسين الاستراتيجيات صراحة، تمنع هذه الطريقة النماذج من تعلم التعبيرات المختصرة، وبدلاً من ذلك تعزز القدرات الشبيهة بالبشر مثل الاستدلال على النوايا والتخطيط الاستراتيجي.
2. التكيف الديناميكي للمكافأة: تتغلب آلية البوابة التباينية على محدودية تطبيق مكافآت موحدة قائمة على الأهداف، مما يسمح للنموذج بالتكيف مع الأهداف المتميزة لمختلف التعبيرات من خلال الموازنة بين إكمال الهدف والالتزام بالاستراتيجية.

يخلص المؤلفون إلى أن طريقتهم تقدم مساراً واعداً نحو وكلاء أكثر ذكاءً وشبهاً بالبشر في مهام التفاوض الاجتماعي المعقدة، محققة أداءً رائداً مع الحفاظ على القابلية للتفسير من خلال إطار عمل TSR المهيكل.