ملخص تقني: إطلاق القدرة الاستباقية في الحوارات الموجهة نحو المهام

1. تعريف المشكلة

تتناول الورقة البحثية تحدي الحوار الموجه نحو المهام الاستباقي (Proactive TOD)، وتحديداً في سيناريوهات مثل المبيعات الخارجية، حيث يجب على الوكيل بدء التفاعلات، وتحديد مخاوف المستخدم الكامنة، وتوجيه المحادثات نحو هدف محدد مسبقاً (مثل القبول) ضمن عدد محدود من الأدوار.

حدد المؤلفون فجوتين هيكليتين في النهج الحالية:

1. الافتقار إلى نمذجة المخاوف الضمنية في المحاكيات: تقوم محاكيات المستخدم الحالية عادةً بنمذجة السمات السطحية فقط (النبرة، اللباقة)، وتفشل في التقاط المخاوف الكامنة التي تدفع قرارات المستخدم فعلياً. يؤدي هذا إلى مسارات متجانسة وقرارات محاكاة ضعيفة التأسيس.
2. الاستجابة المتأصلة للنماذج اللغوية الكبيرة (LLMs): النماذج اللغوية الكبيرة القياسية تمت محاذاتها لتكون مفيدة واستجابية، مما يجعلها غير مناسبة للمبادرة المطلوبة في الـ TOD الاستباقي. تفتقر أساليب ما بعد التدريب مثل الضبط الدقيق الخاضع للإشراف (SFT) إلى البيانات عالية الجودة، بينما تعاني أساليب التعلم المعزز (RL) (مثل GRPO) من صعوبة في نسب الفضل لتدخلات محددة يحدث فيها الإقناع، وغالباً ما تعتمد على مكافآت ناتجة متفرقة أو درجات جودة عامة بدلاً من التقدم الفعلي نحو القبول.

تُظهر دراسة تجريبية أنه بينما لا يحقق توسيع وقت الاختبار (Pass@16) وتشكيل المكافآت القياسي بالتعلم المعزز سوى تحسينات طفيفة، فإن ربط الوكلاء بـ مخاوف المستخدمين الكامنة يطلق قفزة كبيرة في كل من الاستباقية ومعدلات القبول، مما ينقل الوكلاء من "هضبة الاستجابة" إلى نظام عالي الأداء.

2. المنهجية

يتكون الإطار المقترح، SI-AVPO (تحسين السياسة غير المتماثلة المستحثة من المحاكي)، من مكونين أساسيين مصممين لنمذجة المخاوف الكامنة وتحويلها إلى إشارات تدريبية.

أ. محاكي المستخدم المعرفي (CUS)

الـ CUS هو محاكي مستخدم طبقي ينمذج كل مستخدم كشخصية تتكون من ثلاث طبقات:

• الخلفية ($P_{bg}$): الأطر الموقفية (مثل الديموغرافيا).
• الشخصية الخارجية ($P_{ext}$): السمات السطحية الملحوظة (النبرة، اللباقة، أسلوب التواصل).
• الشخصية الداخلية ($P_{int}$): المخاوف الكامنة الخفية عبر الجوانب المالية والنفسية والتشغيلية. يتضمن كل خوف نقطة مقاومة، وشروط فك الارتباط، وأنماطاً مضادة.

يحافظ CUS على نظام ديناميكيات حالة متزامن يتتبع حالة "الرغبة" (Willingness) كقيمة عددية وحالة حل كل خوف (غير محلول $\leftarrow$ معالج جزئياً $\leftarrow$ محلول). ينتج عن ذلك:

• إشارة مميزة: الشخصية الداخلية $P_{int}$، غير مرئية للوكيل الذي سيتم نشره.
• تغذية المحاكي الراجعة: القرارات النهائية الثنائية (قبول/رفض) وتحولات الحالة لكل دور ($\Delta w$).

ب. تحسين السياسة غير المتماثلة المستحثة من المحاكي

يقوم هذا النموذج بتحويل الإشارات من CUS إلى هدفين تدريبيين متكاملين:

1. التقطير الذاتي غير المتماثل في الوقت الفعلي (AOPD):

   • يقيم نفس السياسة $\pi_\theta$ تحت رؤيتين: رؤية المعلم المميزة (المشروطة بـ $P_{int}$) ورؤية الطالب القابلة للنشر (المشروطة بسجل الحوار فقط).
   • يقلل من تباعد KL بين توزيع المعلم المدرك للمخاوف وتوزيع الطالب.
   • الهدف: تقطير استراتيجيات مستهدفة ومدركة للمخاوف في السياسة القابلة للنشر دون الحاجة إلى نموذج معلم منفصل.

2. صقل السياسة القائم على انتقال الحالة (STPR):

   • يستخدم ديناميكيات حالة المحاكي لتوفير تخصي عملية دقيقة للفضل (Credit Assignment).
   • ميزة مستوى المسار: مشتقة من المكافأة النهائية ($r$).
   • النسب الجزئي لمستوى الدور: يتم تعديله بواسطة تحولات الرغبة لكل دور ($\Delta w$). إذا كان تحول الرغبة في دور ما يتماشى مع النتيجة النهائية، يتم تعزيز الفضل؛ وإذا كان متناقضاً، يتم كبحه.
   • الهدف: توجيه الوكيل لموازنة المبادرة مع الاستجابات السياقية، لضمان أن التحركات الاستباقية مرتكزة على تقبل المستخدم الفعلي.

دالة الخسارة الإجمالية هي:
$$\mathcal{L}_{SI-AVPO} = \mathcal{L}_{AOPD}(P_{int}) + \lambda_{st} \mathcal{L}_{STPR}(d, \{\Delta w_k\})$$

3. المساهمات الرئيسية

1. محاكي المستخدم المعرفي (CUS): إطار شخصية طبقي تمت معايرته بناءً على أكثر من 100 ألف سجل مكالمات خارجية حقيقية، والذي ينمذج صراحةً المخاوف الداخلية الخفية وديناميكيات الحالة المتزامنة، مما ينتج تفاعلات وفية ومتنوعة سلوكياً.
2. إطار عمل SI-AVPO: نموذج تدريبي مبتكر يستفيد من عدم تماثل المعلومات (الـ $P_{int}$ المميزة) وانتقالات الحالة لإنشاء أهداف متكاملة (AOPD و STPR) دون الحاجة لنماذج مكافأة خارجية، أو أحكام، أو نماذج معلم منفصلة.
3. التحقق التجريبي: نجاح مثبت في اثنين من معايير توصيل الطعام الواقعية (ترويج التجار ومكافأة سائقي التوصيل الإقليمية)، مما يظهر المتانة عبر مختلف محاكيات المستخدم القائمة على LLM.

4. النتائج التجريبية

تم تقييم الطريقة باستخدام النماذج الأساسية Qwen3-4B و Qwen3-8B مقابل:

• نماذج RL المرجعية: GRPO، PPO، DAPO، و SEAD.
• النماذج المملوكة الرائدة: GPT-4.1، DeepSeek-V3.2، GLM-5.1، Kimi-K2.5، و Claude-Sonnet-4.5.

النتائج الرئيسية:

• الأداء: يتفوق SI-AVPO باستمرار على جميع نماذج RL المرجعية. في مشهد التجار باستخدام Qwen3-8B، حقق تحسناً في معدل حل المخاوف (CSR) بنسبة +12.2% وفي معدل القبول (Acc) بنسبة +12.2% مقارم بأفضل نموذج RL مرجعي (SEAD).
• المقارنة مع النماذج الرائدة: يضاهي SI-AVPO أو يتفوق على النماذج المملوكة الرائدة. باستخدام Qwen3-8B، تفوق على Claude-Sonnet-4.5 في معدل حل المخاوف (52.6% مقابل 51.1%) وفي الاستباقية (3.18 مقابل 3.09) في مشهد التجار.
• التعميم: يتعمم الأسلوب بفعالية عبر ستة محاكيات مختلفة تعتمد على LLM (بما في ذلك المحاكيات الصارمة مثل DeepSeek-V3.2)، مما يظهر تحسينات متسقة في CSR و Acc بغض النظر عن صرامة المحاكي.
• دراسة الاستبعاد (Ablation): أدى حذف AOPD إلى انخفاض حاد في الاستباقية (-0.76)، مما يؤكد دوره في دفع المبادرة. أدى حذف STPR إلى سلوك عدواني مفرط، مما يسلط الض പറ الضوء على دوره في ترسيخ الإجراءات في السياق.

5. الأهمية والادعاءات

تدعي الورقة أن مخاوف المستخدم الكامنة هي المتغير المفقود الحاسم للـ TOD الاستباقي. ومن خلال نمذجة هذه المخاوف صراحةً في محاكي وتحويلها إلى إشارات تدريبية عبر الرؤى غير المتماثلة وانتقالات الحالة، يوضح المؤلفون أن:

• القدرة الاستباقية لا يمكن استعادتها بمجرد أخذ العينات أو تشكيل المكافآت القياسي؛ بل تتطلب إشارة تدريبية أثناء وقت التدريب مرتكزة على عملية اتخاذ القرار لدى المستخدم.
• يمكن لسياسة بحجم قابل للنشر تم تدريبها باستخدام SI-AVPO أن تضاهي أو تتجاوز النماذج المملوكة الأكبر والأكثر عمومية في مهام الحوار الاستباقي.
• يوفر الإطار مساراً لوكلاء استباقيين عاليي الدقة ومنخفضي التكلفة دون الاعتماد على نماذج مكافأة خارجية أو حكام بشريين.

يؤكد المؤلفون أن نهجهم يسد الفجوة بين محاذاة الـ LLM الاستجابية والمبادرة المطلوبة في سيناريوهات العالم الحقيقي، مما يقدم حلاً قابلاً للتوسع لأنظمة الحوار الإقناعي.