ملخص تقني: EmoDistill

بيان المشكلة

عادة ما يتم تحسين النماذج اللغوية الكبيرة (LLMs) بعد التدريب عبر التعلم التعزيزي من التغذية الراجعة البشرية (RLHF) وتحسين التفضيل المباشر (DPO) لتكون آمنة، مهذبة، ومتعاونة. ورغم فعالية ذلك في تقديم المساعدة العامة، إلا أن هذا التوافق يخلق ثغرة استراتيجية في التفاوض العدائي. ففي مثل هذه الإعدادات، يمكن للغة المؤطرة عاطفيًا أن توجه الوكلاء (agents) دون قصد نحو التنازل عن القيمة لصالح مصالح الطرف الآخر.

تواجه الأساليب الحالية للتفاوض الواعي بالعواطف مشكلتين رئيسيتين:

1. تكاليف التعلم عبر الإنترنت (Online Learning): الأساليب التي تعتمد على التعلم التعزيزي عبر الإنترنت (مثل PPO) مكلفة حاسوبيًا وغير مستقرة في التفاعلات بين الوكيل والوكيل متعددة الأدوار، لأنها تتطلب عمليات تجربة (rollouts) مكلفة عبر واجهات برمجة التطبيقات (APIs) وتواجه صعوبة مع التغذية الراجعة المتفرقة على مستوى المسار.
2. الفصل بين الاستراتيجية والتعبير: غالبًا ما تعامل الأساليب الحالية اختيار العاطفة كمتغير قرار، لكنها تترك مولد العبارات ثابتًا. ونتيجة لذلك، قد يتم التعبير عن عاطفة مختارة (مثل "الغضب") من خلال تهذيب مبكر أو تنازل سابق لأوانه، لأن النموذج يفتقر إلى المهارة المحددة لـ التعبير عن تلك العاطفة بشكل استراتيجي ضمن سياق المساومة.

التحدي الجوهري هو تعلم مهارات التفاوض العاطفي — أي ربط حالات الحوار، والمواقف العاطفية، والعبارات الملموسة، وآراء المحكمين في حركات تفاوضية قابلة لإعادة الاستخدام — دون تكبد تكلفة التدريب عبر الإنترنت.

المنهجية: EmoDistill

يقترح المؤلفون EmoDistill، وهو إطار عمل للتعلم غير المتصل (offline) يقوم بتقطير مهارات التفاوض العاطفي من مسارات (trajectories) محتسبة مسبقًا من تفاعل (LLM مقابل LLM) إلى نموذج لغوي أصغر (SLM). يقوم إطار العمل بتفكيك المشكلة إلى مكونين متميزين: اختيار العاطفة والتعبير العاطفي.

1. مجموعة بيانات المسارات غير المتصلة وتصميم الإشارات

يبدأ النظام ببناء مجموعة بيانات تتكون من $N=80$ سيناريو $\times$ $M=100$ تجربة تسلسل عاطفي عشوائي لكل مجال (بإجمالي 8,000 مسار). كل مسار مُلحق بإشارتين متكاملتين:

• الإشارة الموضوعية ($R(\tau)$): عائد على مستوى المسار يعتمد على ديناميكيات المساومة (مثل تقليص الفجوة بين نقطة الارتكاز للطرف الآخر والهدف الأساسي للوكيل) والاتفاق النهائي.
• الإشارة الذاتية ($r_t$): درجة كثيفة لكل دور (per-turn) يخصصها محكم يعمل بنموذج لغوي كبير (Qwen3.5-Plus)، لتقييم جودة العبارة المركزية بناءً على قدرتها على الارتكاز، والضغط، والاتساق مع الموقف العاطفي.

2. خط أنابيب التدريب ثلاثي المراحل

يستخدم EmoDistill هذه الإشارات عبر ثلاث مراحل لتدريب نموذج لغوي صغير (SLM) بـ 7 مليارات معلمة (Qwen2.5-7B-Instruct) باستخدام محولات LoRA:

• المرحلة 1: اختيار العاطفة (التعلم القائم على Q غير المتصل - IQL)

  • الهدف: تعلم أي عاطة يجب التعبير عنها بناءً على حالة الحوار.
  • الآلية: يتم تدريب محدد IQL على مجموعة البيانات غير المتصلة باستخدام العائد الموضوعي للمسار $R(\tau)$ كمكافأة. يتعلم سياسة $\pi_\phi(e|s)$ لاختيار إجراء العاطفة الأمثل $e$ من مفردات GoEmotions المكونة من 28 تسمية.
  • المخرج: محدد يحدد التسلسلات العاطفية عالية القيمة (مثل الانتقال من الخوف إلى الغضب) دون تحديث مولد العبارات.

• المرحلة 2: تهيئة التعبير (LoRA-SFT)

  • الهدف: تعلم كيفية التعبير عن العاطفة المختارة.
  • الآلية: يتم ضبط النموذج اللغوي الصغير (SLM) عبر الضبط الدقيق تحت الإشراف (SFT) باستخدام مرشح هجين. يتم اختيار النماذج بناءً على درجة $q_t^{hyb} = r_t + \frac{1}{2}R(\tau)$، مما يضمن أن النموذج يحاكي الأدوار التي تكون جيدة محليًا (درجة المحكم عالية) ومنتجة عالميًا (عائد المسار مرتفع).
  • المخرج: محول LoRA مهيأ لتوليد عبارات ملموسة واستراتيجية مشروطة بالحالة والعاطفة المختارة.

• المرحلة 3: صقل التعبير (تحسين سياسة المحكم - JPO)

  • الهدف: صقل سياسة التعبير باستخدام التغذية الراجعة الكثيفة.
  • الآلية: يطبق JPO هدفًا بديلًا مقصوصًا (clipped surrogate objective) لـ PPO غير متصل. يستخدم ميزة المحكم لكل دور ($A_t$) لتحديث السياسة. والأهم من ذلك، يستخدم JPO آلية الميزة غير المتماثلة حيث يتم تقليل وزن عينات الميزة السلبية بعامل $\kappa$. وهذا يسمما للنموذج لتعلم التعبيرات العاطفية المحددة التي تحسن مسار التفاوض مع الحفاظ على أولوية "إتمام الصفقة" التي تم ترسيخها أثناء SFT.
  • المخرج: سياسة مصقولة تعمل على تحسين الصياغة المحددة للتعبيرات العاطفية لتعظيم المنفعة.

المساهمات الرئيسية

1. إطار عمل EmoDistill: تقديم خط أنابيب غير متصل يقوم بتقطير استراتيجيات التبديل والتعبير العاطفي من مستوى LLM إلى نموذج SLM بـ 7 مليارات معلمة، مما يتيح تفاوضًا عالي الأداء دون الحاجة لعمليات استدعاء API حية.
2. فصل الاختيار عن التعبير: تقديم دليل تجريبي يثبت أن تحسين كيفية تعبير الوكيل عن عاطة مختارة (عبر LoRA-SFT و JPO) أمر متميز ومكمل لعملية اختيار العاطفة (عبر IQL). يتفوق الإطار الكامل على النماذج المرجعية التي تكتفي باختيار العواطف فقط أو تستخدم مولدات ثابتة فقط.
3. تحسين سياسة المحكم (JPO): طريقة صقل مبتكرة تستفيد من ميزات المحكم الكثيفة على مستوى الدور لتحسين التعبير العاطفي. بخلاف الطرق المعتمدة على التسلسل، يسمما JPO تخصيص الائتمان (credit assignment) بدقة، مما يميز بين التعبيرات عالية الجودة ومنخفضة الجودة داخل نفس مسار التفاوض.

النتائج التجريبية

تم تقييم إطار العمل عبر أربعة مجالات تفاوض عالية المخاطر: استرداد الائتمان (CRAD)، إنقاذ الكوارث، جدولة جراحة المستشفى، وجدولة نوم الطلاب.

• الأداء: حققت سياسة EmoDistill الكاملة (IQL+SFT+JPO) أعلى منفعة (معدل النجاح الموزون بجودة الصفقة) في ثلاثة من المجالات الأربعة، متفوقة على النماذج المرجعية التقليدية (Vanilla LLM/SLM)، والترويج العاطفي العشوائي، ونماذج IQL فقط.
• دراسات الاستبعاد (Ablation Studies):
  • تحليل المكونات: أدى إزالة إما محدد العاطفة (IQL) أو صقل التعبير (JPO) إلى تدهور الأداء بشكل كبير، مما يؤكد ضرورة كلا المكونين.
  • تحليل الإشارات: استفاد SFT أكثر من المرشحات النوعية الهجينة (اختيار النماذج الجيدة)، بينما استفاد JPO أكثر من ميزات المحكم الكثيفة على مستوى الدور.
  • الاستبعاد الخالي من العاطفة: أدت إزالة قناة التكييف العاطفي الصريحة إلى انخفاض الموثوقية والمنفعة، مما يشير إلى أن الاستراتيجية العاطفية لا يتم استيعابها بالكامل بدون واجهة تحكم صريحة.
• النقل (Transfer): أظهرت المهارات المقطرة انتقالًا جزئيًا عبر المجالات والخصوم غير المرئيين (مثل DeepSeek-V3، GPT-4o-mini). وبينما انتقلت معدلات النجاح بشكل جيد، ظلت استخراج القيمة (المنفعة) حساسة للهندسة التفاوضية الخاصة بكل مجال.
• التحكم في المخاطر: سمح المعامل $\kappa$ في JPO بضبط المقايضة بين نجاح الاتفاق وقيمة الصفقة الواحدة، حيث قدم $\kappa=0.5$ توازنًا أمثل في مجال CRAD.

الأهمية والادعاءات

يزعم البحث أن العاطفة في التفاوض يجب أن تُعامل كواجهة تفاوض قابلة للتحكم، وليس مجرد أسلوب توليد. ومن خلال فصل اختيار الموقف العاطفي عن توليد العبارة، يُمكّن EmoDistill النماذج الأصغر من تعلم سلوكيات تفاوض استراتيجية وفعالة قادرة على مقاومة "تحيز التهذيب" الموجود في النماذج القياسية.

يؤكد المؤلفون أن نهجهم:

• يتجنب التكاليف عبر الإنترنت: من خلال الاعتماد كليًا على البيانات غير المتصلة من تفاعلات (LLM مقابل LLM) المحكمة مسبقًا، فإنه يتجنب التكاليف الباهظة وعدم الاستقرار للتعلم التعزيزي عبر الإنترنت في بيئات متعددة الوكلاء.
• يوفر تحكمًا دفاعيًا: إن نمذجة التأثير العاطفي كمهارة قابلة للتعلم تسمح للوكلاء بمقاومة التأطير العاطفي التلاعبِي من الخصوم، مما يحافظ على أهداف المستخدم في البيئات العدائية.
• يقدم مهارة نمطية: يعامل إطار العمل التفاوض العاطفي كمهارة قابلة لإعادة الاستخدام، يمكن تقطيرها، ونقلها، وصقلها، متجاوزًا بذلك هندسة الأوامر (Prompt Engineering) الثابتة.

يتحلى المؤلفون بالتواضع فيما يتعلق بالقيود، مشيرين إلى أن إطار العمل يعتمد على مسارات غير متصلة ثابتة (مما قد يؤدي إلى انزياح التوزيع)، ويتطلب قناة عاطفة صريحة للأداء الأمثل، ولم يتم التحقق من صحته بعد في التفاعلات بين البشر والوكلاء. ويضعون عملهم كخطوة نحو وكلاء مستقلين أكثر قوة واستراتيجية في البيئات عالية المخاطر.