IB-RL: Isolated Bilateral Reinforcement Learning for Strategic Dialogue Agents

تخيل عالماً تتعلم فيه الحواسيب التحدث مع بعضها البعض، ليس فقط للإجابة على الأسئلة، بل للعب الألعاب، وبيع الأشياء، والتفاوض على الصفقات. هذا هو أفق التعلم التعزيزي (Reinforcement Learning - RL)، وهو فرع من فروع الذكاء الاصطناعي حيث يتعلم "وكيل" الحاسوب من خلال التجربة والخطأ، فيحصل على نقاط للحركات الجيدة ويخسر نقاطاً للحركات السيئة. فكر في الأمر كتعليم كلب كيفية جلب الكرة: إذا أحضر الكرة، يحصل على مكافأة؛ وإذا أسقطها، لا يحصل على شيء. في الألعاب البسيطة مثل المسائل الرياضية أو البرمجة، تكون "البيئة" ثابتة — فالحاسبة تعطي دائماً الإجابة نفسها بغض النظر عما يقوله الحاسوب. ولكن في عالم المحادثة البشرية الفوضوي، تكون البيئة شخصاً آخر (أو ذكاءً اصطناعياً آخر) يفكر أيضاً، ويتفاعل، ويغير رأيه. هذا هو الحوار الاستراتيجي. هنا، النجاح لا يقتصر فقط على قول الشيء الصحيح؛ بل يتعلق بكيفية رقص كلماتك مع كلمات الشخص الآخر. إذا تعلمت التحدث مع شخص محدد، فقد تصبح بارعاً في المحادثة معه، ولكن إذا قابلت غريباً، فقد تفشل فشلاً ذريعاً لأنك تعلمت عاداته الخاصة بدلاً من تعلم كيفية التحدث مع أي شخص.

تتناول هذه الورقة مشكلة معقدة في تعليم وكلاء الذكاء الاصطناعي ليكونوا مفاوضين أو بائعين بارعين. وجد الباحثون أن الطريقة المعتادة لتدريب وكلاء الذكاء الاصطناعي هؤلاء تشبه تعليم لاعب تنس ضرب الكرة ضد جدار لا يتحرك أبداً. يصبح اللاعب بارعاً جداً في ضرب ذلك الجدار المحدد، ولكن إذا وضعته في مباراة حقيقية ضد خصم بشري يتحرك ويتكيف، فإنه ينهار. يتعلم الذكاء الاصطناعي استغلال الأنماط الثابتة لـ "الجدار" بدلاً من تعلم استراتيجية مرنة. ويسمي المؤلفون هذا "عدم التطابق مع الطرف المقابل الثابت" (static-counterpart mismatch). ولإصلاح ذلك، اخترعوا طريقة تدريب جديدة تسمى التعلم التعزيزي ثنائي الجوانب المعزول (Isolated Bilateral Reinforcement Learning - IB-RL). بدلاً من تدريب ذكاء اصطنا-واحد ضد جدار ثابت، جعلوا اثنين من الذكاء الاصطناعي يلعبان ضد بعضهما البعض، ولكن مع قاعدة صارمة: يجب أن يتعلم كل منهما بشكل منفصل تماماً. فهما يتشاركان المحادثة، لكنهما لا يتشاركان "درجاتهما" أو "أفكارهما" حول كيفية التحسن. إنه يشبه راقصين يتدربان معاً، ولكن كل منهما يستمع إلى موسيقاه الخاصة ويحاول إتقان خطواته الخاصة دون تقليد إيقاع الآخر.

النتائج التي حققتها هذه الطريقة الجديدة واعدة للغاية. اختبر الباحثون تدريب "الرقصة المزدوجة" هذا في سيناريوهين مختلفين تماماً. أولاً، قاموا بمحاكاة مكالمة بيع سيارات، حيث يحاول مندوب مبيعات يعمل بالذكاء الاصطناعي إقناع عميل محاكى بإضافته على تطبيق "وي تشات" (WeChat) (تطبيق مراسلة شهير). نجح وكيل الـ IB-RL المدرب في جعل العميل يوافق بنسبة 89.6% من الوقت عند اختباره ضد عملاء جدد لم يسبق لهم مواجهتهم. كانت هذه قفزة كبيرة مقارنة بالطريقة القديمة، التي لم تنجح إلا بنسبة 84.6%. والأمر الأكثر إثارة للإعجاب هو أن نسبة النجاح هذه (89.6%) تفوقت على أداء العديد من نماذج الذكاء الاصطناعي الضخمة والمتطورة التي أُعطيت مجرد أمر بسيط للقيام بالمهمة.

الاختبار الثاني كان لعبة تفاوض كلاسيكية تسمى "صفقة أم لا صفقة" (Deal-or-No-Deal)، حيث يحاول لاعبان تقسيم أشياء مثل الكتب والقبعات بناءً على تفضيلاتهم السرية. هنا، كان وكلاء الـ IB-RL أكثر هيمنة. فعندما وُضعوا في مواجهة خصم من طراز رفيع (DeepSeek V4 Pro)، وصلوا إلى اتفاق بنسبة 98.6%. وفي المقابل، حقق أفضل وكيل تم تدريبه باستخدام طريقة "الجدار الثابت" القديمة اتفاقاً بنسبة 86.4% فقط. تشير الورقة إلى أنه من خلال إجبار اثنين من الذكاء الاصطناعي على التطور معاً دون الاعتماد على عادات بعضهما البعض، تعلموا أن يكونوا أكثر قدرة على التكيف. لم يكتفوا بحفظ كيفية هزيمة شريك معين؛ بل تعلموا كيفية التفاوض مع أي شخص.

ويلاحظ المؤلفون بحذر أن هذا ليس حلاً سحرياً يحل جميع مشاكل محادثة الذكاء الاصطناعي إلى الأبد. فقد أظهروا أنه بدون قواعد "العزل" الخاصة بهم، سيبدأ اثنان من الذكاء الاصطناعي في تبني استراتيجيات للحصول على نقاط سهلة، بدلاً من تعلم مهارات حقيقية. لكن البيانات تشير بقوة إلى أنه عندما تسمح لوكيلين بالتطور المشترك مع إبقاء مسارات تعلمهما منفصلة تماماً، فإنهما يطوران قدرة أقوى وأكثر عمومية على التعامل مع الطبيعة غير المتوقعة للمحادثة البشرية الحقيقية. إنها خطوة نحو ذكاء اصطناعي لا يبدو ذكياً فحسب، بل يعرف حقاً كيفية التعامل مع مفاجآت شريك المحادثة الجديد.