Does the Competitive Component of Adversarial Self-Play Improve Legal Reasoning? A Controlled Negative Result

تخيل أنك تحاول تعليم روبوت كيف يكون محامياً بارعاً. تريد أن تجعله يكتب حججاً قوية جداً لدرجة أنه لا يمكن لأحد تفكيكها. إحدى الأفكار الشائعة في عالم الذكاء الاصطناعي هي "التدريب التنافسي الذاتي" (adversarial self-play). فكر في الأمر كأنه مباراة ملاكمة في صالة رياضية؛ لديك روبوت طالب (الطالب) يصيغ حجة قانونية، وروبوت خصم (الخصم) يحاول ثقبها بضرباته. الطالب لا يحصل على مكافأة إلا إذا صمدت حُجته أمام الهجوم. والأمل هو أن هذا القتال المستمر يجعل الطالب أكثر ذكاءً، وقوةً، وقدرةً على التفكير المنطقي مما لو تدرب بمفرده فقط.

هذا المفهوم لا يقتصر على الروبوتات فحسب؛ بل يتعلق بكيفية تعليم الآلات التفكير. في الماضي، وجد الباحثون أن الآلات عندما تتدرب ضد بعضها البعض، فإنها غالباً ما تصبح أفضل في حل الألغاز، أو كتابة الأكواد البرمجية، أو حتى لعب ألعاب مثل الشطرنج. السؤال الكبير في العالم القانوني هو: هل يساعد هذا "القتال" الروبوت حقاً على التفكير بشكل أفضل في القوانين، أم أن القتال نفسه مجرد تشتيت؟ إذا كان الروبوت يكتفي فقط بحفظ كيفية تفادي الضربات دون تعلم القانون فعلياً، فإن التمرين برمته سيكون مضيعة للوقت. وهذا هو اللغز الذي سعت دراسة جديدة لحله.

---

مباراة الملاكمة القانونية الكبرى التي لم تؤدِ إلى شيء

في هذه الورقة البحثية، قرر الباحثون وضع نظرية "القتال" تحت الاختبار بتجربة علمية صارمة للغاية. لقد بنوا نظام تدريب حيث يحاول روبوت طالب كتابة حجج قانونية، ويحاول روبوت خصم تدميرها. وللتأكد من أن القتال عادل ونزيه، أضافوا حكماً خاصاً: "مدقق الاستشهادات". كان هذا الحكم يفحص كل قاعدة قانونية وكل قضية ذكرها الروبوتان. وإذا اخترع روبوت قانوناً وهمياً أو استشهد بقضية غير موجودة، كان الحكم يستبعده فوراً. وهذا يعني أن الطالب لا يمكنه الفوز عن طريق الخداع؛ بل يجب أن يفوز بحقائق حقيقية وموثقة.

سأل العالم سؤالاً محدداً للغاية: إذا نزعنا جزء "القتال" — أي الخصم ومكافأة "البقاء" — هل سيصبح روبوت الطالب أسوأ حالاً؟ بعبارة أخرى، هل المنافسة هي السر الخفي، أم أنها مجرد ضجيج إضافي؟ لمعرفة ذلك، أجروا أربعة أنواع مختلفة من الاختبارات، مقارنين بين فريق "يقاتل" وفريق "لا يقاتل" تعلم بنفس الطريقة تماماً ولكن بدون خصم.

النتائج: "لا" كبيرة وصريحة

تبين أن الإجابة كانت "لا" مفاجئة وواضحة جداً. الجزء التنافسي من التدريب لم يجعل روبوت الطالب أفضل في التفكير القانوني في الواقع.

إليك كيف جرت القصة:

• البداية الخاطئة: في البداية، اعتقد الباحث أنهم رأوا فوزاً هائلاً لفريق القتال. ففي مجموعة صغيرة مكونة من 18 حالة اختبار، بدا أن الروبوت المقاتل أفضل بنسبة 29% في الحفاظ على صمود حججه. بدا الأمر وكأنه انتصار ساحق!
• تحول الحبكة: ولكن بعد ذلك، وسعوا الاختبار ليشمل 29 حالة. فجأة، تلاشى التفوق. في الواقع، كان الروبوت المقاتل أسوأ قليلاً من الروبوت الذي لا يقاتل. تلك الزيادة الأولية بنسبة 29% كانت مجرد نتيجة لصغر حجم العينة، تماماً مثل رمي عملة معدنية عدة مرات وظهور "الوجه" في كل مرة بمحض الصدفة.
• الاختبار الأعمى: للتأكد تماماً، أجروا "اختبار تذوق أعمى". أخذوا الحجج من كلا الروبوتين، وأخفوا أسماءهما، وطلبوا من روبوت ثالث مستقل اختيار الفائز. والنتيجة؟ فاز الروبوت المقاتل بنسبة 49% من المرات، بينما فاز الروبوت الذي لا يقاتل بنسبة 51%. لقد كان تعادلاً تاماً في الجوهر.
• اختبار "الخصم الأقوى": ساور العلماء شك بأن "الروبوت الخصم ربما لم يكن قوياً بما يكفي". لذا، بنوا خصماً خارقاً يصبح أكثر ذكاءً مع كل جولة. أجروا الاختبار مرة أخرى. والنتيجة؟ تعادل تام آخر: نسبة فوز 50% لكلا الطرفين.

لماذا فشل "القتال"؟

كشفت الورقة أيضاً عن فخين مخادعين كادا يخدعان الباحث، وهو جزء كبير من القصة.

1. السراب: الفخ الأول كان تصديق الأرقام الصغيرة. بدت ميزة الـ 29% الأولية حقيقية، لكنها كانت سراباً تلاشى بمجرد النظر إلى المزيد من البيانات. وهذا يعلمنا أنه في العلم، لا يمكنك الوثوق بعنوان إخباري مبني على عينة صغيرة جداً.
2. بطاقة النتائج المعطلة: الفخ الثاني كان خللاً في كيفية قياس النجاح. اعتمدت درجة "البقاء" الخاصة بهم على عدد الاستشهادات القانونية المشتركة بين الطالب والخصم. لكن الخصم "الجيد" لا يكتفي بتكرار نفس القوانين؛ بل يجد قوانين مختلفة للهجوم على الطالب بها. ولأن الخصم كان يؤدي عمله بشكل جيد جداً، تعطلت بطاقة النتائج. توقفت عن قياس "البقاء" وبدأت فقط في قياس عدد الحقائق التي يتذكرها الطالب. اضطر الباحث إلى الانتقال إلى اختبار التذوق الأعمى للحصول على إجابة حقيقية.

الخلاصة

هذه الورقة هي "نتيجة سلبية" نادرة وقيمة. فبدلاً من قول "انظروا إلى طريقتنا الجديدة المذهلة!"، يقول المؤلف "لقد جربنا هذه الفكرة الرائعة، ولم تنجح". لقد وجدوا أن القيمة لم تأتِ من المنافسة نفسها، بل من بناء نظام يمكن من خلاله التحقق من صحة الإجابات.

خلصت الدراسة إلى أنه بالنسبة للتفكير القانوني، فإن مجرد جعل روبوت يقاتل روبوتاً آخر لا يجعله أكثر ذكاءً. السحر الحقيقي كان في البيئة التي يمكن فيها التحقق من الحقائق، وليس في القتال. ويأمل المؤلف أنه من خلال مشاركة هذا الفشل الصادق والفخاخ التي وقعوا فيها، لن يضيع علماء آخرون وقتهم في محاولة إصلاح مشكلة لا وجود لها، وسيركزون بدلاً من ذلك على بناء طرق أفضل للتحقق من الحقيقة.