AdvPlan-Bench: Adversarial Evaluation of Structured Plan-Generation Agents

تخيل أنك تشاهد مباراة شطرنج، ولكن بدلاً من مجرد النظر إلى النقلة النهائية، تريد معرفة كيف سيتغير سير اللعبة إذا كان خصمك يمتلك حاسوباً عملاقاً يحاول إيجاد الرد المثالي لكل خطوة تتخذها. هذا هو عالم "التقييم التنافسي" (adversarial evaluation) في الذكاء الاصطناعي. بعبارات بسيطة، يتعلق الأمر باختبار برنامج كمبيوتر ذكي ليس فقط لمعرفة ما إذا كان قادراً على حل لغز ما، بل لمعرفة مدى صموده عندما يحاول كمبيوتر منافس كسر الحل الذي توصل إليه. عادةً، نسأل الذكاء الاصطناعي: "هل أنهيت المهمة؟". لكن في العالم الحقيقي، غالباً ما تفشل الخطط لأن شخصاً آخر يفكر في: "كيف يمكنني إيقاف ذلك؟". هذه الورقة البحثية تدخل هذا الساحة الفوضوية والتنافسية لترى ما إذا كانت مخططات الذكاء الاصطناعي لدينا قوية حقاً أم أنها مجرد محظوظة.

لاحظ الباحثون وراء هذه الدراسة، وهم فريق من شركة Anote AI وعدة جامعات، وجود فجوة في كيفية اختبار "وكلاء توليد الخطط" (plan-generation agents) هذه. معظم الاختبارات تشبه إعطاء طالب مسألة رياضية والتحقق مما إذا كانت الإجابة صحيحة. ولكن في معركة حقيقية أو لعبة استراتيجية معقدة، تعتمد الإجابة تماماً على ما سيفعله الطرف الآخر. ولإصلاح ذلك، قاموا ببناء AdvPlan-Bench. فكر في هذا ليس كونه روبوتاً جديداً يمكنه حل واجباتك المدرسية، بل كأنه "صالة ألعاب رياضية للاختبار القاسي" (stress-test gym) شديدة الصرامة والتحديد لمخططي الذكاء الاصطناعي. إنه ملعب حيث يحاول "الفريق الأزرق" (المخطط) وضع خطة مهيكلة، ويحاول "الفريق الأحمر" (الخصم) إيجاد أفضل طريقة لإحباطها. الهدف ليس بناء جندي خارق؛ بل بناء مسطرة أفضل لقياس مدى قوة الجنود فعلياً عندما تشتد الحرارة.

لعبة الأزرق ضد الأحمر

الفكرة الجوهرية لـ AdvPlan-Bench هي التوقف عن معاملة الخطة كقطعة ورق ثابتة. بدلاً من ذلك، يعاملونها كحركة في لعبة حيث يحصل الخصم على فرصة للتفكير أولاً. في إعدادهم، يقوم الوكيل "الأزرق" بتوليد خطة — وهي سلسلة من الإجراءات مع أهداف وقواعد. ثم يحاول الوكيل "الأحمر" توليد رد. والمفاجأة؟ الوكيل الأحمر لا يخمن رداً واحداً فقط؛ بل يأخذ عينات من استجابات عديدة للعثور على الاستجابة التي تضر بالخطة الزرقاء بأكبر قدر ممكن.

أجرى الباحثون هذه المحاكاة 150 مرة عبر خمسة "نماذج" (templates) مختلفة، وهي بمثابة أنواع مختلفة من السيناريوهات: الاستقرار الحضري، اعتراض الملاحة البحرية (إيقاف السفن)، الدفاع الجوي، والإخلاء الإنساني. هذه ليست عمليات عسكرية حقيقية؛ بل هي قصص اصطناعية مخترعة مصممة لاختبار مدى قدرة الذكاء الاصطناعي على تنسيق الموارد والتعامل مع المفاجآت.

ما وجدوه: كلما حاولت أكثر، زادت الصعوبة

النتيجة الأكثر إثارة هي أن طريقة الاختبار تفرق كثيراً. عندما حاول الفريق الأحمر تجربة حركة مضادة واحدة فقط، بدا الفريق الأزرق مذهلاً؛ فقد فاز بنسبة 90%، وكانت "درجة تفوقه" (advantage score) هي 0.518. بدا وكأن الخطط الزرقاء لا تُقهر.

ولكن عندما أخبر الباحثون الفريق الأحمر بأن يكون أذكى ويجرب ثماني حركات مضادة مختلفة للعثور على الأفضل، انخفض أداء الفريق الأزرق. فجأة، انخفضت نسبة الفوز إلى 82%، وتراجعت درجة التفوق إلى 0.486. يشير هذا إلى أن العديد من الخطط التي تبدو مثالية في عزلتها هي في الواقع هشة للغاية؛ فهي تبدو جيدة فقط لأن الخصم لم يكن يحاول جاهداً كسرها.

اختبرت الورقة أيضاً استراتيجية "الوعي بالقيود" (constraint-aware). تخيل حكماً لا ينظر فقط إلى من سجل أكبر عدد من النقاط، بل يتحقق أيضاً مما إذا كانت القواعد قد اتبعت. عندما استخدم الفريق الأحمر هذا النهج الأكثر ذكاءً، انخفضت نسبة فوز الفريق الأزرق أكثر لتصل إلى 80.7%. وهذا يوضح أن الخطة يمكن أن تمتلك "جودة تركيبية" عالية (تبدو جيدة على الورق) ولكنها تظل ضعيفة إذا تجاهلت القيود الفوضوية للعالم الحقيقي.

تجربة "المجلس"

لمعرفة ما إذا كان بإمكانهم جعل الفريق الأزرق أكثر قوة، جرب الباحثون نهج "مجلس متعدد الوكلاء" (multi-agent council). بد instead من جعل وكيل ذكاء اصطناعي واحد يضع خطة، جعلوا خمسة وكلاء مختلفين يقترحون أفكاراً، ثم جعلوا فريقاً أحمر ينتقدها، وأخيراً، قام "حكم" باختيار أفضل اثنين منهم للمراجعة والإصلاح.

ساعد نهج المجلس الفريق الأزرق على استعادة بعض مكاسبه. فمع وجود "المجلس"، ارتفขึ้นت نسبة الفوز مجدداً إلى 81.3%، وبلغت درجة التفوق 0.509. ومن المثير للاهتمام أن 75.3% من الحالات، جاءت الخطة الفائزة النهائية من المجموعة "المعدلة" — أي تلك التي تم إصلاحها بعد نقدها. يشير هذا إلى أن جعل مجموعة من وكلاء الذكاء الاصطناعي يتجادلون، وينتقدون، ويصلحون أعمال بعضهم البعض، يؤدي إلى خطة أكثر متانة بكثير مما لو تركنا ذكاءً اصطناعياً واحداً يخمن فحسب.

الخلل الخفي: درس في "التأطير"

كان أحد الاكتشافات الأكثر مرحاً وأهمية في الورقة هو "الفشل الصامت" الذي وجدوه في كود البرمجة الخاص بهم. في البداية، اعتقدوا أن "تأطير" (framing) السيناريو (مثل ما إذا كان موصوفاً بأنه "مهمة إنسانية" أو "عملية عسكرية") لا يهم. أجروا اختباراً، وكانت النتيجة هي عدم حدوث أي تغيير على الإطلاق. لم يهتم الذكاء الاصطناعي بالسياق؛ لقد تجاهله ببساطة.

أدركوا أن مولّد السيناريوهات لديهم لا يستخدم القصة فعلياً لتغيير الخطة. وبمجرد أن قاموا بـ "إصلاح" الكود بحيث يقرأ الذكاء الاصطناعي القصة فعلياً ويعدل أهدافه، تغيرت النتائج. قفزت "حساسية التأطير" (framing sensitivity) إلى 0.066. وهذا درس كبير لأي شخص يبني ذكاءً اصطناعياً: مجرد كون اختبارك يقول "لا يوجد تأثير" لا يعني أن الذكاء الاصطناعي ذكي؛ بل قد يعني أن اختبارك لا يتحدث مع الذكاء الاصطناعي بشكل صحيح.

الخلاصة

لا يدعي AdvPlan-Bench أنه بنى مخططاً مثالياً للحروب أو الكوارث في العالم الحقيقي. في الواقع، المؤلفون واضحون جداً: هذا ليس نظاماً عملياتياً. إنه معيار تركيبي (synthetic benchmark)، أداة للباحثين ليروا مدى صمود أفكارهم تحت الضغط.

تشير الورقة إلى أنه إذا أردنا الوثوق بمخططي الذكاء الاصطناعي، فلا يمكننا مجرد مطالبتهم بحل مشكلة ما لمرة واحدة. يجب أن نطلب منهم حلها بينما يحاول خصم ذكي إيقافهم، ويجب أن ننظر إلى "الحدود" (frontier) الكاملة للإجابات الممكنة، وليس فقط إلى الإجابة الأفضل الواحدة. ومن خلال استخدام اختبارات الإجهاد هذه، يمكننا اكتشاف أي الخطط قوية حقاً وأيها مجرد محظوظة. وكما قال المؤلفون، فإن هذا المعيار يحول الفن الفوضوي لـ "التخطيط التنافسي" إلى شيء يمكننا قياسه، ومقارنته، وتحسينه، سيناريو اصطناعي تلو الآخر.