AblationBench: Evaluating Automated Planning of Ablations in Empirical AI Research

المشكلة
يعد أتمتة البحث العلمي باستخدام وكلاء النماذج اللغوية (LM agents) مجالاً سريع النمو، ومع ذلك، لا يزال تقييم قدرتهم على توليد مساهمات علمية ثاقبة يمثل تحدياً كبيراً. وتعتبر تجربة الاستئصال (ablation experiment) آلية حاسمة لاستخلاص الرؤى العلمية، حيث تقوم بتفكيك الطريقة المقترحة إلى مكوناتها لتقييم مساهمات كل منها على حدة. وبينما تناولت الأعمال السابقة تنفيذ كود البحث أو توليد الفرضيات، فإن المهمة المحددة المتمثلة في تخطيط تجارب الاستئصال — أي تحديد مكونات الطريقة الرئيسية واقتراح تغييرات ذات مغزى وجدوى ومرتكزة على أسس — لم تُستكشف بشكل كامل في بيئة مؤتمتة. تعتمد المعايקות السابقة مثل AbGen على سياقات بحثية تمت معالجتها يدوياً بدلاً من محتوى الورقة البحثية الخام، وتركز فقط على التخطيط بمساعدة المؤلفين، مما يترك فجوة في تقييم الوكلاء القادرين على مساعدة كل من المؤلفين في تخطيط التجارب والمراجعين في تحديد عمليات التحقق المفقودة.

المنهجية
يقدم المؤلفون AblationBench، وهو مجموعة معايير مصممة لتقيتم وكلاء النماذج اللغوية في مهام تخطيط الاستئصال في أبحاث الذكاء الاصطناًعي التجريبية. تتكون المجموعة من مهمتين متميزتين:

1. AuthorAblation (استئصال المؤلف): تتضمن هذه المهمة توليد خطة استئصال بناءً على قسم الطريقة في ورقة بحثية (باستثناء النتائج التجريبية). تحتوي مجموعة البيانات على 83 ورقة مؤتمر تغطي 14 مؤتمراً، مع 230 تجربة استئصال تم تصنيفها بشرياً لتكون بمثابة الحقيقة الأرضية (GT).
2. ReviewerAblation (استئصال المراجع): تتضمن هذه المهمة تحديد تجارب الاستئصال المفقودة في ورقة بحثية مقدمة كاملة، لمحاكاة دور المراجع. تتكون مجموعة البيانات من 350 ورقة مقدمة لـ ICLR (بين عامي 2023 و2025) ومراجعاتها الرسمية، حيث اقترح المراجعون صراحةً عمليات استئصال مفقودة.

لكلا المهمتين، طور المؤلفون أحكاماً قائمة على النماذج اللغوية (LM-based judges) لأتمتة التقييم. تقوم هذه الأحكام بمقارنة خطط الاستئصال المولدة مع الحقيقة الأرضية (الاستئصالات الأصلية للمؤلف في AuthorAblation؛ واقتراحات المراجعين في ReviewerAblation) لتحديد التطابق الدلالي. ولضمان المتانة، تستخدم الأحكام استراتيجيات للتخفيف من التحيزات داخل النموذج، والسياقية، والمكانية، مثل استخدام التصويت الجماعي وعشوائية ترتيب المدخلات.

وضع المؤلفون أداءً مرجعياً باستخدام نوعين من المخططين:

• LM-PLANNER: وهو عبارة عن مطالبة "سلسلة أفكار" (CoT) أحادية الخطوة لنموذج لغوي.
• AGENT-PLANNER: وهو وكيل يعتمد على أسلوب ReAct (مبني على SWE-agent) يعمل في بيئة حاوية (containerized environment) مع أدوات لفحص وتنفيذ الملفات.

المساهمات الرئيسية

1. AblationBench: مجموعة معايير شاملة تحتوي على مهمتين (AuthorAblation و ReviewerAblation) بإجمالي 433 حالة، تغطي مجالات متنوعة في الذكاء الاصطناعي (تعلم الآلة، الرؤية الحاسوبية، معالجة اللغات الطبيعية) وتوفر مورداً كاملاً لتطوير وتقييم وكلاء الاستئصال.
2. إطار تقييم مؤتمت: حكمان يعتمدان على النماذج اللغوية (واحد لكل مهمة) قادران على تقييم الخطط المولدة مقابل الحقيقة الأرضية، وتم التحقق من صحتهما من خلال مجموعة بيانات منفصلة مصنفة بشرياً (JudgeEval) لضمان التوافق مع الحكم البشري.
3. تحليل الأداء المرجعي: تقييم للمخططين الحاليين من النماذج الرائدة (بما في ذلك GPT-4o، وClaude 3.5 Sonnet، وLlama 3.1، وo3-mini، وGemini 2.5 Flash) في تخطيط الاستئصال، مما كشف عن فجوات كبيرة في الأداء مقارنة بالخبراء البشريين.

النتائج
تظهر التجار تجريباً مع النماذج اللغوية الرائدة أن تخطيط الاستئصال لا يزال مهمة صعبة:

• الأداء: حدد أفضل نظام لغوي 38% فقط من عمليات الاستئصال الأصلية في المتوسط عبر المهام. وفي مجموعة فرعية من مهام AuthorAblation، حقق أفضل نموذج درجة F1 بلغت 0.42، مقارنة بـ 0.65 للخبراء البشريين.
• بنية المخطط: خلافاً للتوقعات في مهام الاستدلال المعقدة، تفوق LM-PLANNER (خطوة CoT واحدة) على AGENT-PLANNER (الاستدلال متعدد الخطوات مع الأدوات) في كل من الدقة والتكلفة (أرخص بنحو 1.5 مرة). ولم يظهر نهج الوكيل أي ارتباط بين طول المسار والأداء.
• الاختلاف بين المهام: لوحظ اتجاه عكسي في الأداء بين المهمتين. فالنماذج التي كان أداؤها جيداً في AuthorAblation (التي تتطلب التزاماً صارماً بأوصاف الطريقة) غالباً ما كان أداؤها ضعيفاً في ReviewerAblation (التي تتطلب إبداعاً لتحديد الثغرات)، والعكس صحيح. ويُعزى ذلك إلى الاختلافات في ترسيخ النموذج (grounding).
• أنواع الاستئصال: كانت النماذج أفضل بكثير في تحديد استئصالات "الإزالة" (إزالة مكون) مقارنة باستئصالات "التعديل" (استبدال مكون ببديل محدد)، مما يشير إلى صعوبة في اقتراح بدائل متخصصة في المجال.
• المرجع البشري: أظهر البشر دقة واستدعاءً أعلى بكثير من النماذج، مما يشير إلى أن المعيار ليس مشبعاً بعد وأن النماذج الحالية تفتقر إلى الفهم الدقيق المطلوب لتخطيط استئصال عالي الجودة.

الأهمية
يزعم البحث أن AblationBench يوفر مورداً ضرورياً للنهوض بمجال العلماء المشاركين في الذكاء الاصطناعي (AI co-scientists) من خلال عزل وتقييم القدرة المحددة لتصميم تجارب الاستئصال. وتبرز النتائج أنه بينما يمكن للنماذج اللغوية أتمتة أجزاء من عملية البحث، إلا أنها تقصر حالياً عن الوصول إلى مستوى الأداء البشري في الخطوة الحرجة المتمثلة في تخطيط التجربة. إن حقيقة تفوق مطالبة CoT البسيطة على النهج القائم على الوكلاء المعقدة لهذه المهمة المحددة تشير إلى أن أدوات الوكيل الحالية قد لا تكون متوافقة تماماً مع المتطلبات المعرفية لتخطيط الاستئصال. ويضع المؤلفون هذا العمل كخطوة نحو تطوير نماذج أقوى قادرة على المساهمة العلمية الإبداعية والمرتكزة على الأسس، مع الإقرار بالقيود مثل الاعتماد على النماذج المملوكة (proprietary models) للأحكام وصعوبة تقييم أفكار الاستئصال الجديدة التي لا توجد في الحقيقة الأرضية.