AblationBench: Evaluating Automated Planning of Ablations in Empirical AI Research
تقدم هذه الورقة AblationBench، وهي مجموعة اختبار مصممة لتقييم وكلاء النماذج اللغوية في مهام تخطيط الاستئصال في أبحاث الذكاء الاصطناعي التجريبية، كاشفةً أن النماذج الرائدة الحالية تقصر بشكل كبير مقارنة بالبشر ومسلطةً الضوء على الفعالية المتفوقة لأسلوب "سلسلة الأفكار" (chain-of-thought) في التلقين مقارنة بالنهج القائم على الوكلاء.