SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science?

لطالما اعتمد العلم على الأدوات: التلسكوب الذي كشف عن النجوم البعيدة، والمجهر الذي كشف عن العالم الخفي للخلايا، ومسرع الجسيمات الذي سبر أغوار المادة. والي اليوم، برز نوع جديد من الأدوات أصبح لا غنى عنه، أداة لا تعيش في درج مختبر، بل في العالم الرقمي لشيفرات الحاسوب. لم يعد هذا البرنامج مجرد مساعد يقوم بمعالجة الأرقام للعالم؛ بل أصبح هو الأداة ذاتها. فعندما يحاكي باحث عقاراً جديداً، أو ينمذج المناخ، أو يحلل الضوء القادم من مجرة بعيدة، فإنه يشغل برامج تعمل بمثابة العدسة التي يرى من خلالها الواقع. وإذا احتوت الشيفرة على خلل، فإن النتيجة ليست مجرد خطأ حاسوبي؛ بل هي قطعة فاسدة من الأدلة التي يمكن أن تقوض استنتاجاً علمياً.

لسنوات، حاول الباحثون تعليم الذكاء الاصطناعي كيفية إصلاح هذه البرامج المعطلة. لقد بنوا اختبارات لمعرفة ما إذا كان بإمكان الحاسوب قراءة تقرير عن خطأ برمي (bug report) وكتابة رقعة لإصلاح البرنامج. أظهرت هذه الاختبارات أن الآلات أصبحت أفضل في إصلاح الأخطاء البرمجية البسيطة. ومع ذلك، ظل هناك سؤال جوهري بلا إجابة: هل تستطيع هذه الأنظمة الذكية التعامل مع العالم المعقد وعالي المخاطر للبرمجيات العلمية؟ في هذا المجال، يجب أن يفعل الإصلاح ما هو أكثر من مجرد جعل البرنامج يعمل؛ يجب أن يحافظ على القوانين الدقيقة للفيزياء أو الكيمياء أو البيولوجيا التي تحاول الشيفرة تمثيلها. فالإصلاح الذي يجعل البرنامج يعمل بشكل أسرع ولكنه يغير المعنى العلمي هو فشل، حتى لو قال الحاسوب إن الاختبار قد نجح.

لقد تصدى فريق من الباحثين الآن لهذا السؤال عبر إنشاء أرض اختبار جديدة تسمى "SWE-bench Science". لقد جمعوا 119 مهمة من واقع الحياة من 98 مشروعاً برمجياً مختلفاً يُستخدم من قبل العلماء في 20 مجالاً متميزاً، تتراوح من الكيمياء والأحياء إلى علم الفلك والهندسة المدنية. لم تكن هذه المهام تمارين بسيطة؛ بل استُمدت من مشكلات حقيقية واجهها العلماء، مثل محاكاة تنتج قيمة طاقة خاطئة لبلورة، أو أداة تحليل بيانات تسيء تفسير إحداثيات عينة بيولوجية. وقد نظم الباحثون هذه التحديات في ثلاثة أنواع: بعضها كان إصلاحات مباشرة لأخطاء معروفة، وبعضها تطلب من الذكاء الاصطناعي أن يعمل كمحقق خبير لمعرفة سبب ظهور نتيجة علمية خاطئة، والبعض الآخر تطلب من الذكاء الاصطناعي فهم كيفية ترابط الأجزاء المختلفة لنظام برمي ضخم لإتمام سير عمل كامل.

كانت نتائج هذه التجربة كاشفة. فحتى أكثر وكلاء البرمجة تطوراً المتاحين اليوم واجهوا صعوبات كبيرة. النظام الأفضل أداءً، وهو نموذج متطور مزود بمساعد برمجي قوي، تمكن من حل أقل من نصف المهام بشكل صحيح. يسلط هذا المعدل المنخفض من النجاح الضوء على فجوة عميقة بين ما يمكن للذكاء الاصطناعي الحالي القيام به وما هو مطلوب لصيانة البرمجيات العلمية. ووجد الباحثون أنه عندما تفشل هذه الأنظمة، فإنها تفعل ذلك بأربع طرق متوقعة. فغالباً ما يفتقر الذكاء الاصطناعي إلى المعرفة العلمية المحددة اللازمة لفهم المشكلة، مما يؤدي به إلى اقتراح إصلاحات تبدو منطقية للحاسوب ولكنها تنتهك قوانين الطبيعة. وأحياناً، يقوم النظام بإصلاح العرض السطحي فقط الذي يراه، مثل رقم يبدو خاطئاً، دون تتبع الخطأ وصولاً إلى سببه الجذري. وفي حالات أخرى، ينجح الإصلاح في جزء واحد من البرنامج ولكنه يكسر الاتصال بجزء آخر، مما يؤدي إلى فشل دمج الإصلاح في النظام الأكبر. وأخيراً، فشل الذكاء الاصطناعي بشكل متكرر في تطبيق مبدأ علمي على مواقف جديدة، حيث ظل عالقاً في المثال المحدد المعطى له وغير قادر على تعميم حله.

ولفهم دور المعرفة العلمية في هذه الإخفاقات، أجرى الباحثون تجربة محددة. فقد أخذوا مجموعة فرعية من المهام وشغلوها مرتين: مرة مع تزويد الذكاء الاصطناعي بمعلومات خلفية إضافية حول العلم المعني، ومرة بدونه. وأظهرت النتائج أن هذه المعلومات الإضافية لم تكن حلاً سحرياً. فبالنسبة لبعض نماذج الذكاء الاصطناعي الأقوى، جعل توفير السياق العلمي من الممكن أن يجعلها أقل عرضة لحل المشكلة بشكل مثالي، ربما لأن النص الإضافي شتت انتباهها أو جعلها تعتمد بشكل مفرط على الشرح المقدم بدلاً من اختبار أفكارها الخاصة. أما بالنسبة للنماذح الأضعف، فقد ساعدتها المعلومات الإضافية، لكنها تطلبت منها أيضاً استخدام قدرة حوسبية أكبر. وهذا يشير إلى أن مجرد تغذية الذكاء الاصطناعي بمزيد من الحقائق لا يضمن إصلاحاً أفضل؛ إذ يجب أن يكون النظام قادراً على ربط تلك الحقائق بالشيفرة والتحقق منها من خلال التنفيذ.

تخلص الدراسة إلى أنه بينما يحرز الذكاء الاصطناٍعي خطوات واسعة في هندسة البرمجيات العامة، فإن المتطلبات الفريدة للحوسبة العلمية تظل تحدياً هائلاً. فإصلاح الكود العلمي يتطلب مستوى من الفهم يتجاوز القواعد اللغوية والمنطق؛ إنه يتطلب استيعاب المبادئ الفيزيائية والنظرية التي تجسدها الشيفرة. وإلى أن تتمكن هذه الأنظمة من التمييز بشكل موثوق بين برنامج يعمل وبرنامج صحيح علمياً، فإن مهمة صيانة الأدوات الرقمية للعلم ستظل على الأرجح وظيفة للخبراء البشر. يوفر هذا المعيار الجديد خارطة طريق واضحة لمكان وقوف هذه الأنظمة اليوم، موضحاً أن الطريق نحو إصلاح البرمجيات العلمية المستقل تماماً لا يزال طويلاً ومليئاً بالعقبات المعقدة.