HEPTABench: A framework for portable and controlled agentic evaluations in high energy physics

في الأروقة الصامتة والواسعة للفيزياء الحديثة، لم يعد العلماء يبحثون عن جسيمات جديدة فحسب؛ بل يبحثون أيضاً عن طرق جديدة للقيام بعملية العثور عليها. لعقود من الزمن، اعتمد مجال فيزياء الطاقات العالية على الباحثين البشر لترجمة النظريات المجردة إلى حسابات ملموسة، وكتابة أكواد حاسوبية معقدة لمحاكاة كيفية سلوك الجسيمات في كواشف ضخمة أو للتنبؤ بنتائج الاصطدقات. واليوم، دخل نوع جديد من العمال إلى المختبر: الوكيل القائم على الذكاء الاصطناعي. هذه ليست مجرد برامج بسيطة تتبع قائمة جامدة من التعليمات، بل هي أنظمة متطورة قادرة على التخطيط لمهام متعددة الخطوات، وكتابة الكود الخاص بها، وتشغيل عمليات المحاكاة، وتصحيح أخطائها عندما تسوء الأمور. إنها تعد بتسريع وتيرة الاكتشاف، لكنها تثير أيضاً سؤالاً جديداً: هل يمكننا الوثوق بها للقيام بالعمل العلمي الدقيق والحساس؟ وللإجابة على ذلك، يجب على الباحثين تجاوز الاختبارات البسيطة وإنشاء بيئة محكومة حيث يمكنهم رؤية كيفية أداء هؤلاء المساعدين الرقميين بالضبط، وما هي الأدوات التي يحتاجونها، وأين قد يخطئون.

لقد بنى فريق من علماء الفيزياء وعلماء الحاسوب مثل هذه البيئة، وهو إطار عمل يسمونه HEPTABench، صُمم لإخضاع وكلاء الذكاء الاصطناعي لهذه الاختبارات في عالم فيزياء الطاقات العالية تحديداً. لم يكن هدفهم مجرد معرفة ما إذا كان بإمكان الذكاء الاصطناعي حل مشكلة ما، بل فهم كيف تغير الأدوات التي يستخدمها النتيجة. لقد أعدوا سلسلة من التجارب حيث أُعطيت نفس المهمة العلمية لأنظمة ذكاء اصطناعي مختلفة، ولكن مع تغيير متغير واحد حاسم: في بعض التجارب، كان على الذكال الاصطناعي بناء أدواته الرياضية الخاصة من الصفر، بينما في تجارب أخرى، تم تسليمه مجموعة أدوات جاهزة ومحققة من الأدوات المتخصة. كانت النتائج واضحة ومتسقة؛ فعندما سُمح لوكلاء الذكاء الاصطناعي باستخدام هذه الأدوات المتخصصة والمحددة للمجال، أصبح عملهم أكثر دقة وأكثر موثوقية بكثير. كانت النتائج التي أنتجوها أقرب إلى الحقيقة المعروفة، وكانت الإجابات التي قدموها أكثر اتساقاً من محاولة إلى أخرى.

اختبر الباحثون هذه الفكرة بنوعين مختلفين تماماً من مشاكل الفيزياء. كانت الأولى عملية حسابية معقدة تتضمن جسيماً افتراضياً يعيش لفترة طويلة قبل أن يتحلل. هذا النوع من الحسابات هو ركيزة أساسية في هذا المجال، ويتطلب سلسلة من الخطوات تشمل التنبؤ بكيفية إنشاء الجسيم، وكيفية انتقاله عبر الكاشف، ومدى احتمالية رصده. طلب الفريق من أربعة أنظمة ذكاء اصطناعي متقدمة مختلفة إجراء هذا الحساب. في الجولة الأولى، مُنحت الأنظمة فقط القوانين الأساسية للفيزياء والإعداد التجريبي، مما أجبرها على كتابة كل قطعة من الكود اللازمة لمحاكة رحلة الجسيم. في الجولة الثانية، حصلت الأنظمة نفسها على المهمة ذاتها ولكن مع تزويدها بمجموعة من الأدوات المتخصصة التي يمكنها التعامل مع أجزاء محددة من الحساب، مثل توليد تدفقات الجسيمات أو حساب احتمالات التحلل. كان الفرق صارخاً؛ فكل نظام، بغض النظر عن بنيته الأساسية، أنتج نتائج أفضل عندما أتيحت له إمكانية الوصول إلى الأدوات المتخصصة. كانت الأرقام التي حسبوها أقرب إلى القيم الصحيحة، وانخفض التباين بين المحاولات المختلفة للنظام نفسه بشكل كبير. كما كتب وكلاء الذكاء الاصطناعي أكواداً أقل بكثير، معتمدين على الأدوات الموثوقة للقيام بالمهام الشاقة بدلاً من إعادة اختراع العجلة في كل تجربة.

ركزت التجربة الثانية على نوع آخر من التحديات: الرياضيات الرمزية. هنا، كانت المهمة هي اشتقاق صيغ لكيفية تحلل الجسيمات، وهي عملية تتطلب التعامل مع تعبيرات جبرية معقدة بدلاً من مجرد معالجة الأرقام. اختبر الباحثون نموذج ذكاء اصطناعي محدد في ثمانية سيناريوهات تحلل مختلفة. بدون الأدوات المتخصصة، عانى النموذج بشدة، حيث نجح في كسر ضئيل جداً من محاولاته، وغالباً ما أنتج إجابات غير كاملة أو صيغاً لا تتوافق مع الفيزياء. ومع ذلك، عندما مُنح النموذج نفسه إمكانية الوصول إلى مجموعة أدوات مصممة خصيصاً للحسابات الفيزيائية الرمزية، ارتفع أداؤه بشكل هائل؛ حيث قفزت نسبة المحاولات الناجحة من مجرد ثمانية بالمائ0 إلى ما يقرب من ثمانين بالمائة. أظهر هذا أن توفير الأدوات المناسبة يمكن أن يحول نظاماً يكاد يكون غير فعال إلى نظام عالي الفعالية. ومن المثير للاهتمام أن نموذج ذكاء اصطناعي آخر، أكثر قوة، كان قادراً على حل هذه المشكلات بشكل مثالي باستخدام قدراته المدمجة فقط، مما يشير إلى أنه بينما تعتبر الأدوات ضرورية لبعض الأنظمة، فإن النماذج الأكثر تقدماً قد تتمكن في النهاية من التعامل مع هذه المهام بمفردها.

لا تكتفي الدراسة بإظهار أن الأدوات تساعد فحسب، بل تضع منهجاً لإثبات ذلك. من خلال الحفاظ على ثبات كل العوامل الأخرى — المهمة، ونموذج الذكاء الاصطناعي، وبيئة الحاسوب — استطاع الباحثون عزل تأثير الأدوات نفسها. وجدوا أن التحسن لم يكن مجرد مسألة الحصول على الإجابة الصحيحة مرة واحدة، بل كان يتعلق بالاتساق. أصبحت وكلاء الذكاء الاصطناعي أكثر موثوقية، حيث أنتجوا نتائج ظلت قريبة من الحقيقة في كل مرة أجروا فيها التجربة. هذه الموثوقية أمر بالغ الأهمية في العلم، حيث لا يكفي مجرد تخمين محظوظ واحد؛ إذ يحتاج الباحثون إلى معرفة أن النتيجة ستصمد أمام التدقيق. يتيح لهم إطار العمل الذي بنوه إجراء هذا النوع من الفحص التفصيلي، حيث يسجل كل خطوة اتخذها الذكاء الاصطناعي، وكل ملف أنشأه، وكل قرار اتخذه. تعني هذه الشفافية أنه إذا تم التشكيك في نتيجة ما، يمكن للعلماء العودة والنظر في المسار الدقيق الذي اتخذه الذكاء الاصطناعي للوصول إليها، بدلاً من مجرد قبول رقم نهائي.

تمتد تداعيات هذا العمل إلى ما هو أبعد من الجسيمات أو الحسابات المحددة التي تم اختبارها. فهي تقترح طريقة جديدة للتفكير في كيفية استخدام الذكاء الاصطناعي في العلوم. فبدلاً من توقع ذكاء اصطناعي واحد كلي المعرفة يقوم بكل شيء، قد يكمن المستقبل في الجمع بين هذه الأنظمة الذكية ومجموعات الأدوات المتخصصة والمحققة بشرياً. تماماً كما يعتمد عالم الفيزياء البشري على مكتبة من الصيغ والبرمجيات الراسخة للقيام بعمله، يمكن جعل وكيل الذكاء الاصطناعي أكثر قدرة وموثوقية من خلال منحه إمكانية الوصول إلى نفس الموارد. لقد أثبت الباحثون أن هذا النهج يعمل عبر أنواع مختلفة من الذكاء الاصطناعي وأنواع مختلفة من مشاكل الفيزياء، من محاكاة تصادمات الجسيمات إلى اشتقاق الصيغ الرياضية. إنه يقدم مساراً للمضي قدماً حيث يتم دمج سرعة وقدرة الذكاء الاصطناعي على التكيف مع دقة وموثوقية الأدوات التي صممها البشر.

في نهاية المطاف، يتعلق العمل المقدم في هذه الورقة ببناء الثقة. ومع دمج الذكاء الاصطناعي في العملية العلمية، يحتاج المجتمع إلى وسيلة لقياس قدراته وحدوده بنفس الصرامة المستخدمة لأي أداة علمية أخرى. يوفر HEPTABench مقياساً لذلك. فهو يظهر أنه مع الإعداد الصحيح، يمكن توجيه وكلاء الذكاء الاصطناعي لإنتاج عمل علمي عالي الجودة وقابل للتكرار. وتشير النتائج إلى أن الطريقة الأكثر فعالية لنشر هذه الأنظمة في المستقبل ليست تركها تتجول بحرية، بل تجهيزها بالأدوات المحددة والمحققة التي تحتاجها للنجاح. يضمن هذا النهج أن النتائج التي ينتجونها ليست مجرد تخمينات ذكية، بل مساهمات موثوقة في فهمنا للكون.