Predict before you train: Scaling Laws for particle physics foundation models

في عالم فيزياء الجسيمات عالي الطاقة، يقوم العلماء بتحطيم الذرات مع بعضها البعض بسرعة تقارب سرعة الضوء لإعادة تهيئة الظروف التي سادت الكون في بداياته. تنتج هذه الاصطدامات رشاشات من الجسيمات دون الذرية تسمى "النفثات" (jets)، والتي تحمل بصمات القوى التي أوجدتها. ولتفسير هذه الرشاشات الفوضوية، لجأ الباحثون إلى الذكاء الاصطناعي، وتحديداً إلى نوع من البرامج الحاسوبية يُعرف باسم "المحول" (transformer). صُممت هذه البرامج لإيجاد أنماط في البيانات المعقدة، تماماً كما قد يتعرف الإنسان على وجه وسط حشد. ومع ذلك، فإن تدريب هذه البرامج مكلف للغاية؛ إذ يتطلب كميات هائلة من القدرة الحوسبية، ولم تكن هناك حتى الآن طريقة موثوقة لمعرفة ما إذا كان إنفاق تلك القدرة سيؤدي بالفعل إلى نتائج أفضل. كان على العلماء بناء النموذج، وتدريبه، ثم اكتشاف ما إذا كان يستحق التكلفة بعد ذلك.

لقد غير فريق من الباحثين في جامعة ستانفورد ومختبر سلاك (SLAC) الوطني للمسرعات هذا الديناميكي. فقد اكتشفوا طريقة للتنبؤ بمدى أداء نموذج فيزياء الجسيمات بدقة قبل تدريب أي نموذج ضخم. ومن خلال دراسة سلسلة من النماذج الأصغر والأرخص، وجدوا علاقة رياضية ثابتة بين القدرة الحوسبية المستخدمة ودقة النتائج. هذه العلاقة، المعروفة باسم "قانون القياس" (scaling law)، تسمح للعلماء بالتنبؤ بأداء نموذج ضخم ومكلف بناءً كلياً على سلوك نماذج صغيرة وغير مكلفة. وقد اختبر الباحثون ذلك عبر تدريب نماذج صغيرة، والتنبؤ بنتيجة نموذج أكبر بكmuch، ثم تدريب ذلك النموذج الكبير لتأكيد التنبؤ. وكان التنبؤ دقيقاً في حدود واحد بالمائة. هذا الإنجاز يعني أنه في المستقبل، يمكن لعلماء الفيزياء التخطيط لتجاربهم بيقين، ومعرفة مقدار القدرة الحوسبية التي يحتاجونها بالضبط لتحقيق مستوى معين من الاكتشاف العلمي، بدلاً من التخمين والأمل في تحقيق أفضل النتائج.

ركز الباحثون على نوع محدد من بنيات الذكاء الاصطناعي يسمى "المحول"، والذي طبقوه على الجسيمات داخل النفثة. وخلافاً للنماذج السابقة التي كانت هندستها تعتمد بشدة على قواعد فيزيائية محددة مدمجة في تصميمها، كان هذا النموذج الجديد عاماً؛ حيث تعامل مع كل جسيم في النفثة كعنصر بسيط في قائمة، ليتعلم فهم الفيزياء من البيانات نفسها فقط. قام الفريق بتدريب هذه النماذج على مجموعة واسعة من بيانات الاصطدام المحاكية التي تحتوي على حوالي مليار نفثة. بدأوا بتدريب "سلم" من النماذج، تتراوح من الصغيرة جداً إلى المتوسطة الكبر، باستخدام كمية ثابتة من القدرة الحوسبية لكل منها. ومن خلال مراقبة كيفية انخفاض معدل الخطأ مع نمو النماذج، وضعوا نمطاً واضحاً.

كان الجزء الأكثر أهمية في عملهم هو التنبؤ. فباستخدام بيانات النماذج الأصغر فقط، والتي استهلكت أقل من واحد في المائة من القدرة الحوسبية للنموذج الأكبر المختبر، حسبوا الأداء الذي سيصل إليه النموذج الأكبر. ثم قاموا بتدريب ذلك النموذج الأكبر، الذي تطلب قدرة حوسبية تزيد عن مائة ضعف القدرة الحوسبية للنماذج الصغيرة الأولية. وكانت النتيجة مطابقة تماماً: حيث وقع الأداء الفعلي للنموذج العملاق ضمن نطاق واحد بالمائة من التنبؤ الذي وضعته النماذج الصغيرة. أثبت هذا أن قانون القياس لم يكن مجرد وصف لأحداث ماضية، بل أداة حقيقية للتنبؤ بالمستقبل. لقد أظهر أن العلاقة بين القدرة الحوسبية والأداء مستقرة وقابلة للتنبؤ، حتى عند التوسع بمقدار عدة مراتب عشرية.

لم يقتصر بحث الفريق على التنبؤ بمعدل الخطأ للبرنامج الحاسوبي فحسب، بل أظهروا أن هذا التنبؤ يترجم مباشرة إلى قيمة علمية في العالم الحقيقي. فقد أخذوا النماذج المدربة واستخدموها في مهمتين قياسيتين: تحديد ما إذا كانت النفثة ناتجة عن جسيم ثقيل محدد يسمى "الكوارك العلوي" (top quark)، والتمييز بين النفثات التي بدأها "الكواركات" مقابل تلك التي بدأها "الجلوونات". ووجدوا أن النماذج ذات معدلات الخطأ الأقل خلال مرحلة التدريب الأولية كانت تؤدي بشكل أفضل في هذه المهام الفيزيائية الصعبة. فالنموذج الذي تعلم بكفاءة أكبر خلال مرحلة التدريب المسبق، كان أكثر قدرة على رفض الضجيج الخلفي عند مطالبته بتحديد الجسيمات النادرة. وهذا خلق سلسلة كاملة من المنطق: ميزانية محددة للقدرة الحوسبية تؤدي إلى مستوى يمكن التنبؤ به من دقة التدريب، والتي بدورها تؤدي إلى مستوى يمكن التنبؤ به من النجاح في تحديد الفيزياء الجديدة.

كشفت الدراسة أيضاً عن شيء مفاجئ حول كيفية تعلم هذه النماذج مقارنة بنماذج اللغة الكبيرة المستخدمة للنصوص. في نماذجه اللغة، يتضمن التوازن الأمثل عادةً زيادة حجم النموذج وكمية البيانات بمعدل متساوٍ تقريباً. ومع ذلك، بالنسبة لفيزياء الجسيمات، وجد الباحثون أن الاستراتيجية المثلى هي إنفاق الغالبية العظمى من القدرة الحوسبية على معالجة المزيد من البيانات، بدلاً من جعل النموذج نفسه أكبر. يشير هذا إلى أن المعلومات التي يحملها جسيم واحد في النفثة أقل تعقيداً من الكلمة في الجملة. ولأن كل جسيم يحمل معلومات أقل، فإن نموذجاً أصغر يكون كافياً للتعلم من كمية هائلة من البيانات. تساعد هذه الرؤية العلماء على فهم الطبيعة الأساسية للبيانات التي يدرسونها وتوجههم لاستخدام مواردهم الحوسبية المكلفة بكفاءة أكبر بكثير.

ولضمان إمكانية استخدام هذه النتائج من قبل المجتمع العلمي الأوسع، أصدر الباحثون جميع نماذجهم الخمسة المدربة، جنباً إلى جنب مع الكود الكامل والتعليمات حول كيفية تدريبها واستخدامها. كما قارنوا نموذجهم العام مقابل نموذج متطور مصمم خصيصاً بقواعد فيزيائية مدمجة في بنيته. وفي معظم المقاييس، قدم النموذج العام أداءً يضاهي النموذج المتخصص، حيث طابق دقته وقدرته على التمييز بين أنواع الجسيمات المختلفة. لم يحتفظ النموذج المتخصص إلا بميزة طفية في الحالات القصوى لتحديد الكواركات العلوية. ويشير هذا إلى أنه بالنسبة للعديد من التطبيقات، يمكن لنموذج بسيط وعام مدرب على قدر كافٍ من البيانات أن ينافس التصميمات المعقدة المخصصة للفيزياء.

يوفر هذا العمل خارطة طريق جديدة للمجال. فبدلاً من بناء نماذج ضخمة والأمل في نجاحها، يمكن للعلماء الآن إجراء اختبار صغير ورخيص لمعرفة كيف سيتصرف النموذج الكبير بدقة. يمكنهم حساب القدرة الحوسبية المطلوبة بالضبط للوصول إلى مستوى مرغوب من الدقة قبل إنفاق دولار واحد على التدريب. ومن خلال تحويل عملية التدريب إلى علم قابل للتنبؤ، أزال الباحثون عنصر التخمين من بعض أكثر التجارب تكلفة في الفيزياء، مما يسمح للمجتمع بالتركيز على مواردها على الاكتشافات الأكثر أهمية.