Masked Particle Modeling on Sets: Towards Self-Supervised High Energy Physics Foundation Models
تقدم هذه الورقة نموذج نمذجة الجسيمات المقنعة (MPM)، وهو إطار عمل للتدريب المسبق ذاتي الإشراف يتعلم تمثيلات غير متغيرة بالتبديل لمجموعات الجسيمات غير المرتبة في فيزياء الطاقات العالية عبر إعادة بناء الجسيمات المقنعة بواسطة التكميم المتجهي، مما يثبت فعاليته كنموذج تأسيسي لمهام متنوعة لاحقة مثل تصنيف النفاثات ونقل النطاق.
المؤلفون الأصليون:Tobias Golling, Lukas Heinrich, Michael Kagan, Samuel Klein, Matthew Leigh, Margarita Osadchy, John Andrew Raine
تعد فيزياء الطاقات العالية دراسة لأكثر اللبنات الأساسية في الكون، وتُجرى عبر صدم الجسيمات معاً بسرعات هائلة ومراقبة ما ينبعث منها. إن الكواشف المستخدمة في هذه التجارب لا ترى أجساماً منفردة ونقية؛ بل تسجل مجموعات فوضوية وغير منظمة من آلاف الشظايا الصغيرة، المعروفة باسم الجسيمات، التي تتدفق من عملية التصادم. لعقود من الزمن، استخدم العلماء الذكاء الاصطناعي لفهم هذه البيانات، لكن هذه البرامج الحاسوبية كانت تُدرب عادةً مثل الطلاب الذين يحفظون البطاقات التعليمية: حيث كانت تُغذى بكميات هائلة من الأمثلة المصنفة ويُطلب منها بدقة ما يجب أن تبحث عنه. هذا النهج يعمل بشكل جيد للمهام المحددة، ولكنه غير فعال؛ فهو يتطلب كميات ضخمة من البيانات المصنفة لكل سؤال جديد، ويعاني عندما تتغير البيانات قليلاً، مثل الانتقال من المحاكاة الحاسوبية إلى النتائج التجريبية في العالم الحقيقي. يتطلع المجال الآن نحو نوع مختلف من الذكاء، وهو النوع الذي يتعلم من خلال مراقبة العالم من تلقاء نفسه، دون الحاجة إلى معلم يشير إلى كل تفصيل. هذا هو مجال "نماذج التأسيس" (foundation models)، وهي أنظمة تتعلم الأنماط العامة من مجموعات بيانات ضخمة غير مصنفة لتتمكن من التكيف مع مهام مختلفة لاحقاً.
لقد اتخذ فريق من الباحثين خطوة كبيرة نحو بناء مثل هذا النموذج التأسيسي المخصص لفيزياء الطاقات العالية. فقد طوروا طريقة جديدة تسمى "نمذجة الجسيمات المقنعة" (masked particle modeling)، والتي تُعلم الحاسوب فهم بنية تصادم الجسيمات من خلال لعب لعبة "ملء الفراغات". تخيل تدفقاً من الجسيمات (jet) كأنه مجموعة مبعثرة من الأشخاص في غرفة. في هذه الطريقة، يُعرض على الحاسوب الغرفة مع إخفاء عدة أشخاص خلف ستارة. وتتمثل مهمته في تخمين من هم هؤلاء الأشخاص المختبئون وماذا يفعلون، بناءً فقط على سلوك ومواقع الأشخاص الذين لا يزال بإمكانه رؤيتهم. ولجعل هذا ممكناً، كان على الباحثين حل مشكلتين رئيسيتين. أولاً، على عكس الكلمات في الجملة التي لها ترتيب ثابت، فإن الجسيمات في التدفق ليس لها تسلسل محدد؛ بل هي مجموعة فوضوية. ثانياً، خصائص هذه الجسيمات، مثل سرعتها واتجاهها، هي أرقام مستمرة وليست كلمات منفصلة من قاموس. لقد ابتكر الباحثون نظاماً يحول هذه الأرقام المستمرة إلى مجموعة من "الرموز" (tokens) المنفصلة، على غرار كيفية تقسيم الصورة الرقمية إلى بكسلات، مما يسمح للحاسوب بالتعامل مع الجسيمات كقاموس يمكنه تعلم التنبؤ به.
اختبر الباحثون هذا النهج باستخدام مجموعة بيانات ضخمة تحتوي على مائة مليون تدفق جسيمات محاكى، تمثل عشرة أنواع مختلفة من تصادمات الجسيمات. قاموا بتدريب نموذجهم على إخفاء جزء من الجسيمات في كل تدفق ثم التنبؤ بهوية الجسيمات المفقودة. وللقيام بذلك، استخدموا أداة متخصصة تترجم السمات المعقدة والمستمرة للجسيمات إلى رمز بسيط ومنفصل. تعلم النموذج فهم العلاقات بين الجسيمات المرئية لإعادة بناء الجسيمات المخفية. وأظهرت النتائج أن هذا النموذج "ذاتي التعلم" قد طور فهماً عميقاً وعاماً لفيزياء الجسيمات. وعندما اختبره الباحثون في مهام لم يسبق له رؤيتها، مثل تحديد أنواع معينة من التدفقات أو التمييز بين مصادر الجسيمات المختلفة، كان أداؤه ممتازاً بشكل ملحوظ. وقد كان فعالاً بشكل خاص عندما كانت كمية البيانات المصنفة المتاحة للمهمة الجديدة صغيرة. وفي هذه الحالات، تفوق النموذج الذي تم تدريبه مسبقاً على مجموعات البيانات الضخمة غير المصنفة بشكل كبير على النماذج التي تم تدريبها من الصفر، مما أثبت أن تمرين "ملء الفراغات" الأولي قد علمه مهارات مفيدة وقابلة للنقل.
كما استكشفت الدراسة مدى قدرة هذه المعرفة على الانتقال عبر أنواع مختلفة من البيانات. فقد درب الباحثون نموذجهم على مجموعة من البيانات المحاكات، ثم حاولوا تطبيقه على مجموعة بيانات مختلفة تم إنشاؤها بإعدادات محاكاة مختلفة، وهو ما يحاكي تحدي الانتقال من النظرية إلى التجارب الواقعية. تكيف النموذج المدرب مسبقاً بسرعة مع هذه البيئة الجديدة، محافظاً على أداء عالٍ حتى مع وجود القليل جداً من البيانات المصبة الجديدة. وهذا يشير إلى أن النموذج قد تعلم أنماطاً فيزيائية أساسية بدلاً من مجرد حفظ الخصائص الغريبة لمحاكاة معينة. علاوة على ذلك، أظهر الباحثون أن النموذج يمكن استخدامه في سيناريوهات "الإشراف الضعيف" (weakly supervised)، حيث تكون البيانات فوضوية والتصنيفات غير دقيقة. ومن خلال الاستفادة من المعرفة المكتسبة من التدريب الأولي، استطاع النموذج لا يزال التمييز بين الإشارة والضجيج الخلفي بدقة عالية، وهي قدرة حاسمة للتجارب الواقعية حيث نادراً ما توجد بيانات مثالية.
تشير النتائج إلى أن هذا النهج يقدم طريقة قوية جديدة لتحليل بيانات فيزياء الطاقات العالية. فمن خلال التعلم من كميات هائلة من البيانات غير المصنفة، يمكن لهذه النماذج تقليل الاعتماد على عمليات المحاكاة المكلفة والمثالية. وجد الباحثون أن قدرة النموذج على التعميم كانت أقوى عندما عاملوا الجسيمات كمجموعة غير مرتبة واستخدموا نوعاً معيناً من "خسارة التنبؤ" (prediction loss) الذي يركز على تصنيف هوية الجسيمات المفقودة بدلاً من مجرد تخمين قيمها العددية الدقيقة. كما اكتشفوا أن الترتيب الذي تُقدم به الجسيمات للنموذج كان مهماً فقط أثناء مرحلة التنبؤ، وليس أثناء مرحلة التعلم الأساسية، مما يحافظ على التماثل الطبيعي للبيانات. وبينما أُجري هذا العمل باستخدام بيانات محاكاة، يشير المؤلفون إلى أن هذه الطريقة يمكن تطبيقها في النهاية مباشرة على بيانات تجريبية حقيقية، مما يسمح للعلماء بالتعلم من المخرجات الخام لمصادمات الجسيمات دون الحاجة أولاً إلى ترجمتها إلى محاكاة. ويمثل هذا تحولاً كبيراً في كيفية معالجة بيانات الفيزياء، بالانتقال من التدريب المخصص لمهمة معينة إلى فهم أكثر قوة وعموماً للعالم دون الذري.
ملخص تقني: نمذجة الجسيمات المقنعة على المجموعات لنماذج التأسيس في فيزياء الطاقة العالية
بيان المشكلة
اعتمد تحليل بيانات فيزياء الطاقة العالية (HEP) تقليديًا على نماذج التعلم الخاضع للإشراف المدربة على مهام محددة ومجموعات بيانات محدودة التصنيف. وبينما أحدثت نماذج التأسيس (FMs) القائمة على التعلم الخاضع للإشراف الذاتي (SSL) ثورة في معالجة اللغات الطبيعية (NLP) والرؤية الحاسوبية (CV)، إلا أن تطبيقها في مجال فيزياء الطاقة العالية لا يزال في بداياته. يواجه مجتمع فيزياء الطاقة العالية تحديات فريدة في تكييف هذه النماذج:
بنية البيانات: تتكون بيانات فيزياء الطاقة العالية، وتحديدًا نفاثات الجسيمات (jets)، من مجموعات غير مرتبة من الجسيمات، على عكس الطبيعة التسلسلية للنصوص أو البنية الشبكية للصور.
استمرارية الميزات: ميزات الجسيمات (مثل الزخم، والاتجاه) هي ميزات مستمرة، على عكس المفردات المنفصلة المستخدمة في النماذج اللغوية.
ندرة التصنيفات وتحول النطاق: يتطلب التعلم الخاضع للإشراف غالبًا بيانات محاكاة مكثفة، والتي قد لا تطابق تمامًا البيانات التجريبية الحقيقية، مما يؤدي إلى شكوك حول تحول النطاق (domain shift). هناك حاجة لنماذج يمكنها تعلم تمثيلات عامة من كميات هائلة من البيانات غير المصنفة لتحسين أداء المهام اللاحقة باستخدام مجموعات بيانات أصغر مصنفة.
المنهجية: نمذجة الجسيمات المقنعة (MPM)
يقترح المؤلفون نمذجة الجسيمات المقنعة (MPM)، وهي مخطط للتدريب المسبق الخاضع للإشراف الذاتي متكيف مع المجموعات غير المرتبة من المدخلات المستمرة. تستلهم المنهجية فكرتها من نمذجة اللغة المقنعة (MLM) في معالجة اللغات الطبيعية (مثل BERT) ونمذلة الصور المقنعة (مثل BEiT).
الإطار الأساسي
تمثيل المدخلات: يتم التعامل مع النفاثة (jet) كمجموعة X={xi} من N من الجسيمات، حيث كل xi عبارة عن متجه من الميزات المستمرة.
استراتيجية القناع (Masking): يتم حجب مجموعة فرعية من الجسيمات في كل نفاثة واستبدالها بمتجه قابل للتعلم.
الترميز (التجزئة): للتعامل مع الميزات المستمرة وتمكين وظائف الخسارة القائمة على التصنيف، يستخدم المؤلفون مشفر تلقائي متباين التكميم (VQ-VAE).
يقوم مشفر VQ-VAE المدرب مسبقًا برسم خرائط لميزات الجسيمات المستمرة إلى أقرب متجه في كتاب رموز (codebook) محدود.
يعمل فهرس متجه كتاب الرموز كـ "رمز" (token) منفصل.
يسمح هذا للنموذج بالتنبؤ بـ هوية (فهرس الرمز) للجسيمات المقنعة بدلاً من استرجاع القيم المستمرة مباشرة.
بديل: تم استكشاف خوارزمية K-means أيضًا كطريقة ترميز أبسط وغير معتمدة على السياق.
بنية النموذج:
العمود الفقري (Backbone): يقوم مشفر المحولات (Transformer encoder) (المعتمد على Normformer) بمعالجة مجموعة الجسيمات.
الثبات تحت التبديل (Permutation Invariance): بما أن النفاثات هي مجموعات غير مرتبة، يجب أن يكون العمود الفقري ثابتًا تحت التبديل. ومع ذلك، فإن استخدام متجهات قناع متطابقة لجميع الجسيمات المقنعة يخلق تكرارًا حيث لا يستطيع النموذج التمييز بين المواضع المقنعة.
استراتيجية الترتيب: لكسر هذا التدهور دون انتهاك الثبات تحت التبديل للمهام اللاحقة، يقدم المؤلفون الترتيب فقط عند مدخل رأس التنبؤ المقنع. يتم ترتيب الجسيمات حسب الزخم المستعرض (pT) وتعيين تضمينات موضعية متعلمة فقط لخطوة التنبؤ. يظل العمود الفقري نفسه ثابتًا تحت التبديل.
هدف التدريب: يقلل النموذج من خسارة الإنتروبيا المتقاطعة (cross-entropy loss) للتنبؤ بهوية الرمز المنفصل للجسيمات المقنعة بناءً على السياق غير المقنع.
استراتيجيات الضبط الدقيق (Fine-Tuning)
يُقيم البحث ثلاثة نهج للضبط الدقيق للمهام اللاحقة (مثل تصنيف النفاثات):
العمود الفقري الثابت: يتم تجميد العمود الفقري المدرب مسبقًا؛ ويتم تدريب رأس تصنيف خطي فقط.
الضبط الدقيق: يتم تحديث كل من العمود الفقري ورأس التصنيف.
من الصفر: يتم تدريب نموذج بنفس البنية من تهيئة عشوائية على المهمة اللاحقة (الأساس الخاضع للإشراف).
المساهمات الرئيسية والنتائج التجريبية
1. تصميم الترميز والترتيب
كشفت التجارب على مجموعة بيانات JetClass (100 مليون نفاثة، 10 فئات) ما يلي:
الترتيب: حقق الترتيب عند رأس التنبؤ فقط (وليس في العمود الفقري) أعلى دقة (56.8%)، متفوقًا على الترتيب في مدخلات العمود الفقري أو عدم وجود ترتيب. هذا يكسر التماثل من أجل تنبؤ دقيق لكل جسيم مع الحفاظ على الثبات تحت التبديل للعمود الفقري.
التجزئة مقابل الاسترجاع: تفوق استخدام الرموز المنفصلة (عبر VQ-VAE) مع خسارة التصنيف بشكل كبير على الاسترجاع المباشر للميزات المستمرة. يميل الاسترجاع إلى تعلم متوسط التوزيع اللاحق، مما يفشل في التقاط التوزيعات متعددة الأنماط، بينما يتعلم التصنيف التوزيع اللاحق الكامل فوق الرموز.
VQ-VAE مقابل K-means: تفوقت رموز VQ-VAE على رموز K-means، ويرجع ذلك على الأرجًا إلى قدرة VQ-VAE على التقاط الميزات المعتمدة على السياق. ومع ذلك، وفرت K-means أداءً معقولًا مع سهولة أكبر في التدريب.
2. أداء المهام اللاحقة
التعلم في السياق (نفس الفئات): في مجموعة اختبار JetClass، تفوقت النماذج المدربة مسبقًا بشكل كبير على النماذج المدربة "من الصفر" عندما كانت البيانات المصنفة شحيحة (<10 آلاف نفاثة). ومع زيادة البيانات المصنفة، وصلت النماذج الخاضعة للإشراف إلى أداء النماذج التي تم ضبطها دقيقًا.
التعلم خارج السياق (فئات جديدة): تم تدريب النموذج مسبقًا على 6 فئات (Higgs و QCD) وضبطه دقيقًا على 4 فئات غير مرئية (Top, W, Z). تفوقت النماذج المدربة مسبقًا مرة أخرى على النماذج الخاضعة للإشراف مع البيانات المحدودة، مما يثبت أن التمثيلات المتعلمة عامة وقابلة للانتقال.
التعلم خارج النطاق (مجموعات بيانات جديدة): أظهر التدريب المسبق على JetClass والضبط الدقيق على RODEM (مجموعة بيانات مختلفة بمعلمات محاكاة كاشف وتجميع نفاثات مختلفة) كفاءة قوية في البيانات. حافظت النماذح المدربة مسبقًا على أداء عالٍ على مجموعة بيانات RODEM مع مجموعات بيانات مصنفة صغيرة، مما يشير إلى المتانة تجاه تحولات النطاق.
التصنيف ضعيف الإشراف: تم اختبار النموذج في مهمة باستخدام "تصنيفات ضوضائية" (خلط أحداث الإشارة والخلفية). حسنت الأعمدة الفقريّة المدربة مسبقًا بشكل كبير من دلالة فصل مجموعات بيانات الإشارة والخلفية النقية مقارنة بالنماذج المدربة من الصفر، حتى عند ضبط الرأس الخطي فقط.
الأهمية والادعاءات
يدعي البحث أن نمذجة الجسيمات المقنعة (MPM) هي استراتيجية قابلة للتطبيق وفعالة لبناء نماذج التأسيس في فيزياء الطاقة العالية. تكمن أهميتها الأساسية في:
تكييف SSL مع المجموعات: نجحت في تعميم استراتيجيات القناع من معالجة اللغات الطبيعية والرؤية الحاسبية إلى مجموعات غير مرتبة من البيانات المستمرة، معالجة بذلك التحديات الهيكلية المحددة لفيزياء الطاقة العالية.
كفاءة البيانات: يوفر "العمود الفقري" المدرب مسبقًا تهيئة قوية تسمح للنماذج بتحقيق أداء عالٍ في المهام اللاحقة باستخدام مجموعات بيانات أصغر بكثير من تلك المطلوبة للتدريب من الصفر.
القابلية للتعميم: التمثيلات المتعلمة ليست محدودة بالفئات أو مجموعات البيانات المحددة التي رأت التدريب المسبق. فهي تنتقل بفعالية إلى أنواع جسيمات جديدة ونطاقات بيانات جديدة (محاكات بمعلمات مختلفة).
المسار نحو التدريب المسبق على البيانات الحقيقية: يسلط المؤلفون الضوء على إمكانية التدريب المسبق مباشرة على البيانات التجريبية الحقيقية (التي تتوفر بكثرة) والضبط الدقيق باستخدام مجموعات البيانات المحاكات الأصغر. يمكن لهذا النهج أن يخفف من شكوك تحول النطاق الناجمة عن عمليات المحاكاة غير المثالية، وهي قضية حرجة في فيزياء الطاقة العالية.
يضع هذا العمل MPM كخطوة تأسيسية نحو التعلم الذاتي واسع النطاق في فيزياء الطاقة العالية، مشيرًا إلى أن توسيع نطاق بيانات التدريب المسبق وأحجام النماذج يمكن أن يتغلب بشكل أكبر على تحديات التكيف مع النطاق.