Similarity Pairing with Energy Mover's Distance for Self-Supervised Pre-Training at the LHC
تقدم هذه الورقة طريقة للتدريب المسبق ذاتي الإشراف، تعتمد على البيانات وخالية من التعزيز، لمصادم الهادرونات الكبير، تقوم بربط الأحداث المتميزة بناءً على تشابه مسافة مُحرك الطاقة (Energy Mover's Distance) لتعلم تمثيلات ثابتة، محققةً أداءً في المهام اللاحقة يضاهي أو يتفوق على النماذج المرجعية التقليدية القائمة على التعزيز مع الحفاظ على دقة الأحداث.
في قلب أوروبا، يصدم مصادم الهادرات الكبير البروتونات ببعضها البعض بسرعة تقترب من سرعة الضوء، مما يخلق زخات فوضوية من الجسيمات الجديدة التي يجب على الفيزيائيين فرزها لفهم القوانين الأساسية للطبيعة. ولإضفاء معنى على هذا الطوفان من البيانات، يعتمد الباحثون على نماذج حاسوبية قوية، تُسمى غالباً النماذج التأسيسية، والتي يتم تدريبها للتعرف على الأنماط والتمييز بين الأنواع المختلفة من تصادمات الجسيمات. ويتمثل أحد التحديات الرئيسية في تعليم هذه النماذج في ضرورة تعلم ما يظل ثابتاً عندما يُنظر إلى تصادم جسيم من زوايا مختلفة قليلاً أو مع اختلافات طفيفة في كيفية تسجيل الكاشف له. تقليدياً، حاول العلماء تعليم ذلك عن طريق تشويه البيانات اصطناعياً، عبر إنشاء نسخ معدلة قليلاً من كل حدث لإظهار أن الفيزياء الكامنة تظل دون تغيير رغم الضجيج. ومع ذلك، في عالم فيزياء الجسيمات عالي المخاطر، تعد هذه التشويهات الاصطناعية محفوفة بالمخاطر؛ فإذا قام محاكاة حاسوبية بتغيير مسار جسيم بطريقة تنتهك قوانين الفيزياء، فإن النموذج سيتعلم دروساً خاطئة، ويصبح غير موثوق به عند مواجهة بيانات حقيقية.
اقترح فريق من الباحثين في جامعة بنسلفانيا طريقة مختلفة لتعليم هذه النماذج، طريقة تتجنب التغييرات الاصطناعية تماماً. فبدلاً من اختراع تنويعات مزيفة لتصادم جسيم، يقومون ببساطة بالبحث عن تصادمين حقيقيين متميزين يحدث صدفة ليبدوا متشابهين جداً مع بعضهما البعض. إنهم يستخدمون أداة رياضية تسمى "مسافة ناقل الطاقة"، والتي تحسب بدقة مقدار العمل الذي يتطلبه إعادة ترتيب الطاقة في تصادم واحد ليتطابق مع تخطيط تصادم آخر. وإذا كان العمل المطلوب صغيراً، يُعتبر الحدثان جارين قريبين في عالم الفيزياء. ومن خلال الربط بين هذه الأحداث المتشابهة طبيعياً، يمكن للباحثين تدريب نموذجهم على التعرف على أن هذين الحدثين الحقيقيين المختلفين يتشاركان في نفس الهوية الجوهرية، دون الحاجة أبداً إلى كسر أو ثني القوانين الفيزيائية التي تحكم البيانات.
اختبر الباحثون هذه الفكرة باستخدام مجموعة بيانات ضخمة من نفاثات الجسيمات المحاكات، وهي رشاشات من الجسيمات تنشأ عندما تتحرر الكواركات أو الغلوونات أثناء التصادم. وقد ركزوا على نوعين شائعين من النفاثات، يُعرفان بنفاثات الكواركات الخفيفة ونفاثات الغلوونات، واستخدموا طريقة الربط الجديدة هذه لتدريب نموذج حاسوبي. وبدلاً من أخذ نفاثة واحدة وتحويلها إلى نسخة مزيفة، أخذ النظام نفاثتين منفصلتين كانتا قريبتين طبيعياً في ترتيب طاقتهما، وسأل النموذج أن يعاملهما كما لو كانا شيئاً واحداً. تعلم النموذج تجاهل الاختلافات العشوائية الصغيرة بين هذه الأحداث الحقيقية والتركيز على البنية العميقة التي تحدد ماهيتها. وعندما تحقق الباحثون من النتائج، وجدوا أن النموذج قد طور خريطة ذهنية واضحة حيث تتجمع أنواع النفاثات المختلفة معاً بشكل منظم، حتى بالنسبة لأنواع النفاثات التي لم يرها أبداً أثناء التدريب.
ولمعرفة ما إذا كانت هذه الطريقة الجديدة تعمل بالفعل للمشكلات الواقعية، طلب الفريق من النموذج أن يعمل كمحقق، يبحث عن جسيمات نادرة وغير عادية مختبئة وسط الضجيج الخلفي الشائع. وهذه مهمة حرجة في المصادم، حيث إن العثور على جسيم جديد غالباً ما يعني رصد حدث غريب واحد وسط ملايين الأحداث العادية. وقد أثبت النموذج المدرب بطريقة الرباد الطبيعي أنه لا يقل جودة عن النماذج المدربة بالطريقة التقليدية للتشويه الاصطناعي، بل كان في بعض الحالات أفضل قليلاً، في رصد هذه الإشارات النادرة. وأظهرت النتائج أنه من خلال الاعتماد على التشابهات الطبيعية الموجودة في البيانات الحقيقية بدلاً من الحيل المصنوعة يدوياً، تعلم النموذج فهماً أكثر قوة ودقة لفيزياء الجسيمات. ويشير هذا النهج إلى أن مستقبل تدريب هذه الأدوات القوية قد يكمن ليس في ابتكار بيانات جديدة، بل في إيجاد الروابط الخفية الموجودة بالفعل داخل الكميات الهائلة من البيانات الحقيقية التي جمعناها.
ملخص تقني: اقتران التشابه باستخدام مسافة ناقل الطاقة للتدريب المسبق ذاتي الإشراف في مصادم الهادرونات الكبير (LHC)
بيان المشكلة أصبح التعلم ذاتي الإشراف (SSL) حجر الزاوية لتدريب النماذج التأسيسية في فيزياء الطاقات العالية (HEP)، لا سيما لبيانات مصادم الهادرونات الكبير (LHC). تعتمد سير العمل القياسية للتعلم ذاتي الإشراف على "تعزيزات البيانات" (data augmentations) لإنشاء رؤى متعددة للحدث الواحد، مما يشجع النموذج على تعلم الثبات تجاه تشوهات أو تماثلات محددة. ومع ذلك، في فيزياء الطاقات العالية، وعلى عكس الرؤية الحاسوبية، يواجه تطبيق التعزيزات العشوائية قيوداً تفرضها القوانين الفيزيائية الصارمة وقيود الكواشف. فالتدخل اليدوي في التعزيزات قد يؤدي إلى كسر التماثلات الفيزيائية أو انتهاك دقة الحدث، كما أن توليد متغيرات إضافية من الأحداث المحاكات عملية مكلفة حاسوبياً. وبناءً على ذلك، هناك تحدٍ كبير في اختيار مجموعة قوية من التعزيزات التي تحافظ على الفيزياء الأساسية مع توفير التباين الكافي للتعلم.
المنهجية يقترح المؤلفون بديلاً يعتمد على البيانات للتعزيزات المصممة يدوياً: الاقتران بالتشابه عبر مسافة ناقل الطاقة (EMD). بدلاً من تشويه حدث واحد لإنشاء رؤى معززة، تقوم هذه الطريقة باقتران حدثين مختلفين من تصادمات حقيقية يتشابهان هندسياً من حيث توزيعات الطاقة.
اقتران EMD: تقيس مسافة ناقل الطاقة (EMD)، وهي مقياس للنقل الأمثل، "العمل" المطلوب لتحويل توزيع الطاقة من حدث إلى آخر. يشير وجود قيمة EMD صغيرة إلى أن حدثين متميزين متشابهان هندسياً، مما يمثل فعلياً "نفس الحدث مع مراعاة التقلبات". ومن خلال اقتران الأحداث ذات قيم EMD المنخفضة، يتعلم النموذج الثبات تجاه التقلبات الفيزيائية الحقيقية دون تغيير المحتوى الفيزيائي للأحداث أو إدخال تشوهات اصطناعية.
إطار التدريب المسبق: يدمج المؤلفون استراتيجية الاقتران هذه في إطار عمل jBOT، وهو طريقة للتقطير الذاتي تعتمد على بنية iBOT. في هذا الإعداد:
يتم اقتران نفاثتين (jets) مختلفتين بناءً على تشابه EMD بينهما.
يُستخدم بنية مشفر (encoder) معلم-طالب (teacher-student). يقوم "الطالب" بمعالجة النسخ المقنعة (masked versions) من النفاثات، بينما يعالج "المعلم" النفاثات الكاملة.
الهدف هو تقليل "الاعتلاج المتقاطع" (cross-entropy) بين توزيعات مخرجات المعلم والطالب على مستويي الجسيمات والنفاثة.
يحل هذا الاقتران محل خطوة التعزيز، مما يجعل الطريقة مستقلة عن خوارزمية SSL المحددة طالما أنها تتطلب أزواجاً من الرؤى.
الإعداد التجريبي تم تقييم الطريقة باستخدام مجموعة بيانات JetNet، التي تحتوي على نفاثات ناتجة عن تصادمات بروتون-بروتون عند طاقة 13 تريليون إلكترون فولت (TeV). تتضمن مجموعة البيانات خمس فئات: الكواركات الخفيفة (q)، الغلوونات (g)، بوزونات W، بوزونات Z، والكواركات القمة (t).
التدريب المسبق: تم تدريب النموذج مسبقاً حصرياً على نفاثات QCD (الكواركات q والغلوونات g) باستخدام مشفر Transformer.
مخططات الاقتران: تم استكشاف ثلاثة أنماط للاقتران:
نفس الفئة (Same-class): اقتران q مع q، و g مع g.
فئات مختلفة (Different-class): اقتران q مع g، والعكس صحيح. 3. عشوائي (Random): لا توجد قيود على الفئة، والاقتران يعتمد فقط على تشابه EMD.
المهمة اللاحقة: تم اختبار التضمينات (embeddings) المدربة مسبقاً لاكتشاف الشذوذ (anomaly detection) (تحديد نفاثات W و Z و t مقابل خلفية QCD) دون ضبط دقيق (fine-tuning)، باستخدام خوارزمية أقرب جار k (kNN)، وتشابه جيب التمام (cosine similarity)، ومسافة ماهالانوبيس (Mahalanobis distance).
النتائج الرئيسية
بنية التضمين: كشفت تصورات t-SNE أن طريقة اقتران EMD تنتج تضمينات ذات هياكل تكتل واضحة. والجدير بالذكر أن النموذج نجح في فصل فئات النفاثات التي لم تُستخدم أثناء التدريب المسبق (W و Z و t)، مما يدل على أن التمثيلات المتعلمة تلتقط الدلالات عالية المستوى. شكلت نفاثات QCD (q و g) تكتلات أكثر كثافة وتمركزاً مقارنة بالنهج المرجعي القائم على التعزيز.
أداء اكتشاف الشذوذ:
من بين مخططات الاقتران، حقق نمط الاقتران العشوائي (الخالي من قيود الفئة) أعلى أداء (Combined Signal AUC: 0.8188±0.0076)، وكان متوافقاً إحصائياً مع نمط "نفس الفئة" (0.8142±0.0090). يشير هذا إلى أن إزالة قيود الفئة يوسع نطاق تعلم الثبات.
المقارنة بالمرجع: عند مقارنتها بمرجع jBOT القائم على التعزيز، حققت طريقة اقتران EMD أداءً مماثلاً أو متفوقاً. وتحديداً، باستخدام درجة تشابه جيب التمام، حقق نموذج اقتران EMD مساحة تحت المنحنى (AUC) أعلى للإشارة المشتركة ($0.8309مقابل0.8269)،وللفئةالإشاريةW،بينماأظهرتفئتاZوt$ أداءً مماثلاً أو أقل قليلاً اعتماداً على المقياس المستخدم.
الأهمية والادعاءات يزعم البحث أن الاقتران بالتشابه عبر EMD يعد بديلاً فعالاً يعتمد على البيانات للتعزيزات المصممة يدوياً في التدريب المسبق ذاتي الإشراف لفيزياء الطاقات العالية. تكمن الأهمية الأساسية في القدرة على:
الحفاظ على الفيزياء: الحفاظ على سلامة القوانين الفيزيائية وقيود الكواشف من خلال تجنب التشوهات الاصطناعية.
تقليل التكلفة الحسابية: إلغاء الحاجة إلى توليد متغيرات إضافية من الأحداث المحاكات.
تحسين التمثيل: توليد تضمينات نفاثات دلالية غير حساسة للتقلبات بين الأحداث المتشابهة فيزيائياً، مما يؤدي إلى قدرة تمييز في المهام اللاحقة تضاهي أو تتجاوز الطرق التقليدية القائمة على التعزيز.
خلص المؤلفون إلى أن هذه التقنية صالحة لتدريب النماذج التأسيسية، واقترحوا تطبيقات مستقبلية لأنواع أخرى من البيانات، مثل بيانات الكواشف القائمة على الصور، رغم أنهم لم يستفيضوا في تفاصيل التنفيذ بخلاف هذا النطاق.