A universal vision transformer for fast calorimeter simulations

ملخص تقني: محول رؤية عالمي لمحاكاة المقياس الحراري السريع

بيان المشكلة
تنتج تجارب فيزياء الجسيمات، مثل ATLAS وCMS في مصادم الهادونات الكبير (LHC)، بيانات بمعدلات تصل إلى عدة جيجابايت في الثانية، مما يستلزم موارد حوسبة هائلة للمحاكاة. تُعد عمليات المحاكاة القائمة على المبادئ الأولية باستخدام Geant4 مكلفة حوسبياً وتشكل جزءاً كبيراً من ميزانية الحوسبة العالمية. وبينما يوفر التعلم الآلي التوليدي (ML) بديلاً أسرع لمحاكاة استجابة الكاشف، تواجه النهج الحالية قيوداً؛ وتحديداً، تفترض العديد من الشبكات التوليدية المتطورة هندسات منتظمة، مما يجعلها غير فعالة للهياكل غير المنتظمة أو ذات التدرج العالي التي تتطلب تجزئة مكعبة (voxelization) اصطناعية أو تؤدي إلى تكاليف حوسبة عالية. علاوة على ذلك، فإن تدريب الشبكات التوليدية من الصفر لكل تصميم كاشف جديد أو عملية تجزئة جديدة هو أمر باهظ التكلفة من حيث الحوسبة وغير فعال من حيث البيانات.

المنهجية
يقترح المؤلفون بنية محول رؤية (ViT) عالمية، تسمى CaloDREAM++، مبنية على مطابقة التدفق الشرطي (Conditional Flow Matching - CFM). يقوم هذا النهج بتفكيك توليد زخات المقياس الحراري (calorimeter showers) إلى شبكتين مستقلتين:

1. شبكة الطاقة (Energy Network): وهي شبكة تعتمد على المحولات (transformer) تتنبأ بنسب طاقة الطبقات ($u$) مشروطة بمعلومات الجسيم الساقط العالمية (الطاقة، الزوايا، ونوع الكاشف). وخلافاً لـ CaloDREAM الأصلية، تستخدم هذه الشبكة استراتيجية أخذ عينات متوازية عبر مشفر-مفكك (encoder-decoder) للمحول لتجنب التوليد التسلسلي التكراري (autoregressive)، مما يسرع عملية الاستدلال بشكل كبير.
2. شبكة الشكل (Shape Network): وهي محول رؤية ثلاثي الأبعاد (3D ViT) يقوم بتوليد توزيع الطاقة المعياري عبر الخلايا المكعبة ($x$) مشروطاً بالمتغيرات العالمية ونسب الطاقة ($u$).

الابتكارات الهيكلية الرئيسية:

• التعامل مع الهندسة غير المنتظمة: تم توسيع نطاق الـ ViT للتعامل مع هندسات الكاشف غير المنتظمة من خلال تعريف استراتيجية الرقع (patching). يتم تجميع الخلايا المكعبة في رقع ذات حجم إجمالي ثابت ($P_{tot}$)، مما يسمح للمحول بمعالجة هياكل شبكية متغيرة دون إجبارها على مساحات منتظمة.
• التضمينات الموضعية (Positional Embeddings): لاستيعاب التخطيطات غير المنتظمة، قدم المؤلفون تضميناً موضعياً جيبياً ثلاثي الأبعاد بترددات قابلة للتعلم تحترم هندسة الكاشف غير المتجانسة وأبعاد الرقع المتغيرة.
• العمود الفقري العالمي (Universal Backbone): تفصل البنية بين المكونات الخاصة بالكاشف (طبقات التضمين، الرؤوس النهائية) وبين كتلة ViT "عالمية". تتعلم الكتلة العالمية الميزات العامة لزخات المقياس الحراري (الندرة، الارتباطات المكانية، النطاق الديناميكي) والتي تكون قابلة للنقل عبر كواشف مختلفة.
• استراتيجية التعلم بنقل الخبرة (Transfer Learning): يطبق المؤلفون بروتوكول ضبط دقيق (fine-tuning) حيث يتم تدريب الشبكة مسبقاً على مجموعة بيانات ضخمة ومتعددة الكواشف (LEMURS)، ثم يتم ضبطها بدقة على مجموعات بيانات مستهدفة محددة. يتضمن ذلك إعادة تهيئة المكونات الخاصة بالكاشف فقط (طبقات التضمين، الرؤوس النهائية، والتضمينات الموضعية) مع الحفاظ على أوزان العمود الفقري العالمي المدرب مسبقاً.

مجموعات البيانات
تختبر الدراسة النموذج على عدة مجموعات بيانات:

• الهندسات المنتظمة: مجموعات بيانات CaloChallenge 2 و3 (الزخات الكهرومغناطيسية في مقاييس حرارية من السيليكون والتنغستن) ومجموعة بيانات LEMURS (مجموعة بيانات واسعة النطاق تغطي خمسة هياكل وكثافات كاشف مختلفة).
• الهندسات غير المنتظمة: مجموعة بيانات CaloChallenge 1 (الفوتونات والبيونات في هندسات غير منتظمة ومنخفضة الأبعاد) ومجموعة بيانات CaloHadronic (هندسة ديكارتية عالية التدرج مع مقاييس حرارية كهرومغناطيسية وهادرونية منفصلة).

النتائج

• الدقة (Fidelity): يولد نموذج CaloDREAM++ زخات كهرومغناطيسية وهادرونية بأقل قدر من الانحرافات عن Geant4. تشير مقاييس التقييم، بما في ذلك مسافة الفيزياء لفرشيه (FPD) ودرجات المساحة تحت المنحنى (AUC) للمصنف العصبي، إلى أن العينات المولدة غالباً ما تكون غير قابلة للتمييز عن الحقيقة الأرضية لـ Geant4 عبر كواشف وأنواع جسيمات متعددة.
• الأداء على الهندسات غير المنتظمة: تعامل النموذج بنجاح مع التجزئات المكعبة غير المنتظمة (مثل CaloChallenge ds1 وCaloHadronic) دون الحاجة إلى حشو اصطناعي، محافظاً على دقة عالية في كل من الملاحظات عالية المستوى (ملفات الطاقة، مراكز الزخات) والتوزيعات منخفضة المستوى.
• سرعة التوليد: يحقق النموذج أوقات توليد في نطاق $O(10-100)$ ميلي ثانية لكل زخفة على وحدة معالجة رسومات واحدة من نوع NVIDIA A100، مع أحجام دفعات تصل إلى 100.
• كفاءة التعلم بنقل الخبرة:
  • التقارب: تصل الشبكات التي يتم ضبطها بدقة إلى حالة التقارب بشكل أسرع بكثير من الشبكات المدربة من الصفر. على سبيل المثال، وصلت الشبكة المدربة مسبقاً على LEMURS والمضبوطة بدقة على CaloChallenge-ds2 إلى الأداء الأمثل في حوالي نصف دورات التدريب (400 ألف مقابل 800 ألف) المطلوبة للشبكة المدربة من الصفر.
  • كفاءة البيانات: أظهرت النماذج التي تم ضبطها بدقة قدرة فائقة على التعميم حتى عند تدريبها على مجموعات فرعية أصغر من مجموعة البيانات المستهدفة، متفوقة بذلك على النماذج المدربة من الصفر عند أحجام بيانات متساوية.
  • الدقة الفائقة (Super-resolution): تم تطبيق النهج بنجاح على مهمة الدقة الفائقة، حيث تم نقل المعرفة من مجموعة بيانات ذات دقة منخفضة (ds2) إلى أخرى ذات دقة أعلى (ds3).

الأهمية والادعاءات
يزعم البحث أن هذا العمل يمثل أول تطبيق للمحولات القائمة على الرقع (patch-based transformers) لمحاكاة المقياس الحراري السريع عبر نظام كاشف كامل يحتوي على مكونات كهرومغناطيسية وهادرونية. تكمن الأهمية الأساسية في إثبات أن بنية ViT عالمية واحدة يمكنها بفعالية نمذجة هندسات كاشف متنوعة (منتظمة وغير منتظمة) وأنواع جسيمات مختلفة.

يؤكد المؤلفون أن استراتيجية التعلم بنقل الخبرة المقترحة توفر حلاً عملياً للتكاليف الحوسبية العالية لتدريب النماز التوليدية لتكوينات الكاشف الجديدة. ومن خلال التدريب المسبق على مجموعة بيانات ضخمة ومتنوعة (LEMURS) ثم الضبط الدقيق لأهداف محددة، تقلل هذه الطريقة من الموارد والبيانات المطلوبة للتدريب مع الحفاظ على دقة الزخات المولدة أو تحسينها. ويفترض المؤلفون أن هذا النهج يمهد الطريق للنشر الأوسع للمحاكيات القائمة على المحولات في مجتمع الفيزياء عالية الطاقة، متجاوزاً قيود افتراضات الشبكة المنتظمة، مما يتيح محاكاة فعالة لتصاميم الكواشف المستقبلية المعقدة.