Generalizable Foundation Models for Calorimetry via Mixtures-of-Experts and Parameter Efficient Fine Tuning

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "نماذج التأسيس القابلة للتعميم لتقنيات قياس السعرات الحرارية عبر مزيج من الخبراء والضبط الدقيق الفعال للمعلمات."

1. بيان المشكلة

تواجه تجارب فيزياء الجسيمات الحديثة عقبة حرجة: وهي أن التكلفة الحسابية لمحاكاة مونت كارلو (MC) عالية الدقة (وتحديداً Geant4) المطلوبة لتصميم الكواشف والتحليل تقترب من حدود الموارد المتاحة. ومع زيادة السطوع، يتجاوز الطلب على بيانات المحاكاة قدرات الحوسبة.

• التحدي: تفتقر بدائل التعلم العميق التقليدية (مثل GANs وVAEs ونماذج الانتشار) غالباً إلى القابلية للتوسع والمرونة. فهي تتطلب عادةً إعادة تدريب أو نماذج منفصلة لكل مادة كاشف جديدة أو نوع جسيم جديد.
• المخاطرة: يؤدي "الضبط الدقيق الكامل" (Full fine-tuning) للنموذج المدرب مسبقاً على بيانات جديدة إلى النسيان الكارثي (Catastrophic forgetting)، حيث يفقد النموذج قدرته على محاكة التكوينات الأصلية بدقة (على سبيل المثال، النموذج الذي تم ضبطه بدقة للفوتونات قد يتدهور أداؤه في محاكاة الإلكترونات).
• الهدف: تطوير نموذج تأسيسي (Foundation Model) لقياس السعرات الحرارية يتميز بـ:
  1. القابلية للتعميم: القدرة على التعامل مع مواد متعددة وأنواع جسيمات مختلفة ضمن بنية واحدة.
  2. النمطية (Modularity): السماح بإضافة قدرات جديدة (مواد/جسيمات جديدة) دون الحاجة لإعادة تدريب النموذج بأكمله.
  3. الكفاءة: أن يكون منافساً حسابياً لطرق المحاكاة السريعة الموجودة مع الحفاظ على دقة عالية.

2. المنهجية

يقترح المؤلفون بنية "محول التنبؤ بالرمز التالي" (Next-Token Transformer) مستوحاة من النماذج اللغوية الكبيرة (LLMs)، والمكيفة لمحاكاة الفيزياء. يكمن الابتكار الجوهري في الجمع بين مزيج الخبراء (Mixture-of-Experts - MoE) والضبط الدقيق الفعال للمعلمات (Parameter-Efficient Fine-Tuning - PEFT).

أ. تمثيل البيانات والترميز (Tokenization)

• المدخلات: يتم تحويل الزخات الكهرومغناطيسية (Electromagnetic showers) إلى شبكة مكعبة (Voxelized) بأبعاد $30 \times 30 \times 30$.
• الترميز:
  • المكاني: يُعامل كل إحداثي خلية $(x, y, z)$ كرمز (Token) منفصل (حجم المفردات $\approx 27k$).
  • الطاقة: تُحول قيم الطاقة المستمرة إلى رموز عبر تقسيم خطي (Linear binning) (حجم المفردات $\approx 25k$).
  • التسلسل: يتم توليد الزخات تسلسلياً، مرتبة حسب مقدار الطاقة (تنازلياً)، بتوجيه من طاقة الجسيم الأولية.
• الاشتراط (Conditioning): يتم اشتراط النموذج على طاقة الجسيم الأولية ومعرّف فريد للجسيم (Particle ID).

ب. بنية النموذج

تتكون البنية من عمود فقري مدرب مسبقاً ومجمد (Frozen Pre-trained Backbone) (محول ثنائي التسلسل مع كتل الانتباه المتقاطع والذاتي) وطبقات تكييف نمطية:

1. تضمينات الموضع الدوارة (Rotary Positional Embeddings - RoPE): تُستخدم بدلاً من تضمينات الموضع المتعلمة للتعامل مع أطوال التسلسل المتغيرة والاعتمادات الموضعية النسبية بكفاءة.
2. مزيج الخبراء (MoE) للمواد:
   • يقوم الموجه (Router) بتوجيه المدخلات إلى وحدات "خبراء" محددة بناءً على المادة (مثل التنغستن، التانتالوم، الرصاص).
   • الاستراتيجية: يظل العمود الفقري مجمداً. وتتم إضافة مواد جديدة عن طريق إدخال خبير جديد واحد وضبط هذا الخبير فقط. هذا يمنع التداخل مع توزيعات المواد التي تم تعلمها مسبقاً.
3. الضبط الدقيق الفعال للمعلمات (PEFT) للجسيمات:
   • يتطلب التكيف مع أنواع جسيمات جديدة (مثل الانتقال من الفوتونات إلى الإلكترونات) ما هو أكثر من مجرد تعديل المادة، لأن ديناميكيات التفاعل تتغير جذرياً.
   • LoRA (التكيف منخفض الرتبة): يُطبق على إسقاطات الاستعلام (Query)، والمفتاح (Key)، والقيمة (Value)، والمخرجات (Output) داخل كتل الانتباه لتعديل العلاقات الهيكلية بين الرموز.
   • المفردات النمطية: يتم إنشاء رؤوس مخرجات منفصلة (إسقاطات المفردات) لكل نوع من أنواع الجسيمات للتعامل مع فضاءات الاحتمالات الخاصة بكل جسيم دون الحاجة لتصحيحات عالية الرتبة لمصفوفة مشتركة.

ج. استراتيجية التدريب

• التدريب المسبق: يتم تدريب العمود الفقري على الفوتونات في مادة التنغستن (W) والتانتالوم (Ta).
• التكيف (مادة جديدة): تجميد العمود الفقري وLoRA؛ إضافة وتدريب خبير واحد جديد.
• التكيف (جسيم جديد): تجميد العمود الفقري؛ تدريب وحدات LoRA ورؤوس المفردات الجديدة؛ إضافة خبراء مواد جدد حسب الحاجة.

3. المساهمات الرئيسية

1. نموذج تأسيسي قابل للتعميم: نجح في بناء نموذج واحد قادر على توليد زخات عالية الدقة لمواد متعددة (W, Ta, Pb) وأنواع جسيمات (فوتونات، إلكترونات) باستخدام إطار عمل موحد للتنبؤ بالرمز التالي.
2. التكيف النمطي دون نسيان: أثبت أن إضافة مواد جديدة عبر MoE وجسيمات جديدة عبر LoRA + المفردات النمطية يسمح بدمج المعرفة بشكل تراكمي. تظل معلمات النموذج الأساسي مجمدة، مما يلغي النسيان الكارثي.
3. كفاءة البيانات: أظهر أن النموذج يمكن ضبطه بدقة لمواد جديدة (الرصاص) باستخدام مجموعات بيانات صغيرة جداً (كما قلي من 1,000 عينة) مع الحفاظ على دقة عالية، وهو أمر بالغ الأهمية في السيناريوهات التي تكون فيها عملية توليد مجموعات بيانات MC كبيرة مكلفة.
4. التحسين الحسابي: أثبت أن نماذج محول التنبؤ بالرمز التالي يمكن أن تكون منافسة حسابياً لطرق التوليد القياسية (مثل Normalizing Flows) من خلال تطبيق تحسينات الاستدلال الخاصة بالنماذج اللغوية الكبيرة (مثل KV-caching، وتخصيص الذاكرة مسبقاً، ورسومات CUDA).

4. النتائج

• الدقة (Fidelity): يحقق النموذج توافقاً على مستوى التوزيع مع حقيقة Geant4 الأرضية فيما يتعلق بطاقة الخلايا المرئية، ومجموع الطاقة الكلي، وتعدد الضربات (Hit multiplicity)، والملفات التعريفية المكانية للزخات (المركز الطولي، الملف التعريفي الشعاعي).
• نقل المادة (Material Transfer):
  • تعلم النموذج التنغستن والتانتالوم في وقت واحد أثناء التدريب المسبق.
  • أدى الضبط الدقيق للرصاص (Pb) باستخدام 1k–10k عينة فقط إلى نتائج مماثلة للنماذج المدربة على مجموعات بيانات كاملة، دون أي تدهور في أداء التنغستن/التانتالوم.
• نقل الجسيمات (Particle Transfer):
  • تطلب التكيف من الفوتونات إلى الإلكترونات حوالي 50 ألف عينة لتحقيق دقة عالية.
  • التقط النموذج التحول الفيزيائي حيث تظهر الإلكترونات فوراً (على عكس الفوتونات التي تتطلب تحولاً)، رغم الحاجة إلى معايرة بسيطة لاحقة للملفات التعريفية الطولية في المواد الجديدة بسبب القيود منخفضة الرتبة.
• سرعة الاستدلال:
  • Geant4: حوالي 4100 مللي ثانية (CPU).
    ما يلي: (المحول المحسن الخاص بنا): حوالي 10.46 مللي ثانية (Nvidia A100 GPU).
  • التسريع: النموذج أسرع بـ ~392 مرة من Geant4 ومنافس لطرق المحاكاة السريعة الأخرى (مثل CaloClouds II و L2LFlows).

5. الأهمية

يؤسس هذا العمل لـ بنى محولات التنبؤ بالرمز التالي كمسار قابل للتطبيق لـ نماذج التأسيس المدركة للفيزياء (Physics-Aware Foundation Models).

• سير عمل تصميم الكواشف: يتيح الانتقال من عمليات محاكاة Geant4 المتكررة والمستهلكة للمعالج (CPU) إلى سير عمل قابل للتوسع، حيث يتم تكييف عمود فقري مدرب مسبقاً تدريجياً مع تكوينات الكواشف الجديدة (المواد، الهندسة) وأنواع الجسيمات باستخدام موارد GPU محدودة.
• الاستدامة: من خلال تقليل التكلفة الحسابية للمحاكاة بعدة مراتب، يعالج هذا العمل أزمة الموارد الوشيكة في فيزياء الطاقة العالية.
• القابلية للتوسع: يضمن التصميم النمطي أنه مع توفر مجموعات بيانات جديدة، يمكن للنموذج توسيع قاعدة معرفته بشكل تراكمي دون خطر تدهور الفيزياء التي تعلمها سابقاً، وهو مطلب حيوي لتطوير وتشغيل الكواشف على المدى الطويل.

باختة القول، تجسر هذه الورقة الفجوة بين مرونة النماذج اللغوية الكبيرة والمتطلبات الصارمة لمحاكاة فيزياء الجسيمات، مقدمة إطار عمل قوياً، فعالاً، وقابلاً للتوسع لمستقبل تجارب فيزياء الطاقة العالية.