Cross-Domain Transfer with Particle Physics Foundation Models: From Jets to Neutrino Interactions

إليك ملخص تقني مفصل لورقة البحث بعنوان: "النقل عبر النطاقات مع نماذج الفيزياء الجسيمية التأسيسية: من النفاثات إلى تفاعلات النيوترينو."

1. بيان المشكلة

تتناول الورقة تحدي تطبيق تعلم الآلة (ML) على تجارب تشتت النيوترينو مع النواة في نطاق بضعة جيجا إلكترون فولت (تحديداً تجربة MINERvA في مختبر فيرميلاب). تواجه هذه التجارب عدم يقين كبير في إعادة بناء طاقة النيوترينو وتحديد أنواع التفاعلات بسبب التأثيرات النووية المعقدة وانخفاض تعدد الجسيمات ($O(1-10)$ جسم لكل حدث).

تقليدياً، يتم تدريب نماذج تعلم الآلة لهذه المهام من الصفر على مجموعات بيانات محددة، مما يتطلب كميات هائلة من بيانات المحاكاة المصنفة وموارد حوسبة كبيرة. يبحث المؤلفون فيما إذا كان يمكن نقل النماذج التأسيسية (Foundation Models) — وهي نماذج واسعة النطاق مدربة مسبقاً على بيانات مصادمات متنوعة وعالية الطاقة — بفعالية إلى هذا الفجوة في النطاق "متوسط المسافة". يتضمن التحدي المحدد سد الفجوة بين:

• النطاق المصدر: نفاثات المصادمات عالية الطاقة ($TeV$) (مثل تصادمات $pp$و$ep$) ذات التعددية العالية ($O(10^2)$جسيم)، وكواشف شاملة بزاوية$4\pi$، وهيمنة تفتت الكروموديناميكا الكمية (QCD).
• النطاق المستهدف: تفاعلات النيوترينو ذات الهدف الثابت وطاقة منخفضة ($few-GeV$) ذات التعددية المنخفضة، وهندسة كاشف غير متماثلة، وفيزياء نووية معقدة (تشتت مرن، رنين، وتشتت عميق غير مرن، وتأثيرات نووية).

2. المنهجية

أ. مجموعة البيانات والمعالجة المسبقة

• مصدر البيانات: أحداث MINERvA المحاكات لتيار القرن الأمامي متوسط الطاقة (FHC) من قوائم مونت كارلو القياسية (1A و 1B)، والتي تغطي أهدافاً نووية مختلفة (الهيليوم، الماء، الكربون، الحديد، الرصاص).
• تمثيل الحدث: يتم تحويل الأحداث إلى مجموعات متغيرة الطول من الرموز (tokens) (الأجسام المعاد بناؤها).
  • الرموز: تشمل الميونات، الفوتونات، المسارات (الاندفاعات الطاقية الموجهة)، والكتل (الترسبات الكالوريمترية غير الموجهة).
  • الميزات: يتضمن كل رمز متغيرات حركية ($\eta, \phi, \log p_T, \log E$) معرفة بالنسبة لمحور شعاع النيوترينو، ومعرف نوع الجسيم، و5 ميزات مستمرة إضافية.
  • الميزات العالمية: 15 ميزة على مستوى الحدث تلخص إجمالي الطاقة، الارتداد، وأعلام إعادة البناء المحددة.
• المهام:
  1. الانحدار (Regression): التنبؤ بـ الطاقة الهادرونية المتاحة ($E_{available}$)، المعرفة كمجموع الطاقات الحركية للبروتونات والطاقات الكاملة للفوتونات، البيونات، الإلكترونات، والكاونات.
  2. التصنيف الثنائي: ثلاث مهام متميزة لتحديد حالات الحالة النهائية للتيار المشحون (CC) المحددة:
     • $CC1\pi^\pm$: بيون مشحون واحد بالضبط.
     • $CCN\pi^\pm$: عدد $N \ge 1$ من البيونات المشحونة.
     • $CC1\pi^0$: بيون متعادل واحد بالضبط (بدون بيونات مشحونة).

ب. النماذج التي تم تقييمها

يقارن المؤلفون بين عدة بنيات لعزل تأثير التدريب المسبق:

1. MLP (النموذج المرجعي): طبقة إدراك متعدد الطبقات خفيفة الوزن (284 ألف بارامتر) تستخدم فقط الميزات العالمية للحدث (بديل لإعادة البناء الكلاسيكية).
2. Transformer (من الصفر): محولات رؤية (Vision Transformer) من نمط ViT مدربة من الصفر بمقاييس صغير جداً (800 ألف بارامتر) و صغير (3 ملايين بارامتر).
3. OmniLearned (النموذج التأسيسي): نموذج "Particle Encoder Transformer v2" (PET2) المدرب مسبقاً على بيانات نفاثات المصادمات المتنوعة.
   • OmniLearned-small (3 ملايين بارامتر): تم ضبطه بدقة من نسخة مدربة مسبقاً.
   • OmniLearned-small-rw (3 ملايين بارامتر): نسخة ذات تهيئة عشوائية لنفس البنية للتحكم في الاختلافات البنيوية.
   • OmniLearned-medium (53 مليون بارامتر): هيكل مدرب مسبقاً مجمد؛ حيث يتم تدريب الرؤوس الخاصة بالمهمة فقط بسبب قيود الحوسبة.

C. استراتيجية التدريب

• المحسن (Optimizer): Adam مع معدل تعلم $10^{-4}$ وحجم دفعة 2048.
• دوال الخسارة:
  • الانحدار: خسارة Smooth L1 على $\log(1 + E_{available})$.
  • التصنيف: الإنتروبيا المتقاطعة (Cross-entropy) مع أوزان الفئات للتعامل مع عدم التوازن.
• التقييم: يتم تقييم النماذج على مجموعات التحقق كل 1000 خطوة. يتم قياس الأداء مقابل العمليات العائمة في الثانية (FLOPs) وخطوات التدريب لتقييم الكفاءة.

3. المساهمات الرئيسية

1. إثبات "النقل المتوسط": تقدم الورقة أول دليل على أن النماذج التأسيسية للجسيمات المدربة على نفاثات المصادمات عالية الطاقة يمكن أن تنتقل بنجاح إلى تفاعلات النيوترينو منخفضة الطاقة، رغم الاختلافات الشاسعة في مقياس الطاقة، تكنولوجيا الكواشف، والفيزياء الأساسية (تفتت QCD مقابل التشتت النووي).
2. اكتشاف الانحياز الاستقرائي: يجادل المؤلفون بأن التدريب المسبق يغرس انحيازات هندسية وحركية (تحديداً، الانتباه إلى المواقع النسبية والطاقات للسحب النقطية المتفرقة) وهي عالمية عبر نطاقات فيزياء الجسيمات.
3. معايرة الكفاءة: تثبت الدراسة أن النماذج المدربة مسبقاً تحقق أداءً فائقاً بعدد أقل من خطوات التدريب وميزانيات حوسبة أقل مقارنة بالنماذج المدربة من الصفر أو النماذج المرجعية الكلاسيكية.
4. العلم المفتوح: يستفيد العمل من مبادرة البيانات المفتوحة لـ MINERvA، مما يجعل الكود والبيانات متاحة للجمهور لتسهيل أبحاث الاستدلال المستقل عن الكاشف.

4. النتائج

أ. الكفاءة الحوسبية

• كفاءة العمليات (FLOP Efficiency): تحقق نماذج OmniLearned المدربة مسبقاً (تحديداً OmniLearned-small) خسارة تحقق أقل في مرحلة التحقق عند نفس ميزانية FLOP التراكمية مقارنة بالنماذج ذات الحجم المماثل المدربة من الصفر (Transformer-small) والنسخة ذات التهيئة العشوائية (OmniLearned-small-rw).
• كفاءة الخطوات: تصل النماذج المدربة مسبقاً إلى حالة التقارب بشكل أسرع، حيث تصل إلى مستوى أداء Transformer-small في حوالي 45% خطوات أقل للتصنيف و 50% خطوات أقل للانحدار.

ب. أداء التصنيف

• الإجمالي: تتفوق النماذج المدربة مسبقاً باستمرار على النماذج المرجعية في جميع مهام التصنيف الثلاث ($CC1\pi^\pm$, $CCN\pi^\pm$, $CC1\pi^0$).
• الاعتماد الحركي: يكون مكسب الأداء أكثر وضوحاً في الأنظمة منخفضة الطاقة و منخفضة التعددية (مثلاً، طاقة البيون المنخفضة لـ $CC1\pi^\pm$ والكتلة الابتدائية المنخفضة $W$ لـ $CCN\pi^\pm$). يشير هذا إلى أن التمثيلات المدربة مسبقاً فعالة بشكل خاص في استخراج المعلومات من الحالات النهائية المتفرقة والصعبة إعادة بنائها.
• القيود: في مهمة تعدد البيونات ($CCN\pi^\pm$) عند الكتلة الابتدائية العالية ($W$)، تتراجع جميع النماذج (بما في ذلك المدربة مسبقاً) مقارنة بالنموذج المرجعي القائم على القطع (cut-based baseline)، مما يشير إلى الحاجة لمزيد من الاستقصاء في أنظمة التعددية العالية.

ج. أداء الانحدار

• دقة الطاقة: توفر النماذج المدربة مسبقاً نطاقاً ربعياً (IQR) أضيق في توزيع البواقي لـ طاقة الهادرونات المتاحة عبر جميع فئات انتقال الزخم ($q_3$)، مما يشير إلى دقة أكبر في إعادة بناء الطاقة.
• الانحياز: بينما تتحسن الدقة، لا يزال هناك انحياز نظامي طفيف (المنوال يقل قليلاً عن الواحد الصحيح) عند قيم $q_3$ العالية، وهو ما قد يُحل باستخدام دوال خسارة انحدار مختلفة.
• شكل التوزيع: تنتج النماذج المدربة مسبقةً توزيعات بواقي أكثر تماثلاً، خاصة في أدنى فئة $q_3$ حيث تكون التأثيرات النووية في أقوى حالاتها.

5. الأهمية والآفاق المستقبلية

• الاستدلال المستقل عن الكاشف: تشير النتائج إلى نموذج يمكن فيه تكييف نموذج تأسيسي واحد مع تجارب جديدة (مثل DUNE أو Hyper-Kamiokande) بأقل قدر من إعادة التدريب، مما يقلل الحاجة إلى عمليات محاكاة مكثفة وبيانات مصنفة أثناء تشغيل الكاشف.
• تسريع الاكتشافات الفيزيائية: من خلال خفض تكلفة تدريب المصنفات المتخصصة، تمكن النماذج التأسيسية من الاختبار السريع للفرضيات وتحسين تصميمات التجارب الجديدة.
• الاتجاهات المستقبلية: يقترح المؤلفون أنه يمكن للنماذج التأسيسية المستقبلية تضمين أحداث النيوترينو مباشرة في مرحلة التدريب المسبق لتقليص فجوة النطاق بشكل أكبر. كما يسلطون الضوء على إمكانية تطبيق هذه التقنيات على كواشف نيوترينو أخرى مثل MicroBooNE.

في الختام، تصادق هذه الورقة على الفرضية القائلة بأن نماذج المستوى الجسيمي التأسيسية تتعلم مقدمات فيزيائية عالمية تتجاوز الإعدادات التجريبية المحددة، مما يوفر أداة قوية للجيل القادم من فيزياء النيوترينو الدقيقة.