OmniLearned: A Foundation Model Framework for All Tasks Involving Jet Physics

إليك ملخص تقني مفصل لورقة البحث بعنوان "إطار عمل النموذج التأسيسي لجميع المهام المتعلقة بفيزياء النفاثات" (OmniLearned).

1. بيان المشكلة

تنتج تجارب فيزياء الطاقة العالية (HEP)، لا سيما في المصادمات مثل مصادم الهادرونات الكبير (LHC)، كميات هائلة من البيانات التي تتضمن النفاثات الهادرونية (jets) (وهي رشاشات متراصة من الجسيمات الناتجة عن الكواركات والغلونات). ويعد توصيف هذه النفاثات أمراً بالغ الأهمية لمهام مثل تحديد جسيمات معينة (مثل كواركات القمة، أو كواركات b) أو اكتشاف الشذوذ (الفيزياء الجديدة).

تتمثل التحديات الرئيسية التي تعالجها هذه الورقة في:

• ندرة البيانات لمهام محددة: يتطلب تدريب نماذج تعلم آلي (ML) متطورة لكل مهمة محددة في فيزياء النفاثات كميات هائلة من البيانات المصنفة، والتي غالباً ما تكون مكلفة حوسبياً لتوليدها عبر عمليات المحاكاة الكاملة (مثل Geant4).
• النهج المجزأ: اعتمدت النماذج التأسيسية السابقة في فيزياء الطاقة العالية بشكل كبير على التعلم ذاتي الإشراف القائم على الترميز (على غرار النماذج اللغوية الكبيرة)، وهو ما يفشل غالباً في الاستفادة الكاملة من الطبيعة المستمرة لبيانات النفاثات أو تسميات المحاكاة المتاحة.
• التعميم: تعاني النماذج الحالية غالباً في التعميم عبر أجهزة كشف مختلفة، أو أنظمة تصادم، أو مهام متنوعة دون الحاجة إلى إعادة تدريب مكثفة من الصفر.

2. المنهجية: إطار عمل OmniLearned

قدم المؤلفون OmniLearned، وهو ترقية رئيسية لنموذجهم السابق "OmniLearn". إنه نموذج تأسيسي مصمم لتعلم تمثيل عالمي للنفاثات يمكن ضبطه بدقة (fine-tuning) لمهام متنوعة لاحقة.

أ. تحسينات البنية (PET v2)

العمود الفقري للنموذج هو نسخة مطورة من Point Edge Transformer (PET v2)، والذي يعامل النفاثات كـ "سحب نقاط" (point clouds) ذات أعداد متغيرة من الجسيمات. تشمل التعديلات الهيكلية الرئيسية ما يلي:

• ميزات المدخلات: تم تقليصها إلى مجموعة دنيا ذات معنى فيزيائي: $(\Delta\eta, \Delta\phi, \log p_T, \log E)$. وقد تمت إزالة معالجة البيانات المسبقة (standardization) لأن المدخلات بمقياس اللوغاريتم تتمركز طبيعياً حول الصفر.
• التعامل مع المعلومات الإضافية: يدعم النموذج الآن بشكل أصيل تحديد هوية الجسيم (PID) ومعلومات الرأس (vertex).
  • يتم تضمين الـ PID عبر جدول بحث (مشابه لتضمينات الرموز في النماذج اللغوية الكبيرة).
  • يتم ترميز معلومات الرأس عبر شبكات MLP.
  • تُضاف هذه المعلومات إلى الميزات الكينماتيكية؛ وفي حال غيابها، يتم تصفير الترميز المقابل، مما يسمح للنموذج بالتعامل بسلاسة مع مجموعات البيانات التي تحتوي أو لا تحتوي على هذه الميزات.
• الانتباه المحلي (Local Attention): استبدل المتوسط البسيط بـ انتباه موزون قابل للتعلم عبر أقرب $k$ من الجيران ($k=10$). تتضمن حدود التفاعل ميزات مستوحاة من الفيزياء مثل الكتلة الثابتة (invariant mass) والمسافة الزاوية ($\Delta R$) بين الجسيمات.
• الانتباه العالمي (Global Attention): تم تعديل مصفوفة الانتباه لتشمل حدود انحياز مستوحاة من الفيزياء (مشابهة للتفاعلات المحلية)، واستبدال تسوية الطبقة (layer normalization) القياسية بعملية ظل زائد (hyperbolic tangent) قابلة للتعلم لتحسين الاستقرار في الشبكات العميقة.
• رؤوس المهام (Task Heads): بدلاً من رمز تصنيف واحد، يستخدم النموذج خمسة رموز (tokens) قابلة للتعلم تُضاف إلى مجموعة الجسيمات، وهي تلخص جوانب مختلفة من النفاثة، وتعمل بشكل مشابه لآليات الانتباه متعدد الرؤوس.

ب. استراتيجية التدريب ودالة الخسارة

• حجم مجموعة البيانات: تم تدريب النموذج مسبقاً على أكثر من مليار نفاثة (10 أضعاف حجم مجموعة بيانات JetClass السابقة)، حيث يجمع بين بيانات من JetClass، وJetClass2، وAspen Open Jets، وATLAS Top Tagging، وH1 DIS، ومحاكاة CMS QCD/BSM.
• التعلم متعدد المهام: يتم تدريب النموذج بشكل مشترك على:
  1. تصنيف النفاثات: التمييز بين 210 فئات (200 نوع من النفاثات + 10 معرفات لمجموعات البيانات).
  2. توليد النفاثات: باستخدام هدف مطابقة التدفق (Flow Matching) (وهو بديل لنماذج الانتشار/Diffusion) لتوليد مكونات النفاثة. تقلل الخسارة من الخطأ في التنبؤ بمجال السرعة $u = \epsilon - x$.
  3. تصنيف العينات: مهمة محددة لتصنيف مجموعة البيانات التي تنتمي إليها النفاثة، مما يساعد النموذج على تعلم ميزات ثابتة تجاه مجموعة البيانات.
• دالة الخسارة:
  $$L = CE(y, y_{pred}) + \|u - u_{pred}\|^2 + \alpha^2 CE(y, \hat{y}_{pred})$$
  حيث تمثل الحدود: التصنيف الخاضع للإشراف، ومطابقة التدفق للتوليد، والتصنيف على المدخلات المضطربة (المشوشة)، على التوالي.

ج. البرمجيات وقابلية التكرار

أصدر المؤلفون حزمة برمجية موحدة تقوم تلقائياً بتحميل وتنسيم وتوفير الوصول إلى جميع مجموعات بيانات التدريب ونقاط التفتيش المدربة مسبقاً (النماذج الصغيرة، والمتوسطة، والكبيرة).

3. المساهمات الرئيسية

1. النطاق: أول نموذج تأسيسي لفيزياء النفاثات تم تدريبه على أكثر من مليار نفاثة، مستفيداً من قوانين القياس (scaling laws) للمحولات (transformers).
2. البنية: تقديم PET v2، الذي يدمج حدود تفاعل مستوحاة من الفيزياء، ويتعامل مع البيانات الإضافية المفقودة (PID/vertex) بسلاسة، ويستخدم مطابقة التدفق (flow matching) لإنتاج عالي الدقة.
3. إطار عمل موحد: نموذج واحد مدرب مسبقاً قادر على معالجة التصنيف، والتوليد، واكتشاف الشذوذ عبر أجهزة كشف مختلفة (ATLAS, CMS) وأنظمة تصادم مختلفة (pp, ep).
4. العلم المفتوح: الإطلاق الكامل للكود، ومسارات البيانات، والأوزان المدربة مسبقاً (نماذج بـ 3 مليون، و58 مليون، و423 مليون معلمة).

4. النتائج

قيمت الورقة OmniLearned في ثلاث مهام تمثيلية:

أ. تصنيف النفاثات (Top Tagging و Quark/Gluon)

• الاختبار المعياري: تم الاختبار على مجموعات بيانات مجتمعية (قائمة على Delphes) لتحديد كوارك القمة (top quark tagging) والتمييز بين الكوارك والغلون (quark/gluon separation).
• الأداء: تفوق OmniLearned (خاصة النسخ المتوسطة والكبيرة) على جميع النماذج الحالية (SOTA) (بما في ذلك ParticleNet وParT وL-GATr) التي تم تدريبها من الصفر.
• الضبط الدقيق (Fine-tuning): تطلب الضبط الدقيق لـ OmniLearned عدداً أقل بكثير من الدورات (epochs) والموارد الحوسبية مقارنة بالتدريب من الصفر، مع تحقيق دقة أعلى (مثل تحسينات في AUC ورفض أفضل للخلفية عند كفاءة الإشارة المحددة).

ب. تحديد النكهة (ATLAS $b$-tagging)

• المهمة: التمييز بين نفاثات $b$، ونفاثات $c$، والنفاثات الخفيفة، ونفاثات $\tau$ باستخدام بيانات محاكاة ATLAS الكاملة.
• الابتكار: أعاد المؤلفون استخدام رأس التوليد (generation head) للنموذج التأسيسي لأداء تصنيف المسار (track classification) (كمهمة إضافية)، مما أظهر مرونة البنية.
• الأداء: تفوق OmniLearned على بنية GN2 الحالية والأكثر تطوراً في تجربة ATLAS.
  • في تحديد نكهة $b$: حسن رفض النفاثات الخفيفة بأكثر من 50% ورفض نفاثات $\tau$ بمعامل قدره 2 مقارنة بـ GN2.
  • الكفاءة: كان الضبط الدقيق أسرع بنسبة 50% من تدريب نموذج متوسط من الصفر.

ج. اكتشاف الشذوذ (CMS Open Data)

• المهمة: إعادة اكتشاف كوارك القمة (إشارة معروفة) في بيانات CMS المفتوحة كنموذج لاكتشاف فيزياء جديدة. تشكل الإشارة حوالي 0.1% فقط من البيانات.
• الاستراتيجية 1 (التوليدية): استخدموا OmniLearned لنمذجة خلفية النموذج القياسي (Standard Model) في مناطق الجوانب (sidebands) وتوليد عينات الخلفية في منطقة الإشارة. ثم قام مصنف بالتمييز بين البيانات والخلفية المولدة.
  • النتيجة: نجح في تحديد إشارة كوارك القمة بدلالة عالية (تصل إلى ~15$\sigma$)، بينما فشلت النماذج المدربة من الصفر في اكتشاف الإشارة.
• الاستراتيجية 2 (المباشرة): استخدموا احتمالات الفئة المدربة مسبقاً مباشرة (دون ضبط دقيق) عبر مقارنة احتمالات التحلل "ثلاثي الأطراف" (topology عام يشبه كوارك القمة) مقابل QCD.
  • النتيجة: نجحت أيضاً في تحديد الشذوذ، مما يثبت قدرة النموذج على التعميم دون الحاجة لإعادة تدريب خاص بالمهمة.

5. الأهمية والآفاق المستقبلية

• تحول جذري: يثبت OmniLearned أن النماذج التأسيسية يمكن أن تحل محل نموذج "التدريب من الصفر" في فيزياء الطاقة العالية، مما يقلل بشكل كبير من التكلفة الحوسبية لتطوير أدوات تحليل جديدة.
• إمكانات الاكتشاف: من خلال تحسين رفض الخلفية وحساسية اكتشاف الشذوذ، يعزز هذا الإطار إمكانات الاكتشاف لتجارب المصادمات الماضية والحالية والمستقبلية.
• القدرة على التعميم: إن نجاح تطبيق نموذج مدرب على بيانات محاكاة على بيانات تجريبية حقيقية (CMS Open Data) وعبر أجهزة كشف مختلفة (ATLAS, H1) يشير إلى أن التمثيلات المتعلمة تلتقط الخصائص الفيزيائية الأساسية للنفاثات وليس مجرد آثار خاصة بجهاز الكشف.
• العمل المستقبلي: يقترح المؤلفون إمكانية توسيع هذه المنهجية لتشمل ما وراء النفاثات لتشمل تضاريس الأحداث الكاملة وأنظمة تصادم مختلفة، مما قد يحدث ثورة في كيفية تحليل بيانات فيزياء الجسيمات.

باخت-صار، يضع OmniLearned معياراً جديداً لتحليل فيزياء النفاثات من خلال الجمع بين التدريب المسبق واسع النطاق، والبنى العصبية المستوحاة من الفيزياء، وإطار عمل متعدد الاستخدامات قادر على معالجة التصنيف، والتوليد، واكتشاف الشذوذ بأداء وكفاءة متفوقة.