Neural Scaling Laws for Jet Generation

ملخص تقني: قوانين القياس العصبي لتوليد النفاثات (Jet Generation)

بيان المشكلة
أصبحت قوانين القياس العصبي (Neural scaling laws)، التي تصف العلاقة القوية بين أداء النموذج وحجم مجموعة البيانات، والحوسبة، ومعلمات النموذج، أمراً مركزياً في الذكاء الاصطائي الحديث، لا سيما في النماذج اللغوية الكبيرة (LLMs). ومع ذلك، تظل قابليتها للتطبيق في فيزياء الطاقات العالية (HEP) مسألة مفتوحة. تختلف بيانات المصادمات نوعياً عن بيانات اللغة الطبيعية أو الرؤية الحاسوبية: فهي تتسم بالعشوائية العالية بسبب طبيعة إشعاع الديناميكا اللونية الكمومية (QCD)، لكنها مقيدة بالديناميكيات الفيزيائية. وعلاوة على ذلك، بينما لوحظت قوانين القياس في مهام تصنيف النفاثات الخاضعة للإشراف، فإن سلوكها في النمذجة التوليدية (Generative modeling) — وتحديداً لنفاثات الجسيمات — لا يزال أقل فهماً. يبحث هذا العمل فيما إذا كانت قوانين القياس التجريبية تنطبق على مهمة توليد نفاثات الجسيمات باستخدام النماذج التأسيسية، وما إذا كان التحسن في هدف التدريب (التنبؤ بالرمز التالي - Next Token Prediction) يترجم إلى تحسينات في الملاحظات الفيزيائية ذات المعنى.

المنهجية
تستخدم الدراسة نموذج OmniJet-α، وهو محول (Transformer) من نوع GPT يعمل بنظام التنبؤ بالرمز التالي (NTP)، تم تدريبه على مكونات النفاثة المرمزة (Tokenized). يقوم النموذج بتحويل مكونات النفاثة (الميزات الحركية مثل الزخم المستعرض $p_T$ والزوايا النسبية) إلى رموز صحيحة باستخدام مشفر تلقائي متغير مكمم (VQ-VAE) بحجم قاموس (Codebook) يبلغ 32,768.

تُجرى الدراسة على مجموعة بيانات Aspen Open Jets (AOJ)، المستمدة من بيانات CMS المفتوحة، والتي تحتوي على ما يقرب من 180 مليون نفاثة معاد بناؤها من تصادمات بروتون-بروتون. ويمثل هذا أول تحقيق لقوانين القياس العصبية على بيانات مصادمات مسجلة تجريبياً بدلاً من محاكاة مونت كارلو.

تنقسم الدراسة إلى ثلاث مراحل لتحليل القياس بالنسبة لـ:

1. حجم النموذج ($N$): تغيير عدد المعلمات من 25 ألف إلى 85 مليون معلمة غير تضمينية (Non-embedding) مع تثبيت حجم مجموعة البيانات وميزانية الحوسبة.
2. حجم مجموعة البيانات ($D$): تغيير عدد الرموز الفريدة للتدريب من $6.4 \times 10^6$ إلى $8.1 \times 10^9$ مع تثبيت بنية النموذج.
3. الحوسبة ($C$): تحليل isoFLOP عبر تغيير حجم النموذج وخطوات التدريب لميزانيات حوسبة ثابتة لتحديد القياس الأمثل للحوسبة.

يتم تقييم مقياسين أساسيين:

• فقد التحقق من الـ NTP (NTP Validation Loss): وهو فقد الإنتروبيا المتقاطع القياسي لمهمة التنبؤ بالرمز التالي.
• مسافة واسرستاين المقطعة (Sliced Wasserstein Distance - SWD): وهو مقياس إحصائي يتم حسابه على خمس ملاحظات عالية المستوى للنفاثة ($p_T$، الكتلة $m$، $\tau_{21}$، $\tau_{32}$، وعدد المكونات $n$) والتي لم تكن متاحة مباشرة للنموذج أثناء التدريب. يقيس هذا المقياس جودة النفاثات المولدة في الفضاء الفيزيائي.

يقدم المؤلفون مفهوم "النافذة القابلة للتعلم" ($W$)، والتي تُعرف بأنها الفجوة بين فقد المتنبئ الموحد ($\log V$) وأرضية الإنتروبيا غير القابلة للاختزال لمجموعة البيانات ($H(p)$، والتي تُقدر بالفقد التقاربي $L_\infty$). يحدد هذا المقياس كسر نطاق الفقد الكلي القابل للتعلم مقابل العشوائية الجوهرية.

النتائج الرئيسية

• قياس حجم النموذج: تؤكد الدراسة وجود سلوك قياس قوة واضح لفقد التحقق من NTP كدالة لحجم النموذج ($L(N) \propto N^{-\beta_N} + L_\infty$). يبلغ أس القياس $\beta_N$ حوالي 0.43. ومن الأهمية بمكان أن مقياس SWD يظهر ارتباطاً رتيباً مع فقد NTP، مما يشير إلى أن التحسينات في هدف التدريب تترجم مباشرة إلى نمذجة أفضل للملاحظات الفيزيائية. تقترب قيم SWD من الأرضية الإحصائية الجوهرية المرتبطة بالمقارنات ذات العينات المحدودة للبيانات الحقيقية.
• قياس مجموعة البيانات والحوسبة: يعطي القياس مع حجم مجموعة البيانات والحوسبة إشارات أضعف بكثير. وبينما تتوافق البيانات مع التفسيرات القائمة على قانون القوة، إلا أن النطاق الديناميكي صغير والشكوك الإحصائية كبيرة. تبدو النماذج وكأنها تصل إلى حالة التشبع بسرعة؛ فحتى أصغر النماذج تلتقط الجزء الأكبر من البنية القابلة للتعلم.
• النافذة القابلة للتعلم: من النتائج المثيرة للاهتمام هو صغر حجم النافذة القابلة للتعلم لتوليد النفاثات مقارنة بنمذجة اللغة. بالنسبة لـ OmniJet-α، تبلغ النافذة القابلة للتعلم $W$ حوالي 3.2 نات (nats)، مقارنة بـ ~8.7 نات في دراسات نماذج اللغة المماثلة. وبالتالي، فإن التشتت الفعال ($e^{L_\infty}$) هو 1330، وهو أعلى بكثير من ~5.4 الملاحظ في نماذج اللغة. يشير هذا إلى أن الهياكل المهيمنة في توزيع النفاثة يتم تعلمها بموارد متواضعة نسبياً، وأن الفقد المتبقي يهيمن عليه العشوائية الجوهرية بدلاً من الخطأ القابل للاختزال.
• منحنيات isoFLOP: منحنيات isoFLOP (الفقد مقابل حجم النموذج لميزانية حوسبة ثابتة) مسطحة بشكل غير عادي، وتفتقر إلى شكل "U" المتميز مع جانب أيسر واضح كما في نماذج اللغة. وهذا يجعل استخراج حجم النموذج الأمثل للحوسبة أمراً غير مؤكد للغاية، رغم أن الملاءمة التربيعية تشير إلى أس قياس أمثل $a \approx 0.92$ لحجم النموذج مقابل الحوسبة.

الأهمية والادعاءات
يدعي البحث أنه الأول الذي يستكشف بشكل منهجي قوانين القياس العصبية لنماذج توليد النفاثات على بيانات المصادمات الحقيقية. وتتمثل مساهماته الرئيسية في:

1. التحقق من قوانين القياس: يثبت أن قوانين القياس اللوغاريتمي لحجم النموذج موجودة في توليد النفاثات، وأن فقد NTP هو وكيل موثوق للأداء الفيزيائي (SWD).
2. التشبع السريع: يحدد أن توليد النفاثات التوليدي يصل إلى التشبع بشكل أسرع من نمذجة اللغة، ويرجع ذلك على الأرجح إلى الطبيعة العشوائية لإشعاع QCD وهيمنة نفاثات QCD "عديمة الميزات" في مجموعة البيانات.
3. مفهوم النافذة القابلة للتعلم: من خلال تقديم النافذة القابلة للتعلم، يوفر المؤلفون إطاراً لتفسير سبب ضعف مكاسب القياس في هذا المجال: الجزء "القابل للتعلم" من توزيع البيانات صغير بالنسبة للإنتروبيا الكلية.
4. خصوصية المجال: تشير النتائج إلى أن سلوكيات القياس في HEP حساسة لبنية المهمة. فبينما يظهر تصنيف النفاثات الخاضع للإشراف استمراراً في القياس عبر نطاقات واسعة، فإن النمذجة التوليدية لنفاثات QCD العامة تقترب من التشبع مبكراً. وهذا يعني أن استراتيجيات ما قبل التدريب الناجحة في اللغة قد تتطلب تكيفات خاصة بالمجال، لا سيما فيما يتعلق بدقة القاموس وترتيب المكونات.

يخلص المؤلفون إلى أنه على الرغم من وجود قوانين القياس، فإن العوائد المتناقصة والتشبع السريع الملاحظ في هذه الدراسة يسلطان الضوء على التحديات الفريدة للتدريب المسبق غير الخاضع للإشراف على بيانات فيزياء الجسيمات، حيث تفرض الفيزياء الأساسية درجة عالية من العشوائية الجوهرية غير القابلة للاختزال.