Data-quality monitoring of luminosity blocks with ATLAS Open Data: an open benchmark and a learned within-run detector

في عالم فيزياء الجسيمات عالي المخاطر، يصدم مصادم الهادرون الكبير البروتونات معاً للكشف عن اللبنات الأساسية للكون. ومع ذلك، فإن الآلة ليست مثالية، وكذلك الكواشف الضخمة التي تسجل هذه الاصطدامات. في كل ثانية، تولد هذه الكواشف سيلاً من البيانات، ولكن ليس كل ما فيها موثوق. أحياناً، يحدث خلل في مستشعر، أو يتذبذب إمداد الطاقة، أو يصمت جزء معين من الكاشف. إذا استخدم الفيزيائيون هذه البيانات المعيبة للبحث عن جسيمات جديدة، فقد يخطئون ويظنون أن مستشعراً معطلاً هو اكتشاف جديد. ولمنع حدوث ذلك، تستخدم التجارب نظاماً صارماً لمراقبة الجودة يتحقق من البيانات في فترات زمنية قصيرة مدتها دقيقة واحدة. وإذا وُجدت مشكلة، يتم تعليم تلك الدقيقة المحددة من البيانات على أنها "سيئة" ويتم استبعادها. وتكمن التحديات في أن الكواشف معقدة للغاية والظروف تتغير كثيراً من تشغيل إلى آخر، مما يجعل رصد هذه الأخطاء الدقيقة أمراً صعباً للغاية. وقد ظلت الأساليب المستخدمة للعثور عليها سراً، محبوسة داخل المختبرات، مما جعل من المستحيل على العلماء خارج التعاون العلمي مقارنة النهج المختلفة أو تحسين النظام.

لقد غير الباحث رينجي وانغ هذا الواقع من خلال تحويل إصدار عام من بيانات كاشف "أطلس" (ATLAS) إلى ساحة اختبار شفافة. فمن خلال أخذ بيانات اصطدام حقيقية من عامي 2015 و2016 وحقن أخطاء معروفة فيها سراً، أنشأ وانغ معياراً تكون فيه الإجابة "الصحيحة" معلومة. سمح هذا بإجراء مقارنة عادلة بين الأساليب المختلفة لمعرفة أي منها يمكنه رصد المشكلات المزيفة بشكل أفضل دون إطلاق إنذارات كاذبة. وكشفت الدراسة أن الاستراتيجية الأكثر نجاحاً لا تكمតن في مقارنة كل دقيقة من البيانات بمتوسط عالمي، بل في مراقبة كيفية اختلاف كل دقيقة عن الدقائق المحيطة بها مباشرة. وباستخدام هذا النهج، تمكن نظام تعلم آلي مُدرب على أخطاء اصطناعية من تحديد 43 بالمائة من المشكلات المحقونة مع إبقاء الإنذارات الكاذبة عند واحد بالمائة فقط. ويمثل هذا تحسناً كبيراً مقارنة بطرق المسح القديمة، التي لم تلتقط سوى 25 بالمائة من الأخطاء في ظل نفس الظروف الصارمة.

يكمن جوهر المشكلة في طبيعة البيانات نفسها. يسجل الكاشف الاصطدامات في "كتل لومينوزيتي" (luminosity blocks)، وهي نوافذ زمنية تبلغ مدتها دقيقة واحدة تقريباً حيث يُفترض أن الظروف مستقرة. وللتحقق مما إذا كانت الكتلة جيدة، يقوم العلماء عادةً بملء الرسوم البيانية (histograms)، وهي في الأساس مخططات أعمدة توضح عدد الجسيمات من نوع معين عند مستويات طاقة أو زوايا مختلفة. وفي الماضي، حاول الباحثون مقارنة كتلة جديدة من البيانات بمرجع مبني من تشغيلات سابقة عديدة. ومع ذلك، أظهر تحليل وانغ أن هذا النهج يفشل لأن الظروف بين التشغيلات المختلفة تتباين كثيراً. فالعوامل مثل عدد الاصطدامات المتداخلة وإعدادات الكاشف المحددة تتغير من تشغيل إلى آخر، مما يخلق اختلافات في البيانات أكبر بكثير من الضوضاء الإحصائية لدقيقة واحدة. وعندما تُقارن كتلة جديدة بتشغيل بعيد في الماضي، تبدو هذه الاختلافات الطبيعية وكأنها عيوب، مما يتسبب في تصنيف النظام للبيانات الجيدة على أنها سيئة.

إن الحل الذي وجدته هذه الدراسة هو النظر في نطاق أقرب. فبدلاً من مقارنة كتلة بكل تاريخ التجربة، يقارن النظام هذه الكتلة بالكتل الأخرى ضمن نفس التشغيل. فداخل التشغيل الواحد، تكون إعدادات الكاشف والظروف العامة ثابتة، والشيء الوحيد الذي يتغير بسلاسة هو عدد الاصطدامات. ومن خلال بناء مرجع مخصص لكل تشغيل، يمكن للنظام تصفية الاختلافات الكبيرة والطبيعية، والتركيز على الانحرافات المفاجئة والحادة التي تشير إلى مشكلة حقيقية. يحول هذا الأسلوب البيانات إلى مجموعة من "البواقي" (residuals)، أو الفروقات، التي تسلك سلوكاً أكثر قابلية للتنبؤ. وفي إطار هذه الفروقات المنقحة، تصبح العيوب مرئية.

ولاختبار ذلك، أخذ وانغ البيانات العامة وحقن ثمانية أنواع مختلفة من أعطال الكاشف المحاكية سراً في الأحداث. وشمل ذلك سيناريوهات مثل منطقة ميتة في المقياس الحراري حيث تختفي الجسيمات ببساة، أو "نقطة ساخنة" حيث ينشئ خلية صاخبة جسيمات وهمية، أو تحول مفاجئ في مقياس الطاقة للقياسات. كانت هذه الأخطاء مخفية داخل البيانات، وكان الهدف هو معرفة أي برنامج حاسوبي يمكنه العثور عليها. قارنت الدراسة عدة مناهج، بما في ذلك عمليات المسح الإحصائي البسيطة ونماذج التعلم الآلي الأكثر تعقيداً. تمكنت عمليات المسح البسيطة، التي بحثت عن أنماط خطأ محددة، من العثور على حوالي ربع المشكلات. ومع ذلك، كان المصنف القائم على التعلم الآلي، والذي تدرب على بواقي البيانات، أفضل أداءً بشكل ملحوظ. فقد تعلم هذا النظام التعرف على التواقيع الدقيقة والمجتمعة للأخطاء عبر العديد من الرسوم البيانية المختلفة، بدلاً من البحث عن نمط واحد واضح.

كانت النتائج واضحة؛ فقد تمكن نظام التعلم الآلي، عندما تم تدريبه على أمثلة اصطناعية للعيوب ومعايرته باستخدام طريقة إحصائية صارمة لضمان معدل إنذار كاذب منخفض، من اكتشاف 43 بالمائة من الأخطاء المحقونة. وكانت هذه قفزة كبيرة عن معدل اكتشاف 25 بالمائة لأفضل طريقة مسح تقليدية. كان النظام فعالاً بشكل خاص في العثور على الأخطاء المنتشرة عبر أجزاء مختلفة من البيانات، حيث لا يظهر أي رسم بياني منفرد ارتفاعاً دراماتيكياً. ومع ذلك، سلطت الدراسة الضوء أيضاً على حدود ما يمكن العثور عليه. فبعض أنواع الأخطاء، مثل تعطل وحدة معينة بطريقة تؤثر فقط على جزء ضئيل من البيانات، كانت شديدة الدقة بحيث لا يمكن رصدها بأي طريقة نظراً لكمية البيانات المتاحة في دقيقة واحدة. علاوة على ذلك، واجه النظام صعوبة عندما واجه نوعاً من الأخطاء لم يره من قبل؛ فإذا كانت بيانات التدريب تتضمن فقط أمثلة محددة للمناطق الميتة أو النقاط الساخنة، فإن النظام سيفقد النوع المختلف تماماً من الفشل.

ولمعالجة ذلك، اختبر الباحثون نهج "شبكة الأمان". فقد أضافوا أمثلة عامة وغير مرتبطة بنمط معين من أعطال الكاشف إلى بيانات التدريب، وهي محاكاة لا تحاكي أي خطأ معروف محدد ولكنها تمثل الفكرة العامة لوقوع خطأ ما. سمح هذا التعديل للنظام باكتشاف 34 بالمائة من أنواع الأخطاء غير المرئية، وهو تحسن كبير عن الـ 18 بالمائة التي اكتشفها النظام المدرب فقط على الأنماط المعروفة. وكان المقابل هو انخفاض طفيف في الأداء على الأنواع المعروفة، لكن القدرة الإجمالية على اكتشاف المشكلات غير المعروفة زادت. وهذا يشير إلى أنه بالنسبة لكاشف في العالم الحقيقي، حيث لا تكون القائمة الكاملة للفشل الممكنة مكتملة أبداً، فإن النظام المدرب على مزيج من الفشل المعروف والعام هو الخيار الأكثر قوة.

كما بحثت الدراسة في مقدار البيانات التاريخية المطلوبة لجعل هذه الأنظمة تعمل. هناك قلق شائع من أن الكاشف الجديد قد لا يملك ما يكفي من البيانات السابقة لبناء مرجع موثوق في بداية العام. وأظهر البحث أن نظام التعلم الآلي يحتاج إلى تاريخ يبلغ حوالي ثمانية تشغيلات سابقة ليتفوق على طرق المسح البسيطة. ومع وجود عدد أقل من التشغيلات، يكون النظام متحفظاً للغاية ويفقد الكثير من الأخطاء، ولكن مع وجود قدر معتدل من التاريخ، يصبح بسرعة الأداة المتفوقة. هذا الاكتشاف حاسم للنشر العملي لهذه الأنظمة، لأنه يعني أنها يمكن أن تكون فعالة في وقت مبكر نسبياً من فترة جمع البيانات.

في نهاية المطاف، يوضح هذا العمل أن المفتاح لمراقبة الأدوات العلمية المعقدة ليس البحث عن الشذوذ العالمي، بل فهم السياق المحلي. فمن خلال التركيز على الاختلافات داخل تشغيل واحد واستخدام التعلم الآلي لتفسير الأنماط الدقيقة للانحراف، يمكن للعلماء رصد نسبة أعلى بكثير من الأخطاء دون التخلص من البيانات الجيدة. إن المعيار الذي أنشأته هذه الدراسة متاح الآن للجمهور، مما يسمح للباحثين الآخرين باختبار أفكارهم الخاصة مقابل نفس البيانات الواقعية. وتعد هذه الشفافية خطوة مهمة إلى الأمام، حيث تنقل المجال من مجموعة من الأساليب المعزولة والمملوكة حصرياً إلى بيئة مشتركة وتنافسية حيث يمكن تحديد وتحسين أفضل التقنيات من أجل مصلحة جميع الاكتشافات الفيزيائية المستقبلية.