FusionNet Lite: Compact Federated Deep Learning for Predictive Maintenance under Label Heterogeneity and Temporal Generalization

ملخص تقني: FusionNet Lite للصيانة التنبؤية في ظل عدم تجانس التسميات والتعميم الزمني

بيان المشكلة
يوفر التعلم الاتحادي (Federated Learning - FL) مساراً للصيانة التنبؤية (PdM) التعاونية من خلال تدريب النماذج عبر بيانات صناعية موزعة دون مشاركة الملاحظات الخام. ومع ذلك، تواجه النهج الحالية تحديات كبيرة: فبيانات العميل غالباً ما تكون غير مستقلة وغير متطابقة التوزيع (non-IID)، لا سيما فيما يتعلق بعدم تجانس التسميات (label heterogeneity)؛ كما أن التبعيات الزمنية وأحداث الفشل النادرة تعقد عملية التقييم؛ وتتعارض الحاجة إلى الكفاءة الحسابية على أجهزة الحافة (edge devices) مع الطلب على دقة التنبؤ العالية والقابلية للتفسير. وتوجد فجوة حرجة في تحديد ما إذا كان نموذج تعلم عميق مدمج يمكنه الحفاظ على كشف مفيد للفشل وتفسيرات اتساق في نسب السمات (feature attribution) تحت هذه الظروف المقيدة والاتحادية.

المنهجية
تقيم هذه الدراسة نموذج FusionNet Lite، وهو مصنف مدمج للمحور الميزاتي (feature-axis classifier) يحتوي فقط على 1,420 معامل تدريب، مقابل أربعة نماذج أساسية خفيفة الوزن وهي: الشبكة العصبية التلافيفية (CNN)، والذاكرة الطويلة قصيرة المدى ثنائية الاتجاه (BiLSTM)، والمدرك متعدد الطبقات (MLP)، وCNN-LSTM.

• البنية الهيكلية: يعالج FusionNet Lite الملاحظات الفردية (بشكل $F \times 1$) باستخدام تلافيف منفصلة (separable convolutions)، وخلط ميزات بأسلوب ConvMixer، واتصالات متبقية (residual connections)، وإعادة وزن القنوات باستخدام تقنية Squeeze-and-Excitation (SE). تم تصميمه للعمل على ملاحظة واحدة بدلاً من تسلسل زمني، رغم استخدام تقسيمات زمنية للتقييم.
• مجموعات البيانات: تم استخدام مجموعتي بيانات باستراتيجيات تقسيم متميزة:
  • AI4I 2020: مجموعة بيانات اصطناعية مع تقسيمات عشوائية طبقية (65/15/20).
  • MetroPT3: تسجيل لضاغط حقيقي (compressor) مع تقسيم زمني ثابت الصفوف (55/20/25) لمحاكاة التعميم الزمني.
• التصميم التجريبي:
  • أنماط التدريب: تم تدريب النماذج في كل من الإعدادات المركزية وبيئة FedAvg المتزامنة المحاكات لثلاثة عملاء.
  • عدم تجانس التسميات: تم إنشاء تقسيمات العملاء باستخدام توزيع ديريكليه ($\alpha=0.5$) لإنشاء ظروف غير متطابقة التوزيع (non-IID) محكومة للتسميات.
  • التقييم: استخدمت الدراسة عشر بذور عشوائية متطابقة للمقارنات الأساسية. تم اختيار نقاط التفتيش (checkpoints) بناءً على AUROC الخاص بالتحقق. تم قياس الأداء باستخدام AUROC، وAUPRC، ودرجات F2 (مع اختيار شبكة موسعة للعتبة لمعالجة عدم توازن الفئات).
  • القابلية للتفسير: تم حساب التدرجات المتكاملة (Integrated Gradients - IG) الخاصة بالفئة لمقارنة اتفاق النسب بين النماذج المركزية والاتحادية.
  • الكفاءة: تم استخدام مؤشر كفاءة الطاقة (EEI)، المعرّف كحاصل ضرب عدد المعاملات في زمن انتقال الاستدلال للدفعة المقاسة، كبديل للتكلفة الحسابية.

المساهمات الرئيسية

1. بنية مدمجة: تقديم وتقييم بنية مكونة من 1,420 معامل تجمع بين العمليات الراسخة (التلافيف المنفصلة، SE، المتبقيات) في بصمة دنيا مناسبة للتبادل الاتحادي.
2. معيار مرجعي محكوم: مقارنة صارمة عبر خمس بنى ومجموعتي بيانات باستخدام عشر بذور متطابقة، ونقاط تفتيش مختارة من التحقق، وسياسات عتبة محددة (تحسين F1 مقابل F2) لعزل التأثيرات الهيكلية عن عيوب الضبط.
3. تحليل الحساسية: فحص منهجي للمكونات الهيكلية (الدراسات الاستئصالية/ablations)، وترتيب الميزات، وعدد العملاء (3 مقابل 10)، وتركيز التسميات ($\alpha$)، ومعدلات المشاركة، ومعدلات التعلم.
4. اتفاق النسب: تقييم كمي للاتفاق المركزي-الاتحادي باستخدام ارتباطات IG الخاصة بالفئة، واتفاق الإشارة، وتداخل جاكارد، للتمييز بين جودة الكشف واتساق التفسير.

النتائج

• الأداء التنبئي:
  • في AI4I، حقق FusionNet Lite نتائج تنافسية تحت FedAvg (AUROC $0.8289 \pm 0.0621$، F2 $0.3508 \pm 0.0908$)، رغم أنه لم يظهر تفوقاً ذا دلالة إحصائية على MLP عبر جميع المقاييس بعد تعديل تعدد الاختبارات.
  • في MetroPT3، حقق FusionNet Lite تمييزاً عالياً في التصنيف (AUROC $0.9351 \pm 0.0462$ تحت FedAvg) ولكنه أظهر كشفاً أقل وتذبذباً أكبر لحالات الفشل النادرة (AUPRC $0.2197 \pm 0.1971$، F2 $0.1566 \pm 0.2044$) مقارنة بالنماذج المرجعية BiLSTM وCNN-LSTM.
  • حساسية العتبة: أدى الانتقال من اختيار F1 بالشبكة الأصلية إلى اختيار F2 بالشبكة الموسعة إلى تحسين متوسط اختبار F2 في MetroPT3 (من $0.0423$إلى$0.1566$)، رغم بقاء التباين مرتفعاً.
• الكفاءة: امتلك FusionNet Lite أصغر عدد من المعاملات وأدنى مؤشر EEI للدفعة الثابتة بين جميع البنى الخمس في كلتا مجموعتي البيانات، مما يؤكد كفاءته كبديل للانتشار في البيئات محدودة الموارد.
• النسب (Attribution): اختلف الاتفاق المركزي-الاتحادي حسب النموذج ومجموعة البيانات. في MetroPT3، أظهر FusionNet Lite اتفاقاً أضعف وأكثر تذبذباً في IG (ارتباط سبيرمان $\approx 0.24-0.27$) مقارنة بـ MLP، رغم ضعف أداء التنبؤ لدى MLP. يشير هذا إلى أن الاتفاق التفسيري العالي لا يرتبط بالضرورة بجودة كشف فائقة.
• الحساسية: كانت ترتيبات الأداء حساسة لترتيب الميزات، وتخصيص العملاء، ومعدلات التعلم. أدت إزالة مكونات محددة (مثل SE attention أو stem residuals) إلى نتائج مختلطة، حيث أدت أحياناً إلى تحسين الأداء في مجموعة بيانات بينما أدت إلى تدهوره في أخرى.

الأهمية والادعاءات
يدعي البحث تأسيس مقايضة مشروطة بين الأداء والتعقيد. فهو يثبت أن نموذجاً أصغر بكثير (FusionNet Lite) يمكن أن يوفر أداءً تنبؤياً مفيداً وأدنى بديل للتكلفة الحسابية (EEI) تحت ظروف اتحادية محكومة. ومع ذلك، يذكر المؤلفون صراحةً أن:

• الضغط وحده لا يضمن تفوقاً في كشف الفشل أو تفسيرات متسقة.
• لا يعني الـ AUROC المرتفع بالضرورة كشفاً موثوقاً للفشل النادر في الإعدادات غير المتوازنة والزمنية.
• الاتفاق التفسيري (IG) ليس بديلاً مباشراً للمنفعة التنبؤية.
• النتائج مقيدة بظروف الاختبار المحددة (بيانات اصطناعية وسجل واحد حقيقي، FedAvg متزامن، بذور ثابتة).

تخلص الدراسة إلى أنه بينما يمثل FusionNet Lite خياراً فعالاً ومفيداً للصيانة التنبؤية الاتحادية، فإن نشره يتطلب مراعاة دقيقة لنقاط التشغيل (العتبات)، وعدم تجانس البيانات، والتمييز بين تمييز التصنيف وبين الكشف الفعلي عن الفشل. ولا يدعي المؤلفون أن النموذج متفوق عالمياً أو جاهز للانتشار الصناعي الفوري دون مزيد من التحقق المستقل على معدات وحالات فشل متنوعة.