ملخص تقني: الجدولة الذكية متعددة الفئات وذات الكفاءة في المعلمات للكشف عن الشذوذ الصناعي عبر الإنترنت متعدد الوسائط والموزع

1. تعريف المشكلة

تتناول الورقة تحدي الكشف عن الشذوذ الصناعي (IAD) في بيئات التصنيع الحديثة والديناميكية. وبينما تطورت أساليب الكشف عن الشذوذ الصناعي الحالية من الأساليب أحادية الوسائط إلى الأساليب متعددة الوسائط (مثل الجمع بين صور RGB وسحب النقاط ثلاثية الأبعاد 3D) لتحسين المتانة، إلا أنها لا تزال مقيدة إلى حد كبير بأطر التدريب المركزية وغير المتصلة (offline). وتفشل هذه الأساليب التقليدية في التكيف مع القيود الصناعية في العالم الحقيقي حيث:

• يتم توليد البيانات بشكل مستمر بأسلوب التدفق (streaming).
• يتم توزيع البيانات عبر أجهزة حافة (edge devices) متعددة (مستشعرات) بدلاً من تجميعها مركزياً.
• تمتلك أجهزة الحافة موارد حوسبة واتصال محدودة.
• يعد الكشف عن الشذوذ بطبيعته غير خاضع للإشراف (unsupervised)، مما يتطلب من النماذج تعلم الأنماط الطبيعية بدلاً من تصنيف العيوب المصنفة.

صاغ المؤلفون إطار عمل جديد يسمى المراقبة متعددة الوسائط عبر الإنترنت للكشف عن الشذوذ الصناعي الموزع (MODIAD). في هذا السيناريو، تقوم عدة عملاء عند الحافة بالتدريب التعاوني لنماذج الكشف عن الشذوذ على بيانات متعددة الوسائط، غير متجانسة التوزيع (non-IID) وتتدفق بشكل مستمر، دون مشاركة البيانات الخام. وتنشأ تعقيدات حرجة من استراتيجية "واحد لواحد" (one-for-one) المتبعة في الكشف عن الشذوذ الصناعي، حيث يتطلب كل فئة كائن مستقل نموذجاً منفصلاً. وهذا يخلق مشكلة تنازع على الموارد: حيث لا تستطيع أجهزة الحافة تحديث جميع النماذج الخاصة بكل فئة في آن واحد بسبب قيود عرض النطاق الترددي والحوسبة، مما يستلزم آلية جدولة ذكية لتحديد أي أزواج (عميل-فئة) يجب أن يتم تدريبها في كل جولة.

2. المنهجية

يدمج إطار العمل المقترح، MODIAD، سير عمل محدد مع استراتيجيتين للتحسين الأساسيتين: الجدولة الذكية متعددة الفئات (MIS) والتكيف منخفض الرتبة الموفر للموارد لكل فئة (REC-LoRA).

سير عمل النظام

• البنية الهيكلية: يقوم خادم سحابي مركزي بتنسيق $K$ من عملاء الحافة. يمتلك كل عميل بيانات متعددة الوسائط محلية (مثل RGB وسحب النقاط ثلاثية الأبعاد) منظمة حسب فئة الكائن.
• استخراج الميزات: تقوم مستخرجات ميزات مدربة مسبقاً ومجمدة (مثل ViT للصور ثنائية الأبعاد، وPoint Transformer ثلاثية الأبعاد) بمعالجة البيانات الخام لاستخراج التضمينات (embeddings). ويتم فقط تحديث نماذج الربط اللاحقة.
• هيكل النموذج: لكل فئة $c$، يقوم زوج من شبكات الربط عبر الوسائط ($2D \to 3D$ و $3D \to 2D$) بتعلم العلاقة بين الوسائط. ويتم الكشف عن الشذوذ عبر أخطاء إعادة البناء (الفرق بين الميزات عبر الوسائط المرصودة والمتوقعة).
• دورة التدريب:
  1. تقرير حالة العميل: يرسل العملاء إحصائيات خفيفة الوزن (عدد العينات لكل فئة) إلى الخادم.
  2. جدولة الخادم: يختار الخادم أزواجاً محددة من (العميل-الفئة) للجولة الحالية بناءً على خوارزمية MIS.
  3. التدريب المحلي: يقوم العملاء المختارون بتحديث نماذجهم المخصصة لكل فئة باستخدام بياناتهم المحلية.
  4. التجميع: يقوم الخادم بتجميع التحديثات لكل فئة بشكل مستقل.

الاستراتيجيات الأساسية

أ. الجدولة الذكية متعددة الفئات (MIS)

لتعظيم أداء الكشف تحت قيود الموارد، تصيغ الورقة MIS كمسألة تحسين (0–1). والهدف هو اختيار مجموعة فرعية من أزواج (العميل-الفئة) التي توازن بين عاملين متنافسين:

1. كفاية البيانات: إعطاء الأولوية للفئات التي تمتلك عينات محلية كافية لضمان تحديثات موثوقة.
2. توازن الفئات: منع نقص التدريب لفئات معينة من خلال إعطاء الأولوية للفئات التي لديها تحديثات تراكمية أقل.

يتم حساب درجة الأولوية $U^t_{k,c}$ للعميل $k$ والفئة $c$ كمجموع مرجح لكفاية البيانات المعيرة وأوزان عدم توازن الفئات. ولحل هذه المسألة المعقدة (NP-hard) بكفاءة، اقترح المؤلفون خوارزمية الربح الهامشي المتسلسل (SMG). يقوم الخادم باختيار زوج (العميل-الفئة) الذي يقدم أعلى ربح هامشي في دالة الهدف العالمية بشكل تكراري، مع مراعاة ميزانيات الحوسبة المحلية ($\Gamma^{cop}_k$) والاتصال العالمي ($\Gamma^{com}$).

ب. التكيف منخفض الرتبة الموفر للموارد لكل فئة (REC-LoRA)

حتى مع الجدولة، فإن تحديث النماذج الكاملة لعدة فئات يمكن أن يكون مكلفاً. يقدم REC-LoRA استراتيجية تكيف فعالة في المعلمات:

• مرحلة الإحماء (Warm-up Phase): تخضع جميع النماذج المختارة لتحديثات كاملة للمعلمات خلال فترة أولية لإنشاء خط أساس قوي.
• المرحلة الهجينة التكيفية (Adaptive Hybrid Phase): تتحدد التحديثات اللاحقة بناءً على استقرار أداء الفئة.
  • إذا كان أداء الفئة مستقراً (أعلى من المتوسط العالمي)، ينتقل النموذج إلى LoRA، حيث يتم تجميد الأوزان الأساسية وتدريب المصفوفات المتبقية منخفضة الرتبة فقط.
  • إذا كان الأداء غير مستقر، يتم الاحتفاظ بتحديثات النموذج الكاملة.
    يقلل هذا النهج بشكل كبير من عدد المعلمات القابلة للتدريب ومن عبء الاتصالات مع الحفاظ على دقة الكشف.

3. المساهمات الرئيسية

1. صياغة MODIAD: تقدم الورقة وتعرف أول إطار عمل للكشف عن الشذوذ الصناعي متعدد الوسائط، عبر الإنترنت، والموزع، معالجةً التحديات الفريدة للبيانات غير الخاضعة للإشراف، والمتدفقة، ومتعددة الفئات في بيئات الحافة.
2. الجدولة الذكية متعددة الفئات (MIS): يقترح المؤلفون مسألة جدولة مبتكرة تنسق تحديثات النماذج عبر الفئات. وقد قدموا خوارزمية SMG لموازنة كفاية البيانات والتوازن العالمي للفئات، مما يضمن استخداماً فعالاً للموارد.
3. استراتيجية REC-LoRA: تم تصميم استراتيجية تدريب هجينة للتبديل ديناميكياً بين التحديثات الكاملة والتكيف منخفض الرتبة بناءً على أداء الفئة، مما يقلل بشكل كبير من تكاليف الحوسبة والاتصالات.
4. التحقق التجريبي: أظهرت التجارب المكثفة على مجموعات بيانات MVTec 3D-AD و Eyecandies تفوق إطار العمل على النماذج المرجعية (الجدولة العشوائية، الكفاية فقط، التوازن فقط) من حيث دقة الكشف (I-AUROC، AUPRO).

4. النتائج التجريبية

تم تقييم النهج المقترح على مجموعتي بيانات نموذجيتين متعددتي الوسائط:

• MVTec 3D-AD: 10 فئات من الكائنات الصناعية مع بيانات RGB وعمق (depth).
• Eyecandies: 10 فئات من الأطعوات الاصطناعية مع بيانات RGB وعمق.

النتائج الرئيسية:

• الأداء: حقق إطار العمل القائم على SMG درجات I-AUROC و AUPRO متوسطة متفوقة مقارنة بالنماذج المرجعية. على سبيل المثال، في MVTec 3D-AD، حقق SMG متوسط I-AUROC قدره 0.927، متفوقاً على الجدولة العشوائية (0.888) والتوازن فقط (0.899).
• الكفاءة: قللت استراتيجية REC-LoRA تكاليف الاتصال التراكمية بشكل كبير (بنسبة 30-40% تقريباً في الرسوم البيانية) مع انخفاض طفيف فقط في دقة الكشف (على سبيل المثال، انخفاض طفيف في متوسط I-AUROC من 0.927 إلى 0.908 في MVTec 3D-AD).
• دراسات الاستئصال (Ablation Studies):
  • أدت زيادة القدرة الحوسبية المحلية ($\Gamma^{cop}_k$) إلى تحسين الأداء حتى نقطة معينة، وبعد ذلك حدت اختناقات الاتصال من المكاسب.
  • أظهرت زيادة سعة الاتصال العالمي ($\Gamma^{com}$) عوائد متناقصة بمجرد اختيار أزواج (العميل-الفئة) الأكثر إفادة.
  • سمحت معلمة الرتبة (rank) في REC-LoRA بمقايضة مرنة بين الأداء والتكلفة؛ حيث وفرت رتبة 32 توازناً قوياً.

5. الأهمية والادعاءات

يدعي المؤلفون أن هذا العمل هو الأول الذي يبحث في الكشف عن الشذوذ الصناعي متعدد الوسائط تحديداً ضمن بيئات التعلم الموزع وعبر الإنترنت. ويؤكدون أن تقنيات التعلم الاتحادي (Federated Learning) الحالية لا يمكن تطبيقها مباشرة بسبب الطبيعة غير الخاضعة للإشراف للكشف عن الشذوذ ومتطلبات النماذج المخصصة لكل فئة بنظام "واحد لواحد".

تكمن أهمية العمل في:

• سد الفجوة: توفير حل عملي لنشر الكشف عن الشذوذ في بيئات إنترنت الأشياء الصناعية (IIoT) الديناميكية والمحدودة الموارد حيث تتدفق البيانات وتكون موزعة.
• تحسين الموارد: إثبات أن الجدولة الذكية والتعلم الموفر للمعلمات يمكن أن يحافظا على أداء كشف عالٍ مع الالتزام بقيود أجهزة الحافة الصارمة.
• القابلية للتوسع: تقديم إطار عمل يتوسع ليشمل فئات متعددة من الكائنات ومصادر بيانات متباينة دون الحاجة إلى تجميع البيانات مركزياً.

تخلص الورقة إلى أنه بينما تعد الطرق المقترحة فعالة، فإن العمل المستقبلي يتضمن إنشاء بيئة اختبار واقعية للتحقق من هذه النتائج في سيناريوهات النشر الفيزيائي واستكشاف أطر عمل موحدة من نوع "واحد للكل" (one-for-all) لمزيد من مشاركة المعرفة.