UniSpector: Towards Universal Open-set Defect Recognition via Spectral-Contrastive Visual Prompting

إليك ملخص تقني مفصل لورقة البحث بعنوان "UniSpector: نحو التعرف الشامل على العيوب في المجموعات المفتوحة عبر التلقين البصري التبايني الطيفي."

1. بيان المشكلة

تواجه أنظمة الفحص البصري الصناعي قيدًا حرجًا: فهي عادة ما تُدرب تحت افتراض المجموعة المغلقة (closed-set assumption)، مما يعني أنها تستطيع فقط اكتشاف فئات العيوب التي رأتُها أثناء التدريب. في التصنيع الواقعي، تظهر أنواع جديدة من العيوب باستمرار، ويتغير تعريف "الحالة الطبيعية" بمرور الوقت.

• محدودية النهج الحالية:
  • كواشف المجموعة المغلقة: تفشل في اكتشاف العيوب المستجدة وتتطلب إعادة تدريب وبناء بيانات مكلفة.
  • كواشف الشذوذ (Anomaly detectors): يمكنها تحديد وجود خطأ ما، لكنها لا تستطيع التمييز بين أنواع عيوب محددة (مثل الخدش مقابل الانبعاج).
  • الكواشف ذات التلقين القائم على النص (Text-driven open-set detectors): تعاني في السياقات الصناعية لأن العيوب غالبًا ما تكون دقيقة بصريًا ويصعب وصفها بدقة باستخدام النص، حتى بالنسبة للخبراء.
  • أساليب التلقين البصري (Visual Prompting) الحالية: رغم كونها واعدة، إلا أنها تعاني من انهيار تضمين التلقين (prompt embedding collapse). بسبب التباين العالي داخل الفئة الواحدة (مثل الدوران، الإضاءة) والاختلافات الدقيقة بين الفئات، يصبح فضاء التضمين غير منظم، مما يؤدي إلى فشل النموذج في التمييز بين أنواع العيوب المختلفة أو التعميم على الأنواع غير المرئية سابقًا.

2. المنهجية: UniSpector

يعد UniSpector إطار عمل جديد للتلقين البصري مصمم للانتقال من مجرد "المطابقة السطحية بين التلقين والمنطقة" إلى التصميم المنهجي لطبوغرافيا تلقين ذات بنية دلالية وقابلة للنقل. يتكون من ثلاثة مكونات أساسية:

أ. مشفر التلقين المكاني-الطيفي (SSPE)

لمعالجة التباين العالي داخل الفئة والاختلافات النسيجية الدقيقة، يعيد SSPE تعريف التلقين البصري كـ واصف ثنائي المجال (dual-domain descriptor):

• المجال الطيفي (Spectral Domain): يحسب تحويل فوريه المتقطع ثنائي الأبعاد (2D DFT) لمنطقة التلقين. يستخرج إشارات ترددية شعاعية ثابتة تجاه الدوران عن طريق حساب متوسط استجابات السعة على حلقات ترددية متمركزة. هذا يقلل من التباين الناتج عن التحولات الدورانية ويلتقط الأنسجة الدقيقة التي غالبًا ما تُفقد في مجال البكسل.
• المجال المكاني (Spatial Domain): يستخرج الميزات المكانية باستخدام آلية الانتباه المتقاطع المقنعة والموجهة بقناع منطقة الاهتمام (RoI).
• الدمج (Fusion): يتم دمج هذين النمطين عبر شبكات MLP خفيفة الوزن لإنشاء تضمين تلقين قوي، يكون ثابتًا تجاه الدوران ولكنه حساس للاختلافات النسيجية الدقيقة.

ب. مشفر التلقين التبايني (CPE)

لمنع انهيار التضمين، يقوم CPE بتنظيم فضاء تضمين التلقين صراحةً ليصبح متعدد زوايا (angular manifold) منظم دلاليًا:

• الآلية: يستخدم خسارة تباينية ذات هامش زاوي (مستوحاة من ArcFace).
• الأهداف:
  1. التماسك داخل الفئة (Intra-class Compactness): يجبر تضمينات نفس فئة العيب على التكتل بإحكام، مما يضمن الثبات تجاه التغيرات الهندسية.
  2. الطبوغرافيا الزاوية الدلالية (Semantic Angular Topology): يفرض حدًا زاويًا أدنى بين الفئات المختلفة. هذا ينظم الفضاء بحيث تكون العيوب المرتبطة دلاليًا أقرب لبعضها البعض، بينما تُدفع العيوب غير المتشابهة بعيدًا.
• النتيجة: يسمح هذا بوضع العيوب غير المرئية بشكل متسق دلاليًا في فضاء التضمين بدلاً من إسقاطها بشكل عشوائي.

ج. اختيار الاستعلام الموجه بالتلقين (PQS)

تستخدم نماذج DETR القياسية استعلامات كائن (object queries) قابلة للتعلم تشفر انحيازات لفئات التدريب، مما يحد من القدرة على التعميم في المجموعات المفتوحة.

• الابتكار: يقوم PQS باختيار مجموعة فرعية من رموز الرؤية (vision tokens) كاستعلامات للكائنات، بناءً على التلقين البصري.
• التنفيذ: يحسب تشابه جيب التمام (cosine similarities) بين رموز الرؤية والنماذج الأولية للفئات (class prototypes)، ثم يستخدم آلية اختيار Gumbel-Softmax قابلة للتفاضل. يسم هذا النموذج تعلم توزيع استعلام مشروط بالتلقين بشكل كامل (end-to-end)، مما يضمن تهيئة الاستعلامات بشكل تكيفي وفقًا لخصائص النموذج المثالي للتلقين.

3. المساهمات الرئيسية

1. تحديد العيوب الهيكلية: حدد المؤلفون أن معاملة التلقينات كتمثيلات ضمنية يؤدي إلى انهيار التضمين في البيئات الصناعية بسبب التباين العالي والاختلافات الدقيقة. اقترحوا أن فضاء تضمين التلقين يتطلب تنظيمًا هيكليًا صريحًا.
2. إطار عمل UniSpector: بنية جديدة تجمع بين SSPE (لاستخراج الميزات الدقيقة والثابتة تجاه الدوران) وCPE (لهيكلة متعدد زوايا التضمين) لتمكين النقل القوي للمجموعات المفتوحة.
3. معيار Inspect Anything (InsA): تقديم أول معيار مخصص لـ تحديد موقع العيوب القائم على التلقين البصري في المجموعات المفتوحة. يتضمن المعيار:
   • التقييم داخل النطاق (In-domain evaluation): الاختبار على أنواع عيوب غير مرئية ضمن نفس توزيع البيانات.
   • التقييم عبر النطاقات (Cross-domain evaluation): الاختبار على مواد وظروف تصوير ومورفولوجيا عيوب مختلفة تمامًا.
   • التعميم على مستوى التلقين: تجميع النتائج عبر بذور تلقين عشوائية متعددة لضمان الاستقرار.

4. النتائج التجريبية

قيم المؤلفون UniSpector مقابل نماذج مرجعية رائدة في التأسيس البصري (مثل GroundingDINO وYOLO-World) والتلقين البصري (مثل DINOv وT-Rex2 وSegGPT) على معيار InsA.

• مكاسب الأداء: يتفوق UniSpector بشكل كبير على جميع النماذج المرجعية.
  • داخل النطاق: يحقق زيادة قدرها 19.7% في AP50b (للكشف) و15.8% في AP50m (للتجزئة) مقارنة بأفضل النماذج المرجعية.
  • عبر النطاقات: يظهر قدرة فائقة على الانتقال إلى نطاقات غير مرئية (مثل 3CAD وVISION وVisA) حيث تفشل الطرق الأخرى غالبًا (بأداء يقترب من الصفر للنماذج القائمة على النص).
• دراسات الاستئصال (Ablation Studies):
  • يؤدي إزالة SSHE أو CPE إلى انخفاض كبير في الأداء، مما يؤكد ضرورة الميزات الطيفية والتنظيم التبايني.
  • يتفوق PQS على كل من الاستعلامات الثابتة القابلة للتعلم وعلى اختيار Top-K الاستدلالي.
• تصور التضمين: تظهر إسقاطات PCA ثلاثية الأبعاد أن UniSpector يشكل تكتلات متماسكة للفئات المرئية مع انفصال زاوي واضح، بينما تظهر النماذج المرجعية (مثل DINOv) تضمينات مشتتة ومتداخلة.
• التنافسية في المجموعة المغلقة: حتى في إعداد المجموعة المغلقة الخاضع للإشراف الكامل، يضاهي UniSpector أداء الكواشف القوية للمجموعات المغلقة (مثل Mask2Former)، مما يثبت أنه لا يضحي بالدقة مقابل قدرات المجموعة المفتوحة.

5. الأهمية والأثر

• الفحص الصناعي القابل للتوسع: يرسخ UniSpector نموذجًا لا يتطلب إعادة التدريب. يمكن للمصنعين تقديم أنواع جديدة من العيوب ببساطة عن طريق توفير تلقينات بصرية (نماذج مثالية) دون الحاجة لجمع مجموعات بيانات ضخمة أو إعادة تدريب النموذج بالكامل.
• المتانة تجاه التباين: من خلال الاستفادة من الإشارات الطيفية والهوامش الزاوية، يتعامل الأسلوب بفعالية مع التباين العالي داخل الفئة (الدوران، الإضاءة) والقدرة المنخفضة على الفصل بين الفئات، وهي سمات نموذجية للعيوب الصناعية.
• رؤية عامة: تقدم الورقة رؤى معمارية بالغة الأهمية للتلقين البصري العام، حيث تثبت أن بنية فضاء التضمين لا تقل أهمية عن استخراج الميزات نفسها للتعرف على المجموعات المفتوحة.
• العملية: يتميز الأسلوب بكفاءة عالية في البيانات، حيث يتطلب من 1 إلى 3 صور تلقين لكل فئة لاستقرار الأداء، مما يجعله مناسبًا جدًا للبيئات الصناعية حيث يكون جمع النماذج المثالية عالية الجودة محدودًا.