ملخص تقني: عدّ أجزاء الآلات

تعريف المشكلة

تتناول الورقة البحثية تحدي عدّ الأجسام المتراصة بكثافة داخل الصور، مع التركيز بشكل خاص على أجزاء غسالات الآلات الصناعية. وبينما تقدمت أنظمة كشف الأجسام، لاحظ المؤلفون أن نماذج الكشف الحديثة تعاني في المشاهد ذات الكثافة العالية بسبب تداخل الأجسام، والاحتجاب (occlusion)، وتفاوت المقاييس، وظروف الإضاءة. تتكون مجموعة البيانات المحددة من 8,100 صورة لحزم من "الوردات" (washers) تم التقاطها من تسع زوايا مختلفة، بمتوسط يبلغ حوالي 26 جسماً لكل صورة. وتكمن الصعوبة الرئيسية في تمييز الأجزاء الدائرية الفردية عندما تكون محجوبة بشدة أو متكتلة، وهو سيناريو تفشل فيه طرق العد التقليدية وبنى الكشف القياسية غالباً.

المنهجية

يقترح المؤلفون نهجاً يعتمد على التعلم العميق يوسع بنية FamNet [12]، وهو نموذج انحدار (regression) يعتمد على التعلم بلقطات قليلة (few-shot) مصمم لتعلم خريطة كثافة لعد الأجسام. تتضمن المنهجية عدة مكونات رئيسية:

1. بنية الشبكة والتكيف

تستخدم النواة الأساسية للنموذج خلفية ResNet-50 مدربة مسبقاً على ImageNet لاستخراج الميزات متعددة المقاييس. وخلافاً لنموذج FamNet الأصلي، الذي يستخدم بضعة صناديق محيطة نموذجية (exemplar bounding boxes) للتكيف مع الفئات المختلفة وقت الاختبار، فإن هذا التنفيذ مصمم لفئة واحدة (أجزاء الوردات). بناءً على ذلك، يتم تزويد النموذج بـ جميع الصناديق المحيطة للوردات في الصورة بدلاً من بضعة نماذج فقط. تخضع هذه الصناديق لعملية تجميع مناطق الاهتمام (ROI pooling) على الخرائط الميزية التلافيفية لتوليد ميزات متعددة المقاييس، والتي يتم تغذيتها بعد ذلك في وحدة تنبؤ بالكثافة تتكون من خمس كتل تلافيفية وثلاث طبقات رفع عينات (upsampling) لإنتاج خريطة كثافة ثنائية الأبعاد. ويتم اشتقاق العدد النهائي للأجسام عن طريق جمع قيم خريطة الكثافة هذه.

2. بناء كثافة الحقيقة الأرضية (Ground Truth)

لتوليد خرائط كثافة الحقيقة الأرضية، ابتعد المؤلفون عن التوسيمات النقطية (point-wise annotations) المستخدمة في الأعمال السابقة. بدلاً من ذلك، قاموا بتثبيت نقاط التوسيم على مركز الكتلة (center-of-mass) للمضلعات الخاصة بالأجسام. تم حساب حجم نافذة ديناميكي للتنعيم الغاوسي (Gaussian smoothing) بناءً على متوسط المسافة بين كل نقطة وأقرب جار لها، مما يضمن تكيف خريطة الكثافة مع التوزيع المكاني المحدد لأجزاء الوردات.

3. فقدان عدم التطابق (Mismatch Loss)

تتمثل المساهمة المبتكرة في تقديم دالة فقدان عدم التطابق (Mismatch Loss). إن فقدان متوسط مربع الخطأ (MSE) القياسي في FamNet يعاقب فقط إجمالي الخطأ بين خرائط الكثافة المتوقعة والحقيقة الأرضية. أما "فقدان عدم التطابق" المقترح فيعاقب تحديداً البكسلات في خريطة الكثافة المتوقعة التي تقابل مناطق في الصورة لا يوجد بها جسم (بناءً على أقنعة ثنائية مشتقة من التوسيمات). رسمياً، يقوم هذا الفقد بجمع قيم الكثافة المتوقعة حيث يشير قناع الحقيقة الأرضية إلى غياب الجسم. يتم دمج هذا الفقد مع فقد MSE الكثافي القياسي باستخدام معامل وزن $\lambda = 10^{-9}$.

4. تجميع الزوايا

بما أن مجموعة البيانات تتضمن تسع زوايا رؤية مختلفة لكل مشهد، استخدم المؤلفون خطوة معالجة لاحقة لتجميع التنبؤات. لقد جربوا طرق التجميع عبر الحد الأقصى (max)، والحد الأدنى (min)، والمتوسط (average) عبر الزوايا التسع. وأظهرت النتائج التجريبية أن أخذ المتوسط للتنبؤات بالعد هو الذي حقق أفضل أداء.

5. النهج البديل (الفصل العمقي)

استكشفت الورقة أيضاً الفصل القائم على العمق للتعامل مع الاحتجاب، محاولة تقسيم الصور إلى طبقات عمق باستخدام عتبة أوتسو متعددة المستويات (Multi-Level Otsu Thresholding) ومحولات التنبؤ الكثيف (DPT). ومع ذلك، كانت هذه التجارب غير ناجحة إلى حد كبير بسبب عدم القدرة على فصل الأجسام المتداخلة بشكل نظيف بناءً على شدة التدرج الرمادي أو خرائط العمق، مما أدى إلى تكرار العد وزيادة الخطأ.

المساهمات الرئيسية

• تكييف FamNet: نجاح تكييف نموذج عد يعتمد على التعلم بلقطات قليلة لمهمة عد صناعية عالية الكثافة لفئة واحدة، وذلك عن طريق تعديل آلية الإدخال لاستخدام مجموعات الصناديق المحيطة الكاملة.
• فقدان عدم التطابق: اقتراح دالة فقد إضافية مصممة لمعاقبة الإيجابيات الكاذبة في خريطة الكثافة (التنبؤ بأجسام حيث لا توجد أجسام)، رغم أن فعاليتها كانت محدودة في سياق هذه المجموعة من البيانات تحديداً.
• تجميع تعدد الزوايا: إثبات أن أخذ متوسط التنبؤات عبر زوايا رؤية متعددة لنفس حزمة الأجسام يقلل بشكل كبير من خطأ العد مقارنة بتنبؤات الزاوية الواحدة.
• مقارنة مرجعية شاملة: تقييم المنهج المقترح مقابل خطوط المعالجة التقليدية للصور (تحويل هوف - Hough Transform) وتقسيم النسخ (Mask-RCNN)، مما سلط الضوء على قيود هذه النهج في السيناريوهات الكثيفة.

النتائج

تم تقييم أداء النماذج باستخدام متوسط الخطأ المطلق (MAE) وجذر متوسط مربع الخطأ (RMSE) على مجموعة اختبار مستقلة.

• النماذج المرجعية:
  • المعالجة التقليدية للصور: حققت MAE قدره 29.01، حيث عانت من الضوضاء والتنبؤات الكاذبة.
  • Mask-RCNN (مدرب مسبقاً): حقق MAE قدره 26.20.
  • Mask-RCNN (مُعدل بدقة/Fine-tuned): تحسن بشكل ملحوظ ليصل إلى MAE قدره 3.79، مما يوضح ضرورة التدريب الخاص بالمجال.
• المنهج المقترح:
  • FamNet (الأساسي): حقق MAE قدره 2.60.
  • FamNet + فقدان عدم التطابق: أدى إلى MAE قدره 2.97، مما يشير إلى أن دالة الفقد لم تحسن الأداء في هذه المجموعة من البيانات وقد أدخلت ضوضاء.
  • FamNet + تجميع الزوايا (المتوسط): حقق أفضل أداء بـ MAE قدره 1.96 وRMSE قدره 2.70.

لاحظ المؤلفون أنه بينما كان الهدف من "فقدان عدم التطابق" هو تقليل العد الزائد، إلا أن أخطاء العد الزائد في هذه المجموعة من البيانات حدثت أساساً في المناطق المحجوبة حيث تم التنبؤ بالأجسام جزئياً بالفعل، مما جعل الفقد غير فعال. وعلى العكس من ذلك، أثبت استراتيجية تجميع الزوايا فاعلية عالية.

الأهمية والادعاءات

تخلص الورقة إلى أن شبكات التعلم العميق، وتحديداً نماذج تقدير الكثافة القائمة على الانحدار مثل FamNet، فعالة للغاية لعد أجزاء الآلات المتراصة بكثافة، حيث تحقق دقة تقل عن 2 في MAE. ويدعي المؤلفون أنه بينما نموذجهم محدد قوي لمجموعة بيانات الوردات، فإن قابليته للتعميم لمهام أخرى محدودة حالياً بسبب الطبيعة المحددة لبيانات التدريب (خلفية سوداء سادة، ومقياس موحد للأجسام).

تكمن أهمية العمل في إثبات أن:

1. العد القائم على الانحدار يتفوق على كل من معالجة الصور التقليدية وتقسيم النسخ في حالات الأجسام الصناعية الكثيفة.
2. تجميع تعدد الرؤى خطوة معالجة لاحقة حاسمة لتحسين الدقة في مجموعات البيانات ذات المنظورات المتعددة.
3. فقدان عدم التطابق قد لا يكون مفيداً بشكل عالمي، خاصة عندما تنبع الأخطاء من الاحتجاب بدلاً من الإيجابيات الكاذبة في المناطق الفارغة، مما يشير إلى أن تصميم دالة الفقد يجب أن يكون مصمماً خصيصاً لأنماط الخطأ في مجموعة البيانات.

يقترح المؤلفون بتواضع أن العمل المستقبلي يمكن أن يتضمن تقنيات أكثر فعالية للفصل القائم على العمق أو الاستفادة من طبيعة تعدد الرؤى لتوليد تمثيلات مشاهد ثلاثية الأبعاد (مثل استخدام NeRF) لتحقيق دقة أعلى.