DeepCork: A Two-Stage Deep Learning Framework for Automated Defect Inspection of Natural Cork Stoppers
يُعد DeepCork إطار عمل للتعلم العميق يتكون من مرحلتين، حيث يجمع بين مصنف ثنائي يعتمد على ResNet152 وكاشف يعتمد على YOLO لتحقيق فحص عالي الدقة وفي الوقت الفعلي لعيوب سدادات الفلين الطبيعي، مع موازنة دقة التحديد، وقيود زمن الاستجابة، وعدم اليقين التنبؤي في التصنيع الصناعي بشكل فعال.
المؤلفون الأصليون:Marcos de Souza Oliveira, Jorge Carlos Santos Cardoso, Hugo Dinis Pereirinha da Silva Amaro, Esmaail Albarazi, Armin Gharibi, João Perdiz, Tiago Ventura, Vanessa Fernandes Ferreira, António Silva FerrMarcos de Souza Oliveira, Jorge Carlos Santos Cardoso, Hugo Dinis Pereirinha da Silva Amaro, Esmaail Albarazi, Armin Gharibi, João Perdiz, Tiago Ventura, Vanessa Fernandes Ferreira, António Silva Ferreira, André Perrotta, Licinio Roque
تعتمد زجاجات النبيذ على سدادة بسيطة لكنها متطورة: سدادة مصنوعة من لحاء شجرة بلوط الفلين. هذه المادة فريدة من نوعها، حيث توفر توازناً مثالياً بين الخفة والمرونة والقدرة على منع دخول الهواء مع السماح للنبيذ بالتنفس. ومع ذلك، نادراً ما تكون الطبيعة مثالية؛ فلحاء الشجر هو نسيج حي له تاريخه الخاص، مليء بالمسام والأنماط الطبيعية التي يمكن بسهولة الخلط بينها وبين التلف. وعندما يقوم المصنعون بقطع هذا اللحاء إلى أسطوانات لصنع السدادات، فإنهم يخاطرون بإنشاء شقوق خفية أو ترك آثار لإصابات حشرية. قد تبدو هذه العيوب وكأنها سمات طبيعية غير ضارة، لكنها يمكن أن تفسد الختم، مما يسمح للأكسجين بإفساد النبيذ في الداخل. لقرون، قام البشر بفحص هذه السدادات بالعين المجردة، وهي عملية بطيئة ومرهقة حيث قد يغفل عامل متعب عن شق صغير أو يرفض خطأً قطعة سليمة. واليوم، تحتاج المصانع إلى آلات يمكنها الرؤية مثل البشر، ولكن بسرعة أكبر ودون تعب، ومع ذلك، فإن عدم الانتظام الطبيعي للفلين يجعل هذه المهمة صعبة على الحواسيب.
لقد طور باحثون في جامعة كويمبرا وشركاؤهم في صناعة الفلين نظاماً جديداً يسمى "DeepCork" لحل هذه المشكلة. وبدلاً من محاولة إجبار برنامج حاسوبي واحد على القيام بكل شيء في آن واحد، بنوا خط فحص مكون من خطوتين يحاكي سير عمل بشري دقيق. تعمل الخطوة الأولى كحارس بوابة سريع؛ تخيل عاملاً يمسح بسرعة حزاماً ناقلاً يحتوي على آلاف السدادات، فيستبعد فوراً تلك التي تبدو مثالية تماماً ويضع جانباً فقط تلك التي قد تشوبها عيوب. يقوم الحاسوب بذلك باستخدام أداة تحليل صور متخصصة مدربة على تمييز الفرق بين الفلين السليم والمتضرر. ينظر النظام إلى الجزء العلوي المسطح والجانب الأسطواني لكل سدادة، ويقرر بيقين شبه تام ما إذا كان المنتج آمناً أم مشبوهاً. وإذا لم يكن الحاسوب متأكداً تماماً من أن السدادة مثالية، فإنه يرسلها إلى المرحلة الثانية.
المرحلة الثانية هي حيث يتم العمل التفصيلي. السدادات التي اجتازت الفحص الأول ولكنها لا تزال تثير علامة استفهام، يتم فحصها بواسطة نظام أكثر تعقيداً مصمم لتحديد مكان المشكلة ونوعها بالضبط. يبحث هذا النظام عن أنواع محددة من التلف، مثل الشقوق الداخلية التي لا تكسر السطح، أو الشقوق الخارجية التي تمزق الحواف، أو الثقوب التي تركتها الحشرات. يقوم النظام برسم مربع حول العيب، ويحدد ما إذا كان شقاً أو علامة حشرة، ويقرر ما إذا كان يجب التخلص من السدادة. هذا النهج المكون من جزأين أمر بالغ الأهمية لأن نظاماً واحداً يحاول القيام بالوظيفتين معاً غالباً ما يرتبك بسبب ملمس الفلين الطبيعي، فيخطئ بين مسام غير ضارة وشق خطير. ومن خلال فصل المهام، يقوم النظام أولاً بتصفية القطع الجيدة بثقة عالية، ثم يستخدم كامل قوته لتحليل القطع القليلة التي قد تكون تالفة فقط.
اختبر الفريق هذا النظام على مجموعة ضخمة تضم أكثر من 18,000 صورة حقيقية تم التقاطها من أرض المصنع. ووجدوا أن الطريقة المكونة من مرحلتين نجحت بشكل ملحوظ. بالنسبة للجزء العلوي المسطح من السدادة، كان النظام بلا عيوب تقريباً، حيث حدد المواقع بدقة للعيوب في كل حالة تقريباً. أما الجسم الأسطواني، وهو الأصعب في الفحص بسبب شكله المنحني وتغير الظلال، فقد أثبت أنه أكثر تحدياً، ومع ذلك حقق النظام مستوى عالياً جداً من الدقة. واكتشف الباحثون أيضاً أن نماذج الحاسوب الأحدث والأكثر تعقيداً لم تكن بالضرورة أفضل من النماذح الأقدم والأكثر استقراراً. في الواقع، وفر إصدار محدد من برنامج الكشف المعروف باسم YOLOv8، عند اقترانه بالمرشح الأولي، أفضل توازن بين السرعة والدقة. العملية برمتها سريعة بما يكفي لمواكبة خط إنتاج عالي السرعة، حيث تستغرق أقل من ثمانية مللي ثانية لفحص سدادة واحدة معيبة، بينما يتم تمرير السدادات السليمة بسرعة أكبر حتى.
يوضح هذا العمل أن مراقبة الجودة الآلية للمواد الطبيعية لا تتطلب ذكاءً اصطناعياً واحداً فائق القدرة، بل إن تسلسلاً مصمماً بعناية من خطوات أبسط يمكن أن يحقق نتائج متفوقة. لقد نجح النظام في تقليل مخاطر الإنذارات الكاذبة، حيث تُرفض قطعة مثالية بالخطأ، والسهو الكاذب، حيث تمر قطعة تالفة دون اكتشافها. وبينما يشير الباحثون إلى أن الجانب المنحني للفلين يظل الجزء الأكثر صعوبة في الفحص المثالي، وأن بيانات التدريب الخاصة بهم اعتمدت بشكل كبير على متغيرات مولدة حاسوبياً لسد الفجوات، فإن النتائج تمثل خطوة كبيرة للأمام. لقد أنشأوا أساساً شفافاً وموثوقاً لمستقبل إنتاج الفلين، مما يضمن أن يكون الختم الطبيعي الذي يحمي نبيذنا موثوقاً بقدر موثوقية المادة نفسها.
ملخص تقني: DeepCork
بيان المشكلة تعد عملية تصنيع سدادات الفلين الطبيعي عرضة للعيوب بطبيعتها بسبب عملية قطع الألواح غير المعتمدة على البيانات، بالإضافة إلى عدم التجانس الطبيعي للمادة. وبينما حلت الرؤية الحاسوبية المؤتمتة محل التصنيف اليدوي، تواجه حلول التعلم العميق الحالية مقايضة حرجة: الموازنة بين دقة التحديد العالية وقيود زمن الاستجابة الصارمة (عادةً أقل من 50 ميلي ثانية) المطلوبة في خطوط الإنتاج الصناعية عالية السرعة. علاوة على ذلك، تعاني بنيات "الصندوق الأسود" القياسية غالبًا من عدم اليقين التنبؤي، مما يؤدي إلى نتائج إيجابية كاذبة أو تفويت العيوب عند التمييز بين أنسجة الفلين الطبيعية (المسام، والنتوءات) والعيوب الهيكلية الفعلية. كما تفتقر الأطر الحالية في كثير من الأحيان إلى تقسيم صريح بين الكشف الأولي عن وجود العيب وبين التصنيف اللاحق للعيب، مما يجعلها أقل قوة في بيئات الإنتاج عالية التدفق.
المنهجية: إطار عمل DeepCork يقترح المؤلفون DeepCork، وهو إطار عمل للتعلم العميق يتكون من مرحلتين، صُمم لفصل عملية الفحص إلى مرحلة ترشيح ثنائي سريع ومرحلة تحديد دقيق للموقع. يعالج المسار منظورين هندسيين متميزين للفلين: الأسطح المستوية العلوية والسفلية ("Topos") والجسم الأسطواني ("Corpo").
1. المرحلة الأولى: الترشيح الثنائي خفيف الوزن
الهدف: فصل السدادات المعيبة عن غير المعيبة بسرعة وبدرجة يقين شبه مطلقة لتقليل الحمل الحسابي في المراحل اللاحقة.
البنية: قام المؤلفون باختبار نماذج DenseNet وMobileNetV3 وResNet152. تم اختيار ResNet152 كبنية أساسية مثالية نظرًا لقدرتها على إنتاج كتلة احتمالية حادة ومركزة بالقرب من 1.0، مما يشير إلى يقين تنبؤي عالٍ.
المنطق: يتم تطبيق عتبة ثقة صارمة (α=0.95). فقط الصور التي تزيد فيها احتمالية وجود عيب P(Defect)>0.95 تنتقل إلى المرحلة الثانية. أما العينات التي تقل عن هذه العتبة، فيتم تمريرها فورًا كمنتجات عالية الجودة. تم تدريب نماذج منفصلة لمنظوري الجزء العلوي (Top) والجسم (Body) لمراعاة الاختلافات الهندسية.
2. المرحلة الثانية: تحديد موقع العيب وتصنيفه القابل للتفسير
الهدف: تحديد موقع وتصنيف العيوب بدقة للعينات التي تم رصدها في المرحلة الأولى.
البنية: يستخدم الإطار عائلة من كواشف الأشياء YOLO (You Only Look Once). تم تقييم خمس نسخ (v5, v8, v9, v10, v11) بمقاييس بارامترات "Nano" و"Small".
تصنيف العيوب: يصنف النظام أربعة أنواع محددة من العيوب:
النوع A: الشقوق الداخلية (Fenda Interna)
النوع B: الشقوق الخارجية (Fenda Externa)
النوع C: عيوب الحشرات المستديرة (Bicho Redondo)
النوع D: عيوب الحشرات الرأسية (Bicho Cabeça)
المنطق: يتم استخدام عتبة ثقة ثانوية (β) للتحقق من تنبؤات صناديق الإحاطة (bounding boxes) للحد من الإنذارات الكاذبة. تم تحسين نماذج مستقلة لمناطق الجزء العلوي (Top) والجسم (Body).
3. استراتيجية البيانات
المعالجة المسبقة: تُستخدم تحويلات هاف (Circular Hough Transform - CHT) للتحقق من دائرية مناظر الجزء العلوي/السفلي وتصفية العينات غير الموثوقة هيكليًا.
الموازنة: تم استخدام استراتيجية موازنة على مستويين. أولاً، استُخدمت طريقة "أخذ العينات الناقصة" (undersampling) لموازنة التصنيف الثنائي (وجود عيب مقابل عدم وجود عيب). ثانيًا، تم تطبيق موازنة الفئات لأربعة أنواع من العيوب في مرحلة تحديد الموقع لمنع الإفراط في التخصيص (overfitting) للفئات المهيمنة.
تعزيز البيانات: لمعالجة ندرة عينات العيوب الحقيقية (خاصة لفئات "Bicho")، تم تعزيز مجموعة التدريب باستخدام الدوران العشوائي، والضوضاء الغاوسية، والتمويه الغاوسي، وتغيير شدة الإضاءة، والانسداد العشوائي، مما وسع كل فئة لتصل إلى حوالي 5,000 حالة. استخدمت الدراسة مجموعة بيانات أولية مكونة من 775,673 صورة، تم تقسيمها إلى مجموعات فرعية للتدريب (70%)، والتحقق (15%)، والاختبار (15%) على مستوى الجلسة. وتألفت مجموعة الاختبار النهائية من 344 صورة (189 للجزء العلوي و155 للجسم).
النتائج الرئيسية تم تقييم إطار العمل على مجموعة اختبار مكونة من 344 صورة مشتقة من مجموعة البيانات الصناعية.
أداء المرحلة الأولى: أظهر ResNet152 قدرة فائقة، لا سي la الجزء العلوي (Top) الصعب، حيث حقق مقياس F1-Score قدره 0.8764 (للجزء العلوي) و0.9448 (للجسم). كان توزيع الثقة الخاص به أكثر تركيزًا بشكل ملحوظ من MobileNetV3 أو DenseNet، مما يبرر اختياره كمرشح أولي.
أداء المرحلة الثانية (تحديد الموقع):
المنطقة العلوية (Top Region): حققت نماذج YOLO ذات الحجم الصغير أداءً يقارب المثالية. حقق نموذج YOLOv8 Small مقياس mAP@50 قدره 0.994 ومقياس F1-Score قدره 0.988.
منطقة الجسم (Body Region): كانت هذه المنطقة أكثر تحديًا بسبب الانحناء وتدرجات الإضاءة. حقق نموذج YOLOv8 Small أفضل توازن إجمالي بمقياس mAP@50 قدره 0.912 ومقياس F1-Score قدره 0.895.
الدقة المكانية: سجل نموذج YOLOv9 Small أعلى دقة مكانية إجمالية بمقياس mAP@50 قدره 0.956، ويُعزى ذلك إلى آلية معلومات التدرج القابلة للبرمجة (PGI) الخاصة به.
المقارنة: أدت الإصدارات الأحدث (v10, v11) إلى أداء أقل قليلاً مقارنة بـ v8 وv9، مما يشير إلى أن تحسينات السرعة قد تضحي بالدقة في الأنسجة الطبيعية منخفضة التباين.
زمن الاستجابة والإنتاجية:
تعمل المرحلة الأولى (ResNet152) بسرعة 4.2 مللي ثانية لكل إطار (238 إطار في الثانية).
يؤدي المسار المشترك لعينة معيبة (ResNet152 + YOLOv8-Small) إلى زمن استجماعي في أسوأ الحالات يبلغ ~7.3 مللي ثانية (~136 إطار في الثانية).
بالنسبة للعينات غير المعيبة (وهي الأغلبية العظمى)، ينتهي المسار بعد المرحلة الأولى، حيث يعمل بسرعة المصنف القصوى. يضمن هذا التخصيد الديناميكي الامتثال لمتطلبات الإنتاجية الصناعية دون المساس بأداء الفحص.
الأهمية والادعاءات يزعم البحث أن DeepCork يضع أساسًا موثوقًا وشفافًا لضمان الجودة المؤتمت في عمليات التفتيش عالية التدفق. وتكمن أهميته الأساسية في:
معالجة مقايضة الدقة والزمن: من خلال فصل الترشيح الثنائي عن تحديد الموقع التفصيلي، يتجنب النظام التكلفة الحسابية لتشغيل كواشف الأشياء الثقيلة على كل صورة، مع الحفاظ على معدلات كشف عالية.
تخفيف حدة عدم اليقين: يقلل تحليل احتمالية الثقة المنهجي في كلتا المرحلتين من عدم اليقين في التصنيف ويحد من النتائج الإيجابية الكاذبة، وهو مطلب حيوي للنشر الصناعي حيث يمكن للإنذارات الكاذبة أن توقف الإنتاج.
القابلية للتفسير: على عكس نماذج الصندوق الأسود أحادية المرحلة، يوفر النهج ثنائي المرحلة حدود قرار واضحة (عبر المرشح الثنائي) وتحديدًا مكانيًا صريحًا (عبر YOLO)، مما يعزز قابلية تفسير عملية الفحص.
القيود والعمل المستقبلي أشار المؤلفون بتواضع إلى قيدين رئيسيين:
لا تزال منطقة الجسم (Body) تمثل عقبة في الأداء بسبب تشوهات المنظور والمسام الطبيعية التي تحاكي العيوب.
النتائج العالية للمنطقة العلوية (Top) هي جزئيًا نتيجة لتعزيز البيانات، حيث كانت مجموعة البيانات الأصلية لبعض فئات العيوب (خاصة "Bicho") صغيرة.
يُقترح للعمل المستقبلي توسيع قاعدة العينات الحقيقية، والتحقق من النظام على أجهزة حافة صناعية فعلية لتأكيد عتبة زمن الاستجابة (<50 مللي ثانية) في الظروف الواقعية، ودمج مخرجات المسار في منصة تدريب للمشغلين تعتمد على الواقع الافتراضي (VR) لمساعدة المفتشين البشريين.