Cosmetic Defect Detection in Semiconductors Using Deep Learning
تقترح هذه الورقة إطار عمل للكشف عن عيوب المظهر في تغليف أشباه الموصلات يعتمد على التعلم العميق، يدمج بين بنية تحتية لإنترنت الأشياء الصناعي (IIoT) موزعة وتعزيز البيانات الاصطناعية، مما يثبت أن بنية YOLO11 تحقق أداءً فائقاً بدقة mAP@0.5 تبلغ 93.5% على مجموعة بيانات مختلطة من بيانات حقيقية واصطناعية.
المؤلفون الأصليون:Armando Montenegro Sanchez, Jesus Caro-Gutierrez, Felix Gonzalez-Navarro, Oscar Perez-Landeros, Jesus Armenta-Garcia, Mario Curiel-Alvarez
المؤلفون الأصليون: Armando Montenegro Sanchez, Jesus Caro-Gutierrez, Felix Gonzalez-Navarro, Oscar Perez-Landeros, Jesus Armenta-Garcia, Mario Curiel-Alvarez
في عالم الإلكترونيات الحديثة غير المرئي، لا تكتسب رقائق السيليكون الصغيرة التي تشغل هواتفنا وسياراتنا ومستشفياتنا جودتها إلا من خلال عملية تغليفها النهائية. فبمجرد بناء الدوائر الدقيقة، يجب وضعها داخل غلاف واقٍ وتوصيلها بالعالم الخارجي عبر سلسلة من الوسادات المعدنية. وتعد هذه المرحلة النهائية بالغة الأهمية؛ إذ يمكن حتى لخدش مجهري أو ذرة غبار صغيرة على السطح أن تشير إلى وجود خلل في عملية التصنيع، مما قد يؤدي إلى الفشل لاحقاً. وعلى مدى عقود، اعتمد فحص هذه الأسطح على العيون البشرية أو الآلات الجامدة التي تجد صعوبة في رؤية العيوب الطفيفة وغير المنتظمة التي تهم الصناعة أكثر من غيرها. ومع صغر حجم الرقائق وزيادة تعقيدها، تتلاشى هامش الخطأ، مما يجعل الحاجة إلى طريقة أذكى وأكثر مرونة لفحص هذه الأسطح تحدياً ملحاً للصناعة.
لقد تصدى فريق من الباحثين في الجامعة المستقلة في باجا كاليفورنيا لهذه المشكلة من خلال بناء نظام يجمع بين الرؤية الحاسوبية المتقدمة وشبكة متصلة من المستشعرات. ويركز عملهم على "الجانب الخلفي" لتصنيع الرقائق، حيث يتم تغليف قوالب السيليكون الجاهزة. وقد أدرك الفريق أن الطرق التقليدية غالباً ما تغفل عن العيوب ذاتها التي تسبب أكبر المتاعب للعملاء: وهي العيوب التجميلية مثل الخدوش الدقيقة، والبقع، وتغير اللون. قد لا تمنع هذه العيوب الرقاقة من العمل فوراً، لكنها تشير إلى حدوث خطأ ما أثناء التجميع، مما يدفع كبار العملاء في مجالات مثل السيارات والفضاء إلى رفضها تماماً. ولحل هذه المشكلة، طور الباحثون إطار عمل آلي جديد يستخدم التعلم العميق، وهو نوع من الذكاء الاصطناعي الذي يتعلم التعرف على الأنماط من خلال دراسة آلاف الصور، تماماً كما يتعلم الإنسان تحديد الأشياء من خلال النظر إليها مراراً وتكراراً.
كان جوهر تحديهم هو نقص البيانات. ففي المصنع المثالي، تكون الرقائق المعيبة نادرة، مما يعني أن الباحثين لم يمتلكوا سوى أمثلة قليلة جداً للأشياء التي يحتاجون لتعليم الكمبيوتر كيفية إيجادها. وللتغلب على ذلك، ابتكروا حلاً ذكياً؛ حيث أخذوا صوراً حقيقية للرقائق واستخدموا أداة رقمية لقص عيوب حقيقية — مثل خدش حقيقي أو بقعة حقيقية — ثم لصقوها بعناً على أجزاء أخرى من صور الرقائق. وقاموا بتعديل الإضاءة واللون لهذه العيوب الملصقة بحيث تندمج بشكل طبيعي، مما خلق مئات الأمثلة التدريبية الجديدة والواقعية. وقد سمح لهم ذلك ببناء مكتبة متوازنة من الصور تظهر كل نوع من أنواع العيوب التي يريدون اكتشافها، مما يضمن ألا يتعلم الكمبيوتر تجاهل العيوب النادرة لمجرد أنه رأى الكثير من الرقائق المثالية.
بعد تجهيز بياناتهم، وضع الفريق ثلاثة أنواع مختلفة من بنيات الذكاء الاصطناعي قيد الاختبار لمعرفة أيها الأفضل في رصد هذه العيوب الدقيقة. كان أحد النهجين عبارة عن نظام ذي مرحلتين، يتوقع أولاً مكان وجود العيب ثم يفحصه بدقة. والآخر كان طريقة أحدث تبحث عن العيوب دون الاعتماد على صناديق محددة مسبقاً، والتي قد تفشل أحياناً في رصد الخدوش ذات الأشكال الغريبة. أما الثالث فكان نظاماً سريعاً ذا مرحلة واحدة، مصمماً لإيجاد وتحديد الأشياء في خطوة واحدة. وبعد تدريب هذه النماذج على مجموعة البيانات المخصصة، وجد الباحثون أن النظام ذي المرحلة الواحدة، المعروف باسم YOLO11، كان الأفضل أداءً. فقد نجح في تحديد العيوب بدرجة عالية من الدقة، حيث رصد الغالبية العظمى من الخدوش والبقع في مجموعة صور اختبارية. وحقق النظام درجة دقة تجاوزت التسعين بالمائة، مما يعني أنه عندما يشير إلى وجود عيب، فإنه يكون محقاً في معظم الأحيان.
ومع ذلك، فقد حرص الباحثون على الإشارة إلى أن هذا النجاح تم قياسه في ظروف مخبرية محددة. فقد تضمنت صور الاختبار صوراً حقيقية وأخرى اصطناعية، وكان التقسيم بين بيانات التدريب والاختبار عشوائياً وليس بناءً على دفعات فيزيائية منفصلة من الرقائق. وهذا يعني أنه بينما تعد النتائج واعدة، إلا أنه لم يثبت بعد قدرة النظام على العمل بشكل مثالي على كل رقاقة تخرج من خط إنتاج حقيقي. وتعد هذه الدراسة بمثابة إثبات قوي للمفهوم، حيث تظهر أن التعلم العميق يمكنه التعامل مع التعقيد البصري للأسطح المعدنية بشكل أفضل من الآلات القدية القائمة على القواعد. كما أظهر الفريق أن هذا النظام الذكي يمكن ربطه بشبكة مصنع، بحيث يرسل تنبيهات حول العيوب إلى لوحة تحكم في الوقت الفعلي، وهي خطوة حاسمة نحو دمج هذه التكنولوجيا في بيئات الإنتاج الفعلية.
في نهاية المطاف، يسلط هذا العمل الضوء على التحول في كيفية حدوث مراقبة الجودة في المستقبل. فمن خلال الجمع بين طريقة ذكية لتوليد بيانات التدريب وخوارزميات كشف قوية، أظهر الباحثون مساراً قابلاً للتطبيق لرصد العيوب التجميلية التي قد تخفى على العيون البشرية وتعجز الآلات القديمة عن إيجادها بشكل موثوق. وبينما لا يزال النظام بحاجة إلى مزيد من الاختبار في بيئة مصنع حقيقية لتأكيد سرعته وموثوقيته تحت ظروف الإنتاج المستمر، فإن النتائج تشير إلى أن عصر الاعتماد حصراً على الفحص اليدوي أو الآلات الجامدة القائمة على القواعد قد يقترب من نهايته. إن القدرة على اكتشاف هذه العيوب الطفية بدقة عالية توفر مستوى جديداً من الطمأنينة لمليارات الأجهزة التي تعتمد على سلامة نواتها المغلفة الصغيرة.
ملخص تقني: كشف العيوب التجميلية في أشباه الموصلات باستخدام التعلم العميق
بيان المشكلة
تواجه صناعة أشباه الموصلات تحديًا حرجًا في الحفاظ على مراقبة صارمة للجودة خلال مرحلة التغليف الخلفي (back-end packaging). ومع تقلص الدوائر المتكاملة إلى مقياس النانومتر، تلاشت فعليًا هوامش التسامح مع العيوب التصنيعية. وبينما كانت أنظمة الفحص البصري الآلي (AOI) التقليدية والفحص اليدوي هي الآليات الأساسية لضمان الجودة تاريخيًا، إلا أنها أصبحت غير كافية بشكل متزايد. يعاني الفحص اليدوي من إجهاد المشغل وارتفاع معدلات الإنذارات الكاذبة بسبب المقياس المجهري للمكونات الحديثة. ومن ناحية أخرى، تواجه أنظمة AOI القائمة على القواعد صعوبة في التعامل مع التباينات السطحية المعقدة للمواد الحديثة، مما يؤدي غالبًا إلى الفشل في رصد العيوب التجميلية ذات التباين المنخفض (مثل الخدوش الدقيقة، والبقع، وتغير اللون) أو توليد عدد مفرط من الإيجابيات الكاذبة.
ثمة عنق زجاجة تشغيلي كبير يتمثل في ندرة العينات المعيبة الحقيقية المصنفة في بيئات التصنيع المحكومة. هذا الاختلال في الفئات يؤدي إلى تحيز بنيات التعلم العميق، مما يجعل من الصعب تدريب نماذج قوية لأنواع العيوب النادرة. علاوة على ذلك، لا يزال دمج هذه النماذج في منظومة إنترنت الأشياء الصناعي (IIoT) للقياس عن بُعد والمراقبة في الوقت الفعلي يمثل تحديًا هندسيًا مفتوحًا.
المنهجية
يقترح المؤلفون مسار رؤية حاسوبية متكامل (end-to-end) مصمم للكشف الآلي عن العيوب التجميلية في تغليف أشباه الموصلات. وتتكون المنهجية من ست مراحل متسلسلة:
جمع البيانات: تم التقاط صور عالية الدقة باستخدام مجهر رقمي (Cyclops HDMI Digital Microscope) بمعايرة محددة (تكبير فعال 45.5×) تحت إضاءة حلقية محكومة. تتضمن مجموعة البيانات ثلاثة تكوينات مختلفة لحزم الدوائر المتكاملة (C1, C2, C3) بدقة أصلية تبلغ 640 × 480 بكسل.
تعزيز البيانات الاصطناعية: لمعالجة الاختلال الشديد في الفئات (تحديدًا ندرة عيوب الخدوش واللون مقارنة بالبقع)، تم تطوير مسار تعزيز متخصص يعتمد على تقنية "النسخ واللصق" (copy-paste). تتضمن هذه العملية:
تجزئة منطقة الاهتمام (ROI): عزل مناطق الوسادات (pads) الصالحة باستخدام مكتبة OpenCV والعمليات المورفولوجية.
تركيب الكسب والإزاحة (Gain-Offset Compositing): نقل العيوب إلى الوسادات المستهدفة باستخدام صيغة تعديل شدة خطية (Ires=sat[0,255](a⋅Idefect+b⋅Ibackground+c)). يحافظ هذا النهج على واقعية الإضاءة والتباين على الأسطح المعدنية، وهو ما يختلف عن مجرد الدمج الشفاف (alpha blending) البسيط.
الموازنة: أنتجت مرحلة التعزيز الأولى 300 مرشح اصطناعي، من بينها 250 اجتازت معايير القبول. أنتجت مرحلة تنقية ثانية تراكبات إضافية للعينات الأقلية المتبقية لإكمال توازن الفئات. تكونت مجموعة البيانات النهائية من 100 صورة أصلية و300 عينة اصطناعية مقبولة، مما أدى إلى إجمالي 400 صورة.
التوسيم والتقسيم: تم تصنيف العيوب إلى ثلاث فئات: اللون، الخدش، والبقعة. تم تقسيم مجموعة البيانات عشوائيًا على مستوى الصورة إلى مجموعة تدريب بنسبة 80% ومجموعة تقييم محجوزة بنسبة 20%. تم تطبيق التحقق المتقاطع خماسي الطيات (five-fold cross-validation) بدقة داخل مجموعة التدريب.
اختيار النموذج وتحسينه: تم تقييم ثلاث بنيات مختلفة للكشف عن الأشياء:
YOLO11: كاشف أحادي المرحلة.
Faster R-CNN: كاشف ثنائي المرحلة.
FCOS: كاشف خالٍ من الارتكاز (anchor-free). أُجري بحث عشوائي للمعلمات الفائقة (8 تجارب) لكل بنية لتحديد التكوينات المثلى، مع تجنب البحث الشبكي الشامل نظرًا للقيود الحسابية.
التكامل مع IIoT: تم نشر النموذج الأمثل على عقدة استدلال مدعومة بوحدة معالجة رسومات (GPU). تم إرسال البيانات الوصفية للكشف (صناديق الإحاطة، معرفات الفئات، درجات الثقة) عبر بروتوكول MQTT إلى بوابة Raspberry Pi 5، والتي قامت بعرض البيانات على لوحة تحكم Node-RED.
المساهمات الرئيسية
تلخص الورقة أربع مساهمات رئيسية:
مجموعة بيانات صناعية منسقة: إنشاء مجموعة بيانات جديدة مصنفة تجريبيًا لحزم أشباه الموصلات مجهرية المقياس، مما يضع معيارًا هيكليًا للحقيقة الأرضية (ground-truth) لعيوب التغليف التجميلية.
تعزيز اصطناعي محكوم: مسار متخصص يستخدم النسخ واللصق على مستوى الحالة لتوازن فئات العيوب دون الأعباء العدائية للنماذج التوليدية مثل شبكات GANs.
معايرة المعلمات الفائقة: مقارنة تجريبية لنماذج الكشف أحادية المرحلة، وثنائية المرحلة، والخالية من الارتكاز تحت قيود صناعية محددة، باستخدام ضبط عشوائي للمعلمات والتحقق المتقاطع.
نموذج أولي لمراقبة IIoT: عرض لإثبات المفهوم حول التوافق الوظيفي بين عقدة استدلال عالية الأداء وبوابة طرفية محدودة الموارد باستخدام بروتوكول MQTT للقياس عن بُعد في الوقت الفعلي.
النتائج التجريبية
تقرير الدراسة النتائج التالية بناءً على مجموعة التقييم (20%، أي 80 صورة، 223 حالة):
أداء النموذج: حقق YOLO11 أعلى أداء بين البنيات المختبرة.
التحليل المقارن: في مرحلة التحقق المتقاطع خماسي الطيات، حقق YOLO11 متوسط mAP@0.5 للتحقق قدره 0.9087 ± 0.0085. بينما سجل FCOS و Faster R-CNN نتائج أقل بلغت 0.8273 و 0.8215 على التوالي. يشير المؤلفون إلى أن هذه المقارنات استكشافية نظرًا لعدم تطابق تقسيمات الطيات وتطبيق المقاييس عبر النماذج.
الأداء النوعي للعيوب: أظهر النموذج دقة عالية (>92%) للعيوب الهندسية مثل "الخدوش" و"البقع". ومع ذلك، شكلت عيوب "اللون" تحديًا أكبر، حيث سجلت معدلًا أعلى من السلبيات الكاذبة (حوالي 17% في مصفوفة الارتباك)، ويرجع ذلك على الأرجوات إلى تدرجات الملمس الدقيقة والانعكاسات المرآتية على الأسطح المعدنية.
وظائف IIoT: نجح النظام في إثبات إرسال أحداث الكشف من عقدة الاستدلال إلى لوحة تحكم Raspberry Pi، مما أكد التوافق الوظيفي للبنية الموزعة.
الأهمية والادعاءات
يصنف المؤلفون هذا العمل كـ إثبات مفهوم وليس كنشر إنتاجي تم التحقق منه بالكامل. تكمن أهمية الدراسة في:
سد الفجوة: معالجة النقص المحدد في الأبحاث المتعلقة بعيوب التغليف الخلفي مقارنة بأدبيات فحص رقائق الوافر (wafer) الأكثر نضجًا في المرحلة الأمامية.
جدوى البيانات الاصطناعية: إثبات أن تعزيز النسخ واللصق المحكوم على مستوى الحالة يمكن أن يوازن مجموعات البيانات للعيوب الصناعية النادرة دون الحاجة إلى جمع كميات هائلة من البيانات الواقعية.
تكامل الأنظمة: إظهار إمكانية دمج نماذج التعلم العميق في سير عمل IIoT باستخدام بروتوكولات خفيفة الوزن مثل MQTT، مما يسمح بالمراقبة المركزية دون الحاجة إلى حسابات ثقيلة على البوابة الطرفية نفسها.
تنص الورقة صراحةً على أن النتائج واعدة في ظل الظروف المختبرية، ولكن تظل ملاءمتها للاستخدام في الإنتاج بحاجة إلى إثبات. ويحذر المؤلفون من أن مجموعة التقيية لم تكن مجمعة حسب تسلسل الأجهزة الفيزيائية، مما يحد من قوة ادعاءات التعميم على الأجهزة غير المرئية. كما لم يتم قياس أداء النظام من حيث زمن الانتقال (latency) والإنتاجية (throughput) والوقت النهائي. وتقترح الأعمال المستقبلية إجراء توصيف دقيق لزمن الانتقال، والنشر على أجهزة مدمجة (مثل NVIDIA Jetson)، واستكشاف كشف الشذوذ غير الخاضع للإشراف لأنواع العيوب غير المعروفة.