Augmentation-induced sibling leakage in small-data surface imaging: measurement and a reporting protocol

في عالم التصوير المجهري، غالبًا ما يواجه العلماء مشكلة ندرة. فهم بحاجة لتعليم الحواسيب كيفية التعرف على العيوب الدقيقة في الأسطح المعدنية أو الذرات الفردية في بلورة، لكنهم ببساطة لا يملكون عدداً كافياً من الصور للقيام بذلك. قد يستغرق المسح الواحد ساعات، وقد لا يتمكن الباحث من التقاط سوى درزن واحد من الصور عالية الجودة لخلل معين. وللتغلب على هذا النقص، يستخدم الباحثون حيلة قياسية تسمى "تعزيز البيانات" (data augmentation). فهم يأخذون تلك الصور الأصلية القليلة ويقومون بتحويلها رياضياً—عن طريق تدويرها، أو قلبها، أو تغيير سطوعها، أو جعلها ضبابية قليلاً—لإنشاء مئات أو حتى آلاف الأمثلة التدريبية الجديدة. الأمر يشبه أخذ صورة واحدة لشجرة وإنشاء غابة كاملة من نسخ مختلفة قليلاً لنفس تلك الشجرة لتعليم الطالب كيف يبدو شكل الشجرة.

الهدف من هذا التدريب هو بناء نموذج يمكنه النظر إلى صورة جديدة لم يسبق له رؤيتها وتحديد العيب بشكل صحيح. ولإثبات نجاح النموذج، يقسم العلماء بياناتهم إلى مجموعتين: واحدة للتعليم وأخرى للاختبار. يتعلم النموذج من المجموعة الأولى، ثم يتم تقييمه بناءً على الثانية. إذا حصل النموذج على درجة عالية، يُفترض أنه ذكي وجاهز للاستخدام في العالم الحقيقي. ومع ذلك، يظل هناك سؤال جوهري: هل يفهم النموذج حقاً مفهوم العيب، أم أنه اكتفى بمجرد حفظ الصور المحددة التي عُرضت عليه؟ هذا التمييز هو الفرق بين التعلم الحقيقي والتعرف البسيط.

تبحث دراسة حديثة أجراها شاو شوان تشانغ من معهد هاربين للتكنولوجيا في خلل خفي في كيفية إجراء هذه العملية غالباً. فقد وجد الباحث أنه عندما ينشئ العلماء آلاف الصور التدريبية من مجرد حفنة من الصور الأصلية، فإنهم يرتكبون خطأً متكرراً في كيفية فصل مجموعة التعليم عن مجموعة الاختبار. فبدلاً من إبقاء الصور الأصلية منفصلة، يقومون بخلط جميع النسخ المحولة معاً ثم توزيعها عشوائياً. وهذا يعني أن صورة مستخدمة للاختبار قد تكون نسخة مائلة قليلاً أو ذات سطوع مختلف لصورة رآها النموذج بالفعل أثناء التدريب. هنا، لا يتم اختبار النموذج على قدرته على التعميم في مواقف جديدة، بل يتم اختباره على قدرته على التعرف على نسخة شبه مطابقة لشيء رآه بالفعل. وتقيس الدراسة بدقة مدى تضخيم هذا الخطأ لنسب النجاح المُبلغ عنها، وتقترح طريقة بسيطة لإصلاح معايير التقارير العلمية.

لقلكياس حجم هذه المشكلة، أقام الباحث تجربة منضبطة باستخدام نوعين مختلفين من البيانات المجهرية. احتوت إحدى مجموعات البيانات على صور لعيوب في أسطح فولاذية، بينما احتوت الأخرى على صور لعيوب نقطية في بلورات تم التقاطها بواسطة مجهر مسحي نفقي. وفي كلتا الحالتين، بدأ الباحث بعدد صغير من الصور الأصلية، المعروفة باسم "الاستحواذات" (acquisitions). ولكل صورة أصلية، قام بتوليد ثمانين تنويعاً مختلفاً باستخدام حيل حاسوبية قياسية. ثم أنشأ طريقتين مختلفتين لتقسيم هذه المجموعة. الطريقة الأولى، وهي شائعة في العديد من الأوراق البحثية الحالية، أخذت جميع التنويعات من جميع الصور الأصلية، وخلطتها في دلو كبير، واختارت منها بعضها عشوائياً للتدريب وبعضها للاختبار. أما الطريقة الثانية فكانت أكثر صرامة: حيث حافظت على الصور الأصلية منفصلة؛ إذ خصصت صورة أصلية كاملة للاختبار واستخدمت فقط التنويعات الناتجة عن الصور الأصلية المتبقية للتدريب. وقد ضمن ذلك أن النموذج لم يرَ أي شيء من صورة الاختبار من قبل.

أظهرت النتائج فجوة هائلة بين الطريقتين. فعندما تم تدريب النموذج واختباره باستخدام طريقة الخلط العشوائي، حقق درجات تقترب من الكمال. ففي مجموعة بيانات الأسطح الفولاذية، وصل النموذج إلى درجة 1.000، مما يعني أنه وجد كل عيب كان من المفترض أن يجده. ومع ذلك، عندما تم اختبار نفس النموذج باستخدام الطريقة الأكثر صرامة التي أبقت المصادر الأصلية منفصلة، انخفضت الدرجة بشكل كبير. وعند أدنى ميزانيات البيانات، حيث لم يوجد سوى صورتين أصليتين لكل نوع من أنواع العيوب، بالغت الطريقة العشوائية في تقدير أداء النموذج بأكثر من نصف درجة على مقياس يكون فيه 1.0 هو الدرجة الكاملة. وحتى عندما زاد عدد الصور الأصلية إلى عشرة، ظلت الطريقة العشوائية تبالغ في الأداء بفارق كبير. لم يكن النموذج يفشل في التعلم، بل كان ينجح ببراعة مفرطة في التعرف على نسخ مما درسه بالفعل.

كشفت الدراسة أيضاً أن هذا التضخم لم يكن موحداً عبر جميع أنواع العيوب. فبعض العيوب كان من السهل التعرف عليها بمجرد النظر إلى ملمسها، وكان النموذج يؤدي جيداً في تلك الحالات بغض النظر عن طريقة الاختبار. ومع ذلك، بالنسبة للعيوب التي تعتمد على المظهر المحدد للمسح الأصلي، جعلت الطريقة العشوائية النموذج يبدو كعبقري، بينما أظهرت الطريقة الصارمة أنه يعاني. وهذا يشخص أن الدرجة العالية في هذه الدراسات قد لا تعني أن النموذج قد تعلم كيفية إيجاد العيوب بشكل عام، بل يعني أنه تعلم التعرف على الخصائص المحددة للصور القليلة التي تدرّب عليها. وقد تقلصت الفجوة بين الطريقتين قليلاً مع إضافة المزيد من الصور الأصلية، لكنها لم تختفِ. فحتى مع وجود عشر صور أصلية، أعطت الطريقة العشوائية درجة أعلى بثلاثين نقطة من الطريقة الصارمة، مما يشير إلى أن المشكلة مستمرة حتى مع زيادة البيانات.

كما طور الباحث أداة بسيطة للكشف عن هذه المشكلة دون الحاجة إلى تدريب نموذج على الإطلاق. فمن خلال مقارنة الصور في مجموعة الاختبار بالصور في مجموعة التدريب، يمكن للأداة حساب عدد الصور في الاختبار التي لها "شقيق" (sibling) في مجموعة التدريب. والشقيق هو ببساطة نسخة متنوعة من نفس الصورة الأصلية. وإذا كان عدد كبير من صور الاختبار لها "أشقاء" في مجموعة التدريب، فهذه علامة واضحة على أن التقييم معيب. هذا الفحص لا يستغرق سوى ثوانٍ معدودة ولا يتطلب أي أجهزة خاصة. ووجدت الدراسة أنه في التقسيمات العشوائية المعيبة، كان لكل صورة اختبار تقريباً "شقيق" في مجموعة التدريب، بينما في التقسيمات الصارمة، لم يكن لأي منها شقيق.

بناءً على هذه النتائج، تقترح الورقة معياراً جديداً لكيفية إبلاغ الباحثين عن أعمالهم. فبدلاً من مجرد ذكر عدد الصور المستخدمة، يجب على المؤلفين الإبلاغ عن عدد "الاستحواذات" الأصلية والمستقلة التي بدأوا بها. كما يجب عليهم توضيح ما إذا كان تقسيم البيانات قد تم قبل أو بعد "تويست" (تحويل/تنويع) الصور وتوسيعها. ويجب عليهم تحديد وحدة التقسيم، مثل ما إذا كانوا قد فصلوا البيانات حسب الصورة الفردية أو حسب المصدر الأصلي. وأخيراً، يجب عليهم تضمين فحص بسيط لإظهار عدد صور الاختبار التي لها "أشقاء" في مجموعة التدريب. هذه القطع الأربع من المعلومات سهلة التوفير ومن شأنها أن تجعل قيود دراسات البيانات الصغيرة مرئية بدلاً من أن تظل مخفية.

تخلص الدراسة إلى أنه في مجال التصوير ذي البيانات الصغيرة، حيث يمتلك الباحثون غالباً بضع عمليات مسح أصلية فقط، فإن الطريقة الحالية لتقييم النماذج هي طريقة مضللة. فالدرجات العالية المُبلغ عنها في العديد من الأوراق البحثية تصف قدرة النموذج على التعرف على نسخ من بيانات التدريب، بدلاً من قدرته على إيجاد العيوب في مواقف جديدة وغير مرئية. وبينما تنتقل هذه الأنظمة الحاسوبية من التحليل غير المباشر إلى التحكم في التجارب الحقيقية، فإن الاعتماد على هذه الدرجات المتضخمة قد يؤدي إلى قرارات خاطئة. والحل لا يكمن بالضرورة في خوارزمية جديدة أو حواسيب أقوى، بل في تغيير كيفية التعامل مع البيانات والإبلاغ عنها. فمن خلال إبقاء المصادر الأصلية منفصلة والتحلي بالشفافية في العملية، يمكن للمجتمع العلمي ضمان أن النماذج التي يبنونها جاهزة حقاً للواقع.