SHIELD reduces information leakage in data splits through joint structural optimization

في السباق نحو استخدام الذكاء الاصطناعي للاكتشاف العلمي، يحاول الباحثون تعليم الحواسيب التنبؤ بخصائص المواد، والأدوية، والتفاعلات الكيميائية التي لم يسبق رؤيتها من قبل. والهدف ليس مجرد حفظ ما تم قياسه بالفعل، بل تعلم القواعد الأساسية حتى يتمكن الحاسوب من التخمين بشكل صحيح حول المجهول. ولاختبار ما إذا كان الحاسوب قد تعلم هذه القواعد حقاً، يقوم العلماء بتقسيم بياناتهم إلى مجموعتين: واحدة لتدريب الحاسوب والأخرى لاختباره. فإذا كانت مجموعة الاختبار تحتوي على عناصر متشابهة جداً مع مجموعة التدريب، يمكن للحاسوب الاعتماد على التعرف على نمط مألوف بدلاً من حل المشكلة. وهذا يشبه طالباً يؤدي اختباراً تكون فيه الأسئلة مجرد إعادة صياغة بسيطة للواجب المنزلي؛ فيحصل على درجة كاملة، لكنه لم يتعلم المادة فعلياً. ولعقود من الزمن، كانت الطريقة القياسية لتقسيم البيانات هي خلط كل شيء عشوائياً، مما يترك غالباً هذه الأزواج الخطيرة والمتشابهة للغاية في جانبين متقابلين من الفاصل، مما يخلق شعوراً زائفاً بالأمان حول مدى جودة عمل النماذج في العالم الحقيقي.

لقد طور فريق من الباحثين في جامعة حمد بن خليفة طريقة جديدة تسمى SHIELD لحل هذه المشكلة. فبدلاً من خلط البيانات عشوائياً أو استخدام قاعدة واحدة للفصل بينها، يعمل SHIELD كمنظم متطور ينظر إلى البيانات من ثلاث زوايا مختلفة في آن واحد. فهو يأخذ في الاعتبار كيفية تجميع العناصر في عائلات، ومدى قربها من بعضها البعض في شبكة معقدة من الميزات، وكيف تقارن توزيعاتها الإجمالية. ثم يجد النظام طريقة لقطع البيانات تحترم كل هذه العلاقات في وقت واحد، مما يضمن أن تكون مجموعة الاختبار مختلفة حقاً عن مجموعة التدريب. وقد اختبر الباحثون هذا النهج على ثماني مجموعات بيانات علمية مختلفة، تتراوح من دراسة سبائك المعادن المستخدمة في الطباعة ثلاثية الأبعاد إلى سلوك الجزيئات الصغيرة في الكيمياء الكمومية. ووجدوا أن SHIELD نجح باستمرار في إنشاء ظروف اختبار أكثر صرامة وواقعية من الأساليب الحالية، مما كشف أن العديد من النماذج التي بدت ناجحة في ظل الاختبار العشوائي فشلت بالفعل عندما واجهت بيانات جديدة حقاً.

يكمن جوهر المشكلة في كيفية هيكلة البيانات العلمية. ففي مجالات مثل البيولوجيا أو علم المواد، نادراً ما تكون نقاط البيانات مستقلة. فقد تكون جزيئة دواء جديدة عبارة عن تغيير طفيف لجزيئة قديمة، أو قد تنتمي سبيكة معدنية إلى عائلة محددة من المواد التي تشترك في تاريخ مشترك. وعندما يتم تدريب نموذج حاسوبي على نسخة من جزيئة ما واختباره على نسخة مطابقة لها تقريباً، فإنه لا يحتاج إلى فهم الكيمياء؛ بل يحتاج فقط إلى التعرف على التشابه. ويُعرف هذا باسم "تسرب المعلومات"، وهو ما يؤدي إلى تنبؤات متفائلة بشكل مفرط. وقد أظهر الباحثون أن الطرق القياسية، التي تعتمد غالباً على التجميع البسيط أو الاختيار العشوائي، تفشل في كثير من الأحيان في كسر هذه الروابط الخفية. فعلى سبيل المثال، في مجموعة بيانات تتعلق بصب المسحوق بالليزر (laser powder bed fusion) — وهي عملية تُستخدم لبناء أجز الأ معدنية طبقة تلو الأخرى — ترك التقسيم العشوائي للبيانات مجموعتي التدريب والاختبار مختلطتين لدرجة أن الحاسوب استطاع بسهولة تخمين النتيجة بناءً على الآلة المستخدمة أو نوع السبيكة، بدلاً من الفيزياء الفعلية للعملية.

ولحل ذلك، صُمم إطار عمل SHIELD للتعامل مع ثلاثة أنواع محددة من العلاقات التي تسبب تسرب المعلومات. أولاً، ينظر إلى "الاحتواء الهرمي"، الذي يبقي المجموعات المرتبطة، مثل عائلة من السبائك أو مجموعة من متغيرات البروتين، معاً في نفس المجموعة بحيث لا يمكن أن تتسرب إلى المجموعة الأخرى. ثانياً، يفحص "متشعب الميزات" (feature manifold)، وهو وسيلة لرسم خرائط توضح مدى قرب نقاط البيانات المختلفة من بعضها البعض بناءً على خصائصها، مما يضمن عدم فصل الجيران في هذه الخريطة. ثالثاً، يدير "التوزيع"، مما يضمن أن الانتشار العام للبيانات في مجموعة الاختبار هو إما تطابق مضبوط مع سيناريو مستقبلي معروف أو تحول متعمد لمحاكاة سيناريو غير معروف تماماً. والابتكار هنا هو أن SHIELD لا يطبق هذه القواعد واحداً تلو الآخر، مما قد يلغي عمل الخطوة السابقة، بل يقوم بتحسين جميع هذه الجوانب في وقت واحد، ليجد توازناً يسمح بتقسيم البيانات بطريقة تلبي الحاجة إلى الفصل دون كسر البنية الطبيعية للعلم.

تحقق الفريق من صحة هذه الطريقة عبر مجموعة واسعة من التخصصات العلمية. ففي دراسة السبائك المكونة للزجاج، وجدوا أنه بينما يمكن لبعض الأساليب الحالية فصل البيانات بفعالية، إلا أنها غالباً ما تخل بتوازن الفئات، مما يؤدي إلى نتائج مضللة. وقد نجح SHIELD في الحفاظ على توازن الفئات مع الاستمرار في إنشاء بيئة اختبار صعبة. وفي مجال الكيمياء الكمومية، حيث الهدف هو التنبؤ بحالات الطاقة للجزيئات العضوية الصغيرة، نجحت الطريقة الجديدة في فصل مجموعات التدريب والاختبار بطريقة تجبر النماذج الحاسوبية على التوسع الخارجي (extrapolate) حقاً. وعندما اختبر الباحثون نماذج التعلم الآلي القياسية باستخدام هذه التقسيمات الجديدة، كانت النتائج كاشفة؛ فالنماذج التي أظهرت دقة عالية سابقاً مع التقسيمات العشوائية شهدت انخفاضاً كبيراً في أدائها، بل وفشلت تماماً في بعض الأحيان. ولم يكن هذا الانخفاض علامة على أن النماذج معطلة، بل كان دليلاً على أن الاختبارات السابقة كانت سهلة للغاية. لقد كشفت التقسيمات الجديدة عن عدم قدرة النماذج على التعامل مع البيانات التي تقع خارج تجربتها التدريبية.

جاء أحد أكثر النتائج لفتاً للنظر من مجموعة بيانات التصنيع الإضافي، والتي تضمنت 1,579 عملية بناء لأجزاء معدنية من ست سبائك مختلفة على 45 طرازاً مختلفاً من الطابعات. فعندما استخدم الباحثون SHIELD لاستبعاد عائلات كاملة من السبائك من بيانات التدريب، عانت النماذج الحاسوبية بشدة. فقد انهار نموذج الشبكة العصبية، الذي كان قد حقق أداءً جيداً في تقسيمات أخرى، منتجاً تنبؤات غير دقيقة تماماً. حدث هذا لأن النموذج لم يرَ هذا النوع المحدد من السبائك من قبل ولم يستطع الاعتماد على مطابقة الأنماط البسيطة. في المقابل، عندما استبعد الباحثون طراز طابعة معيناً، كان أداء النماذج أفضل بكثير. وقد قدم هذا التباين رؤية حاسمة: إذ مثلت عائلة السبائك حاجزاً فيزيائياً جوهرياً لم يستطع النموذج تجاوزه، بينما كان هوية الطابعة متغيراً أقل أهمية. لقد استطاع إطار عمل SHIELD التمييز بين هذين النوعين من التحديات، مما ساعد العلماء على فهم أي جوانب من بياناتهم كانت صعبة التنبؤ حقاً.

كما أظهر الباحثون أن طريقتهم يمكن أن تتعامل مع مجموعات البيانات الضخمة باستخدام تقنية تسمى "التعريض" (coarsening). فبالنسب de لمجموعات ضخمة من البيانات، يكون حساب العلاقات بين كل نقطة وأخرى مستحيلاً من الناحية الحسابية. ويحل SHIELD هذه المشكلة عن طريق تجميع العناصر المرتبطة في "عقد فائقة" (super-nodes) أكبر بناءً على تسلسلها الهرمي قبل إجراء التقسيم. وقد قلل هذا من حجم المشكلة بأكثر من 1,600 ضعف في أحد اختباراتهم، ومع ذلك ظلت جودة التقسيم صارمة تماماً كما لو كانوا قد عالجوا كل نقطة بيانات على حدة. وتعني هذه القدرة على التوسع إمكانية تطبيق الطريقة على أكبر مجموعات البيانات العلمية دون فقدان قدرتها على اكتشاف الأشكال الدقيقة لتسرب المعلومات. كما قدم الفريق طريقة جديدة لقياس صعوبة التقسيم، تسمى "خطأ المربع المعياري للاكتشاف" (Discovery Normalized Squared Error). وتقيس هذه المعايير مدى نمو الخطأ عند الانتقال من بيانات التدريب إلى بيانات الاختبار، مما يوفر صورة أوضح لمدى جودة أداء النموذج عندما يواجه المجهول.

تخلص الدراسة إلى أن طريقة تقسيم البيانات ليست مجرد تفصيل تقني، بل هي جزء أساسي من السؤال العلمي المطروح. فإذا سمح التقسيم بتسرب المعلومات، فإن المعيار يقيس الشيء الخطأ. ومن خلال التحسين المشترك للعلاقات الهيكلية في البيانات، يوفر SHIELD تقييماً أكثر صدقاً لقدرة النموذج على اكتشاف معرفة جديدة. ويؤكد الباحثون أن هذه ليست حلاً سحرياً يحل جميع المشكلات، بل هي أداة تجبر العلماء على أن يكونوا أكثر صرامة فيما يختبرونه. وتشير النتائج إلى أن العديد من النماذج التي يُحتفى بها حالياً في الأدبيات العلمية قد تكون مفرطة في ملاءمة (overfitting) الخصائص الغريبة لبيانات تدريبها بدلاً من تعلم قوانين الطبيعة. ومن خلال استخدام طريقة تحترم البنية الحقيقية للبيانات العلمية، يمكن للباحثين بناء نماذج مستعدة حقاً لتحديات الاكتشاف، مما يضمن أن يكون تنبؤ الحاسوب بمادة جديدة أو دواء جديد مبنياً على فهم حقيقي وليس مجرد تخمين محظوظ.