Between-study variance inflates apparent accuracy in literature-compiled machine learning models of sulphate resistance in SCM-blended cement

تُعد الخرسانة أكثر مواد البناء استخداماً على وجه الأرض، ومع ذلك فإن إنتاجها يعد مصدراً رئيسياً لانبعاثات الكربون العالمية. ولجعلها أكثر رفقاً بالبيئة، غالباً ما يخلط المهندسون مواد تكميلية مثل الرماد المتطاير، أو غبار السيليكا، أو حتى النفايات الزراعية مثل رماد قشور الأرز. هذه الإضافات تحل محل جزء من الإسمنت، مما يخفض البصمة الكربونية مع تحسين قدرة الخرسانة في كثير من الأحيان على مقاومة الهجمات الكيميائية. أحد أكثر التهديدات تدميراً للمنشآت الخرسانية هو هجوم الكبريتات، الذي يحدث عندما تتسرب أيونات الكبريتات من التربة أو المياه الجوفية أو مياه البحر إلى المادة. تتفاعل هذه الأيونات مع الإسمنت، مكونة بلورات تتمدد وتتسبب في تشقق الخرسانة من الداخل، مما يؤدي في النهاية إلى تفتتها. إن التنبؤ بمدة بقاء خلطة خرسانية معينة في مثل هذه الظروف القاسية أمر حيوي للسلامة والاستدامة، لكن طرق الاختبار التقليدية بطيئة، حيث تستغرق أحياناً سنوات لتقديم النتائج.

في السنوات الأخيرة، توجه العلماء إلى تعلم الآلة لتسريع هذه التنبؤات. ومن خلال تغذية الخوارزميات الحاسوبية ببيانات من مئات التجارب السابقة، يأمل الباحثون في إنشاء نماذج يمكنها تقدير مدى قوة خلطة خرسانية جديدة بعد تعرضها للكبريتات بشكل فوري. وقد تم الاحتفاء بهذه النماذج لدقتها العالية، حيث تدعي غالباً القدرة على التنبؤ بالنتائج بدقة تقارب الكمال. ومع ذلك، يشير تحقيق جديد إلى أن هذه الدقة المحتفى بها قد تكون وهماً. إذ يكشف البحث أن النماذج لا تتعلم في الواقع الكيمياء المعقدة للخرسانة؛ بل هي ببساطة تحفظ المختبرات المحددة التي أنتجت البيانات. وعند اختبارها في مواقف جديدة حقاً، تفشل هذه النماذج تماماً، مما يثير تساؤلات جدية حول كيفية تقييم موثوقية الذكاء الاصطدناعي في الهندسة.

قام الباحثون وراء هذه الدراسة بفحص مجموعة بيانات جُمعت من ثلاث أوراق علمية مستقلة ومراجعة من قبل الأقران. احتوت هذه الأوراق على قياسات لقوة الضغط — وهي القوة المطلوبة لسحق عينة — لخلطات المونة التي تحتوي على مواد تكميلية متنوعة. غطت البيانات أنواعاً مختلفة من الإضافات، ومستويات متفاوتة من الاستبدال، والتعرض لمحاليل الكبريتات على فترات تتراوح من بضعة أيام إلى أكثر من عام. وفي المجمل، جمع الفريق 94 ملاحظة متميزة. وقاموا بتدريب نموذج تعلم آلة قياسي على هذه البيانات المجمعة، باستخدام تقنية تسمى "التقسيم العشوائي"، وهي المعيار الصناعي. في هذه الطريقة، يقوم الحاسوب بخلط جميع نقاط البيانات ويخصص 20 بالمائة منها عشوائياً للاختبار، بينما تُستخدم الـ 80 بالمائة المتبقية للتدريب. ولأن البيانات جاءت من دراسات مختلفة، فقد ضمن هذا الخلط العشوائي احتواء كل من مجموعتي التدريب والاختبار على عينات من المصادر الثلاثة الأصلية.

عندما قيم الباحثون النموذج باستخدام هذه الطريقة العشوائية القياسية، كانت النتيات مذهلة. حقق النموذج درجة تشير إلى قدرته على تفسير ما يقرب من 97 بالمائة من التباين في البيانات. هذا المستوى من الأداء هو بالضبط ما تذكره الأدبيات العلمية، وهو ما يشير إلى أن النموذج قد أتقن العلاقة بين مكونات الخرسانة ومتانتها. بدا وكأن النموذج قد تعلم أن بعض الإضافات، مثل غبار السيليكا، تؤدي عموماً إلى خرسانة أقوى، بينما قد تضعف أخرى من قوتها. وبدا أنه نجح في فك الشفرات التي تحكم سلوك الخرسانة تحت الهجوم الكيميائي.

ومع ذلك، اشتبه الباحثون في أن هذه الدرجة العالية كانت مضللة. فقد كانوا يعلمون أن كل دراسة من الدراسات الثلاث استخدمت مجموعتها الفريدة من الظروف: أنواع مختلفة من الإسمنت، وإجراءات خلط مختلفة، وبيئات معالجة مختلفة، والأهم من ذلك، تركيزات مختلفة من محاليل الكبريتات. في العالم الحقيقي، يجب أن يكون النموذج المدرب على مجموعة من الظروف قادراً على التنبؤ بنتيجة مجموعة جديدة تماماً من الظروف. ولاختبار ذلك، غير الباحثون طريقة التحقق الخاصة بهم. فبدلاً من الخلط العشوائي لنقاط البيانات الفردية، قرروا حجب دراسات كاملة. قاموا بتدريب النموذج على دراستين، ثم طلبوا منه التنبؤ بنتائج الدراسة الثالثة التي لم يسبق له رؤيتها. كرروا هذه العملية ثلاث مرات، وفي كل مرة كانوا يستبعدون دراسة مختلفة.

كانت نتائج هذا الاختبار الأكثر صرامة عبارة عن انهيار تام. فعندما حاول النموذج التنبؤ بقوة الخرسانة من دراسة لم يتم تدريبه عليها، انهار أداؤه. وبدلاً من الحصول على درجة عالية، أنتج النموذج درجات سالبة، وهي إشارة رياضية إلى أنه كان يؤدي بشكل أسوأ من مجرد التخمين لمتوسط قوة بيانات التدريب. وفي حالة محددة، كان النموذج يحاول التنبؤ بخرسانة تتراوح قوتها المقاسة بين 6 و21 ميجاباسكال، لكنه ارتكب أخطاء تصل إلى 42 ميجاباسكال. وهذا يعني أن النموذج كان يتنبأ بقيم تزيد عن ضعف القوة الفعلية للمادة، أو حتى يتنبأ بقوة سالبة، وهو أمر مستح المستحيل فيزيائياً. لم يتعلم النموذج فيزياء الخرسة؛ بل تعلم التعرف على "البصمة" الخاصة بالمختبر المحدد الذي ولد البيانات.

تعمق التحقيق لفهم سبب حدوث ذلك. قام الباحثون بتحليل إجمالي التباين في البيانات ووجدوا أن 96 بالمائة من الاختلافات في القوة جاءت من الاختلافات بين الدراسات نفسها، وليس من الاختلافات في المواد داخل دراسة واحدة. استخدمت إحدى الدراسات نوعاً معيناً من الإسمنت وتركيزاً منخفضاً من الكبريتات، مما نتج عنه خرسانة ضعيفة جداً. واستخدمت دراسة أخرى إسمنتاً مختلفاً وتركيزاً أعلى، مما نتج عنه خرسانة قوية جداً. ولأن النموذج رأى هذه الأنماط المتميزة مراراً وتكراراً، فقد تعلم ربط مجموعة المكونات في دراسة ما بمستوى القوة العام لتلك الدراسة. لقد كان يتعلم أساساً أن يقول: "إذا بدت هذه البيانات وكأنها من الدراسة (أ)، فإن القوة ستكون منخفضة"، بدلاً من أن يقول: "إذا كانت هذه الخرسانة تحتوي على غبار السيليكا، فستكون قوية".

وقد تفاقم هذا الارتباك بسبب حقيقة أن الإضافات المحددة التي تم اختبارها كانت غالباً فريدة لدراسة واحدة. فقد ظهر عشرة من أصل أحد عشر نوعاً من المواد التكميلية في ورقة بحثية واحدة فقط من الأوراق الثلاث. وبناءً على ذلك، لم يستطع النموذج التمييز ما إذا كان التغير في القوة ناتجاً عن المادة أم عن الدراسة التي تنتمي إليها. وحتى بالنسبة للمادة الوحيدة التي ظهرت في دراستين، فقد اختلف متوسط القوة بينهما بشكل كبير لأن الظروف الأساسية، مثل نوع ملح الكبريتات المستخدم، كانت مختلفة. كانت الدقة العالية للنموذج في الاختبار العشوائي مجرد نتاج لطريقة هيكلة البيانات، وليست انعكاساً لقدرة تنبؤية حقيقية. لقد كانت سراباً إحصائياً خلقته طريقة تجميع واختبار البيانات.

إن لهذه النتائج آثاراً عميقة على كيفية تطبيق تعلم الآلة في علم المواد. توضح الدراسة أنه عندما يتم تجميع البيانات من مصادر متعددة، فإن الطريقة القياسية لتقسيم البيانات عشوائياً إلى مجموعات تدريب واختبار تكون غير كافية. فهي تسمح للنموذج بالاعتماد على الأنماط الخاصة بكل مصدر بدلاً من تعلم العلم الأساسي. وللتأكد حقاً من فائدة النموذج، يجب اختباره على بيانات من مصادر جديدة تماماً، وهي طريقة تُعرف باسم "التحقق باستبعاد مصدر واحد". علاوة على ذلك، يجب على الباحثين الإبلاغ عن مقدار التباين في بياناتهم الناتج عن الاختلافات بين الدراسات مقابل الاختلافات داخلها. فإذا كان الجزء الأكبر من التباين يعود إلى الدراسات نفسها، كما كان الحال هنا، فإن درجة الدقة العالية لا تخبرنا شيئاً عن قدرة النموذج على التنبؤ بالمتانة في العالم الحقيقي.

في نهاية المطاف، يعد هذا البحث تصحيحاً ضرورياً لمجال كان يتحرك بسرعة كبيرة. وهو لا يشير إلى أن تعلم الآلة لا يمكنه مساعدة المهندسين في تصميم خرسانة أفضل، ولكنه يصر على ضرية أن نكون صادقين بشأن ما تفعله نماذجنا بالفعل. فالنموذج الذي يبدو مثالياً على الورق ولكنه يفشل عند مواجهة مختبر جديد ليس أداة للاكتشاف؛ بل هو انعكاس لمحدودية البيانات. ولكي يتقدم المجال، يجب على المجتمع اعتماد معايير اختبار أكثر صرامة تتطلب من النماذج إثبات قدرتها على التعميم بما يتجاوز التجارب المحددة التي تدربت عليها. عندها فقط يمكننا الوثوق بهذه الأدوات الرقمية لمساعدتنا في بناء مستقبل أكثر استدامة وديمومة.