🔬 materials science

Reducing cross-sample prediction churn in scientific machine learning

تقدم هذه الورقة مفهوم "تذبذب التنبؤ عبر العينات" (cross-sample prediction churn) لتسليط الضوء على عدم استقرار نماذج تعلم الآلة العلمية عبر سحبات بيانات التدريب المختلفة، وتُبين أن الأساليب المعتمدة على جانب البيانات مثل "تجميع K-bootstrap" (K-bootstrap bagging) والنهج المقترح "التجميع التوأم" (twin-bootstrap approach) تقلل بشكل كبير من هذا التذبذب دون التضحية بدقة التنبؤ، على عكس التقنيات القياسية المعتمدة على جانب المعلمات.

المؤلفون الأصليون: Gordan Prastalo, Kevin Maik Jablonka

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Gordan Prastalo, Kevin Maik Jablonka

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة: مشكلة "توقعات الطقس"

تخيل أنك عالم تحاول التنبؤ بأي الجزيئات ستكون أدوية جيدة. لقد قمت ببناء نموذج حاسوبي للقيام بذلك.

الآن، تخيل أنك قمت بتدريب هذا النموذج على مجموعة محددة من البيانات. يتنبأ النموذج بأن الجزيء (أ) هو "فائز" (سيعمل كدواء).

ولكن بعد ذلك، تقرر إعادة تدريب النموذج. أنت لم تغير القواعد أو مصدر البيانات؛ بل استخدمت فقط عينة عشوائية مختلفة قليلاً من نفس البيانات (مثل سحب يد جديدة من الأوراق من نفس المجموعة).

النتيجة الصادمة:
عندما تعيد تدريب النموذج، يقول فجأة إن الجزيء (أ) هو "خاسر" وأن الجزيء (ب) هو الفائز الجديد.

تسمي الورقة البحثية هذا بـ "تقلب التنبؤ عبر العينات" (Cross-Sample Prediction Churn). وهو معدل تغير قرار النموذج لمجرد أنك قمت بخلط بيانات التدريب قليلاً.

ما وجدته الورقة: في 9 اختبارات كيميائية مختلفة، تغيرت دقة النموذج الإجمالية بنسبة ضئيلة فقط (حوالي 1-4%). ولكن، تغير القرار الخاص بجزيئات معينة بنسبة 8% إلى 22%.
التشبيه: تخيل قاضياً دقيقاً بنسبة 95% بشكل عام. ولكن إذا طلبت منه الحكم في 100 قضية محددة، ثم طلبت منه إعادة الحكم في نفس الـ 100 قضية بعد أخذ استراحة غداء مختلفة، فقد يغير حكمه في 20 قضية منها. هذا قدر كبير من عدم الاستقرار في الحالات المحددة التي تهمنا أكثر.

لماذا لا تنجح "الحلول الحالية"؟

حاول العلماء إصلاح ذلك باستخدام أدوات "عدم اليقين" القياسية، مثل:

المجموعات العميقة (Deep Ensembles): تدريب 5 نماذج مختلفة وأخذ متوسط إجاباتها.
إسقاط مونت كارلو (MC Dropout): إيقاف تشغيل أجزاء من النموذج عشوائياً أثناء الاختبار لمعرفة مدى تذبذب الإجابة.
متوسط الأوزان العشوائية (Stochastic Weight Averaging): تنعيم الرياضيات الداخلية للنموذج.

حكم الورقة البحثية: هذه الأدوات تشبه محاولة إصلاح كاميرا مهتزة عن طريق ضبط تركيز العدسة (الإعدادات الداخلية للنموذج) بينما لا تزال الكاميرا تُمسك بيد مهتزة (البيانات).

هذه الطرق تصلح "العدسة" لكنها تتجاهل "اليد المهتزة".
وجدت الورقة أن هذه الطرق لم تقلل من التقلب (Churn). لم تمنع النموذج من تغيير قراراته عندما تتغير البيانات.

الحل: طريقتان جديدتان

تقترح الورقة طريقتين تعملان بالفعل لأنهما تعالجان "اليد المهتزة" (البيانات) بدلاً من مجرد "العدسة".

1. طريقة K-Bootstrap Bagging (نهج "اللجنة")

كيف تعمل: بدلاً من تدريب نموذج واحد، تقوم بتدريب لجنة كاملة من النماذج (مثلاً 5 نماذج). كل عضو في اللجنة يتم تدريبه على عينة عشوائية مختلفة قليلاً من البيانات. وعندما تحتاج إلى إجابة، تسأل اللجنة بأكملها وتأخذ متوسط الأصوات.
النتيجة: هذا يقلل من معدل التقلب بنسبة 40-54%.
العيب: تتطلب قوة حاسوبية أكبر بخمس مرات لتدريب 5 نماذج بدلاً من نموذج واحد.

2. طريقة Twin-Bootstrap (نهج "الأختين التوأم")

كيف تعمل: هذا هو الابتكار الرئيسي للورقة. تخيل تدريب شبكتين عصبيتين "توأم" في نفس الوقت.
- التوأم (أ) يتعلم من العينة (X).
- التوأم (ب) يتعلم من العينة (Y) (عينة مختلفة قليلاً).
- السر الخفي: في كل مرة يتعلمان فيها، يُجبر التوأمان على التحدث مع بعضهما البعض. إذا اختلفا حول جزيء ما، يحصلان على "عقوبة" (خسارة الاتساق/consistency loss) لإجبارهما على الاتفاق.
النتيجة:
- يقلل معدل التقلب بنسبة 45% إضافية مقارنة بطريقة اللجنة القياسية.
- يحقق ذلك باستخدام ضعف القوة الحاسوبية فقط (تدريب توأمين بدلاً من خمسة نماذج منفصلة).
- يحافظ على دقة عالية مثل النموذج الأصلي.

لماذا يهم هذا الأمر (الأثر في "العالم الحقيقي")

تجادل الورقة بأنه في المختبرات العلمية، تُتخذ القرارات جزيئاً بجزيء.

السيناريو: يستخدم عالم نموذجاً لاختيار أفضل 10 جزيئات لتصنيعها في المختبر.
المخاطرة: إذا كان النموذج يعاني من "تقلب" عالٍ، فقد يختار العالم الجزيء رقم 1 اليوم. ولكن إذا أعاد تدريب النموذج غداً (وهو أمر يحدث كثيراً في العلم)، فقد يقول النموذج: "في الواقع، الجزيء رقم 1 سيء، لنحاول الجزيء رقم 10".
التكلفة: هذا يضيع الوقت والمال. قد يقوم المختبر بتصنيع الجزيء الخطأ، أو يبذل جهداً في إعادة تقييم نفس القائمة.

تقترح الورقة أن التقارير العلمية يجب أن تتضمن دائماً "درجة التقلب" (Churn Score) جنباً إلى جنب مع الدقة. معرفة أن النموذج "دقيق بنسبة 90%" ليست كافية؛ بل تحتاج لمعرفة ما إذا كانت هذه الدقة مستقرة أم أن النموذج يخمن بعشوائية في كل مرة تقوم فيها بتحديث الصفحة.

الملخص

المشكلة: غالباً ما تغير نماذج الذكاء الاصطناዊ العلمية توقعاتها المحددة عند إعادة تدريبها على بيانات مختلفة قليلاً، حتى لو بدا أداؤها العام جيداً.
الطريقة القديمة: الحيل القياسية لقياس عدم اليقين (مثل المجموعات/ensembles) لا تعالج هذه المشكلة المحددة.
الطريقة الجديدة:
1. Bagging: تدريب لجنة كبيرة من النماذج (تعمل بشكل جيد، لكنها مكلفة).
2. Twin-Bootstrap: تدريب نموذجين معاً وإجبارهما على الاتفاق (تعمل بشكل أفضل وأرخص).
الهدف: جعل الذكاء الاصطناعي العلمي موثوقاً بما يكفي لكي يثق العالم في الجزيء المحدد الذي يوصي به، مدركاً أن التوصية لن تتغير لمجرد أنه قام بتشغيل كود التدريب مرة أخرى.

ملخص تقني: تقليل تقلب التنبؤ عبر العينات في تعلم الآلة العلمي

تعريف المشكلة: تقلب التنبؤ عبر العينات (Cross-Sample Prediction Churn)

عادةً ما تكتفي اختبارات معايير تعلم الآلة (ML) العلمي بالإبلاغ عن الأداء التنبئي الإجمالي (مثل الدقة، أو المساحة تحت المنحنى AUC)، لكنها تفشل في الإبلاغ عن استقرار التنبؤات الفردية عند إعادة تدريب النموذج على سحب مختلفة من نفس مجتمع التدريب. يعرّف المؤلفون تقلب التنبؤ عبر العينات بأنه كسر التنبؤات الاختبارية التي يتغير فيها تصنيف الفئات بين نموذجين تم تدريبهما باستخدام عمليات إعادة أخذ عينات (bootstraps) مستقلة من نفس مجموعة التدريب.

بينما يظل الدقة الإجمالية مستقراً (يتفاوت بمقدار 1.3 إلى 4.2 نقطة مئوية فقط عبر عمليات إعادة التدريب)، يوضح المؤلفون أن التنبؤات الفردية غير مستقرة للغاية. ففي تسعة اختبارات معيارية للكيمياء، تغيرت 8.0% إلى 21.8% من جزيئات الاختبار فئتها المتوقعة بين عمليات إعادة التدريب. هذا "الفجوة في استقرار التنبؤ لكل حالة" أمر بالغ الأهمية لتدفقات العمل التشغيلية في المختبرات ذات الحلقة المغلقة، والتحسين البايزي (Bayesian optimization)، والمسح الافتراضي، حيث توجه مخرجات النموذج مباشرة القرارات التجريبية (مثل أي جزيء يجب تصنيعه). يشير التقلب العالي إلى أن الجزيئات المحددة المختارة للتصنيع أو المسح حساسة لأخذ العينات العشوائي من بيانات التدريب، مما يجعل سير العمل غير قابل للتكرار.

المنهجية والحلول المقترحة

يقيم البحث تقنيات عدم اليقين القياسية من جانب المعلمات (parameter-side) مقابل طرق من جانب البيانات (data-side) لتحديد أي منها يمكنه تقليل هذا التقلب.

1. فشل التقنيات من جانب المعلمات

يختبر المؤلفون ثلاث طرق قياسية لأخذ عينات من أوزان النموذج عند تثبيت البيانات:

المجموعات العميقة (Deep Ensembles): متوسط التنبؤات من $K$ من النماذج بتهيئة أولية مختلفة.
الانسحاب بنموذج مونت كارلو (MC Dropout): متوسط التمريرات الأمامية العشوائية لنموذج واحد.
متوسط الأوزان العشوائي (SWA): متوسط الأوزان من مسار تدريب واحد.

النتيجة: هذه الطرق لا تقلل تقلب العينات بشكل متسق. عبر الاختبارات التسعة، غيرت هذه الطرق معدل قلب الفئة بمقدار $-22.3\%$ إلى $+12.5\%$ بالنسبة لـ "تقليل المخاطر التجريبية" (ERM)، دون وجود تحسن ثابت. يجادل المؤلفون بأن هذه الطرق تعالج تباين المعلمات مع تثبيت محور البيانات، بينما المصدر المهيمن للتباين في تعلم الآلة العلمي مع مجموعات البيانات الصغيرة هو أخذ عينات البيانات نفسها.

2. الحل من جانب البيانات (أ): التجميع بالبواث (K-Bootstrap Bagging)

نهج التجميع (Bagging) الكلاسيكي (Breiman, 1996) يقوم بتدريب $K$ من النماذج على $K$ من عمليات إعادة أخذ العينات (bootstraps) المستقلة لمجموعة التدريب ويقوم بمتوسط تنبؤاتها.

الأداء: يقلل التقلب بنسبة 40–54% عبر جميع مجموعات البيانات مقارنة بـ ERM.
التكلفة: يتطلب $K \times$ من الحوسبة لعملية تدريب واحدة من ERM (على سبيل المثال، $5\times$ لـ $K=5$ ).
الدقة: يحقق هذا الاختزال دون أي تكلفة على الدقة الإجمالية.

3. الحل من جانب البيانات (ب): البواث المزدوج (Twin-Bootstrap)

يقترح المؤلفون البواث المزدوج (Twin-Bootstrap)، وهي طريقة تدرب شبكتين ( $\theta_A, \theta_B$ ) بشكل مشترك على بواث مستقلين ( $S_A, S_B$ ) من مجموعة التدريب.

الآلية: يتم تدريب الشبكات لتقليل خسارة مشتركة تتكون من "الاعتلاج المتقاطع" (cross-entropy) القياسي على بواثهما الخاص، بالإضافة إلى خسارة اتساق تباعد KL المتماثل ( $L_{cons}$ ) بين تنبؤاتهما على اتحاد الدفعات الصغيرة (mini-batches).
تداخل البيانات: بسبب أخذ العينات بالبواث مع الاستبدال، تشترك البواث الثنائية في حوالي 40% من مؤشرات التدريب في التوقع. تعمل خسارة الاتساق على هذا التداخل، بينما تتخصص خسائر الاعتزاء المتقاطع في الجزء غير المشترك المتبقي.
المعلم الفائق ( $\lambda$ ): يتم اختيار وزن خسارة الاتساق على مجموعة تطوير (BACE) باستخدام قاعدة تعظم $\lambda$ مع إبقاء الدقة ضمن 0.02 من خط الأساس لـ ERM. القيمة المختارة هي $\lambda=300$ لبنية MLP الافتراضية.
الأداء: عند مطابقة $2\times$ من حوسبة ERM (تدريب شبكتين)، يقلل Twin-Bootstrap التقلب بمقدار متوسط 45% إضافي فوق التجميع مع $K=2$ . كما يضاهي أداء التجميع مع $K=5$ (الذي يتطلب $5\times$ من الحوسبة) في متوسط الرتبة.

النتائج الرئيسية

حجم التقلب

معدلات التقلب: في تسعة اختبارات كيميائية (MoleculeNet, TDC ADME/Tox, علوم المواد)، يقلب تقلب العينات 8.0–21.8% من تنبؤات الاختبار.
الاستقرار الإجمالي: تتحرك الدقة الإجمالية بمقدار 1.3–4.2 نقطة مئوية فقط بين عمليات إعادة التدريب، مما يخفي عدم الاستقرار الكبير لكل تنبؤ على حدى.
عدم استقرار الفئة الأقلية: في مجموعات البيانات غير المتوازنة، تكون تنبؤات الفئة الأقلية أكثر عدم استقرار بمقدار 2–4 أضعاف من تنبؤات الفئة الأكثرية، مما يؤثر على أكثر التنبؤات أهمية (مثل "النشطة" أو "السامة").

الأداء المقارن

جانب المعلمات مقابل جانب البيانات: تفشل المجموعات العميقة، والانسحاب (Dropout)، وSWA في تقليل التقلب بشكل متسق. التجميع والبواث المزدوج هما الطريقتان الوحيدتان اللتان تقللان التقلب بشكل موثوق.
الكفاءة: يحقق Twin-bootstrap تقليلاً في التقلب يضاهي التجميع مع $K=5$ (الذي يتطلب $5\times$ حوسبة) بينما يتطلب فقط $2\times$ من حوسبة ERM.
الاتفاق التوزيعي: يقلل Twin-bootstrap من تباعد KL المتماثل (الاختلاف التوزيعي) بعامل إضافي قدره $\sim9\times$ فوق التجميع- $K=5$ ، مما يشير إلى استقرار فائق للتوزيع الاحتمالي الكامل، وليس فقط للـ argmax.

التأثير اللاحق

التحسين البايزي (BO): في محاكاة التحسين البايزي، يزيد Twin-bootstrap بشكل كبير من تداخل "جاكارد" لأفضل 10 جزيئات مختارة بين عمليات إعادة التدريب (على سبيل المثال، من 0.03 إلى 0.68 في مجموعة بيانات AMES). كما يقلل الانحراف المعياري عبر المسارات للقيمة المثلى النهائية المكتسبة بمقدار 34–100% في مهام الانحدار.
سير عمل الفرز (Triage): يسمح فرز أمثلة الاختبار حسب التقلب المقدر (باستخدام إعادة تدريب إضافية واحدة) للممارسين بتحديد التنبؤات الأكثر هشاشة. مراجعة أعلى 30% من التنبؤات المصنفة حسب التقلب تلتقط 58–100% من جميع انقلابات الفئات، متفوقة على "الاعتلاج التنبئي" (predictive entropy).

التعميم

تتعمم الطريقة عبر البنيات والمهام:

البنيات: تعمل على MLPs، وGIN، والخلفيات المدربة مسبقاً (ChemBERTa, ResNet-50).
ضبط المعلم الفائق: بينما تتغير قيمة $\lambda$ المثلى مع البنية (مثلاً $\lambda=300$ لـ MLP، و $\lambda=10$ لـ GIN/ChemBERTa)، فإن قاعدة الاختيار (تعظيم $\lambda$ مع شرط انخفاض طفيف في الدقة على مجموعة التطوير) تظل ثابتة.
المهام: يظل ترتيب الطرق (Twin-Bootstrap $\approx$ Bagging- $K=5$ > ERM) صالحاً لكل من مهام التصنيف والانحدار.

الأهمية والادعاءات

يجادل البحث بأن تقلب التنبؤ عبر العينات هو مقياس مفقود في معايير تعلم الآلة العلمي. وبدون الإبلاغ عن هذا المقياس، تبدو طرق عدم اليقين من جانب المعلمات (المجموعات، والانسحاب) وطرق جانب البيانات (التجميع، والبواث المزدوج) غير متمايزة في مقاييس الدقة القياسية، رغم اختلافهما جوهرياً في القدرة على تثبيت القرارات التشغيلية.

يدعي المؤلفون ما يلي:

التقلب هو مقي Selected للثبات التشغيلي: في المختبرات ذات الحلقة المغلقة والمسح الافتراضي، يكون تكرار الجزيئات المحددة المختارة أكثر أهمية من الدقة الإجمالية.
إعادة أخذ عينات البيانات هي الرافعة الرئيسية: الاستقرار يتحدد بكيفية إعادة أخذ عينات التدريب للبيانات أكثر من تحديد فئة النموذج نفسه.
البواث المزدوج يقدم وصفة عملية: يوفر طريقة فعالة حوسبياً ( $2\times$ ERM) لتصميم الاستقرار عبر العينات في وقت التدريب دون تغيير مسار النشر، ببساطة عن طريق ضبط معلم فائق واحد على مجموعة تطوير.

يخلص البحث إلى أن تقليل التقلب له عواقب تشغيلية مباشرة، حيث يقلل من العمل التجريبي الضائع ويجعل قرارات الفرز الحاسوبي قابلة للتكرار، رغم ملاحظتهم أن انخفاض التقلب لا يضمن الصحة (فالنموذج المستقر في خطئه يظل خاطئاً).