🤖 machine learning

Perturb and Correct: Post-Hoc Ensembles using Affine Redundancy

تقدم هذه الورقة طريقة "الاضطراب والتصحيح" (Perturb-and-Correct - P&C)، وهي طريقة لاحقة (post-hoc) تولد تنبؤات متنوعة معرفياً من شبكة واحدة مدربة مسبقاً عبر تطبيق اضطرابات عشوائية في الطبقات الخفية مع تصحيحات المربعات الصغرى، مما يحقق توازناً قوياً بين التوزيع الداخلي والتوزيع الخارجي دون الحاجة إلى نماذج متعددة.

المؤلفون الأصليون: Eleanor Quint

نُشر 2026-05-05

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Eleanor Quint

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث "الاضطراب والتصحيح: المجموعات المتعددة اللاحقة باستخدام الفائض الأفيني" (Perturb and Correct: Post-Hoc Ensembles using Affine Redundancy) باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: الطالب "المثالي" الذي يفشل في الاختبار غير المتوقع

تخيل أنك قمت بتدريب طالب عبقري (شبكة عصبية) لحل مسائل الرياضيات. قدمت له آلاف المسائل التدريبية (بيانات التدريب)، وحصل على درجة كاملة. لقد أصبح بارعاً لدرجة أنه إذا أعطيته مسألة أخرى من نفس الكتاب، فسيحلها بشكل صحيح في كل مرة.

لكن هنا تكمن الخدعة: يمكن لطلاب مختلفين تماماً أن يحصلوا على نفس الدرجة الكاملة.

في عالم التعلم العميق، يسمى هذا "عدم التحديد" (Underspecification). لم تجبر بيانات التدريب النموذج على تعلم طريقة تفكير واحدة محددة؛ بل أجبرته فقط على الوصول إلى الإجابة الصحيحة. لذا، وجد النموذج مساراً واحداً للوصول إلى الإجابة، لكن هناك آلاف المسارات الأخرى التي كان يمكنه اتخاذها والتي كانت ستبدو متطابقة تماماً في الاختبار التدريبي.

تظهر المشكلة عندما يواجه الطالب "انزياحاً في التوزيع" (Distribution Shift) — أي اختبار في العالم الحقيقي حيث تبدو الأسئلة مختلفة قليلاً (على سبيل المثال، سيارة ذاتية القيادة ترى عاصفة ثلجية بدلاً من يوم مشمس، أو ذكاء اصطناعي طبي يرى مرضاً نادراً). ولأن النموذج لم يُجبر على اختيار مسار معين أثناء التدريب، فقد يختار مساراً يعمل في اليوم المشمس ولكنه يؤدي إلى حادث في العاصفة الثلجية. نحن لا نعرف أي مسار اتخذه، لذا لا نعرف ما إذا كان آمناً أم لا.

الحل: الاضطراب والتصحيح (P&C)

قدم المؤلفون حيلة ذكية تسمى "الاضطراب والتصحيح" (Perturb-and-Correct). هم لا يحتاجون لإعادة تدريب الطالب أو تعليمه أشياء جديدة. كل ما عليهم فعله هو أخذ النموذج الجاهز و"هزه" بطريقة محددة جداً لإنشاء "فريق" من نسخ مختلفة قليلاً من نفس الطالب.

إليك كيف تسير العملية، خطوة بخطوة:

1. "الاضطراب" (الهزة)

تخيل أن عقل الطالب يحتوي على طبقة معينة من الخلايا العصبية (طبقة خفية) حيث يقوم ببعض التفكير العميق. يأخذ الباحثون هذه الطبقة ويزيحون الروابط داخلها بشكل عشوائي.

التشبيه: الأمر يشبه أن تطلب من الطالب حل مسألة الرياضيات وهو يرتدي نظارات مختلفة قليلاً تشوه رؤيته بشكل طفيف.
النتيجة: إذا فعلت ذلك فحسب، سيبدأ الطالب في إعطاء إجابات خاطئة حتى في الاختبار التدريبي. لقد أدت هذه "الإزاحة" إلى كسر درجته الكاملة.

2. "التصحيح" (الإصلاح)

هذا هو الجزء السحري. ينظر الباحثون إلى الطبقة التالية من الدماغ (الطبقة الأفينية - affine layer) ويعيدون ضبطها باستخدام إصلاح رياضي بسيط (تصحيح المربعات الصغرى) بناءً على المسائل التدريبية القديمة.

التشبيه: يرتدي الطالب النظارات المشوهة، فيصاب بالارتباك ويبدأ في الإجابة بشكل خاطئ. ولكن بعد ذلك، يقوم المعلم (خطوة التصحيح) بسرعة بتعديل القلم الذي يمسكه الطالب لتعويض تأثير النظارات.
النتيجة: عندما ينظر الطالب إلى المسائل التدريبية القديمة، فإن النظارات وتعديل القلم يلغيان أثر بعضهما البعض تماماً. يحصل الطالب على نفس الدرجة الكاملة السابقة تماماً.

3. "المجموعة المتعددة" (الفريق)

يكرر الباحثون هذه العملية عدة مرات. في كل مرة، يستخدمون إزاحة عشوائية مختلفة (نظارات مختلفة) وتعديلاً مختلفاً للقلم.

النتيجة: أصبح لديك الآن 50 أو 100 نسخة من نفس الطالب.
- في المسائل التدريبية القديمة، يتفقون جميعاً بشكل مثالي.
- في المسائل الجديدة والغريبة (انزياح التوزيع)، لم يعد "تعديل النظارات" و"تعديل القلم" يلغيان بعضهما البعض بشكل مثالي. يبدأ الطلاب في الاختلاف فيما بينهم.

لماذا هذا مهم: إشارة "الاختلاف"

في الماضي، إذا كان النموذج الوحيد غير متأكد، كان علينا تدريب مجموعة كاملة من النماذج من الصفر لنرى ما إذا كانت تتفق أم تختلف. وهذا يستغرق الكثير من الوقت وقوة الحوسبة.

مع تقنية P&C، يحدث الاختلاف تلقائياً:

إذا كان المدخل طبيعياً: تعمل "النظارات" و"تعديل القلم" معاً بانسجام. تتفق جميع نسخ النموذج. نحن واثقون.
إذا كان المدخل غريباً (خارج التوزيع): لم يعد "تعديل القلم" يتناسب مع الموقف الجديد. تبدأ النماذج في إعطاء إجابات مختلفة.
الإشارة: حقيقة اختلافهم تخبرنا: "مهلاً، نحن في منطقة مجهولة! كن حذراً!"

تشبيه "الرافعة" (Leverage)

تستخدم الورقة مفهوماً هندسياً يسمى "الرافعة" (leverage) لشرح سبب نجاح ذلك.

تخيل أن المسائل التدريبية هي مجموعة من الأشخاص يجلسون حول نار مخيم.
إذا طرحت سؤالاً على شخص يجلس بجانب النار مباشرة (داخل التوزيع)، يمكن لـ "تعديل القلم" أن يصلح "تشويه النظارات" بسهولة لأنهم قريبون من المركز. الجميع يتفق.
أما إذا سألت شخصاً يقف بعيداً في الظلام (خارج التوزيع)، فإن "تعديل القلم" (الذي تمت معايرته من أجل النار) لن يستطيع الوصول إليه. ستسيطر "نظارات التشوه" على الموقف، وتبدأ النماذج في رؤية الأشياء بشكل مختلف.

ملخص النتائج

اختبر المؤلفون هذا على شيئين:

فيزياء الروبوتات (MuJoCo): التنبؤ بكيفية حركة الروبوت. عندما تغير سلوك الروبوت (الانزياح)، كانت تقنية P&C أفضل بكثير في اكتشاف أن الروبوت في موقف "غريب" مقارنة بالطرق الأخرى، دون الحاجة لإعادة تدريب الروبوت.
التعرف على الصور (CIFAR-10): اكتشاف الصور التي لا تنتمي للمجموعة (مثل إظهار صورة قطة لمصنف كلاب). كانت تقنية P&C جيدة جداً في قول: "أنا لا أعرف ما هذا"، مقارنة بطرق النموذج الواحد.

الخلاصة

تجادل الورقة بأنه لا ينبغي لنا محاولة القضاء على "المرونة" في الشبكات العصبية (حقيقة أن مسارات عديدة تؤدي إلى نفس الإجابة). بدلاً من ذلك، يجب علينا استغلالها.

من خلال أخذ نموذج واحد مدرب، وهزّه عشوائياً، ثم إصلاحه بما يكفي ليبقى صادقاً على البيانات المعروفة، يمكننا إنشاء فريق من الخبراء المتنوعين "مجاناً". يظلون متناغمين عندما تكون الأمور طبيعية، لكنهم ينقسمون طبيعياً إلى جوقة من الاختلاف عندما تصبح الأمور غريبة، مما ينبهنا إلى الخطر المحتمل.

ملخص تقني: الاضطراب والتصحيح (P&C)

بيان المشكلة

تعد الشبكات العصبية العميقة الحديثة فائقة التخصيب بشكل هائل، مما يؤدي إلى ظاهرة تُعرف باسم عدم التحديد (Underspecification). وبينما يمكن لعديد من تكوينات المعلمات المتميزة أن تعطي أداءً متطابقاً تقريباً على بيانات التدريب داخل التوزيع (ID)، إلا أن هذه النماذج غالباً ما تسلك سلوكيات مختلفة جذرياً تحت تأثير تغيرات التوزيع أو الهجمات العدائية. هذا النقص في القيود يعني أن مسارات التدريب القياسية تفشل في تحديد سلوك النموذج بشكل كامل بعيداً عن نطاق دعم البيانات، مما يخلق فجوة حرجة في الموثوقية عند النشر، لا سيما فيما يتعلق باليقين المعرفي (Epistemic Uncertainty) وكشف البيانات خارج التوزيع (OOD). وتتطلب الطرق الحالية لتقدير هذا اليقين إما تدريب نماذج مستقلة متعددة (Deep Ensembles)، أو تعديل إجراء التدريب (MC Dropout)، أو تقريب التوزيع البعدي (SWAG, Laplace)، وهي عمليات قد تكون مكلفة حوسبياً أو مقيدة هيكلياً.

المنهجية: الاضطراب والتصحيح (P&C)

تقدم الورقة البحثية طريقة الاضطراب والتصحيح (Perturb-and-Correct - P&C)، وهي طريقة لبناء مجموعات (Ensembles) لاحقة (Post-hoc) تولد متنبئات متنوعة معرفياً من شبكة واحدة مدربة مسبقاً دون الحاجة لإعادة التدريب. تستفيد هذه الطريقة من عدم التحديد في الشبكات العميقة عبر إدخال اضطرابات متعمدة في المعلمات ثم تقييد آثارها على البيانات داخل التوزيع (ID).

الآلية الجوهرية

الاضطراب (Perturbation): تختار طريقة P&C طبقة خفية (أو سلسلة من الطبقات) وتطبق اضطرابات عشوائية منخفضة الرتبة على المعلمات. وتحديداً، تقوم بأخذ عينة من أساس متعامد عشوائي وتدرجه بواسطة مقدار اضطراب $\sigma$ لإنشاء مصفوفة اضطراب $\Delta W$ .
التصحيح (Correction): لمنع هذه الاضطرابات من إضعاف الأداء على البيانات داخل التوزيع (ID)، تقوم P&C بضبط تصحيح تعويضي في الطبقة التآلفية (Affine Layer) التي تليها مباشرة. ويتم ذلك عبر المربعات الصغرى المنتظمة بـ (Ridge-regularized least squares) على مجموعة معايرة فرعية من البيانات داخل التوزيع. يعمل التصحيح على تقليل الفرق بين التنشيطات المسبقة الأصلية للطبقة التالية والتنشيطات المسبقة المضطربة.
بناء المجموعة (Ensemble Construction): تتكرر هذه العملية $M$ من المرات مع اضطرابات عشوائية مختلفة، ومع استخدام مجموعات فرعية (Bootstrap) مختلفة من بيانات المعايرة اختيارياً. وتكون المجموعة الناتجة عبارة عن خليط موزون بانتظام من المتنبئات المصححة.

الأساس النظري

تحلل الورقة الآلية من خلال منظور بقايا ما بعد التصحيح (Post-correction residual) والحساسية المصححة (Corrected sensitivity):

الحفاظ على البيانات داخل التوزيع (ID Preservation): بالقرب من توزيع المعايرة، يعمل تصحيح المربعات الصغرى بفعالية على كبح تأثير الاضطراب. وتكون البقايا (Residual) محدودة بمعامل رافعة (Leverage term) يكون صغيراً عندما يقع المدخل ضمن الهندسة الخاصة بالمعايرة.
التباعد خارج التوزيع (OOD Divergence): مع ابتعاد المدخلات عن دعم المعايرة (الاستقراء)، ينمو معامل الرافعة، ولم يعد بإمكان التصحيح امتصاص الاضطراب بالكامل. وبناءً على ذلك، تنمو الحساسية المصححة (تغير المخرجات لكل وحدة اضطراب في الطبقة الخفية)، مما يسمح لأعضاء المجموعة بالاختلاف بشكل كبير في البيانات خارج التوزيع (OOD).
الجس (Random Probing): يجادل المؤلفون بأن الاضطرابات العشوائية تعمل كـ "رسم تخطيطي" (Sketch) غير متحيز لمؤثر الحساسية المصححة. ولأن التصحيح يكبح التأثيرات فقط حيث تقيد البيانات السلوك، فإن أخذ العينات العشوائية يعمل فعلياً على جس "درجات الحرية المعرفية" التي لم تحسمها بيانات التدريب.

المساهمات الرئيسية

بناء مجموعات لاحقة (Post-Hoc Ensemble Construction): تثبت الورقة أنه يمكن بناء مجموعات معرفية مفيدة دون تقدير توزيع بعدي كامل أو اختيار اتجاهات اضطراب متخصصة. فالاضطرابات العشوائية منخفضة الأبعاد في الطبقة الخفية، المقترنة بالتصحيح التآلفي المحلي على بيانات المعايرة، كافية لتوليد متنبئات متنوعة.
التحليل الهندسي للبقايا: يقدم المؤلفون تحليلاً نظرياً يوضح سبب استمرار الاتفاق بالقرب من هندسة المعايرة بينما يظهر الاختلاف تحت تأثير التغير. وقد قاموا بصياغة العلاقة بين البقايا، ومعامل الرافعة، والحساسية المصححة، مما يفسر سبب فعالية الاضطرابات العشوائية في جس اليقين المعرفي.
التحقق التجريبي: تم تقييم الطريقة في مهمتين مختلفتين:
- توقع ديناميكيات MuJoCo: حققت P&C توازناً قوياً بين خطأ جذر متوسط المربعات (RMSE) داخل التوزيع، واللوغاريتم السالب للمحتمل (NLL) بعيد الخارج عن التوزيع (Far-OOD)، متفوقة على أو موازية للأساليب القياسية (Deep Ensembles, SWAG, Laplace, Subspace) باستخدام نموذج واحد مدرب مسبقاً فقط.
- كشف البيانات خارج التوزيع (OOD) لـ CIFAR-10: باستخدام بروتوكول OpenOOD، حققت P&C نتائج هي الأفضل بين الطرق اللاحقة، متفوقة على النماذج الفردية القوية مثل SWAG، ومقتربة من أداء Deep Ensembles بتكلفة حوسبية أقل بكثير.

النتائج

MuJoCo: عبر 11 بيئة، حققت P&C أفضل متوسط رتب لـ Far-OOD NLL (1.55)، وFar AUROC (1.27)، وFar Spearman correlation (1.64). كما حافظت على RMSE تنافسي داخل التوزيع (3.18) مع التفوق بشكل ملحوظ على Deep Ensembles في مقاييس كشف OOD.
CIFAR-10: حققت P&C أعلى Near-OOD AUROC (91.55) وFar-OOD AUROC (95.09) بين الطرق المسجلة، مع تقليل معدل الإيجابيات الكاذبة عند استدعاء 95% (FPR95) مقارنة بـ SWAG وDeep Ensembles.
تشخيص الآلية: أكدت التجارب أنه بدون تصحيح المربعات الصغرى، تؤدي الاضطربات العشوائية إلى تدهور الأداء داخل التوزيع (ID). ومع وجود التصحيح، يتم الحفاظ على أداء ID، ويتناسب الاختلاف مع مسافة ماهالانوبيس (Mahalanobis distance) من تنشيطات المعايرة.

الأهمية والادعاءات

تدعي الورقة أن P&C تعيد صياغة عدم التحديد (Underspecification) ليس كمرض يجب التخلص منه، بل كمصدر لليقين المعرفي يجب استغلاله. ومن خلال معاملة درجات الحرية التي لم تحسمها بيانات المعايرة كمورد، توفر P&C بديلاً فعالاً حوسبياً لتدريب نماذج مستقلة متعددة أو إجراء استدلال بايزي معقد.

يضع المؤلفون P&C فلسفياً أقرب إلى الشبكات العصبية المعرفية (Epistemic Neural Networks) منها إلى الأساليب البايزية الصريحة، حيث تمثل اليقين من خلال عائلة من المتنبئات التي تتفق حيث تقيد البيانات السلوك وتختلف حيث لا تفعل ذلك، دون الحاجة إلى تغيير بنية النموذج أو مسار التدريب. يشير العمل إلى أن التصحيحات التآلفية المحلية يمكن أن تحول الاضطرابات العشوائية البسيطة إلى مجموعات فعالة لاحقة، مما يسلط الضال على إمكانات التخصيب الفائق في التعلم العميق.