🤖 machine learning

Unification and Optimization of Robust Supervised Learning

تقترح هذه الورقة إطاراً موحداً ينظم طرق التعلم الخاضع للإشراف القوية والمتنوعة وفق ثلاثة محاور تصميمية ضمن إجراء تدريب تسلسلي، مما يمكّن الممارسين من تحسين وتكوين استراتيجيات المتانة تلقائياً لأنماط الفشل غير المعروفة عبر مختلف المعايير المرجعية.

المؤلفون الأصليون: Jonas Hanselle, Valentin Margraf, Clemens Damke, Eyke Hüllermeier

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jonas Hanselle, Valentin Margraf, Clemens Damke, Eyke Hüllermeier

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ يحاول إعداد الطبق المثالي. لديك وصفة (نموذج الذكاء الاصطناعي الخاص بك) ومجموعة من المكونات (بيانات التدريب الخاصة بك). عادةً، تقوم بطهي الطبق تماماً كما تقول الوصفة، وتتذوقه فقط بناءً على المكونات الموجودة أمامك الآن. وهذا ما يسمى "تقليل المخاطر التجريبية" (Empirical Risk Minimization - ERM).

ولكن ماذا لو كانت مكوناتك تالفة قليلاً؟ ماذا لو كانت الوصفة تفترض أن لديك طماطم طازجة، بينما سيحصل زبائنك في المستقبل على طماطم معلبة فقط؟ أو ماذا لو كان الشخص الذي كتب الوصفة قد ارتكب خطأً مطبعياً؟ إذا التزمت بصرامة بالخطة الأصلية، فقد يكون طبقك رائعاً في المطبخ، ولكنه سيفشل فشلاً ذريعاً عند تقديمه للجمهور.

في عالم الذكاء الاصطناعي، تُسمى هذه "الإخفاقات" إزاحة التوزيع (distribution shifts) (مثل تقديم الطماطم المعلبة)، أو ضجيج الملصقات (label noise) (مثل الأخطاء المطبعية في الوصفة)، أو مشكلات العينات المحدودة (finite-sample issues) (مثل عدم امتلاك مكونات كافية لاختبار كل النكهات).

المشكلة: الكثير من الأدوات المتخصبة

على مر السنين، اخترع العلماء العديد من "شبكات الأمان" المختلفة لإصلاح هذه المشكلات المحددة:

الخلط (Mixup): مثل مزج وصفتين مختلفتين معاً لإنشاء واحدة جديدة هجينة.
تنعيم الملصقات (Label Smoothing): مثل قولك للطاهي: "لا تكن متأكداً بنسبة 100% أنها طماطم؛ ربما هي مزيج من الطماطم والفلفل".
التدريب الخصمي (Adversarial Training): مثل إضافة القليل من الملح عمداً إلى طبق الاختبار لمعرفة ما إذا كان بإمكان الطاهي استعادة المذاق الجيد رغم ذلك.

المشكلة هي أن هذه الأدوات بُنيت بمعزل عن بعضها البعض. يتعين على الطاهي أن يخمن قبل أن يبدأ الطهي: "هل مشكلتي الأساسية هي مكونات سيئة؟ أم هو خطأ مطبعي في الوصفة؟". إذا أخطأ في التخمين، فقد يستخدم الأداة الخاطئة ويفسد الطبق.

الحل: "مفتاح أمان" عالمي

تقدم هذه الورقة البحثية إطار عمل موحداً. فكر في الأمر كأنها محطة مطبخ عالية التقنية، نمطية، حيث لا تضطر لاختيار أداة سلامة واحدة فقط. بدلاً من ذلك، لديك ثلاثة مفاتلين (محاور) يمكنك ضبطهما على أي إعداد تريده:

التوزيع المرجعي (الوصفة الأساسية):
- ماذا يفعل: يحدد كيف تنظر إلى مكوناتك. هل تستخدمها كما هي تماماً؟ هل تخلطها معاً (Mixup)؟ هل تضيف بعض المكونات "الافتراضية" الخيالية لملء الفجوات؟
- التشبيه: هذا هو قرارك بشأن ما إذا كنت ستفرم الخضروط ناعماً، أو تخلطها لتصبح حساءً، أو تبقيها كاملة.
مجموعة الغموض (منطقة "ماذا لو"):
- ماذا تفعل: تحدد مدى إمكانية تغير العالم. ما مدى البعد عن وصفتك الأساسية التي أنت مستعد لاعتبارها؟
- التشبيه: هذا هو حجم شبكة الأمان الخاصة بك. هل أنت قلق من رشّة ملح بسيطة زائدة (نصف قطر صغير)؟ أم أنك قلق من أن يقوم شخص ما باستبدال الطماطم بالبطاطس تماماً (نصف قطر كبير)؟
مبدأ إزالة الغموض (موقف الطاهي):
- ماذا يفعل: يحدد عقليتك تجاه عدم اليقين.
  - المتشائم: "افترض حدوث الأسوأ". (الاستعداد لأسوأ سيناريو ممكن).
  - المتفائل: "افترض حدوث الأفضل". (البحث عن أوضح إشارة).
  - المحايد: "فقط خذ المتوسط".
- التشبيه: هل أنت طاهٍ مرتاب يفترض أن الفرن سيتعطل، أم طاهٍ متفائل يفترض أن المكونات مثالية؟

كيف يعمل: "التحسين المشترك"

إن سحر هذه الورقة البحثية ليس مجرد امتلاك هذه المفاتلات؛ بل هو القدرة على تدويرها جميعاً في وقت واحد باستخدام برنامج حاسوبي يسمى "التحسين المشترك للمعلمات الفائقة" (Joint Hyperparameter Optimization).

بدلاً من أن يخمن الطاهي البشري: "هل يجب أن أستخدم أداة الخلط أم أداة الملح؟"، يقوم الكمبيوتر بتجربة آلاف التوليفات تلقائياً. يسأل نفسه: "ماذا لو خلطت المكونات قليلاً، وافترضت وجود شبكة أمان متوسطة الحجم، وتصرفت بتشاؤم طفيف؟"

إنه يجد المزيج المثالي للمهمة المحددة.

إذا كانت المشكلة هي ملصقات سيئة (أخطاء مطبعية)، فقد يرفع الكمبيوتر مستوى "تنعيم الملصقات".
إذا كانت المشكلة هي إزاحة بيانات غريبة (طماطم معلبة)، فقد يرفع مستوى "التدريب الخصمي".
إذا كانت المشكلة هي كلاهما، فإنه يجمعهما معاً.

النتائج: نموذج افتراضي موثوق

اختبر المؤلفون هذا "المطبخ العالمي" على ثلاثة أنواع من المهام:

البيانات الجدولية (Tabular Data): مثل السجلات الطبية أو الإحصاءات الجامعية.
الصور: مثل التعرف على الطيور أو الوجوه.
نمذجة المكافأة (Reward Modeling): تعليم الذكاء الاصطناعي فهم التفضيلات البشرية (مثل تحديد أي الإجابات هي "الألطف").

كانت النتائج بسيطة:

عندما سُمح للكمبيوتر بضبط جميع المفاتلات معاً، كان أداؤه يضاهي أفضل طريقة ذات أداة واحدة في كل سيناريو.
في مهمة "نمذجة المكافأة" الصعبة (تعليم الذكको الاصطناعي التفضيلات البشرية)، كان النهج المدمج في الواقع أفضل من أي أداة منفردة.
والأهم من ذلك، إذا كنت لا تعرف نوع المشكلة التي تواجهها، فإن هذا "المطبخ العالمي" يعد خياراً افتراضياً آمناً وموثوقاً. لست بحاجة لتكون طاهياً عبقرياً للحصول على وجبة رائعة؛ ما عليك سوى ترك الآلة تجد الإعدادات الصحيحة.

الملخص

تقول هذه الورقة البحثية: توقف عن التخمين بشأن أداة السلامة التي يجب استخدامها. بدلاً من ذلك، ابنِ نظاماً يحتوي على جميع الأدوات المتاحة واترك عملية مؤتمتة تجد المزيج المثالي لمشكلتك المحددة. إنها تحول قراراً معقداً وعالي المخاطر إلى عملية ضبط بسيطة، مما يضمن أن يكون نموذج الذكاء الاصطناعي الخاص بك قوياً بغض النظر عن المفاجآت التي يلقيها العالم الحقيقي في طريقه.

ملخص تقني: توحيد وتحسين التعلم الخاضع للإشراف المتين

بيان المشكلة

في التعلم الخاضع للإشراف، يواجه الممارسون سلسلة من القرارات تحت ظروف عدم اليقين، بدءًا من جمع البيانات وتصنيفها وصولاً إلى نشر النماذج. وفي كل مرحلة، يمكن أن تحدث أوضاع فشل، بما في ذلك حالات التدهور الناجمة عن العينات المحدودة (بيانات غير ممثلة)، وضجيج الملصقات (تعليقات توضيحية ذاتية أو غير متسقة)، وانزياحات التوزيع (الاختلافات بين بيئات التدريب والتشغيل). وبينما توجد أدبيات واسعة تقترح بدائل متينة لتقليل المخاطر التجريبية (ERM) — مثل التحسين المتين لتوزيع البيانات (DRO)، وتنعيم الملصقات (Label Smoothing)، وتقليل المخاطر المجاورة (VRM)، والخلط (Mixup) — فإن هذه الأساليب تُطور عادةً بشكل منعزل.

هذا التجزؤ يجبر الممارسين على الالتزام مسبقًا بنمط فشل واحد وبآلية متانة مقابلة له، حتى عندما يكون مصدر عدم اليقين المهيمن لمهمة معينة غير واضح. علاوة على ذلك، فإن خيارات النمذجة الضمنية الكامنة وراء هذه الأساليب (كيفية تمثيل توزيعات البيانات، وما هي الانحرافات التي تعتبر معقولة، وكيف يتم حل عدم اليقين) متشابكة داخل أهداف محددة، مما يجعل المقارنة المنهجية والجمع بينها أمراً صعباً. وتجادل الورقة بأن الآليات التي تستهدف أوضاع فشل مختلفة يمكن أن تتآلف لتتفوق على أي طريقة منفردة عند وجود أوضاع متعددة، ومع ذلك تفتقر الأطر الحالية إلى طريقة موحدة لاكتشاف هذه التوليفات المثلى.

المنهجية: إطار عمل موحد

يقترح المؤلفون إطار عمل موحد يقوم بتفكيك التعلم المتين الخاضع للإشراف إلى ثلاثة محاور تصميم متعامدة، والتعامل معها كأبعاد مستقلة بدلاً من كونها مكونات ثابتة لخوارزميات محددة.

1. محاور التصميم الثلاثة

يعرف إطار العمل مشكلة تعلم متين عامة بناءً على:

التوزيع المرجعي ( $P_{ref}$ ): التوزيع الذي يتم تحديد الاضطرابات حوله. ويمكن أن يكون التوزيع التجريبي ( $P_n$ ) أو نسخة منقحة/معززة (على سبيل المثال، عبر VRM أو Mixup).
مجموعة الغموض ( $U(P_{ref})$ ): مجموعة من التوزيعات المعقولة التي تلتقط عدم اليقين في المدخلات، أو الملصقات، أو كليهما. ويتم تعريفها عبر مسافة توزيع $\Delta$ (مثل مسافة Wasserstein أو تباعد KL) ونصف قطر اضطراب $\varrho$ . وتُعرف المجموعة رسمياً كـ $U(P_{ref}) = \{Q \in \mathcal{P}(\mathcal{X} \times \mathcal{Y}) : \Delta(Q, P_{ref}) \leq \varrho\}$ .
مبدأ إزالة الغموض ( $\Phi$ ): قاعدة تشفر موقف الممارس تجاه عدم اليقين داخل مجموعة الغموض.
- المتشائم (Pessimistic): يفترض أن الانحرافات تمثل تهديدات ما بعد النشر (مثل الهجمات العدائية، أو انزياح المتغيرات المستقلة) ويسعى للوصول إلى أسوأ مخاطر ممكنة ( $\sup$ ).
- المتفائل (Optimistic): يفترض أن الانحرافات تمثل تلوث ما قبل النشر (مثل ضجيج الملصقات) الذي قد يكون قابلاً للتصحيح جزئياً ويسعى للوصول إلى أفضل مخاطر ممكنة ( $\inf$ ).
- المحايد (Neutral): يتوافق مع التجميع القياسي (على سبيل المثال، التوقع).

تُصاغ المسألة العامة كالتالي:
$\hat{h}_{robust} = \arg \min_{h \in \mathcal{H}} \Phi_{Q \in U(P_{ref})} \mathbb{E}_{(x,y) \sim Q} [\ell(h(x), y)]$

2. الروابط النظرية

توضح الورقة أن العديد من الأساليب الموجودة هي حالات خاصة من هذا الإطار من خلال تثبيت خيارات محددة على طول المحاور الثلاثة. بالنسبة للنماذج الخطية مع خسارة المربعات الصغرى، استنتج المؤلفون اختزالات ذات صيغة مغلقة توضح كيف تعمل هذه الأساليب كمنظمات (regularizers):

VRM (الضجيج الغاوسي): يختزل إلى ERM مع حد تنظيم $\ell_2$ (أي $\sigma^2 \|w\|^2$ ).
Mixup: بالنسبة للمربعات الصغرى الخطية، لا يغير Mixup الحل الأمثل مقارنة بـ ERM، لأنه يعاقب تباين البواقي الذي يكون صفراً بالفعل عند الحل الأمثل لـ ERM.
W-DRO: يختزل إلى ERM مع منظم خطي في $\|w\|$ ولكن بمقياس متوسط البواقي المطلقة التجريبية.
تنعيم الملصقات (Label Smoothing): يعيد قياس حجم حل ERM دون تغيير اتجاهه.

3. إجراء تدريب قابل للتتبع

لجعل هذا الإطار عملياً، استنتج المؤلفون مسار تدريب واحداً يكشف جميع خيارات التصميم كمعلمات فائقة (hyperparameters) مستمرة. تعالج العملية دفعة صغيرة (mini-batch) عبر أربع مراحل متتالية قبل تحديث التدرج:

إثراء التوزيع المرجعي: تطبيق اضطرابات في فضاء المدخلات (مثل الضجيج الغاوسي لـ VRM أو الاستيفاء لـ Mixup) أو ترك البيانات دون تغيير.
اضطراب فضاء المدخلات ( $\Phi_X$ ): تطبيق اضطربات لكل حالة ضمن كرة Wasserstein (عبر طريقة التدرج المتدرج المسقط - PGD) مع اختيار موقف متشائم، أو محايد، أو متفائل.
اضطراب فضاء الملصقات ( $\Phi_Y$ ): تطبيق اضطرابات الملصقات ضمن مجموعة ائتمانية (على سبيل المثال، تنعيم الملصقات، أو الاسترخاء، أو الإزاحة العدائية) مع اختيار موقف.
تجميع مستوى العينة ( $\Phi_S$ ): تجميع الخسائر عبر الدفعة باستخدام صيغة ثنائية مقيدة بـ KL (على سبيل المثال، ERM المائل للتجميع المتشائم أو المتفائل).

تسمح دالة الخسارة الموحدة هذه بـ تحسين المعلمات الفائقة المشترك (Joint HPO). فبدلاً من اختيار أسلوب يدوياً، يمكن للممارسين ضبط فضاء البحث الكامل $(\sigma, \varrho, \alpha, \tau)$ بشكل مشترك باستخدام أدوات تحسين الصندوق الأسود القياسية (مثل التحسين البايزي). وهذا يعيد صياغة دور الممارس من اختيار آلية متانة إلى تحديد ميزانية بحث.

المساهمات الرئيسية

إطار عمل موحد: صياغة عامة تشمل ثلاثة محاور نمذجة صريحة (التوزيع المرجعي، مجموعة الغموض، ومبدأ إزالة الغموض) التي تستعيد فئة واسعة من الأساليب الموجودة كحالات خاصة.
توضيح نظري: اختزالات ذات صيغة مغلقة لـ VRM و Mixup و W-DRO على النماذج الخطية، مما يوضح علاقاتها النوعية وآثار التنظيم المتميزة.
إجراء قابل للتتبع: مسار تدريب موحد حيث تظهر جميع خيارات التصميم كمعلمات فائقة مستمرة، مما يسمح بالتدريب النهائي من البداية إلى النهاية عبر الانتشار العكسي والتحسين المشترك للمعلمات الفائقة.
القابلية للتطبيق العملي: أدلة تجريبية تثبت أن التحسين المشترك ينافس أفضل الأساليب المرجعية في مهام متنوعة، مما يوفر خياراً افتراضياً موثوقاً عندما يكون نمط الفشل المهيمن غير معروف.

النتائج التجريبية

قيم المؤلفون الإطار عبر ثلاثة أنواع من البيانات: البيانات الجدولية (اختبارات TableShift)، بيانات الصور (Waterbirds, CelebA)، ونمذجة المكافأة (HH-RLHF). وقارنوا التكوين "المشترك" (Joint) مقابل ثمانية أساليب مرجعية تمثل أوضاع فشل مختلفة (W-DRO, KL-DRO, W-DFO, KL-DFO, Label Smoothing, Label Relaxation, VRM, ERM)، مع ميزانية HPO متساوية قدرها 50 تجربة.

البيانات الجدولية: كان التكوين المشترك منافساً لأفضل الأساليب المرجعية من حيث الدقة. ومن الملاحظ أنه حسن بشكل كبير مخاطر الذيل (المقاسة بـ CVaR)، حيث خفضها إلى حوالي نصف قيمة ERM في عدة مجموعات بيانات.
بيانات الصور: في Waterbirds، حيث يسبب عدم توازن المجموعات انزياحاً في التوزيع، حقق التكوين المشترك قيم CVaR أقل برتبة مقدار كامل عن ERM دون تكلفة ملموسة في الدقة. وكانت تدخلات جانب الملصقات (LS, LR) وأساليب مجموعة الغموض (KL-DRO, Joint) فعالة بشكل خاص.
نمذجة المكافأة: حقق التكوين المشترك أعلى دقة خارج التوزيع (0.713 مقابل 0.687 لأقوى مرجع وهو W-DFO) وقلل من CVaR خارج التوزيع.
تحليل شابلي (Shapley Analysis): كشف تحليل مهمة نمذجة المكافأة أن مساهمات المكونات الفردية لا تتنبأ بالسلوك عند الجمع بينها. فعلى سبيل المثال، كان تنعيم الملصقات (LS) ضعيفاً بمفرده ولكنه كان مهيمناً عند تفاعله مع DRO من أجل الدقة، بينما كان DRO وحده هو الأقوى بالنسبة لمخاطر الذيل. وهذا يؤكد ضرورة التحسين المشترك لاكتشاف التكوين الصحيح.
ميزانية HPO: أظهرت منحنيات الأداء الأفضل أثناء التشغيل أن التكوين المشترك استقر في نفس الجدول الزمني للأساليب الأبسط، مما يشير إلى أن تفوقه ليس ناتجاً عن مساحة بحث أكبر أو تجارب أكثر.

الأهمية والادعاءات

تزعم الورقة أن الأهمية الرئيسية لهذا العمل تكمن في تخفيف عبء إلزام الممارسين بالالتزام بآلية متانة واحدة مسبقاً. ومن خلال توحيد التعلم المتين في مساحة بحث واحدة، يسمح إطار العمل بالاكتشاف القائم على البيانات للتوليفة المثلى من الآليات لمهمة معينة.

ويؤكد المؤلفون أنه بينما يمكن للأساليب المرجعية جيدة الضبط أن تضاهي التكوين المشترك في نماذج معينة، فإن اختيار الطريقة الصحيحة يتطلب معرفة نمط الفشل المهيمن مسبقاً. ويتجنب التكوين المشتم عملية الاختيار هذه، حيث يظل منافساً باستمرار عبر مختلف النماذج ويوفر حلاً افتراضياً متيناً عندما تكون أنماط الفشل غير معروفة أو متداخلة. إن هذا العمل يدفع بالمجال من نموذج الأساليب المنعزلة والمتنافسة إلى نموذج من خيارات التصميم القابلة للتشكيل والتركيب.