🤖 machine learning

Disagreement-Regularized Importance Sampling for Adversarial Label Corruption

تقدم هذه الورقة طريقة أخذ عينات فرعية متينة تُسمى "أخذ العينات بالاستناد إلى الأهمية المنظم عبر عدم الاتفاق" (DR-IS)، والتي تستفيد من عدم الاتفاق في رتب الخسارة عبر مجموعة من النماذج للتخفيف بفعالية من فساد الملصقات العدائي والتفوق على الأساليب القائمة على المقدار مثل EL2N، مدعومة بحدود تركيز العينات المحدودة الصارمة التي تضمن الفصل التام بين الأمثلة النظيفة والفاسدة.

المؤلفون الأصليون: Csongor Horváth, Ida-Maria Sintorn, Prashant Singh

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Csongor Horváth, Ida-Maria Sintorn, Prashant Singh

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب (نموذج ذكاء اصطناعي) كيفية التعرف على حيوانات مختلفة باستخدام كتاب مدرسي ضخم من الصور. عادةً، ستقوم بعرض كل صورة في الكتاب عليه، واحدة تلو الأخرى. ولكن ماذا لو قام شخص ما سرًا باستبدال الملصقات (التسميات) لبعض الصور؟ على سبيل المثال، أخذ صورة قطة ووضع عليها ملصق "كلب"، أو أخذ صورة سيارة ووضع عليها ملصق "طائرة".

إذا عرضت على الطالب "أصعب" الصور فقط — تلك التي يستمر في الخطأ فيها — فقد تكون هي الصور ذات الملصقات المزيفة. سيصاب الطالب بالارتباك، ويحفظ الإجابة الخاطئة، ثم يفشل في الاختبار. هذا هو المشكلة التي يتناولها البحث: أخذ العينات حسب الأهمية (Importance Sampling). هذه تقنية تحاول تسريع التعلم من خلال التركيز فقط على الأمثلة "الأصعب". ولكن تحت تأثير الملصقات الفاسدة، فإن التركيز على الأمثلة الأصعب يشبه التركيز على أكبر الكاذبين في الغرفة.

يقترح المؤلفون طريقة جديدة تسمى DR-IS (أخذ العينات حسب الأهمية المنظم عبر عدم الاتفاق) لإصلاح ذلك. وإليك كيف تعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: فخ "الكاذب الصاخب"

في الطرق القياسية، إذا كانت الصورة صعبة التصنيف للغاية (خسارة عالية أو خطأ كبير)، يفترض النظام أنها مثال مهم جدًا وصعب ويحتاج إلى مزيد من الاهتمام.

الفخ: عندما تكون الملصقات فاسدة (مزيفة)، فإن تلك الأمثلة المزيفة غالبًا ما تبدو "صعبة للغاية" بالنسبة للذكاء الاصطناعي. إنها تصرخ: "انظر إليّ! أنا مربكة!"
النتيجة: يقضي الذكاء الاصطناعي كل وقته في دراسة هذه الأمثلة المزيفة، ويحفظ الأكاذيب، وينسى الحقيقة.

2. الحل: "لجنة من القضاة"

بدلاً من السؤال: "ما مدى صعوبة هذا المثال؟" (وهو أمر يبرع الكاذبون في تزييفه)، يسأل DR-IS: "هل يتفق القضاة على مدى صعوبته؟"

تخيل أن لديك لجنة من ثلاثة قضاة مختلفين (يُطلق عليهم "النماذج البديلة" أو proxies). جميعهم ينظرون إلى نفس مجموعة الصور لتقييمها.

الأمثلة المزيفة (الكاذبون): نظرًا لأن الملصقات خاطئة، فإن القضاة جميعًا يرتبكون بنفس الطريقة. يتفقون جميعًا: "هذا مثال سيء للغاية، إنه مستحيل!" درجاتهم مرتفعة ومتسقة باستمرار. إنهم يتفقون على الكذبة.
الأمثلة الصعبة الحقيقية (الحقيقة): هذه صور لحيوانات صعبة حقًا (مثل قطة ضبابية تشبه الكلب). قد يعتقد أحد القضاة: "هذه قطة". وقد يعتقد آخر: "لا، هذه كلب". وثالث قد يكون غير متأكد. إنهم يختلفون. درجاتهم تتذبذب.

السحر: يبحث DR-IS عن عدم الاتفاق.

إذا اتفق القضاटे جميعًا على أن المثال "صعب"، فمن المرجح أنه مثال مزيف (فاسد). يتجاهله DR-IS.
إذا اختلف القضاة حول ما إذا كان المثال صعبًا، فمن المرجح أنه مثال صعب حقيقي. يختار DR-IS هذا المثال لدراسته.

3. "تحيز البساطة" (لماذا ينجح الأمر)

يعتمد البحث على سمة في كيفية تعلم الذكاء الاصطناعي تسمى "تحيز البساطة" (Simplicity Bias).

عندما يرى الذكاء الاصطناعي ملصقًا مزيفًا (قطة مصنفة ككلب)، فإنه يدرك في النهاية: "انتظر، هذا لا يبدو منطقيًا"، لكنه يستمر في الخطأ لأن الملصق خاطئ. جميع القضاة يستقرون في النهاية على نمط من الارتباك المستمر تجاه هذه الكذبة المحددة.
الأمثلة الصعبة الحقيقية ليس لها نمط واحد خاطئ. فهي غامضة حقًا. القضاة يتأرجحون بين الآراء بشأنها.
يقوم DR-IS بتصفية الكاذبين المتسقين ويحتفظ بـ "المتحدثين الصادقين الغامضين".

4. النتائج: ما وجده البحث

اختبر المؤلفون هذه الطريقة على مجموعات بيانات صور قياسية (مثل CIFAR و Food-101) حيث أضافوا ملصقات مزيفة عمدًا.

الطرق القديمة: عندما حاولوا التركيز على الأمثلة "الأصعب"، انهارت دقة الذكاء الاصطناعي. لقد حفظوا الأكاذيب.
DR-IS: من خلال التركيز على الأمثلة التي اختلف فيها القضاة، تجنب الذكاء الاصطناعي الأكاذيب.
- في الاختبارات التي كانت فيها نسبة 25% من الملصقات مزيفة، حافظ DR-IS على دقة عالية للذكاء الاصطناعي، بينما فشلت الطرق الأخرى تمامًا.
- لقد قلل من كمية "البيانات المزيفة" التي درسها الذكاء الاصطناعي بنحو 5 مرات مقارنة بالطرق الأخرى.

5. المقايضة (Trade-off)

هناك تكلفة صغيرة. نظرًا لأن DR-IS يركز على الأمثلة الحقيقية "الصعبة"، فإنه أحيانًا يتخطى الأمثلة الحقيقية "السهلة" (مثل صورة واضحة لقطة).

في المهام البسيطة: قد يتعلم الذكاء الاصطناعي ببطء أكثر قليلاً لأنه يتجاهل الأشياء السهلة.
في المهام المعقدة أو عند وجود أكاذيب: هذه الاستراتيجية هي طوق نجاة. فهي تمنع الذكاء الاصطناي من التعرض للخداع.

الملخص

فكر في DR-IS كمعلم يتوقف عن الاستماع إلى الطالب الذي يصرخ بصوت عالٍ (البيانات الفاسدة) وبدلاً من ذلك ينتبه إلى الطلاب الذين يتناظرون حول الإجابة (البيانات النظيفة والصعبة). من خلال البحث عن عدم الاتفاق بين لجنة من القضاة بدلاً من مجرد البحث عن الصعوبة، يمكن للنظام رصد الكاذبين والحفاظ على نزاهة عملية التعلم.

يثبت البحث رياضيًا أن هذا يعمل، ويظهر أنه باستخدام ثلاثة نماذج "قضاة" بسيطة فقط، يمكنك تصفية كمية هائلة من الضجيج دون الحاجة إلى بيانات نظيفة إضافية أو قدرات حوسبة مكلفة.

ملخص تقني: أخذ العينات بالاستبدال المنظم بالتنافر (DR-IS) لمواجهة فساد الملصقات العدائي

بيان المشكلة

يهدف أخذ العينات بالاستبدال (Importance Sampling - IS) القياسي في التدرج الاشتقاقي العشوائي (SGD) إلى تقليل تباين المقدر من خلال إعطاء الأولوية للأمثلة ذات معايير التدرج العالية أو قيم الخسارة المرتف-عة. ومع ذلك، يعاني هذا النهج القائم على "المقدار" من فشل حرج تحت ظروف التلوث بـ $\epsilon$ (فساد الملصقات العدائي). في مثل هذه السيناريوهات، تظهر الأمثلة الفاسدة غالبًا أعلى معايير تدرج أو أعلى قيم خسارة. وبناءً على ذلك، يخصص أخذ العينات بالاستبدال التقليدي كتلة أخذ عينات مفرطة لهذه القيم المتطرفة العدائية، مما يتسبب في قيام الشبكات ذات المعلمات الزائدة (over-parameterized) بحفظ الضجيج بدلاً من تعلم الإشارة الأساسية. تفشل طرق التقليم القائمة على المقدار (مثل EL2N و GraNd) أو مناهج ديناميكيات التدريب (مثل AUM) أمام الهجمات المستهدفة ذات المعيار العالي، أو تفتقر إلى ضمانات صارمة في العينات المحدودة فيما يتعلق باستبعاد الضجيج.

المنهجية: أخذ العينات بالاستبدال المنظم بالتنافر (DR-IS)

يقترح المؤلفون DR-IS، وهو إطار عمل قوي لتقليص حجم العينات وإعادة وزنها، ينقل معيار الاختيار من مقدار الخسارة إلى تنافر رتبة الخسارة عبر مجموعة (Ensemble) من النماذج الوكيل المستقلة.

الآلية الجوهرية

مجموعة النماذج الوكيلة (Proxy Ensemble): يتم تدريب مجموعة من $K$ من النماذج الوكيل خفيفة الوزن ( $h_1, \dots, h_K$ ) على مجموعة البيانات التي قد تكون فاسدة $D$ لبضع حقب تدريبية (epochs). يتم تدريب هذه النماذج الوكيل ببذور (seeds) مختلفة، وتدشينات (initializations)، أو بنيات معمارية مختلفة لإحداث العشوائية.
درجة تنافر الرتبة (Rank Disagreement Score): لكل مثال $i$ ، يتم حساب رتبة الخسارة المعيرة $\rho_i(h_k)$ لكل نموذج وكيل. درجة اختيار العينة $\hat{\sigma}^2_i$ هي تباين العينة للرتب عبر المجموعة:
$\hat{\sigma}^2_i = \frac{1}{K} \sum_{k=1}^K (\rho_i(h_k) - \bar{\rho}_i)^2$
منطق الاختيار:
- الكتلة الفاسدة (Corrupted Bulk): تحت تأثير "تحيز البساطة" (simplicity bias) لـ SGD، تخصص النماذج الوكيل باستمرار رتب خسارة عالية للملصقات الفاسدة (التي تتعارض مع السمات السائدة)، مما يؤدي إلى تباين رتب منخفض (استقرار).
- الحدود النظيفة (Clean Boundary): الأمثلة النظيفة القريبة من حد القرار تكون حساسة لعشوائية التدريب، مما يتسبب في تقلب رتب الخسارة الخاصة بها بشكل كبير عبر المجموعة، مما يؤدي إلى تباين رتب مرتفع (عدم استقرار).
- البيانات النظيفة السهلة (Easy Clean): الأمثلة النظيفة البعيدة عن الحد لها رتب خسارة منخفضة باستمرار، مما يؤدي إلى تباين منخفض.
- استراتيجية DR-IS: تختار الطريقة الأمثلة ذات أعلى $\hat{\sigma}^2_i$ ، مما يعطي الأولوية للبيانات "الحدودية-النظيفة" بينما تقوم بتصفية بيانات "الكتلة الفاسدة".

متغيرات التنفيذ

التقليم الثابت (Static Pruning): يختار أفضل $\alpha N$ مثال من الأمثلة ذات درجات التنافر الأعلى لتكوين مجموعة فرعية متينة $S_{DR-IS}$ . يتم تدريب النموذج المستهدف على هذه المجموعة الفرعية لعدد $1/\alpha$ من الحقب التدريبية للحفاظ على إجمالي خطوات التدرج.
أخذ العينات بالاستبدال عبر الإنترنت (Online IS): يحدد توزيع أخذ العينات $q_i \propto \hat{\sigma}^2_i + \xi \bar{\sigma}^2$ (حيث $\xi$ هو ثابت تنعيم) لإعادة وزن التدرجات أثناء التدريب، مما يحافظ على التقدير غير المنحاز مع تجنب القيم المتطرفة ذات الخسارة العالية.

المساهمات الرئيسية

توصيف نمط الفشل (النظرية 2): يصيغ المؤلفون رسميًا أن أي درجة لأخذ العينات بالاستبدال تكون غير متناقصة بالنسبة لمعيار الخسارة لكل عينة (بما في ذلك معايير التدرج) ستؤدي حتمًا إلى تخصيص كتلة زائدة للنقاط الفاسدة تحت ظروف التلوث بـ $\epsilon$ . وهذا يثبت نتيجة استحالة لأخذ العينات بالاستبدال القائم على المقدار في وجود هجمات عدائية محاذية للخسارة.
نظرية التركيز (النظرية 1): تثبت الورقة حدود تركيز العينات المحدودة لدرجة تنافر الرتب. وهي توضح أنه مع احتمال $1-\delta$ $1 - δ$ ، يكون تنافر رتب العينات في الكتلة الفاسدة محدودًا من الأعلى، بينما يكون للأمثلة الحدودية النظيفة محدودًا من الأسفل.
- الفجوة الفصلية تتناسب مع $O(\sqrt{\log(N/\delta)/K})$ .
- عندما يكون فارق التوقع الهيكلي $\Delta'$ موجبًا، تصادق الطريقة على الفصل الصارم بين المجموعتين.
شهادات تلوث المجموعات الفرعية: يقدم المؤلفون أول تحكم غير لامتناهي (non-asymptotic) على تسرب الضجيج في المجموعة المختارة. فهم يشتقون حدًا علويًا صريحًا لمعدل التلوث في المجموعة المختارة بدلالة "ذيل الهروب" (escaping tail) للنقاط الفاسدة، وتباين رتب الذيل، ونسبة الاحتفاظ $\alpha$ .
إطار عمل DR-IS: طريقة عملية تستخدم $K=3$ من النماذج الوكيلة خفيفة الوزن مع الحفاظ على تكلفة حوسبية منخفضة (أقل من 10%) ومنع حفظ القيم المتطرفة.
التكامل مع AUM: تقارن الورقة بين DR-IS و AUM (المساحة تحت الهامش). بينما يستغل AUM التقلبات الزمنية داخل نموذج وكيل واحد، يستغل DR-IS التنافر العرضي عبر نماذج مستقلة. تقدم الورقة ضمان تحديد موحد للعينات المحدودة لـ DR-IS والتي تختلف نوعيًا عن حدود AUROC الزوجية المرتبطة بـ AUM.

النتائج التجريبية

أُجريت التجارب على CIFAR-10 و CIFAR-100 و Food-101 تحت كل من الضجيج المتماثل الموحد وهجمات المعيار العالي المستهدفة (حيث يتم قلب ملصقات أعلى $\nu$ من معايير التدرج).

القوة ضد الهجمات المستهدفة: تحت ضجيج مستهدف بنسبة 25%، انهارت الطرق القائمة على المقدار (EL2N، Consensus-loss) إلى دقة تقارب الصدفة (على سبيل المثال، 9.39% على CIFAR-10). في المقابل، حافظت DR-IS على دقة عالية (81.86% على CIFAR-10، 60.96% على CIFAR-100)، متفوقة على SGD الموحد بمقدار +9.5 نقطة مئوية على CIFAR-10.
تلوث المجموعة الفرعية: قللت DR-IS نسبة الأمثلة الفاسدة في المجموعة المختارة إلى ~5-7%، مقارنة بـ ~86% لـ EL2N و ~0.25% (الصدفة) لأخذ العينات العشوائي.
أداء البيانات النظيفة: على البيانات النظيمة، أظهرت DR-IS عجزًا طفيفًا في المهام البسيطة (CIFAR-10، -0.64 pp) بسبب انحيازها نحو الأمثلة الحدودية، لكنها حققت مكاسب في المهام المعقدة (CIFAR-100، +0.56 pp). تتبع النسخة عبر الإنترنت (online) أداء SGD الموحد ضمن نطاق ~1 pp في البيانات النظيفة.
المقارنة مع AUM: بينما قدم AUM أيضًا أداءً جيدًا، وفرت DR-IS دقة فائقة عند مستويات التلوث المتوسطة ونسب الاحتفاظ المنخفضة. أظهر AUM استقرارًا أعلى تحت الضجيج الشديد ( $\epsilon \ge 0.40$ ) ولكنه تسبب في عقوبة أكبر على البيانات النظيفة في إعداد الضجيج الطبيعي لـ Food-101.

الأهمية والادعاءات

تدعي الورقة أن DR-IS تعالج ثغرة أساسية في أخذ العينات بالاستبدال من خلال الاستفيد من التنافر عبر المجموعات بدلاً من مقدار الخسارة.

الدقة النظرية: توفر الورقة أول شهادات صريحة وغير لامتناهية لاستبعاد الضجيج في أخذ العينات بالاستبدال، حيث تحد من معدل التلوث في المجموعة المختارة.
الرؤية الميكانيكية: تحدد الورقة أن "تحيز البساطة" لنماذج الوكيل يسبب عقوبة مستمرة للملصقات الفاسدة (تباين منخفض)، بينما تكون الأمثلة الحدودية النظيفة حساسة للعشوائية (تباين مرتفع). هذا التوزيع ثنائي الأنماط يسمح بفصل قوي.
المنفعة العملية: تقدم الطريقة بديلًا قويًا وفعالًا حوسبيًا (أقل من 10% زيادة في التكلفة) لأخذ العينات بالاستبدال التقليدي وتقليص البيانات، وهي فعالة بشكل خاص ضد الهجمات المستهدفة ذات المعيار العالي التي تهزم الاستدلالات القائمة على المقدار.

يقر المؤلفون بالقيود، مشيرين إلى أن الطريقة تعتمد على وجود مجموعة حدودية كافية (الافتراض 3) و"تحيز البساطة" للنماذج الوكيلة (الافتراض 2). في الإعدادات الاصطناعية ذات النماذج الوكيلة منخفضة التعقيد أو الضجيج الموحد حيث تفشل هذه الافتراضات، قد لا تتمكن الطريقة من فصل البيانات الفاسدة بفعالية. ومع ذلك، في الاختبارات القياسية باستخدام نماذج وكيلة عميقة، يتجاوز الفصل التجريبي باستمرار الحدود النظرية للأسوأ.