🤖 machine learning

Stop Replacing Noise with Noise: Two-Source Reliability Assessment for Label Correction and Sample Reweighting in Label-Noise Learning

يقدم البحث إطار عمل TRACE، الذي يفصل بين تقييم التسميات المرصودة والأهداف الزائفة باستخدام مقاييس موثوقية متميزة لمنع الفخ الشائع في تعلم التسميات المشوشة حيث يؤدي تصحيح إشارة واحدة غير موثوقة إلى تضخيم إشارة أخرى عن غير قصد.

المؤلفون الأصليون: Wenxiao Fan, Kan Li

نُشر 2026-08-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wenxiao Fan, Kan Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا التعرف على الحيوانات من خلال عرض آلاف الصور عليه. لكن هنا تكمن الخدعة: هناك "غريملين" (gremlin) مشاكس قام بخربشة الأسماء الخاطئة على بعض الملصقات. فقد تُصنف صورة قطة على أنها "كلب"، وصورة كلب على أنها "قطة". هذا هو عالم "التعلم من التسميات المشوشة" (noisy-label learning)، وهو ركن معقد في علوم الحاسوب حيث تحاول الآلات تعلم الحقيقة حتى عندما يكون معلموها كاذبين.

ولإصلاح ذلك، طور العلماء استراتيجية ذكية تسمى "الترميم" (refurbishment). فكر في الأمر كطالب يؤدي اختبارًا؛ إذا كان الطالب غير متأكد من إجابة ما، فإنه لا يخمن فحسب، بل يعود إلى ملاحظاته الخاصة (معرفة النموذج الحالية) ليرى ما يعتقده بشأن الإجابة. كانت الطريقة القديمة في القيام بذلك تعتمد على استخدام "مقياس ثقة" واحد لكل من تسمية المعلم وتخمين الطالب. إذا قال المقياس: "لا تثق بالمعلم"، فإن النظام يقول تلقائيًا: "رائع، ثق بتخمين الطالب بدلًا من ذلك!". لقد افترضوا أنه إذا كان أحد المصدرين سيئًا، فلا بد أن الآخر جيد. ولكن ماذا لو كانت ملاحظات الطالب خاطئة أيضًا؟ ماذا لو تعلم الروبوت الإجابة الخاطئة من المعلم في المقام الأول، وهو الآن يكرر نفس الخطأ بكل ثقة؟ هذا هو الخطر الذي تستكشفه هذه الورقة البحثية.

اكتشف الباحثون وراء هذه الدراسة، وينشياو فان وكان لي من معهد بكين للتكنولوجيا، أن مفتاح الثقة "الكل أو لا شيء" هذا أمر خطير. وقد أطلقوا على هذه المشكلة اسم "استبدال الضجيج بضجيض" (replacing noise with noise). تخيل محققًا، بمجرد إدراكه أن شاهدًا يكذب، ينتقل فورًا للوثوق بشاهد ثانٍ كان واقفًا بجانب الكاذب تمامًا وسمع نفس الأكاذيب. الشاهد الثاني ليس بالضرورة صادقًا؛ فقد يكون مجرد صدى لما قاله الأول.

تظهر الورقة البحثية أنه في التعلم العميق، عندما يرتبك النموذج بسبب التسميات المشوشة، فإن طبقاته "الأعمق" (الأجزاء التي تقوم بالاستنتاج المعقد) تصبح مشوشة وتبدأ في تصديق أشياء خاطئة. ومع ذلك، تظل الطبقات "الأقل عمقًا" (الأجزاء التي ترى الأشكال والحواف الأساسية) مستقرة وهادئة نسبيًا. كانت الطرق القديمة تثق بشكل أعمى في الطبقات العميقة المشوشة لإصلاح التسميات، مما أدى غالبًا إلى تفاقم الأخطاء.

ولحل هذه المشكلة، اقترح المؤلفون إطار عمل جديدًا يسمى TRACE. وبدلاً من استخدام مقياس ثقة واحد لكل شيء، يستخدم TRACE فحصين منفصلين ومستقلين:

فحص المعلم: ينظر إلى التسمية الأصلية باستخدام ثلاثة أدلة: مدى ملاءمة النموذج للبيانات، ومدى استقرار الأشكال الأساسية (الطبقات الضحلة)، وما إذا كان نموذجان مختلفان من "الطلاب" يتفقان على الإجابة.
فحص تخمين الطالب: ينظر إلى تخمين النموذج الخاص باستخدام دليل مختلف تمامًا: مدى ثقة النموذج في ذلك التخمين المحدد.

إن سحر TRACE يكمه في أنه لا يفترض أنه إذا كان المعلم مخطئًا، فإن الطالب على حق. بل يسأل: "هل المعلم مخطئ؟" وَ "هل الطالب على حق حقًا؟". إذا كان المعلم مخطئًا ولكن الطالب أيضًا يخمن بشكل عشوائي، فإن TRACE يقول: "تمهل، دعونا لا نثق بأي منهما الآن". إنه يستخدم تخمين الطالب لتصحيح التسمية فقط إذا كان الطالب واثقًا وموثوقًا حقًا.

اختبر الفريق هذه الفكرة على مجموعة متنوعة من مجموعات البيانات الفوضوية، بما في ذلك الضجيج الاصطناعي (حيث أفسدوا التسميات عمدًا) وبيانات حقيقية فوضوية مثل الصور من الإنترنت. ووجدوا أن TRACE يتفوق باستمرار على الطرق السابقة. على سبيل المثال، في مجموعة بيانات تسمى CIFAR-100 حيث كانت 50% من التسميات خاطئة، حسن TRACE دقة أفضل طريقة موجودة بنحو 1.16 نقطة مئوية. والأهم من ذلك، أنه قلل من عدد المرات التي يرتكب فيها النموذج "أخطاء عالية الثقة" — تلك اللحظات التي يكون فيها الروبوت متأكدًا جدًا من صحة ما، ولكنه في الواقع مخطئ.

باختًا، تشير هذه الورقة البحثية إلى أنه عند التعلم من بيانات فوضوية، لا ينبغي لنا مجرد استبدال مصدر غير موثوق بآخر. نحن بحاجة إلى فحص كل مصدر بشكل مستقل. من خلال فصل الثقة التي نضعها في التسميات الأصلية عن الثقة التي نضعها في تصحيحات النموذج الخاصة، يساعد TRace الروبوتات على تعلم الحقيقة دون أن تخدعها أخطاؤها. إنه تذكير بأنه في عالم الذكاء الاصطناعي، أحيانًا تكون أفضل طريقة لإصلاح الكذبة هي التوقف عن افتراض أن التخمين التالي هو الحقيقة تلقائيًا.

ملخص تقني: TRACE – تقييم موثوقية المصدرين لتصحيح التسميات وإعادة وزن العينات

بيان المشكلة

تعتمد طرق تعلم التسميات المشوشة الحالية، ولا سيما تلك القائمة على تجديد التسميات (label refurbishment) (مثل DivideMix وSELFIE وRoLR)، على آلية تحكم "موحدة للجميع". تقوم هذه الطرق عادةً بعملية استيفاء (interpolation) بين التسمية المرصودة والهدف الزائف المستمد من النموذج باستخدام درجة نظافة واحدة لكل عينة. وهذا يخلق ارتباطاً خفياً: فتقليل الثقة في التسمية المرصودة يؤدي تلقائياً إلى زيادة وزن الهدف الزائف.

يجادل المؤلفون بأن هذا الارتباط يخلق خطراً يتمثل في "استبدال الضجيج بضجيج آخر". نظرًا لأن الهدف الزائف يتم إنتاجه بواسطة نموذج تم تدريبه على نفس الإشراف الفاسد، فقد يرث التحيزات المشوشة للنموذج. وبناءً على ذلك، عندما تُعتبر التسمية المرصودة غير موثوقة، قد يثق النظام بشكل أعمى في هدف زائف قد يكون مساوياً لها أو أكثر خطأً. يُظهر التحليل التجريبي على CIFAR-100N أنه حتى في الفئات "عالية النظافة"، يمكن للأهداف الزائفة أن تتبع التسمية المرصودة المشوشة بنسبة 99.7% من الوقت بينما تظل صحيحة في 74.7% فقط من العينات، وغالباً بثقة عالية.

المنهجية: إطار عمل TRACE

يقترح البحث إطار عمل TRACE (تقييم موثوقية المصدرين)، وهو إطار يعمل على فك الارتباط بين تقييم موثوقية مصدري الإشراف: التسمية المرصودة والهدف الزائف. بدلاً من استخدام قيمة عددية واحدة للتحكم في كلا الفرعين، يقوم TRACE بحساب درجات مستقلة ( $s^{obs}_i$ و $s^{pseudo}_i$ ) لتحديد أوزان الفروع.

1. التحليل الأولي والدوافع
يقدم المؤلفون تشخيصات على مستوى التمثيل لتبرير فصل المصدرين:

التحيز المعتمد على العمق: يؤثر الإشراف المشوش على طبقات الشبكة العميقة بقوة أكبر من الطبقات الضحلة. تزداد حساسية التدرج وانقلاب النماذج الأولية (حيث تتماشى العينات الخاطئة مع مراسي الفئات غير الصحيحة) بشكل كبير في الطبقات العمیقة مع ارتفاع معدلات الضجيج.
استقرار الطبقات الضحلة: تظل العلاقات الضحلة مستقرة نسبياً تحت تأثير الضجيج، مما يوفر معلومات حول صحة التسمية المرصودة تفتقدها المقاييس القائمة على الخسارة.
الاستنتاج: إن رفض تسمية مرصودة لا يبرر الثقة في هدف زائف مشتق من تمثيلات عميقة فاسدة بسبب الضجيج. وعلى العكس من ذلك، يمكن للاستقرار الهيكلي الضحل أن يحسن موثوقية التسمية المرصودة دون المصادقة على الهدف الزائف.

2. خوارزمية TRACE
يقوم TRACE بتعديل خسارة التجديد القياسية $y^{rec}_i = \lambda_i \hat{y}_i + (1-\lambda_i)q_i$ عن طريق إدخال أوزان خاصة بكل مصدر:
$a_i = s^{obs}_i, \quad b_i = (1 - s^{obs}_i) s^{pseudo}_i$
الهدف المصحح النهائي هو $\tilde{y}_i = \frac{a_i \hat{y}_i + b_i q_i}{a_i + b_i + \epsilon}$ .

موثوقية التسمية المرصودة ( $s^{obs}_i$ ):
تجمع هذه الدرجة بين ثلاث إشارات لتقييم التسمية المرصودة $\hat{y}_i$ :
- ملاءمة الخسارة ( $c^{loss}_i$ ): مبدأ "الخسارة الصغيرة" القياسي (احتمالية كون العينة نظيفة).
- استقرار العلاقة الضحلة ( $c^{str}_i$ ): يقيس استقرار العلاقات المحلية في الطبقات الضحلة عبر عمق الشبكة. تشير الاستقرار العالي إلى أن تمثيل العينة يتوافق مع النماذج الأولية النظيفة، حتى لو كانت الخسارة عالية.
- اتفاق التنبؤ ( $g^{agr}_i$ ): بوابة اتساق تعتمد على الاتفاق بين شبكتين.
  تُدمج هذه العناصر في درجة موزونة تعمل على تحسين الاحتمال اللاحق للخسارة.
موثوقية الهدف الزائف ( $s^{pseudo}_i$ ):
تقيم هذه الدرجة الهدف الزائف $q_i$ بشكل مستقل. وهي مشتقة حصرياً من ثقة النموذج (الاحتمالية القصوى للهدف الزائف)، مرفوعة إلى القوة $\rho$ لقمع التنبؤات منخفضة الثقة. ومن الأهمية بمكان أن انخفاض درجة التسمية المرصدة ( $s^{obs}_i$ ) يخلق حاجة للتصحيح، ولكن يتم تفعيل فرع الهدف الزائف فقط إذا كانت $s^{pseudo}_i$ عالية أيضاً.

3. عملية التدريب
يعدل إطار العمل قوة الإشراف $w_i$ لكل عينة بناءً على مجموع أوزان الفروع ( $a_i + b_i$ ). العينات التي لا يكون فيها أي مصدر موثوقاً تحصل على أوزان أقل، بينما تظل التسميات المرصودة الموثوقة هي المهيمنة.

المساهمات الرئيسية

تحديد خطر "استبدال الضجيج بضجيج آخر": حدد البحث رسمياً وأثبت أن استخدام درجة نظافة واحدة للتحكم في كل من التسمية المرصودة والهدف الزائف يؤدي إلى انتشار الضجيج، حيث أن الهدف الزائف ليس مصدراً خارجياً مثالياً بل هو نتاج لنفس عملية التدريب الفاسدة.
إطار عمل TRACE: اقتراح آلية قابلة للإضافة (plug-in) لتقييم موثوقية المصدرين، والتي تفصل بين تقييم التسميات المرصودة والأهداف الزائفة. يستخدم الإطار الاستقرار الهيكلي الضحل للأولى وبوابة الثقة المستقلة للثانية.
التحقق التجريبي: تجارب مكثفة تظهر أن TRACE يحسن أداء النماذج المرجعية لتجديد التسميات عبر الضجيج الاصطناًعي، والضجيج المعتمد على البشر (CIFAR-N)، والضجيج الواقعي واسع النطاق (WebVision, Food-101N, Clothing1M).

النتائج التجريبية

الضجيج الاصطناعي (CIFAR-10/100): يحسن TRACE أداء العديد من النماذج المرجعية المتطورة (DivideMix, RoLR, DISC, ANNE) عبر إعدادات الضجيج المتماثل، والزوجي، والاعتمادي على الحالة. على سبيل المثال، في CIFAR-100 مع ضجيج زوجي بنسبة 40%، حقق ANNE+TRACE دقة 79.3% مقارنة بـ 78.4% لـ ANNE وحده.
الضجيج الواقعي: في CIFAR-10N وCIFAR-100N، يحسن TRACE باستمرار النتائج أو يضاهي أفضل النتائج المسجلة. وفي Clothing1M، وصل DivideMix+TRACE إلى دقة 77.6%، متفوقاً على النموذج المرجعي DivideMix (74.8%) وطرق الإضافة الأخرى.
جودة الهدف الزائف: يكشف التحليل أن TRACE يحسن بشكل كبير دقة الأهداف الزائفة المستخدمة للتصحيح، خاصة في عينات "النظافة المنخفضة + الضجيج". فهو يقلل من الأخطاء عالية الثقة (على سبيل المثال، من 8.93% إلى 6.16% في CIFAR-100) ويخفض خطأ المعايرة، مما يشير إلى أن الأهداف الزائفة المختارة ليست فقط أكثر تكراراً، بل هي أكثر موثوقية أيضاً.
دراسات الاستئصال (Ablation Studies): يؤدي إزالة فك الارتباط (العودة إلى درجة واحدة) أو إزالة بوابة ثقة الهدف الزائف ( $s^{pseudo}_i$ ) إلى انخفاض ملموس في الأداء، مما يؤكد ضرورة التقييم المستقل.

الأهمية والادعاءات

يزعم البحث أن TRACE يوفر واجهة أكثر أماناً لتعلم التسميات المشوشة من خلال معالجة عدم التطابق الجوهري في طرق التجديد الحالية. من خلال فصل الأدلة المستخدمة لتقييم التسمية المرصودة عن الأدلة المستخدمة لتقييم الهدف الزائف، يمنع TRACE النظام من الاستبدال الأعمى لإشارة غير موثوقة بأخرى. يؤكد المؤلفون أن نهجهم لا يتطلب هدف تعلم جديد أو مولد هدف زائف جديد؛ بل يعمل كمرشح موثوقية معياري يعزز خطوط أنابيب التجديد الموجودة. وتدعم النتائج الرؤية القائلة بأن تقييم الموثوقية الخاص بكل مصدر أمر ضروري للتعلم القوي في ظل وجود ضجيج في التسميات.