The Role of Pseudo-labels in Self-training Linear Classifiers on High-dimensional Gaussian Mixture Data

تخيل أنك تحاول تعليم روبوت التمييز بين القطط والكلاب. لديك بضع مئات من الصور المصنفة بكلمات مثل "قطة" أو "كلب"، ولكن هناك الملايين من الصور غير المصنفة التي تطفو في جميع أنحاء الإنترنت. تعليم الروبوت باستخدام بضع مئات فقط من الصور المصنفة هو أمر بطيء ومكلف. أما تعليم الروبوت باستخدام ملايين الصور غير المصنفة فهو أمر سهل، لكنك لا تعرف أي منها ينتمي لأي فئة. هذا هو عالم التعلم شبه المُشرف (Semi-Supervised Learning): وهي نقطة وسط مثالية حيث نمزج بين القليل من الحقيقة المعروفة والكثير من البيانات المجهولة للتعلم بشكل أسرع.

إحدى الحيل الشائعة في هذا العالم تسمى التدريب الذاتي (Self-Training). الأمر يشبه طالباً يدرس كتاباً مدرسياً، ثم يجري اختباراً تجريبياً على أسئلة جديدة، وبعد ذلك يتظاهر بأن إجاباته هي الإجابات الصحيحة ليدرسها في الجولة التالية. يقوم الروبوت بتخمين التصنيفات للصور غير المصنفة، ويعامل تلك التخمينات كأنها حقيقة، ثم يعيد تدريب نفسه. السؤال الكبير الذي طرحه العلماء دائماً هو: "إذا أخطأ الروبوت في تخميناته، فلماذا تجعل هذه العملية الروبوت أكثر ذكاءً بدلاً من جعله غبياً؟" يبدو هذا وكأنه مفارقة: كيف يمكن للتعلم من أخطائك الخاصة أن يساعدك على التحسن؟

يتعمق هذا البحث في هذه المفارقة باستخدام مجهر رياضي. قام المؤلفون، بقيادة تاكاشي تاهاتشي، ببناء نموذج رياضي مبسط لعملية التعلم هذه لرؤية ما يحدث بالضبط داخل "دماغ" الروبوت (أوزانه الرياضية) مع تكرار العمليات. لم يكتفوا بمجرد تشغيل محاكاة حاسوبية؛ بل استخدموا تقنية قوية من الفيزياء تسمى طريقة النسخ (Replica Method) لاستخلاص صيغ دقيقة تتنبأ بسلوك الروبوت مع وصول البيانات إلى حجم لانهائي. وتكشف نتائجهم أن التدريب الذاتي ليس شيئاً واحداً؛ بل تتغير شخصيته اعتماداً على عدد المرات التي تسمح له فيها بإعادة التدريب.

الشخصيتان للتدريب الذاتي

اكتشف المؤلفون أن التدريب الذاتي يتصرف بطريقتين مختلفتين تماماً اعتماداً على ما إذا كنت تتوقف مبكراً أو تستمر لفترة طويلة.

1. "المبتدئ الواثق" (تكرارات قليلة)
عندما تسمح للروبوت بإعادة التدريب بضع مرات فقط، فإنه يتصرف كطالب واثق لا يهتم إلا بالأسئلة التي يشعر بالتأكد منها. بلغة الورقة البحثية، هذا هو الوقت الذي يستخدم فيه الروبوت التصنيفات الصلبة (Hard Labels) (نعم أو لا بسيطة) ويستبعد البيانات التي لا يشعر بالثقة تجاهها.

• ماذا يحدث: يقوم الروبوت بقفزات كبيرة في تعلمه. فهو يلتقط التصنيفات الوهمية "الموثوقة" (التخمينات التي يشعر بالرضا عنها) ويحدث دماغه بشكل كبير.
• التشبيه: تخيل متنزهاً في غابة ضبابية. إذا اتخذ بضع خطوات فقط، فإنه لا يتحرك إلا عندما يكون متأكداً بنسبة 100% أن الأرض صلبة. إنه يتخذ خطوات كبيرة وجريئة نحو الوجهة. هذا يعمل جيداً إذا لم تكن الخريطة مشوشة، ولكن إذا كانت الخريطة منحازة (بيانات غير متوازنة)، فقد يعلق في مكانه.

2. "المراكم الصبور" (تكرارات كثيرة)
عندما تترك الروبوت يعيد التدريب مئات المرات، تتغير شخصيته. يتوقف عن تقديم تخمينات كبيرة وجريئة ويبدأ في إجراء تعديلات صغيرة، تكاد تكون غير مرئية.

• ماذا يحدث: يستخدم الروبوت التصنيفات الناعمة (Soft Labels) (تخمينات ليست مجرد "نعم" أو "لا"، بل "60% نعم، 40% لا") ورياضيات لطيفة جداً (تنظيم صغير/Regularization). هو يحدث دماغه بمقدار مجهري في كل خطوة.
• التشبيه: الآن تخيل نفس المتنزّه، ولكن بعد أن يمشي لأيام. يتوقف عن القلق بشأن كونه متأكداً تماماً من كل خطوة. بدلاً من ذلك، يأخذ خطوات صغيرة، تكاد تكون بلا ضجيج، ويصحح مساره باستمرار بناءً على أدنى إشارة لوجود طريق. تشير الورقة إلى أنه نظرًا لأن هذه الخطوات صغيرة جداً، فإن "الضجيج" (الأخطاء) يلغي بعضه البعض، ويمكن للروبوت استخراج المعلومات الصافية من البيانات، كما لو كان يقرأ رسالة سرية بدون تشويش.

مشكلة عدم التوازن

هناك عقبة، مع ذلك. وجدت الورقة أن استراتيجية "المراكم الصبور" تعمل بشكل رائع عندما تكون البيانات متوازنة (أعداد متساوية من القطط والكلاب). ولكن إذا كانت البيانات غير متوازنة (على سبيل المثال، 90% قطط و10% كلاب)، فإن الروبوت يصاب بالارتباك.

على الرغم من أن الروبوت يدرك في النهاية اتجاه القطط والكلاب (يعرف إلى أين يتجه)، إلا أنه يفسد توازن إعداداته الداخلية. وتحديداً، يصبح "وزن" قراره صغيراً جداً مقارنة بـ "انحيازه" (تخمينه الافتراضي). إنه يشبه ميزاناً يعرف أي جانب أثقل، لكن زُنبركاته مكسورة، لذا لا يمكنه إخبارك بالوزن الفعلي. النتيجة؟ يؤدي الروبوت بشكل أسوأ مما لو كان قد اكتفى بالبيانات الأصلية المصنفة، حتى بعد مئات التكرارات.

الحل: قاعدتان بسيطتان

لإصلاح هذا الميزان المكسور في حالات عدم التوازن، اقترح المؤلفون حيلتين ذكيتين (Heuristics) اختبروهما باستخدام صيغهما الرياضية:

1. تلدين التصنيف الوهمي (Pseudo-Label Annealing): هذا يشبه رفع درجة الحرارة ببطء. في البداية، يستخدم الروبوت تخمينات ناعمة ولطيفة. ومع اكتسابه الخبرة (المزيد من التكرارات)، يجبر الروبوت تخميناته تدريجياً لتصبح أكثر صلابة وحسماً (أقرب إلى "نعم" أو "لا"). هذا يساعده على تثبيت الاتجاه الصحيح دون أن يعلق في المنتصف.
2. إصلاح الانحياز (Bias-Fixing): هذه هي قاعدة "لا تغير الافتراض". يتم إخبار الروبوت بالحفاظ على "انحيازه" الأولي (تخمينه المبدئي بناءً على الصور المصنفة الأولى) كما هو تماماً طوال العملية. هو يقوم فقط بتحديث الجزء من دماغه الذي يتعلم اتجاه البيانات، تاركاً التوازن دون تغيير.

عندما جمع المؤلفون بين هاتين الحيلتين، ارتفع أداء الروبوت بشكل هائل. فحتى مع وجود عدم توازن شديد في التصنيفات (مثل 20% قطط و80% كلاب)، كان أداء الروبوت المدرب ذاتياً يقارب أداء روبوت تم تدريبه باستخدام بيانات كاملة مصنفة بشرياً لكامل مجموعة البيانات.

الخلاية المستفادة

تشير الورقة إلى أن التدريب الذاتي هو كائن متغير الشكل. إذا كان لديك وقت قصير، فاستخدمه للحصول على المكاسب السهلة والواثقة. وإذا كان لديك وقت طويل، فاستخدمه لإجراء تصحيحات صغيرة وبدون ضجيج تكشف عن الهيكل الحقيقي للبيانات. ومع ذلك، إذا كانت بياناتك غير متوازنة، يجب أن تكون حذراً: فبدون الضمانات الصحيحة (مثل تثبيت الانحياز)، قد يتعلم الروبوت الاتجاه بشكل مثالي ولكنه سيفشل في الاختبار لأنه فقد إحساسه بالمقياس.

لم يكن المؤلفون يخمنون فحداً؛ بل استخلصوا ذلك باستخدام رياضيات معقدة تصف "حد النظام الكبير" (حيث تكون البيانات ضخمة). وقد تحققوا من صيغهم باستخدام عمليات المحاكاة الحاسوبية، وكانت الأرقام متطابقة تماماً. وبينما لم يختبروا ذلك على نماذج التعلم العميق الحقيقية المستخدمة في السيارات ذاتية القيادة، فإن نتائجهم توفر أساساً نظرياً صلباً لفهم لماذا يعمل التدريب الذاتي وكيف يمكن جعله يعمل بشكل أفضل عندما تكون البيانات فوضوية.