XMix: Combating Extremely Noisy Labels via Local Smoothness in Self-Supervised Feature Space
يُعد MixX إطار عمل مبتكر يستفيد من النعومة المحلية في فضاءات الميزات ذاتية الإشراف لتقدير معدلات الضجيج، واختيار عينات نظيفة متوازنة، وتوليد تسميات مستعارة موثوقة، مما يجعله يتفوق بشكل كبير على الأساليب الحالية في التعامل مع الملصقات شديدة الضجيج دون الحاجة إلى معرفة مسبقة بالضجيج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت التعرف على الحيوانات. تعرض عليه آلاف الصور، ولكن هناك عقبة: الملصقات الموجودة على الصور كتبها إنسان متعب، أو مشتت، أو حتى مشاكس. أحيانًا تكون صورة قطة مكتوب عليها "كلب"، وصورة سيارة مكتوب عليها "طائرة". هذا هو الواقع الفوضوي لـ "التعلم باستخدام ملصقات مشوشة". في عالم الذكاء الاصطناعي، تحتاج النماذج عادةً إلى بيانات مثالية لتتعلم، ولكن في العالم الحقيقي، البيانات المثالية نادرة ومكلفة. لقد حاول العلماء بناء روبوتات يمكنها تجاهل الملصقات السيئة والتعلم من الملصقات الجيدة، ولكن عندما يرتفع مستوى التشويش حقًا — مثل عندما تكون 90% من الملصقات خاطئة — فإن معظم الروبوتات تستسلم أو تصاب بالارتباك.
الورقة البحثية التي ستطالعها الآن تعالج هذه المشكلة تحديدًا. فهي تقدم طريقة جديدة تسمى XMix. فكر فيها كأنها محقق لا يكتفي فقط بالوثوق بالملصقات المكتوبة على الملفات، بل ينظر إلى الصور نفسها ليرى أي منها "يشبه" الآخر لكي ينتمي إليهما. إذا كانت صورة قطة تشبه كثيرًا صور قطط أخرى في ذاكرة الروبوت، يفترض المحقق أنها جميعًا قطط، حتى لو قالت الملصقات خلاف ذلك. يستخدم هذا النهج مفهومًا يسمى "النعومة المحلية" (local smoothness)، وهو طريقة معقدة لقول: "الأشياء التي تبدو متشابهة تنتمي عادةً إلى نفس المجموعة". ومن خلال استخدام هذا المنطق، يحاول XMix تنظيف الفوضى وتعليم الروبوت بشكل أفضل بكثير من الطرق السابقة، خاصة عندما تكون البيانات كارثية تمامًا.
المشكلة: فصل دراسي مليء بالمشاكسين
تخيل فصلًا درسيًا يحاول فيه معلم تعليم الطلاب كيفية التعرف على أنواع مختلفة من الفاكهة. لدى المعلم كومة من البطاقات التعليمية، لكن مجموعة من المشاكسين قاموا بتبديل الملتمصات. بعض التفاح كُتب عليه "موز"، وبعض البرتقال كُتب عليه "عنب".
في الماضي، كانت البرامج الحاسوبية الذكية (المعروفة بنماذج التعلم العميق) تمتلك حيلة في جعبتها تسمى "تأثير الحفظ" (memorization effect). كانت تدرس البطاقات وتدرك: "مهلًا، أنا بارعة جدًا في تخمين الملصق لهذه البطاقة تحديدًا، لكني سيئة جدًا في تخمين تلك الأخرى". كانت تفترض أن البطاقات التي تخمنها جيدًا هي الحقيقية (البيانات النظيفة) وأن البطاقات التي تعاني معها هي أكاذيب المشاكسين (البيانات المشوشة).
لكن المشكلة هنا هي أنه عندما يجن جنون المشاكسين ويستبدلون 90% من الملصقات، يصاب الكمبيوتر بالارتباك. لم يعد بإمكانه التمييز بين تفاحة حقيقية وموزة كُتب عليها "تفاحة". أيضًا، غالبًا ما ينتهي الأمر بالكمبيوتر باختيار نوع واحد فقط من الفاكهة لدراسته، متجاهلاً الأنواع الأخرى، مما يجعله سيئًا في التعرف على التنوع الكامل. إنه بحاجة إلى استراتيجية جديدة لا تعتمد على معرفة عدد المشاكسين الموجودين في الغرفة بالضبط.
الحل: XMix وقاعدة "التشابه"
هنا يأتي دور XMix، المحقق الجديد. بدلًا من مجرد النظر إلى الملصقات المكتوبة، يستخدم XMix نظارات خاصة (مشفر ميزات ذاتي الإشراف) للنظر إلى التفاصيل البصرية للفاكهة. هو يعلم أن الفاكهة الحمراء المستديرة ذات الساق تشبه كثيرًا الفواكه الحمراء المستديرة الأخرى ذات الساق.
إليك كيف يحل XMix المشكلات الثلاث الكبرى:
1. تخمين مستوى التشويش بدون ورقة غش
عادةً، تحتاج هذه البرامج الحاسوبية إلى معرفة عدد الملصقات الخاطئة بدقة (على سبيل المثال: "50% خاطئة") لضبط قواعدها. إذا أخطأت في التقدير، فإنها تفشل. أما XMix فلا يحتاج إلى ورقة الغش هذه؛ فهو ينظر إلى الفاكهة وجيرانها الأكثر تشابهًا في عالم الصور. إذا كانت الملصقات لدى الجيران مختلفة تمامًا، يحسب XMix: "واو، يجب أن يكون التشويش مرتفعًا جدًا هنا". يستخدم خدعة رياضية تسمى "الاحتمال الأقصى" (maximum likelihood) لتقدير مستوى التشويش تلقائيًا. الأمر يشبه محققًا ينظر إلى مسرح جريمة ويقول: "بناءً على عدد النوافذ المحطمة، أرجح أن ما حدث كان أعمال شغب"، دون الحاجة إلى تقرير شرطة.
2. إيجاد المزيد من الطلاب المجتهدين (الاختيار المتوازن والموسع)
عندما يكون التشويش شديدًا، تجد الطرق القديمة عددًا قليلًا فقط من العينات "النظيفة" (الطلاب المجتهدين) لدراستها. يقول XMix: "انتظر، إذا وجدنا تفاحة واحدة جيدة، وكانت تشبه تمامًا خمس تفاحات أخرى قريبة منها، فلنثق في تلك الخمس أيضًا!". إنه يوسع مجموعة العينات الموثوقة عبر تضمين جيرانها.
والأهم من ذلك، أنه يعالج مشكلة "عدم توازن الفئات" (class imbalance). إذا أخفى المشاكسون جميع ملصقات "الموز"، فقد يتوقف الكمبيوتر عن دراسة الموز تمامًا. يلاحظ XMix ذلك ويقول: "نحن بحاجة إلى المزيد من الموز!". يبحث بعيدًا عن أشكال تشبه الموز لضمان حصول كل فاكهة على فرصة عادلة للدراسة. هذا يضمن أن يتعلم الروبوت نظامًا غذائيًا متوازنًا من المعرفة، وليس مجرد فاكهة مفضلة واحدة.
3. تخمين أفضل للمجهول
أخيرًا، بالنسبة للبطاقات التي لا يزال غير متأكد منها (البطاقات المشوشة)، لا يقوم XMix بالتخمين عشوائيًا. بل يسأل الجيران: "ما رأيكم في هذا؟". يأخذ آراء الجيران الأكثر ثقة (النماذج النظيفة) ويقوم بمتوسط آرائهم لإنشاء "ملصق افتراضي" (pseudo-label) وهو أفضل تخمين للملصق. هذا يشبه سؤال مجموعة من الخبراء للتصويت على جسم غامض. ولأن الخبراء يتم اختيارهم بناءً على مدى تشابههم مع الجسم، فإن تصويتهم يكون أكثر موثوقية من التخمين العشوائي.
ما وجدوه: التغلب على الصعاب
اختبر الباحثون XMix على مجموعات بيانات صور شهيرة مثل CIFAR-10 و CIFAR-100، والتي تحتوي على صور لسيارات، وطائرات، وحيوانات، وغيرها. لقد تلاعبوا بالملصقات عمدًا لخلق سيناريوهات قصوى:
- تشويش متماثل بنسبة 90%: تخيل أن 90 من أصل 100 ملصق عشوائية تمامًا.
- تشويش بنسبة 98%: كل شيء تقريبًا هو كذبة.
في هذه الظروف القاسية، بدأت الطرق السابقة (مثل DivideMix و ProMix) في الانهيار. على سبيل المثال، في CIFAR-10 مع تشويش بنسبة 90%، حققت الطريقة الأفضل قديمًا (DivideMix) دقة تبلغ حوالي 76% فقط. ومع ذلك، رفع XMix هذه الدقة إلى 91.2%. وفي CIFAR-100 مع تشويش بنسبة 95%، حققت الطريقة القديمة 19.1%، بينما وصل XMix إلى 31.4%.
تظهر الورقة البحثية أن XMix لا يعمل بشكل أفضل قليلاً فحسب، بل إنه يتألق عندما يكون الوضع أكثر يأسًا. لقد نجح في تحديد عدد أكبر بكثير من العينات "النظيفة الحقيقية" مقارنة بالطرق القديمة، بل إنه ضاعف أو ضاعف ثلاث مرات عدد الأمثلة الجيدة التي يمكن للروبوت تعلمها.
الحكم النهائي
يثبت XMix أنك لست بحاجة لمعرفة المستوى الدقيق للفوضى في بياناتك لتنظيفها. من خلال الثقة في التشابه البصري بين الصور — باستخدام "النعومة المحلية" في مساحة الميزات — يمكنه تعديل استراتيجيته تلقائيًا، وإيجاد المزيد من البيانات الجيدة، وتعليم الروبوت تجاهل الضجيج.
يشير المؤلفون إلى أن هذه الطريقة تمثل خطوة مهمة للأمام، خاصة في السيناريوهات الواقعية حيث تكون البيانات فوضوية وليس لدينا دليل يدوي يخبرنا بمدى سوء الوضع. ورغم أنه ليس عصا سحرية تصلح كل شيء بشكل مثالي (فهو لا يزال يرتكب بعض الأخطاء، خاصة عندما يكون التشويش منخفضًا ولا تكون الحاجة للتوسع ضرورية)، إلا أنه يتفوق باستمرار على أفضل الطرق الحالية في البيئات الأكثر تحديًا والأعلى تشويشًا. إنه يحول فصلًا درسيًا فوضويًا مليئًا بالمشاكسين إلى مكان يمكن فيه استمرار التعلم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.