Unsupervised Training of Vision Transformers with Synthetic Negatives
تُثبت هذه الورقة أن دمج عينات السلبيات الصعبة الاصطناعية في التعلم الخاضع للإشراف الذاتي يعزز بشكل كبير القدرة التمييزية والأداء لبنيات محولات الرؤية مثل DeiT-S وSwin-T.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
المعلم الخفي في الآلة
تخيل أنك تحاول تعليم روبوت التعرف على قطة. في الأيام الخوالي، كان عليك أن تريه آلاف الصور وتصنف كل واحدة منها يدوياً بأنها "قطة" أو "ليست قطة". هذا يشبه توظيف معلم خصوصي بشري لكل درس على حد- سواء. ولكن مؤخراً، اكتشف العلماء طريقة تسمح للروبوت بالتعلم من تلقاء نفسه، دون أن يشير إنسان إلى الشاشة. يُطلق على هذا اسم التعلم الخاضع للإشراف الذاتي (self-supervised learning). ينظر الروبوت إلى صورة، ويقوم بإنشاء نسختين مختلفتين قليلاً منها (مثل تغيير الحجم أو تغيير الألوان)، ثم يحاول استنتاج أن هاتين النسختين هما في الواقع نفس الشيء. إنه يتعلم من خلال مقارنة "الأصدقاء" (الصور المتشابهة) مقابل "الغرباء" (الصور المختلفة).
ومع ذلك، هناك عقبة. إذا كان "الغرباء" واضحين جداً — مثل عرض صورة لمحمص خبز بجانب قطة — فلن يتعلم الروبوت أي شيء جديد. الأمر يشبه اختباراً تكون إجاباته سهلة للغاية؛ فأنت لا تصبح أكثر ذكاءً. لكي يتعلم الروبوت بعمق، يحتاج إلى غرباء "صعاب": صور تبدو تقريباً مثل القطة ولكنها ليست كذلك. وهنا يأتي دور محولات الرؤية (Vision Transformers). هذه نوع جديد من بنية "الدماغ" للحواسيب، وهي بارعة جداً في رصد الأنماط في الصور، تماماً كما تركز أعيننا على تفاصيل محددة في غرفة مزدحمة. السؤال الكبير الذي يطرحه الباحثون هو: كيف يمكننا جعل هذه الآلات القوية تتعلم بشكل أفضل من خلال إعطائها النوع المناسب من التدريب الصعب؟
الفكرة الكبرى للورقة البحثية: صنع "الأشرار المزيفين" المثاليين
هذه الورقة البحثية، التي تحمل عنوان "التدريب غير الخاضع للإشراف لمحولات الرؤية باستخدام السلبيات الاصطناعية"، لا تبتكر طريقة جديدة لبناء دماغ روبوت. بدلاً من ذلك، قرر المؤلفون — وهم باحثون من إمبريال كوليدج لندن — النظر في جزء محدد من عملية التعلم تجاهله الجميع تقريباً: وهو "الأمثلة السلبية" (negative examples).
في عالم تعلم الآلة، "السلبي" هو مجرد مثال لشيء ليس هو الهدف. إذا كنت تعلم نموذجاً التعرف على كلب، فإن صورة القطة تعتبر مثالاً سلبياً. عادةً، تقوم الحواسيب بسحب أمثلة سلبية عشوائية من كومة من الصور الأخرى. لكن المؤلفين أدركوا أن هذه السلبيات العشوائية غال�// غالباً ما تكون سهلة للغاية. إنها تشبه اختيار شخص عشوائي من حشد لمقارنته بشخص مشهور؛ فمن الواضح أنه ليس هو الشخص نفسه.
تساءل المؤلفون: ماذا لو استطعنا إنشاء "سلبيات صعبة اصطناعية"؟ هذه ليست صوراً حقيقية من كاميرا، بل هي أمثلة "مزيفة" مصاغة رياضياً تقع تماماً على حافة الارتباك. تبدو تقريباً مثل الهدف، مما يجبر الكمبيوتر على التحديق بتركيز شديد واستنتاج الفروق الدقيقة.
فكر في الأمر كالتدريب على بطولة للفنون القتالية. إذا تدربت فقط ضد خصوم أضعف منك بكثير، فلن تصبح جيداً أبداً. ولكن إذا تدربت ضد شريك أفضل منك بقليل، أو يحاكي حركاتك بدقة، فسوف تتعلم بسرعة أكبر بكثير. طريقتهم، التي يسمونها SynBY، تعمل كشريك تدريب ذكي. فهي تأخذ صور "الغرباء" التي ينظر إليها الكمبيوتر بالفعل، وتجد الصور الأكثر إرباكاً ("الأصعب" من بين السلبيات)، ثم تمزجها معاً لإنشاء مثال جديد فائق التحدي. يتم بعد ذلك تغذية هذا المثال الجديد في النظام لجعل عملية التعلم أصعب وأكثر فعالية.
كيف اختبروا ذلك وماذا وجدوا
اختبر الفريق هذه الفكرة باستخدام نوعين شائعين من محولات الرؤية: DeiT-S و Swin-T. أجروا تجاربهم على مجموعة بيانات ضخمة تسمى ImageNet، والتي تحتوي على ملايين الصور. وقارنوا طريقتهم الجديدة (SynBY) بالطريقة القياسية المتبعة (MoBY).
كانت النتائج واعدة. عندما استخدموا سلبياتهم الصعبة الاصطناعية، تحسن أداء نموذجي DeiT-S و Swin-T قليلاً في التعرف على الصور. وتحديداً، حسنت النماذج دقتها بنسبة 0.2% مقارنة بالطريقة القياسية. ورغم أن هذا الرقم قد يبدو صغيراً، إلا أنه في عالم الذكاء الاصطناعي رفيع المستوى، تعد هذه الزيادة الطفيفة أمراً كبيراً لأنها تعني أن النماذج تتعلم سمات أكثر "تمييزاً" — أي أنها تصبح أفضل في رصد التفاصيل الدقيقة التي تجعل القطة قطة وليست كلباً.
كما نظر المؤلفون في كيفية تفكير النماذج. قاموا بتصور "الانتباه" (attention) الخاص بالنماذج (أي الأجزاء التي يركز عليها الكمبيوتر في الصورة). ووجدوا أنه مع استخدام سلبياتهم الاصطناعية، بدأت النماذج في التركيز على أجزاء أكثر تحديداً ومعنى من الصورة، بدلاً من مجرد الشكل العام. الأمر كما لو أن الروبوت انتقل من النظر إلى كتلة ضبابية والقول "هذا حيوان" إلى النظر إلى الشوارب والأذنين والقول "هذه بالتأكيد قطة".
ما الذي استبعدوه وما يظل مجهولاً
أحد أكثر النتائج إثارة للاهتمام في الورقة هو ما لم يحتج المؤلفون للقيام به. كانت الطرق السابقة تتطلب غالباً الكثير من "الحيل" الإضافية للحفاظ على استقرار التعلم، مثل تغيير كيفية معالجة الكمبيوتر للبيانات أو استخدام إعدادات محددة للغاية. وجد المؤلفون أنه باستخدام سلبياتهم الصعبة الاصطناعية، استطاعوا في الواقع الاستغناء عن العديد من هذه الحيل الإضافية. كانت الأمثلة الصعبة "المزيفة" جيدة جداً في تعليم النموذج لدرجة أن النظام لم يعد بحاجة إلى الكثير من المساعدة للبقاء على المسار الصحيح. وهذا يشير إلى أن السلبيات الاصطناعية تعمل كمنظم طبيعي قوي، مما يبسط العملية برمتها.
ومع ذلك، فإن الورقة حذرة في عدم المبالغة في تقدير النتائج. يعترف المؤلفون بأن اختباراتهم التفصيلية أجريت على مجموعة فرعية أصغر من الصور تسمى ImageNet-100 في بعض التجارب، وأنهم لم يختبروا هذه الطريقة بعد في مهام أكثر تعقيداً مثل فهم الفيديوهات أو دمج الصور مع النصوص. كما أشاروا إلى أنه رغم تحسن النماذج، إلا أنها لا تزال ليست بجودة النماذج التي يتم تدريبها باستخدام تسميات بشرية (التعلم الخاضع للإشراف). تشير الورقة إلى أن هذا يمثل خطوة صلبة للأمام، لكنه ليس حلاً سحرياً يحل كل شيء.
الخلاصة
باختصاف، تشير هذه الورقة إلى أنه إذا كنت تريد من الكمبيوتر أن يتعلم جيداً من الصور دون مساعدة بشرية، فلا ينبغي لك فقط إلقاء أمثلة عشوائية أمامه. يجب أن تعطيه "الأمثلة الصعبة" عن قصد. من خلال إنشاء أمثلة "مزيفة" صعبة رياضياً تقع تماماً على حافة الارتباك، أظهر المؤلفون أن محولات الرؤية يمكنها التعلم لرؤية العالم بتركيز أكثر حدة. إنها تعديل بسيط ولكنه فعال: اجعل التدريب أصعب، وس يصبح الطالب أكثر ذكاءً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.