Escaping The Big Data Paradigm in Self-Supervised Representation Learning
تقدم هذه الورقة SCOTT، وهو مُرمز تلافيفي متناثر مدمج مع إطار تدريب MIM-JEPA، مما يمكّن نماذج المحولات الرؤيوية (Vision Transformers) من تعلم تمثيلات ذاتية الإشراف قوية من الصفر على مجموعات بيانات صغيرة النطاق ودقيقة التفاصيل، وبالتالي يتحدى ضرورة البيانات الضخمة والموارد الحسابية الهائلة لتعلم التمثيلات الرؤيوية الفعالة.