Beyond the Encoder: Joint Encoder-Decoder Contrastive Pre-Training Improves Dense Prediction
تقدم هذه الورقة DeCon، وهو إطار عمل للتعلم الخاضع للإشراف الذاتي يقوم بالتدريب المسبق المشترك للمشفرات وفك التشفير باستخدام فقد تبايني موزون، محققاً أداءً هو الأفضل في فئته عبر مختلف مهام التنبؤ الكثيف ومجموعات البيانات من خلال تعزيز جودة التمثيل بشكل كبير مقارنة بالنهج التقليدي المقتصر على المشفر فقط.