Frequency Is What You Need: Considering Word Frequency When Text Masking Benefits Vision-Language Model Pre-training
تقترح هذه الورقة CLIPF، وهي استراتيجية لإخفاء النصوص تعتمد على تكرار الكلمات للتدريب المسبق لنماذج الرؤية واللغة، والتي تتفوق على الأساليب الحالية مثل الإخفاء القائم على بناء الجملة، خاصة عندما تكون بيانات التدريب محدودة، بينما تُظهر أيضاً أن الاستراتيجيات الأخرى يمكن أن تتجاوز الإخفاء القائم على بناء الجملة مع توفر عدد كافٍ من دورات التدريب.