Frequency Is What You Need: Considering Word Frequency When Text Masking Benefits Vision-Language Model Pre-training

ملخص تقني: التردد هو ما تحتاجه: مراعاة تردد الكلمات عند قناع النصوص لتعزيز التدريب المسبق لنماذج الرؤية واللغة

بيان المشكلة
تتطلب نماذج الرؤية واللغة (VLMs)، مثل CLIP، عادةً موارد حوسبة هائلة (آلاف أيام وحدة معالجة الرسومات) للتدريب المسبق على مجموعات بيانات ضخمة من الصور والنصوص. ولتسريع هذه العملية، وظفت الأعمال الحديثة استراتيجيات القناع (masking) لرموز الصور والنصوص. وبينما يعد قناع الصور أمراً راسخاً، فقد أسفرت استراتيجيات قناع النصوص عن نتائج متباينة. حددت الدراسة السابقة الأفضل في مجالها (CLIPA) أن "قناع بناء الجملة" (syntax masking) — الذي يعطي الأولوية للاحتفاظ بالأسماء والصفات بناءً على وسم أجزاء الكلام (POS tagging) — هو النهج المتفوق لقناع النصوص. ومع ذلك، تجادل هذه الورقة بأن تقييم هذه الاستراتيجيات كان محدوداً بسبب التدريب لعدد ثابت ومنخفض نسبياً من الدورات (epochs). ويلاحظ المؤلفون أنه مع زيادة دورات التدريب، تتدهور أداء استراتيجية قناع بناء الجملة مقارنة بالاستراتيجيات الأخرى، مما يشير إلى أن الفهم الحالي للقناع النصي الأمثل غير مكتمل.

المنهجية
يقترح المؤلفون تحليلاً منهجياً لكيفية تأثير استراتيجيات قناع النصوص المختلفة على توزيع تردد الكلمات في بيانات التدريب. وهم يعرّفون قناع النص بأنه اختيار مجموعة فرعية من الرموز من نص $T$ لتشكيل مدخل جديد $T'$. وتُقارن الدراسة أربع استراتيجيات قائمة:

1. القطع (Truncation): يحتفظ بأول $k$ من الرموز.
2. العشوائي (Random): يختار $k$ من الرموز بشكل عشوائي.
3. الكتلة (Block): يختار كتلة متصلة من $k$ من الرموز تبدأ من مؤشر عشوائي.
4. بناء الجملة (Syntax): يستخدم وسم أجزاء الكلام (عبر أدوات مثل NLTK) لإعطاء الأولوية للاحتفاظ بالأسماء، تليها الصفات، الأفعال، والكلمات الأخرى.

من خلال هذا التحليل، يكتشف المؤلفون أن استراتيجيات مثل القطع وقناع بناء الجملة تغير بشكل غير متناسب الترددات النسبية للكلمات في مجموعة بيانات التدريب. فعلى سبيل المثال، يحافظ قناع بناء الجملة بكثافة على الأسماء بينما يقمع كلمات الوظيفة (فئة "أخرى")، كما أن القطع يبالغ في تمثيل الكلمات في بداية الجملة. وفي المقابل، تحافظ استراتيجيات القناع العشوائي وكتلة القناع على توزيع تردد الكلمات الأصلي بشكل أكثر دقة.

وتحفيزاً من هذا الاكتشاف بأن الحفاظ على تردد الكلمات يرتبط بأداء أفضل للنموذج، يقدم المؤلفون CLIPF (التدريب المسبق المتباين للصور والنصوص باستخدام قناع تردد الكلمات). يقوم CLIPF بحساب درجة احتمال القناع $P(w_i)$ لكل كلمة $w_i$ بناءً على ترددها $f(w_i)$ في بيانات التدريب:
$$P(w_i) = 1 - \sqrt{\frac{t}{f(w_i)}}$$
حيث $t$ هو معامل العتبة. وعلى عكس المحاولات السابقة القائمة على التردد (مثل SW-CLIP) التي استخدمت قطعاً حاداً لاستبعاد الكلمات (مما قد يترك فجوات في المدخلات)، يستخدم CLIPF هذه الاحتمالات لتحديد أولويات الكلمات التي سيتم الاحتفاظ بها، مع ملء رموز المدخلات بالكلمات ذات الاحتمالية الأعلى. يتجنب هذا النهج العبء الحوسبي لوسم أجزاء الكلام المطلوب في قناع بناء الجملة.

المساهمات الرئيسية

1. تحليل تأثير التردد: توضح الورقة أن نجاح استراتيجية قناع النص مرتبط بمدى تشويهها لتوزيع تردد الكلمات في بيانات التدريب. فالاستراتيجيات التي تؤثر بشكل غير متناسب على التردد (القطع، بناء الجملة) تؤدي أداءً أقل من تلك التي تحافظ عليه (العشوائي، الكتلة).
2. تقديم CLIPF: يقترح المؤلفون CLIPF، وهو استراتيجية قناع تعتمد على التردد تستفيد مباشرة من إحصائيات تردد الكلمات دون الحاجة إلى وسم أجزاء الكلام.
3. إعادة تقييم دورات التدريب: تسلط الدراسة الضوء على أن عدد دورات التدريب هو متغير حاسم. فبينما بدا قناع بناء الجملة متفوقاً في عمليات التدريب القصيرة (كما ورد في CLIPA)، فإنه يتراجع أمام الاستراتيجيات الأخرى عند تمديد التدريب حتى التقارب (على سبيل المثال، 30 دورة أو أكثر).
4. تقييم شامل: يقدم المؤلفون مقارنات كمية واسعة عبر مجموعات بيانات متعددة (CC3M, CC12M, LAION-400M) ومهام مختلفة (التصنيف صفري القدرة، المتانة، واسترجاع الصور والنصوص).

النتائج

• الأداء مقابل الدورات: تُظهر التجارب على ImageNet-1K أنه بينما يؤدي قناع بناء الجملة بشكل جيد في مراحل التدريب المبكرة، فإن دقته تستقر أو تنخفض مقارنة بالقناع العشوائي، والكتلة، وCLIPF مع زيادة الدورات (حتى 40 دورة). يحقق CLIPF باستمرار أعلى دقة في النطاق بين 16 و40 دورة.
• كفاءة الرموز: يتفوق CLIPF على قناع بناء الجملة والأساسات الأخرى، لا سيما عندما يتم تقليل عدد رموز النص المدخلة (على سبيل المثال، 4 إلى 8 رموز). في سيناريوهات القناع المكثفة هذه، يحافظ CLIPF على فجوة أداء كبيرة عن قناع بناء الجملة.
• المتانة والاسترجاع: يُظهر CLIPF متانة فائقة في القدرة صفرية القدرة على مجموعات بيانات مثل ImageNet-A وImageNet-R وObjectNet. وفي مهام استرجاع الصور والنصوص، يتفوق CLIPF عموماً على القطع وبناء الجملة، رغم أنه يظهر أداءً مماثلاً للقناع العشوائي والكتلة في بعض مقاييس الاسترجاع، مع ميزة واضحة في سيناريوهات نسبة القناع العالية (4 رموز).
• سلوك مجموعات بيانات محددة: في مجموعات البيانات التي لا تكون أسماء الفئات فيها أسماءً في الغالب (مثل Describable Textures Dataset، OxfordPets)، يؤدي قناع بناء الجملة بشكل سيئ، بينما يحافظ CLIPF على أداء قوي.
• الكفاءة الحوسبية: يتجنب CLIPF عملية وسم أجزاء الكلام المستهلكة للوقت المطلوبة في قناع بناء الجملة. وتُظهر التجارب أن قناع بناء الجملة يستغرق حوالي 2.5 مرة وقتاً أطول لمعالجة مجموعة بيانات CC12M مقارنة بـ CLIPF.

الأهمية والادعاءات
تدعي الورقة أن النتيجة الحالية لأفضل حالة (وهي أن قناع بناء الجملة هو الأفضل) مرهونة بمدة تدريب محدودة. ومن خلال تمديد التدريب، يوضح المؤلفون أن قناع بناء الجملة ليس النهج الأمثل. تكمن أهمية هذا العمل في:

• تصحيح الحالة الراهنة: تحديث الفهم بأن قناع بناء الجملة هو أفضل استراتيجية لقناع النصوص، وإظهار أن الاستراتيجيات التي تحافظ على التردد هي المتفوقة.
• توجيه عملي: تقديم دليل واضح للممارسين: يجب تجنب استراتيجيات قناع النص التي تؤثر بشكل غير متناسب على تردد الكلمات، بينما يُفضل استخدام تلك التي تحمي الترددات النسبية (مثل CLIPF، والعشوائي، والكتلة).
• كفاءة الموارد: يوفر CLIPF بديلاً عالي الأداء يتطلب عبئاً حوسبياً أقل (لا يحتاج لوسم أجزاء الكلام) ويحقق نتائج أفضل بموارد تدريب أقل (رموز ودورات أقل) مقارنة بالنماذج الأساسية غير المقنعة أو النهج القائم على بناء الجملة.

يخلص المؤلفون إلى أن مراعاة تردد الكلمات أمر ضروري عند اختيار استراتيجية قناع النص، وأن CLIPF يوفر حلاً قوياً وفعالاً وعالي الأداء للتدريب المسبق لنماذج الرؤية واللغة.