💻 computer science

$β$ -CLIP: Text-Conditioned Contrastive Learning for Multi-Granular Vision-Language Alignment

تقدم هذه الورقة $\beta$ -CLIP، وهو إطار عمل للتعلم التبايني المشروط بالنص متعدد الحبيبات يستخدم الانتباه المتقاطع وفقدان محاذاة تبايني سياقي- $\beta$ مبتكر لتحقيق أفضل النتائج في المحاذاة الكثيفة بين الرؤية واللغة من خلال مطابقة الأوصاف النصية ذات الأطوال المتفاوتة هرميًا مع المناطق المرئية المقابلة لها.

المؤلفون الأصليون: Fatimah Zohra, Chen Zhao, Hani Itani, Bernard Ghanem

نُشر 2026-03-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Fatimah Zohra, Chen Zhao, Hani Itani, Bernard Ghanem

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة فائق الذكاء يُدعى CLIP. لقد قرأ هذا الأمين ملايين الكتب واطلع على ملايين الصور. إذا سألته: "أرني صورة لكلب"، فسيكون مذهلاً في العثور عليها. ولكن إذا سألته: "أرني الأنف البني للكلب الجالس على الجانب الأيسر من البطانية الحمراء"، فسوف يرتبك CLIP قليلاً. إنه يرى الكلب بالكامل، لكنه يواجه صعوبة في التركيز على ذلك الأنف أو تلك البطانية تحديداً. الأمر يشبه النظر إلى لوحة من مسافة بعيدة؛ ترى المشهد بأكمله، لكن لا يمكنك تمييز التفاصيل الصغيرة.

تقدم الورقة البحثية نسخة مطورة من هذا الأمين تسمى β-CLIP (بيتا-كليب). وإليك كيف يعمل، مشروحاً ببسا much simplicity:

1. المشكلة: "العدسة الضبابية"

ينظر CLIP القياسي إلى الصورة من خلال "عدسة واسعة الزاوية". إنه يفهم الجو العام (مثل "شارع مزدحم") ولكنه يفتقد التفاصيل المحددة (مثل "عربة التوك توك الملونة" أو "كوب القهوة على الطاولة"). حتى لو أعطيته وصفاً طويلاً ومفصلاً، فإنه لا يزال يحاول مطابقة الصورة الكاملة مع الجملة الكاملة، بدلاً من مطابقة أجزاء محددة من الجملة مع أجزاء محددة من الصورة.

2. الحل: "عدسة التقريب" (تعدد المستويات/التدرج)

يغير β-CLIP قواعد اللعبة من خلال تقسيم الوصف إلى طبقات، مثل تقشير البصلة:

الطبقة 1 (الكل): الجملة الكاملة ("شارع مزدحم مع عربات توك توك").
الطبقة 2 (الجملة): جزء محدد ("عربات التوك توك الملونة").
الطبقة 3 (العبارة): تفصيل صغير ("كوب القهوة").

بدلاً من مجرد النظر إلى الصورة بأكملها، يستخدم β-CLIP أداة خاصة تسمى Cross-Attention (الانتباه المتقاطع). فكر في هذا كأنه كشاف ضوئي ذكي. عندما يقرأ الأمين "كوب القهوة"، فإن الكشاف يركز فوراً فقط على كوب القهوة في الصورة، متجاهلاً بقية الشارع. وعندما يقرأ "شارع مزدحم"، يتسع الكشاف ليغطي المشهد بأكمله.

3. الجزء الصعب: مشكلة "الاجتماع العائلي"

هنا تكمن العقبة: هذه الطبقات تتداخل. "كوب القهوة" موجود داخل "الشارع المزدحم". إذا قلت للأمين: "طابق الشارع و الكوب"، فقد يرتبك. هل الكوب تطابق إيجابي؟ هل الشارع تطابق إيجابي؟ هل يتصارعان مع بعضهما؟

في الماضي، إذا أعطيت الكمبيوتر تعليمات متداخلة كثيرة، فإنه سيقع في أحد أمرين:

الإفراط في التركيز: يركز فقط على الكوب ويتجاهل سياق الشارع.
التشتت: ينظر إلى كل شيء بالتساوي ويفقد التفاصيل الحادة.

4. السر الخفي: "مقبض بيتا" (β-CAL)

لحل هذه المشكلة، ابتكر المؤلفون قاعدة تدريب خاصة تسمى β-CAL (فقدان المحاذاة السياقية لبيتا). فكر في هذا كأنه مقبض تحكم في الصوت أو مفتاح تعتيم مكتوب عليه β (بيتا).

تدوير المقبض إلى 0 (وضع الدقة الصارمة): يكون الأمين هنا مثالياً ولا يقبل الخطأ. يقول: "أنا لا أهتم إلا بالمطابقة الدقيقة. إذا قلت 'كوب'، يجب أن أجد الكوب فقط. تجاهل الشارع". هذا رائع للعثور على التفاصيل الصغيرة ولكنه قد يفتقد الصورة الكبيرة.
تدوير المقبض إلى 1 (الوضع المرن): يكون الأمين هنا اجتماعياً للغاية. يقول: "إذا قلت 'كوب'، فإن العثور على الكوب أمر رائع، ولكن العثور على الشارع الذي يجلس عليه هو أمر جيد أيضاً!". هذا يساعد الكمبيوتر على فهم السياق بشكل أفضل ولكنه قد يجعل التفاصيل ضبابية بعض الشيء.
النقطة المثالية (بيتا = 0.5): وجد المؤلفون حلاً وسطاً. يتم ضبط المقبض بحيث يعرف الأمين أن الكوب جزء من الشارع، لكنه لا يزال يعرف مكان الكوب بالضبط. إنه يوازن بين الدقة (إيجاد الأنف) والسياق (معرفة أن الأنف ينتمي إلى كلب).

5. شخصيتان مختلفتان: CE مقابل BCE

وجدت الورقة أيضاً أن "مقبض بيتا" هذا يعمل بشكل مختلف اعتماداً على "شخصية" الأمين:

الشخصية "الحادة" (Cross-Entropy/CE): هذه النسخة رائعة في المهام دقيقة التفاصيل. إنها تشبه الجراح بمشرطه؛ فهي تتفوق في العثور على "الأنف" المحدد أو "العجلة" في صورة معقدة.
الشخصية "الواسعة" (Binary Cross-Entropy/BCE): هذه النسخة رائعة في الأوصاف الطويلة. إنها تشبه المرشد السياحي الذي يمكنه التعامل مع قصة طويلة ومطولة عن مدينة كاملة. وهي أفضل في فهم الجمل الطويلة والمعقدة دون أن تفقد المسار.

لماذا يهم هذا؟

قبل هذا، إذا كنت تريد من الكمبيوتر أن يفهم قصة طويلة ومفصلة عن صورة، كنت بحاجة إلى كميات هائلة من البيانات وعمليات رسم مناطق معقدة (رسم مربعات حول كل كائن).

β-CLIP يثبت أنك لست بحاجة إلى رسم مربعات. من خلال تعليم الكمبيوتر ببساطة الاستماع إلى أجزاء مختلفة من الجملة واستخدام "مقبض بيتا" للموازنة بين التركيز والسياق، يمكنه:

العثيد على أشياء محددة وسط الزحام (مثل العثور على شخص معين في صورة).
فهم القصص الطويلة والمفصلة عن الصور.
القيام بكل هذا دون الحاجة إلى بيانات تدريب "صعبة" إضافية يصعب إنتاجها وتكلفتها عالية.

باختًا: β-CLIP يشبه ترقية الكاميرا من عدسة واسعة الزاوية إلى عدسة يمكنها التقريب فوراً نحو تفصيل محدد مع لا يزال يتذكر المشهد بأكمله، ويتحكم في ذلك مقبض ذكي يعرف تماماً مقدار درجة التقريب المطلوبة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "β-CLIP: التعلم التبايني المشروط بالنص لمحاذاة الرؤية واللغة متعددة الحبيبية."

1. بيان المشكلة

بينما يتفوق نموذج CLIP (التعلم المسبق للصور والنصوص عبر التباين) في استرجاع الصور والنصوص بنمط "الصفر-لقطة" (zero-shot) من خلال محاذاة التمثيلات العالمية للصورة والنص، فإنه يعاني في المهام دقيقة التفاصيل وفهم النصوص الطويلة.

العالمي مقابل المحلي: يهدف هدف التباين القياسي في CLIP إلى محاذاة الصور الكاملة مع التعليقات الكاملة، مما يفتقر إلى آلية لربط مناطق بصرية محددة بمفاهيم نصية دقيقة (مثل: كائنات محددة، سمات، أو عبارات).
قيود السياق: يقتد CLIP بنوافذ سياقية تبلغ 77 رمزًا (token)، مما يجعله غير مناسب للنصوص الطويلة والمفصلة الشائعة في مجموعات البيانات الحديثة.
التداخل الدلالي: عند تفكيك التعليقات الطويلة إلى جمل وعبارات لتحقيق محاذاة دقيقة، غالبًا ما تتشارك هذه النصوص الفرعية في تداخل دلالي (على سبيل المثال، عبارة ما هي جزء من جملة). تعامل خسائر التباين القياسية هذه كعناصر إيجابية أو سلبية مستقلة، مما يؤدي إلى الفشل في مراعاة السياق الهرمي المتأصل داخل صورة واحدة.

2. المنهجية: β-CLIP

يقترح المؤلفون β-CLIP، وهو إطار عمل يقوم بمحاذاة الاستعلامات النصية الهرمية مع الميزات البصرية باستخدام تجميع الانتباه المشروط بالنص ودالة خسارة مبتكرة.

أ. التفكيك الهرمي للنص

لكل زوج (صورة-تعليق) $(I, C)$ ، يتم تفكيك التعليق إلى ثلاثة مستويات دلالية:

مستوى التعليق: التعليق الكامل (السياق العالمي).
مستوى الجملة: $K_{sent}$ من الجمل الفردية (خشن الحبيبات).
مستوى العبارة: $K_{phrase}$ من المفاهيم الرئيسية (الأسماء/الأفعال) المستخرجة عبر تحليل التبعية (دقيق الحبيبات).
ينتج عن ذلك $K$ من التضمينات النصية لكل صورة، مما يشكل تمثيلًا نصيًا متعدد المقاييس $T$ .

ب. اختيار الميزات البصرية متعدد الحبيبات

بدلاً من استخدام تضمين صورة عالمي واحد، يقوم β-CLIP بتوليد $K$ من تضمينات الصور المشروطة بالنص.

الآلية: تستخدم كتلة Transformer معدلة وضحلة تجميع الانتباه المتقاطع (Cross-Attention Pooling).
العملية: يعمل كل استعلام نصي $t_k$ كاستعلام للتنبه فوق رموز رقع الصور (patch tokens) $P$ . يقوم النموذج بحساب أوزان الانتباه لتجميع الرقع البصرية ذات الصلة ديناميكيًا، مما ينتج عنه تضمين بصري سياقي $v_k$ خاص بذلك الاستعلام النصي.
كفاءة الاستدلال: على عكس بعض الأعمال السابقة، يُستخدم هذا التجميع المشروط بالنص أثناء التدريب فقط. عند الاستدلال، يعود النموذج إلى CLIP القياسي (باستخدام رمز CLS العالمي)، مما يحافظ على كفاءة التخزين المؤقت.

ج. خسارة المحاذاة التباينية السياقية β-CAL

للتعامل مع التداخل الدلالي بين المستويات الهرمية (على سبيل المثال، عبارة موجودة داخل جملة)، قدم المؤلفون β-CAL. تعامل هذه الخسارة جميع أزواج الميزات داخل الصورة الواحدة كـ "إيجابيات"، ولكنها تعدل مساهمتها بناءً على معامل $\beta \in [0, 1]$ .

يدعم الإطار صيغتين:

الإنتروبيا المتقاطعة الناعمة (Soft CE):
- تستخدم "softmax" على التشابهات.
- دور $\beta$ : تقوم بعمل استيفاء (interpolation) للأهداف الاحتمالية. عند $\beta=0$ ، تكون المطابقات الذاتية الدقيقة فقط هي الإيجابية. ومع اقتراب $\beta$ من $1$، تعمل جميع الأزواج داخل الصورة كإيجابيات ناعمة، مما يشجع الاتساق عبر المقاييس.
- الأثر: تعمل على شحذ التمييز الدقيق.
الإنتروبيا المتقاطعة الثنائية القاسية (Hard BCE):
- تستخدم تنشيط "sigmoid" للتصنيف الثنائي المستقل.
- دور $\beta$ : تعدل أوزان التدرج. جميع الأزواج داخل الصورة هي إيجابيات ثنائية، ولكن الأزواج خارج القطر (السياقية) يتم خفض وزنها بواسطة $\beta$ .
- الأثر: تفضل استرجاع النصوص الطويلة والمحاذاة العالمية القوية.

تجمع الخسارة الإجمالية بين $\beta$ -CAL وخسارة CLIP العالمية القياسية.

3. المساهمات الرئيسية

إطار عمل β-CLIP: إطار تعلم متعدد الحبيبات يقوم بمحاذاة كثيفة للتمثيلات البصرية مع الأوصاف النصية الهرمية (التعليقات، الجمل، العبارات) دون الحاجة إلى صناديق إحاطة (bounding boxes) للمناطق بشكل صريح.
خسارة β-CAL: خسارة معلمية مبتكرة توازن بين الدقة الخاصة بالاستعلام (المطابقة الذاتية الصارمة) والسياقية داخل الصورة (المطابقة المرنة). وهي تدير بفعالية المقايضة بين التخصيص والتعميم في الإشراف الهرمي.
أداء رائد (SOTA): يثبت أن β-CLIP يحقق نتائج رائدة في اختبارات استرجاع التفاصيل الدقيقة والنصوص الطويلة دون استخدام السلبيات الصعبة (hard negatives) أو الإشراف على مستوى المنطقة، بالاعتماد فقط على التعليقات الطويلة المفككة.
تحليل الخسارة: يحدد أن خسائر CE تتفوق في التمييز دقيق التفاصيل (شحذ القمم المحلية)، بينما تتفوق خسائر BCE في استرجاع النصوص الطويلة (الحفاظ على السياق العالمي)، مما يوفر مقايضة مرنة عبر $\beta$ .

4. النتائج التجريبية

تم ضبط النموذج بدقة باستخدام ShareGPT4V (1.2 مليون زوج صورة-نص) باستخدام هيكل ViT-B/16.

الاسترجاع دقيق التفاصيل (FG-OVD):
- حقق β-CLIP (بصيغة CE، و $K=36$ ، و $\beta=0.5$ ) دقة بنسبة 30.9% في الجزء "الصعب" (Hard split).
- هذا يتفوق بشكل كبير على CLIP (12.0%) والطرق الأخرى التي تم ضبطها مثل LongCLIP وSmartCLIP.
- يستعيد حوالي 55% من فجوة الأداء بين CLIP القياسي وFG-CLIP (الذي يستخدم إشرافًا هائلًا على المناطق وسلبيات صعبة)، رغم استخدامه بيانات أقل بكثير وبدون سلبيات صعبة.
استرجاع النصوص الطويلة (Urban1K, DCI):
- حقق β-CLIP (بصيغة BCE، و $K=36$ ، و $\beta=0.5$ ) نتائج رائدة جديدة في Urban1K بنسبة 91.8% (T2I) و92.3% (I2T).
- تفوق على النماذج المصممة خصيصًا للنصوص الطويلة (مثل LongCLIP وSmartCLIP) في هذه الاختبارات.
الاسترجاع خشن الحبيبات (MSCOCO, Flickr30k):
- حافظ متغير BCE على أداء CLIP الأساسي أو حسنه، مما يثبت أن التدريب متعدد الحبيبات لا يضعف قدرات المحاذاة العالمية.
دراسات الاستئصال (Ablation Studies):
- حساسية $\beta$ : يفضل $\beta$ المنخفض استرجاع النصوص الطويلة؛ بينما يحسن $\beta$ المرتفع (حوالي 0.5–0.75) المحاذاة دقيقة التفاصيل.
- الحبيبية ( $K$ ): زيادة $K$ (عدد العبارات) يحسن أداء التفاصيل الدقيقة بشكل كبير.
- حجم الدفعة (Batch Size): أدت أحجام الدفعات الكبيرة إلى تدهور أداء التفاصيل الدقيقة، مما يشير إلى وجود توتر بين أخذ العينات السلبية العالمية والمحاذاة داخل الصورة دقيقة التفاصيل.

5. الأهمية

الكفاءة: يحقق β-CLIP محاذاة كثيفة ودقيقة دون التكاليف الحسابية والبيانات اللازمة لتوليد ملايين التوصيفات على مستوى المنطقة أو السلبيات الصعبة.
القابلية للتكيف: تسمح معلمة $\beta$ للممارسين بضبط النموذج لاحتياجات محددة (مثل اكتشاف الأشياء الدقيق مقابل فهم المشهد الشامل) باستخدام نفس الهيكل.
الرؤية النظرية: توضح هذه الدراسة التفاعل بين الإشراف الهرمي والتعلم التبايني، وتظهر كيف تعطي دوال الخسارة المختلفة (CE مقابل BCE) الأولوية بطبيعتها لجوانب مختلفة من فضاء الرؤية واللغة (الدقة المحلية مقابل السياق العالمي).
الأثر العملي: من خلال تمكين CLIP من التعامل مع التعليقات الطويلة والمفصلة بفعالية، تسد هذه الطريقة الفجوة بين نماذج الرؤية واللغة الحالية والحاجة إلى فهم بصري مفصل في التطبيقات الواقعية مثل البحث المعقد عن الصور والوصف التفصيلي.