💬 NLP

Language-Conditioned Visual Grounding with CLIP Multilingual

تعزل هذه الورقة المشفر البصري كعامل ثابت عبر ثلاث عشرة لغة لتثبت أن التفاوتات في التأسيس الأرضي البصري متعدد اللغات تنبع أساساً من قيود فرع النص وعدم المحاذاة المكانية بدلاً من انهيار الإشارة، مما يكشف أن توسيع النموذج البصري يحسن بعض اللغات ذات الموارد المنخفضة بينما يؤدي إلى تفاقم الوضع في لغات أخرى ويؤكد الجدوى الفعالة من حيث استهلاك الطاقة للمنهجية.

المؤلفون الأصليون: J. de Curtò, Mauro Liz, I. de ZarzÃ

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: J. de Curtò, Mauro Liz, I. de ZarzÃ

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتًا ذكيًا جدًا يمكنه النظر إلى صورة والعثور على أشياء محددة فيها، مثل "سيارة" أو "مشاة". يمكنك إخبار هذا الروبوت بما يبحث عنه بالعديد من اللغات المختلفة. ولكن الباحثين في هذه الورقة اكتشفوا أنه عندما تتحدث إلى الروبوت بلغة أقل شيوعًا (مثل الباسكية أو اللوكسمبورغية)، فإنه غالبًا ما يشير إلى المكان الخطأ في الصورة، على الرغم من أنه يبدو وكأنه "ينظر" بجدية تامة كما يفعل عند التحدث بالإنجليزية.

إليك تحليل بسيط لما قاموا به وما وجدوه، باستخدام بعض التشبيهات من الحياة اليومية.

التجربة: اختبار مضبوط

أراد الباحثون معرفة لما কেন يرتكب الروبوت أخطاء في بعض اللغات. هل السبب هو أن "عيون" الروبوت (الجزء البصري) لا تعمل بشكل جيد مع لغات معينة؟ أم أن السبب هو أن "دماغ" الروبوت (الجزء النصي الذي يفهم الكلمات) أضعف في تلك اللغات؟

لاختبار ذلك، قاموا ببناء إعداد خاص:

العيون: استخدموا نفس الكاميرا ونظام الرؤية تمامًا لكل لغة.
الدماغ: قاموا باستبدال الجزء الذي يفهم الكلمات فقط، وتغييره لـ 13 لغة مختلفة (من اللغات الشائعة مثل الإسبانية والفرنسية إلى اللغات النادرة مثل الباسكية واللوكسيمبورغية).

هذا يشبه إعطاء نفس النظارات لـ 13 شخصًا مختلفًا وطلب منهم وصف نفس الصورة. إذا كانت أوصافهم خاطئة، فنحن نعلم أن المشكلة ليست في النظارات؛ بل في قدرة الشخص على وصف ما يراه.

النتائج الكبرى

1. المشكلة في "المترجم"، وليس في "الكاميرا"
وجدوا أنه حتى مع استخدام نفس الكاميرا تمامًا، كان الروبوت أسوأ بكثير في العثور على الأشياء عند استخدام لغات ذات موارد منخفضة.

التشبيه: تخيل مرشدًا سياحيًا يعرف المدينة تمام المعرفة. إذا سألته بالإنجليزية، سيشير إلى برج إيفل بشكل صحيح. أما إذا سألته بلغة يعرفها بصعوبة، فقد يشير إلى شجرة عشوائية بدلاً منه. عينا المرشد لم تتغيرا؛ لكن معرفته باللغة هي الحلقة الضعيفة.
النتيجة: كان "العقاب" (الانخفاض في الأداء) ناتجًا بالكامل عن جزء معالجة النصوص، وليس الجزء البصري.

2. الأدمغة الأكبر لا تحل المشكلة دائمًا
عادةً، عندما تصبح نماذج الذكاء الاصطناعي أكبر وأقوى، فإنها تصبح أفضل في كل شيء. اختبر الباحثون نموذجًا صغيرًا ونموذجًا أكبر بـ 7 مرات.

المفاجأة: بالنسبة لبعض اللغات (مثل العربية والصينية)، ساعد الحصول على دماغ أكبر في تحسين الأداء. ولكن بالنسبة لآخرين (مثل الباسكية واللوكسيمبورغية)، جعل الدماغ الأكبر الأمور أسوأ.
التشبيه: فكر في الأمر كأنه مكتبة.
- إذا كانت اللغة تعاني من "نقص في التجزئة" (مثل العربية)، فهي تحتاج فقط إلى مكتبة أكبر لتضم المزيد من الكلمات. هنا يساعد النموذج الأكبر.
- أما إذا كانت اللغة تعاني من نقص في "تغطية المتون" (مثل الباسكية)، فهذا يعني أن المكتبة تكاد تخلو من الكتب بتلك اللغة من الأساس. إعطاء أمين مكتبة أكبر مكتبة أكبر لن يساعد إذا لم تكن الكتب موجودة أصلاً. في الواقع، قد يصبح أمين المكتبة الأكبر أكثر ثقة في الإشارة إلى الأشياء الخاطئة لأنه يمتلك المزيد من "الثقة" ولكن ليس لديه بيانات أفضل.

3. الروبوت "واثق في خطئه"
هذا هو الاكتشاف الأكثر أهمية. عندما يفشل الروبوت في هذه اللغات، فإنه لا يصبح "هادئًا" أو غير متأكد. بل يصبح صاخبًا وواثقًا، لكنه يشير إلى المكان الخطأ.

التشبيه: تخيل نظام ملاحة (GPS).
- انهيار الإشارة (ما لم يجدوه): يقول نظام الملاحة: "أنا لا أعرف أين أنت" ويعرض شاشة فارغة.
- عدم المحاذاة المكانية (ما وجدوه بالفعل): يقول نظام الملاحة: "أنت هنا!" بثقة 100%، ولكنه يشير إلى منزل يبعد ثلاث شوارع عن موقعك.
النتيجة: نظرًا لأن الروبوت واثق جدًا، لا يمكنك ببساطة إخبار النظام: "إذا لم تكن متأكدًا، فلا تظهر النتيجة". النظام متأكد بالفعل، لكنه متأكد من الشيء الخطأ.

كفاءة الطاقة: حل رخيص

أخيرًا، قام الباحثون بقياس مقدار الكهرباء التي استهلكتها هذه العملية.

النتيجة: هذه الطريقة فعالة للغاية من حيث استهلاك الطاقة. فهي تستهلك طاقة أقل بنحو 20 إلى 50 مرة من نماذج الذكاء الاصطناعي المتطورة التي تكتب المقالات أو تدردش معك.
الخلاصة: إذا كنت بحاجة إلى نظام يمكنه الإشارة بسرعة إلى الأشياء في صورة بلغات عديدة دون استهلاك الكثير من الطاقة، فإن طريقة "التوطين الكثيف" (dense grounding) هذه هي خيار عملي وموفر للطاقة.

ملخص

تثبت الورقة أن المشكلة في هذه النماذج بالنسبة للغات النادرة ليست في أن الذكاء الاصطناعي لا يستطيع "رؤية" الصورة؛ بل هي في أن الذكاء الاصطناعي لا "يفهم" الكلمات جيدًا بما يكفي لربطها بالمكان الصحيح. جعل الذكاء الاصطناعي أكبر لا يحل هذه المشكلة إذا كانت بيانات التدريب (الكتب في المكتبة) مفقودة. ولأن الذكاء الاصطنا- الاصطناعي غالبًا ما يكون واثقًا في خطئه، فلا يمكننا الاعتماد فقط على مستوى ثقته لمعرفة ما إذا كان يقول الحقيقة أم لا.

ملخص تقني: التأسيس البصري المشروط باللغة باستخدام نموذج CLIP

بيان المشكلة

تُظهر نماذج الرؤية واللغة متعددة اللغات (VLMs) تفاوتات أداء نظامية عبر اللغات، لا سيما تجاه اللغات ذات الموارد المنخفضة والنصوص غير اللاتينية. ومع ذلك، تظل الآلية التي تدفع هذا "العقاب متعدد اللغات" غامضة؛ إذ ليس من الواضح ما إذا كان التدهور ناتجاً عن استجابة المشفر البصري للرموز (tokens) غير الإنجليزية، أم عن عدم قدرة فرع النص على تشكيل تمثيلات قوية عابرة للغات، أم عن التفاعلات بين هذه المكونات. علاوة على ذلك، غالباً ما تخلط طرق التقييم الحالية بين الفوارق الإدراكية الحقيقية وبين انحياز القياس، حيث تقوم عادةً بتسجيل المخرجات مقابل مراجع أو مفردات متمحورة حول اللغة الإنجليزية. تعالج هذه الورقة البحثية الحاجة إلى عزل مصدر العقاب وتوصيف نمط الفشل (مثل انهيار الإشارة مقابل عدم المحاذاة المكانية) دون الاعتماد على مقاييس مرتكزة على الإنجليزية.

المنهجية

يقترح المؤلفون "مسبار CLIP متعدد اللغات كثيف التحكم" مصمم لعزل العقاب متعدد اللغات في فرع النص.

التصميم التجريبي: تثبت الدراسة المشفر البصري متطابقاً عبر 13 لغة متنوعة نوعياً مع تغيير فرع النص (XLM-RoBERTa) فقط. يضمن هذا أن أي تباين ملاحظ عبر اللغات ينشأ في مرحلة لاحقة للمرحلة البصرية.
النماذج والنطاق: تم تقييم بنيتين لـ CLIP، تغطيان فجوة قدرها 7 أضعاف في معاملات المشفر البصري:
- النموذج الأساسي (Base): XLM-R base + ViT-B/32 (حوالي 87 مليون معلمة بصرية).
- النموذج الكبير (Large): XLM-R large + ViT-H/14 (حوالي 632 مليون معلمة بصرية).
مجموعة البيانات: تم أخذ 210 صور من مجموعة بيانات BDD100K، وتم تقييمها مقابل 11 مفهوماً (مثل سيارة، مشاة، إشارة مرور) عبر 13 لغة (بما في ذلك العربية، والباسكية، واللوكسمبورغية، والصينية، ولغات أوروبية متنوعة). ينتج عن ذلك 2,310 ملاحظة مزدوجة لكل لغة غير إنجليزية.
استخراج الميزات الكثيفة: باتباع نهج MaskCLIP، يستخرج المؤلفون ميزات كثيفة لكل رقعة (per-patch) من المشفر البصري المجمد لتوليد خرائط تشابه مكانية، بدلاً من الاعتماد على تضمينات الصورة الواحدة.
المقاييس: لتجنب الانحياز للإنجليزية، يتم قياس الاتفاق بشكل متماثل بين خريطة اللغة المستهدفة وخريطة المرجع الإنجليزية باستخدام:
1. تقاطع الاتحاد للمقنع العنقودي (Cluster-mask IoU): يقيس التداخل المكاني لمناطق التشابه العالي.
2. تقاطع الاتحاد لأعلى المئويات (Top-percentile IoU): التداخل غير المرتبط بالمقياس عند عتبات عالية.
3. ارتباط رتب سبيرمان (Spearman Rank Correlation): الاتفاق على مستوى البكسل في الترتيب النسبي.
4. نسبة ذروة التشابه (Peak-Similarity Ratio): تقارن قوة التنشيط القصوى للتمييز بين انهيار الإشارة (التنشيط الضعيف) وعدم المحاذاة المكانية (التنشيط القوي في المنطقة الخاطئة).
قياس الطاقة: تم قياس طاقة الاستدلال باستخدام بروتوكول AI Energy Score (عبر أخذ عينات NVML على وحدة NVIDIA H200)، مع الإبلاغ عن واط-ساعة لكل 1,000 استعلام.

النتائج الرئيسية

1. العقاب مستمر ومحصور في فرع النص

عند تثبيت المشفر البصري، تظل هناك فجوة أداء كبيرة بين اللغات عالية الموارد (HR) واللغات منخفضة الموارد (LR).

الفجوة الكمية: فجوة HR–LR في تقاطع الاتحاد للمقنع العنقودي هي +0.114 في النطاق الأساسي وتتسع إلى +0.143 في النطاق الكبير.
الأهمية الإحصائية: تؤكد اختبارات ويلكوكسون هذا التفاوت بقيمة $p < 10^{-300}$ في كلا النطاقين.
الاستنتاج: بما أن المشفر البصري متطابق، فإن العجز يعزى حصرياً إلى فرع النص، مما يستبعد تفاعل المشفر البصري كسبب رئيسي.

2. تأثيرات التوسع غير متجانسة

إن زيادة نطاق المشفر البصري بمقدار 7 أضعاف لا تغلق الفجوة بشكل موحد؛ بل تفصل بين أنماط الفشل بناءً على تغطية المتون (corpus coverage) مقابل خصوبة المرمز (tokenizer fertility).

فشل تغطية المتون (الباسكية، واللوكسمبورغية): هذه اللغات، التي تمثلها مجموعات بيانات غير كافية في متن التدريب المسبق، تسوء مع التوسع ( $\Delta = -0.056$ و $-0.076$ على التوالي). النموذج الأكبر يضخم نقص الإشارة بدلاً من تصحيحه.
فشل خصوبة المرمز (العربية، والصينية): هذه اللغات، التي تمتلك حضوراً كبيراً في المتون ولكنها تعاني من عدم كفاءة الترميز، تتحسن مع التوسع ( $\Delta = +0.033$ و $+0.039$ ).
الخلاصة: التوسع وحده لا يمكنه إنقاذ اللغات الغائبة عن توزيع التدريب المسبق؛ بل يفيد فقط اللغات التي توجد فيها الإشارة ولكنها تعوقها قيود الترميز أو السعة.

3. نمط الفشل: عدم المحاذاة المكانية، وليس انهيار الإشارة

تحدد الدراسة أن نمط الفشل المهيمن هو عدم المحاذاة المكانية، وليس فقدان قوة الإشارة.

ذروة التشابه: تظل متوسط نسبة ذروة التشابه بالنسبة للإنجليزية مرتفعة (0.94 في النطاق الكبير)، مما يشير إلى أن النموذج يتنشط بقوة.
انخفاض IoU: رغم ذروة التنشيط العالية، ينخفض تقاطع الاتحاد للمقنع العنقودي بشكل حاد.
الاستنتاج: يتنشط النموذج في المنطقة الخاطئة من الصورة بدلاً من الفشل في التنشيط. وبناءً على ذلك، فإن التصفية القائمة على الثقة والتي تعتمد فقط على ذروة التشابه ليست كافية لاكتشاف أخطاء التأسيس الناجمة عن اللغة.

4. كفاءة الطاقة

نهج التأسيس (grounding) الخاص بـ dense-CLIP عالي الكفاءة في استهلاك الطاقة، حيث يستهلك 3.4–3.9 واط-ساعة لكل 1,000 استعلام. وهذا أقل بنحو 20-50 ضعفاً من ميزانيات الاستدلال المسجلة لنماذج VLMs متعددة اللغات ذات البنية التوليدية (autoregressive) تحت نفس بروتوكول القياس، مما يجعله ركيزة قابلة للتطبيق للاستخدام المراعي للطاقة.

الأهمية والادعاءات

تدعي الورقة البحثية ثلاث مساهمات رئيسية:

العزل الميكانيكي: من خلال تثبيت المشفر البصري، تحدد الدراسة بشكل قاطع موقع العقاب متعدد اللغات في التأسيس الكثيف في فرع النص، مما يميزه عن قيود المشفر البصري.
توصيف نمط الفشل: توضح أن أخطاء التأسيس متعددة اللغات هي في الأساس عدم محاذاة مكانية (إشارة عالية، موقع خاطئ) وليست انهياراً للإشارة. وهذا يتحدى فعالية عتبات الثقة القياسية في الأنظمة متعددة اللغات.
الدقة المنهجية: إن استخدام تسجيل متماثل وغير منحاز للغة على خرائط التشابه الكثيفة يزيل انحياز القياس المرتكز على الإنجليزية المتأصل في تقييمات VLM السابقة، مما يوفر مقياساً أكثر نقاءً للاتفاق عبر اللغات.

يخلص المؤلفون إلى أنه بينما يساعد التوسع اللغات المحدودة بالترميز، فإنه يفاقم المشكلات بالنسبة للغات الشحيحة في المتون. ويقترحون أن الأنظمة المستقبلية القوية متعددة اللغات تتطلب تنسيقاً مستهدفاً للبيانات للغات غير الممثلة بشكل كافٍ، وتنفيذ فحوصات الاتفاق عبر اللغات (بدلاً من مجرد فحوصات ذروة التشابه) لضمان موثوقية التأسح المكاني.