Do Multilingual VLMs Reason Equally? A Cross-Lingual Visual Reasoning Audit for Indian Languages
تقدم هذه الورقة أول تدقيق عابر للغات للاستدلال البصري لست لغات هندية، كاشفةً أن نماذج الرؤية واللغة متعددة اللغات تعاني من انخفاض كبير في الدقة وتظهر أداءً متدهوراً في سلسلة الأفكن في السياقات غير الإنجليزية، لا سيما بالنسبة للغات الدراويدية، مما يثبت أن التدريب المسبق متعدد اللغات الحالي يفشل في نقل قدرات الاستدلال البصري عبر الحدود اللغوية والخطية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك روبوتًا معلمًا عبقريًا وذكيًا للغاية يُدعى "Visionary". هذا الروبوت مذهل في النظر إلى صور المسائل الرياضية، والرسوم البيانية العلمية، وألغاز الهندسة، ومن ثم حلها. في الواقع، إذا سألته باللغة الإنجليزية، فإنه يحصل على الإجابات الصحيحة بنسبة تتراوح بين 60-65%. إنه طالب نجم.
ولكن هنا تكمن المشكلة: تمتلك الهنديا مئات الملايين من الطلاب الذين يتعلمون بلغات مثل الهندية، والتاميلية، والتيلجو، والبنغالية، والكنادية، والمراثية. السؤال الكبير الذي تطرحه هذه الورقة هو: "إذا طلبنا من Visionary حل هذه المسائل نفسها بلغاتهم الأصلية، فهل سيظل نجمًا، أم سيصاب بالارتباك فجأة؟"
قرر الباحث "سواستيك آر" (Swastik R) اكتشاف ذلك من خلال إجراء "تدقيق عابر للغات" لـ Visionary. وإليك ما حدث، مشروحًا ببساطة.
1. اختبار الترجمة
قام الباحث بأخذ 980 سؤالًا بصريًا معقدًا (مثل "ما هي مساحة هذا الشكل؟" أو "لماذا السماء زرقاء؟") وترجمتها من الإنجليزية إلى ست لغات هندية رئيسية. ظلت الصور كما هي تمامًا؛ تغيرت الكلمات فقط.
بعد ذلك، طلب من ثماني نسخ مختلفة من الروبوت (من النماذج مفتوحة المص المصدر إلى النماذج الأكثر تقدمًا مثل GPT-4o) حل هذه الأسئلة.
2. الهبوط الكبير في الأداء
كانت النتائج صادمة نوعًا ما. عندما انتقل الروبوت من الإنجليزية إلى لغة هندية، انهار أداؤه بشكل حاد.
- "الميزة الإنجليزية": حتى أفضل النماذج انخفضت دقتها بنسبة 10 إلى 25 نقطة مئوية.
- "فجوة اللغات الدرافيدية": كان الهبوط أسوأ بالنسبة للغات من عائلة درافيديا (التاميلية، والتيلجو، والكنادية) مقارنة بـ عائلة الهند-آرية (الهندية، والبنغالية، والمراثية).
- تشبيه: تخيل عداءً بارعًا على مضمار ناعم (الإنجليزية). عندما تنقل العداء إلى حقل طيني (اللغات الهند-آرية)، فإنه يتباطأ قليلاً. ولكن عندما تضعه في مياه مستنقع عميقة (اللغات الدرافيدية)، فإنه يكافح للتحرك على الإطلاق.
3. فخ "سلسلة الأفكار"
ربما سمعت أن طلب "التفكير خطوة بخطوة" (Chain-of-Thought) من الذكاء الاصطناعي يساعده في حل المسائل الصعبة. حاول الباحث تجربة هذا في اللغات الهندية.
- النتيجة: جاءت النتيجة عكسية! بدلاً من المساعدة، فإن طلب "التفكير خطوة بخطوة" باللغة البنغالية أو الكنادية جعل أداء الروبوت أسوأ.
- تشبيه: تخيل أنك تطلب من شخص يتحدث لغة أجنبية بطلاقة محدودة جدًا أن يكتب مقالًا مفصلاً يشرح فيه منطقه. سيعلق الشخص في محاولة صياغة الجمل لدرجة أنه ينسى المسألة الرياضية الفعلية. عملية "التفكير" لدى الروبوت محبوسة في الإنجليزية، لذا فإن إجباره على التفكير بلغة أخرى يخلق مجرد فوضى مختلطة.
4. سر "الإنجليزية الخفية"
ألقى الباحث نظرة تحت الغطاء ليرى كيف كانت الروبوتات تفكر.
- كانت بعض النماذج (مثل Llama-4-Maverick) تقوم سرًا بكل تفكيرها باللغة الإنجليزية، حتى عندما كان السؤال باللغة التاميلية. كانت تقوم فقط بترجمة الإجابة النهائية إلى التاميلية في النهاية.
- تشبيه: الأمر يشبه طالبًا يؤدي اختبارًا بالفرنسية ولكنه يقوم بكل حساباته الذهنية في رأسه بالإنجليزية. قد يحصل على الإجابة الصحيحة، لكن إذا طلبت منه شرح لماذا بالفرنسية، فمن المرجح أن يفشل. هذا أمر خطير في التعليم لأن المعلم الحقيقي يحتاج إلى شرح المفاهيم بطلاقة بلغة الطالب.
5. الحجم لا يصلح كل شيء
عادةً، جعل الروبوت "أكبر" (إعطاؤه المزيد من القدرة الذهنية) يجعله أكثر ذكاءً.
- قارن الباحث بين روبوت أصغر (7 مليارات معلمة) وروبوت ضخم (32 مليار معلمة).
- النتيجة: كان الروبوت الأكبر أفضل قليلاً، لكن الفجوة بين الإنجليزية واللغات الهندية لم تتقلص كثيرًا.
- تشبيه: إعطاء شخص قاموسًا أكبر يساعده على معرفة المزيد من الكلمات، لكنه لا يعلمه كيفية التحدث بتلك اللغة بطلاقة أو حل الألغاز المنطقية بتلك اللغة. أنت بحاجة إلى تدريب محدد، وليس مجرد المزيد من البيانات.
6. استثناء "الصورة العلمية"
كان هناك تحول مثير للاهتمام واحد. بالنسبة لبعض الأسئلة العلمية التي تعتمد بشكل كبير على الرسوم التوضيحية (مثل صورة لخلية أو آلة)، أدى نموذج محدد (Gemma 3-27B) في الواقع إلى أداء أفضل في اللغات الهندية مقارنة بالإنجليزية!
- تشبيه: أحيانًا، الصورة تغني عن ألف كلمة. إذا كانت الصورة واضحة بما يكفي، فلا يحتاج الروبوت لقراءة الكلمات بدقة ليتوقع الإجابة. ولكن بالنسبة للمسائل اللفظية الرياضية، حيث تكون اللغة هي المفتاح، عانى الروبوت بشدة.
الخلاصة
هذه الورقة البحثية هي بمثابة جرس إنذار لشركات تكنولوجيا التعليم والمدارس في الهند.
- المشكلة: إذا قمت بنشر معلمي الذكاء الاصطناعي هؤلاء في المدارس الإقليمية اليوم، فإن الطلاب الذين لا يتحدثون الإنجليزية سيحصلون على مساعدة أسوأ بكثير من الطلاب المتحدثين بالإنجليزية.
- السبب: الروبوتات ليست "متعددة اللغات" في منطقها، بل هي فقط متعددة اللغات في مفرداتها. إنها لم تتعلم كيف تفكر في هذه اللغات.
- الحل: لا يمكننا مجرد ترجمة الأسئلة. نحن بحاجة إلى تدريب هذه الروبوتات خصيصًا على كيفية التفكير باللغات الهندية، وليس فقط كيفية قراءتها.
باختصار: الروبوت فصيح بالإنجليزية، لكنه لا يزال طفلًا في التاميلية، والتيلجو، والكنادية. وإلى أن نعلمه كيف "يفكر" بهذه اللغات، فهو ليس مستعدًا ليكون معلمًا لملايين الطلاب في الهند الذين يدرسون باللغات الإقليمية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.