Lost in Translation: Do LVLM Judges Generalize Across Languages?
تقدم هذه الورقة MM-JudgeBench، وهو معيار متعدد اللغات واسع النطاق لتقييم حكام نماذج اللغات الكبيرة متعددة الوسائط (LVLM)، كاشفةً أن نماذج المكافأة الحالية تظهر تباينًا كبيرًا في الأداء عبر اللغات وسلوكًا غير متسق عبر 25 لغة متنوعة، مما يسلط الض الضوء على الحاجة الماسة لمعايير تقييم متعددة اللغات في التقييم الآلي للنماذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك فريقاً من نقاد الفن فائق الذكاء (هذه هي نماذج الذكاء الاصطناعي، أو ما يُعرف بـ "LVLMs")، ومهمتهم هي النظر إلى الصور وتحديد أي وصف للصورة هو الأفضل.
لفترة طويلة، كان هؤلاء النقاد يُختبرون فقط على صور وأوصاف باللغة الإنجليزية. وبدا أنهم عباقرة. لكن الباحثين وراء هذه الورقة البحثية طرحوا سؤالاً بسيطاً ومخيفاً: "ماذا يحدث عندما نتحدث إلى هؤلاء النقاد بالفرنسية، أو الهندية، أو الكازاخية؟ هل لا يزالون يعرفون عما يتحدثون، أم أنهم يكتفون بالتخمين فقط؟"
إليك تفصيل لنتائجهم، باستخدام بعض التشبيهات من الحياة اليومية:
1. الاختبار الجديد: "عرض المواهب العالمي"
قام الباحثون ببناء اختبار جديد ضخم يسمى MM-JudgeBench. فكر فيه كأنه عرض مواهب عالمي لنقاد الذكاء الاصطناعي.
- المسرح: أخذوا اختبارات موجودة وترجموها إلى 25 لغة مختلفة (من اللغات الشائعة مثل الإسبانية إلى اللغات ذات الموارد المحدودة مثل الكازاخية).
- المتسابقون: اختبروا 22 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي، بما في ذلك النماذج الشهيرة من "عمالقة التكنولوجيا" (مثل GPT-5 وGemini) والنماذج مفتوحة المصدر (مثل Qwen).
- المهمة: اعرض على الذكاء الاصطناعي صورة ووصفين مختلفين. اسأل الذكاء الاصطناعي: "أي منهما صحيح، ولماذا؟"
2. النتائج الصادمة: "حاجز اللغة"
كانت النتائج تشبه مشاهدة عازف بيانو عالمي يعزف ببراعة بالإنجليزية، ثم يتعثر في النوتات عندما يُطلب منه العزف بلغة أخرى.
- "وهم الإنجليزية فقط": العديد من النماذج التي بدت مثالية في الإنجليزية أصبحت فجأة مرتبكة أو بدأت في تأليف حقائق عند الانتقال إلى لغات أخرى.
- "فخ الكفاءة": بعض النماذج صُممت لتكون "خفيفة الوزن" وسريعة (مثل السيارات الرياضية). كانت تعمل بشكل رائع في الإنجليزية، ولكن في اللغات الأخرى، تعطلت تماماً. الأمر يشبه سيارة رياضية تسير جيداً على الطريق السريع ولكنها تنهار على طريق ترابي.
- مشكلة الكازاخية: واجهت النماذج أكبر صعوبة مع اللغة الكازاخية (وهي لغة ذات موارد محدودة). الأمر كما لو أن النقاد درسوا بجد لاختبار بالإنجليزية، ولكن طُلب منهم فجأة خوض اختبار بلغة لم يروها من قبل. لم يخطئوا في بعض الأسئلة فحسب؛ بل فشلوا تماماً في كثير من الأحيان.
3. مشكلة "الهلوسة"
في الاختبارات الإنجليزية، كان نقاد الذكاء الاصطناعي جيدين في اكتشاف الأكاذيب. ولكن في اللغات الأخرى، بدأوا في الهلوسة (تأليف أشياء من خيالهم).
- مثال: في الإنجليزية، قد يقول الذكاء الاصطناعي بشكل صحيح: "هذا الكلب على مقعد".
- بالفرنسية (بشكل خاطئ): نفس الذكاء الاصطناعي قد يقول: "هذا الكلب على مقعد مكتوب عليه 'WATSON BOWL'"، رغم أن المقعد في الصورة لا يحتوي على أي كتابة. لقد كان الذكاء الاصطناعي حريصاً جداً على أن يبدو ذكياً بالفرنسية لدرجة أنه اخترع تفاصيل لم تكن موجودة.
4. الرابحون والخاسرون
- عمالقة التكنولوجيا الكبرى: كانت النماذج الأكثر تكلفة والمغلقة المصدر (مثل GPT-5) هي الأكثر اتساقاً. كانوا مثل الدبلوماسيين متعددي اللغات الذين يمكنهم التبديل بين اللغات دون فقدان هدوئهم.
- أبطال المصدر المفتوح: للمفاجأة، أظهرت عائلة نماذج تسمى Qwen أداءً ممتازاً، وغالباً ما هزمت نماذج أكبر وأكثر تكلفة بكثير. كانوا مثل الرياضيين المستضعفين الذين تدربوا بجهد أكبر وتكيفوا بشكل أفضل من المرشحين المفضلين.
- النماذج "المتخصصة": بعض النماذج التي بُنيت خصيصاً لتكون قضاة (مثل LLaVA-Critic) أدت في الواقع بشكل أسوأ من النماذج العامة. الأمر يشبه توظيف متخصص يعرف قواعد اللعبة، ولكنه ينسى كيف يلعبها.
5. لماذا يهم هذا؟
تخلص الورقة البحثية إلى أننا لا يمكننا الوثوق بقضاة الذكاء الاصطناعي هؤلاء في عالم عالمي بعد.
إذا استخدمت شركة ما ذكاءً اصطناعياً لتحديد أي روبوت دردشة لخدمة العملاء هو "الأفضل" لمستخدم يتحدث الفرنسية، ولكن القاضي (الذكاء الاصطناعي) يتحدث الإنجليزية جيداً فقط، فقد تختار الشركة روبوت الدردشة الخاطئ. قد يظن القاضي الآلي أن الإجابة السيئة جيدة لمجرد أنها مكتوبة بلغة لا يفهمها القاضي تماماً.
الخلاصة
يقول الباحثون: "توقفوا عن اختبار قضاة الذكاء الاصطناعي لديكم بالإنجليزية فقط." مجرد كون النموذج ذكياً في لغة واحدة لا يعني أنه ذكي في جميع اللغات. لبناء ذكاء اصطناعي موثوق حقاً، نحتاج إلى اختبارهم في الواقع الفوضوي والمتنوع للعالم أجمع، وليس فقط داخل الفقاعة المريحة للغة الإنجليزية.
لقلقوا أيضاً بنشر "دليل تدريب" (مجموعة بيانات) لمساعدة هؤلاء القضاة من الذكاء الاصطناعي على تعلم كيف يكونون أفضل في اللغات الأخرى، آملين في حل المشكلة قبل أن تسبب صداعاً في العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.