VisText-VLM2Plastic: A Bilingual Benchmark for Visual Grounding and Environmental Reasoning in Vision-Language Models
تقدم هذه الورقة VisText-VLM2Plastic، وهو معيار ثنائي اللغة (الإنجليزية-البنغالية) للربط البصري للنفايات البلاستيكية والاستدلال البيئي، والذي يكشف أنه بينما تحقق نماذج الرؤية واللغة المتطورة دقة عالية في التعرف، إلا أنها تظهر فجوات أداء كبيرة بين اللغات وتفاوتًا في الاعتماد على الأدلة البصرية عبر أنواع المهام المختلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلف ولم يصادق عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً تستطيع فيه الحواسيب النظر إلى صورة فوتوغرافية وفهم ليس فقط الأشياء الموجودة فيها، بل وأيضاً القصة التي ترويها تلك الأشياء عن بيئتنا. هذا هو الوعد الذي تقدمه نماذج الرؤية واللغة، وهي نوع من الذكاء الاصطناعي يجمع بين القدرة على رؤية الصور والقدرة على قراءة وكتابة اللغة. لسنوات طويلة، اختبر الباحثون هذه الأنظمة بأسئلة مثل "ما لون السيارة؟" أو "كم عدد الأشخاص في الغرفة؟". ومع ذلك، ظهرت فجوة حرجة: فنحن لا نعرف ما إذا كانت هذه النماذج تنظر حقاً إلى الصورة للإجابة، أم أنها تكتفي بالتخمين بناءً على الكلمات الموجودة في السؤال. وهذا أمر بالغ الأهمية خاصة عندما تتعلق الأسئلة بمواضيع معقدة مثل التلوث، حيث قد يعرف الكمبيوتر حقائق عامة عن النفايات البلاستيكية دون الحاجة أبداً لرؤية النفايات المحددة الموجودة أمامه. علاوة على ذلك، أُجريت معظم هذه الاختبارات باللغة الإنجليزية، مما ترك فجوة كبيرة في فهم كيفية أداء هذه الأنظمة في لغات رئيسية أخرى، مثل اللغة البنغالية، التي يتحدث بها مئات الملايين ولكنها تظل ممثلة تمثيلاً ناقصاً في الأبحاث الرقمية.
ولمعالجة هذه القضايا، أنشأ باحث في جامعة يونايتد الدولية اختباراً جديداً ومنضبطاً صُمم ليرى ما إذا كان الذكاء الاصطناعي يمكنه حقاً "تأصيل" إجاباته في الأدلة المرئية، وتحديداً فيما يتعلق بالنفايات البلاستيكية. ركزت الدراسة، التي تحمل عنوان VisText-VLM2Plastic، على معيار ثنائي اللغة، مما يعني أنها اختبرت نفس المجموعة من الصور والأسئلة بكل من الإنجليزية والبنغالية. جمع الباحثون 136 صورة متميزة لمخلفات بلاستيكية وُجدت في مواقع مختلفة، والتي استُخدمت لاحقاً لإنشاء 402 سجلاً صورياً. ومن هذه الصور، قاموا بتوليد أكثر من 2,400 زوج من الأسئلة والأجوبة. وقد وقعت هذه الأسئلة في ثلاث فئات: التعرف البسيط (تحديد نوع البلاستيك)، والوصف البصري (وصف شكل الجسم)، والاستدلال البيئي (شرح سبب ضرر هذه النفايات للبيئة). وكان الهدف هو معرفة ما إذا كانت النماذج قادرة على الإجابة بشكل صحيح في كلتا اللغتين، وما إذا كانت ستفشل في حال تمت إزالة الصورة، مما يثبت أنها كانت تعتمد على الصورة بدلاً من مجرد الحقائق المحفوظة.
اختبر الباحثون أربعة نماذج مختلفة من الذكاء الاصطناعي المتقدم على هذا المعيار الجديد، وطالبوها بالإجابة على الأسئلة دون أي تدريب مسبق على مجموعة البيانات المحددة. كشفت النتائج عن تسلسل هرمي واضح في الأداء. حقق أحد النماذج، وهو Gemini 2.5 Flash، أعلى دقة، حيث حدد نوع النفايات البلاستيكية بشكل صحيح في 93.5 بالمائة من الحالات. ومع ذلك، ظهر نمط مهم عند مقارنة اللغتين: ففي جميع النماذج، كان الأداء باللغة الإنجليزية أعلى باستمرار من اللغة البŋال actually. وكانت الفجوة أكثر وضوحاً في مهام الاستدلال البيئي، حيث كانت درجات اللغة الإنجليزية أعلى بنحو أربع نقاط على مقياس معياري من درجات اللغة البنغالية. يشير هذا إلى أنه بينما أصبحت هذه الأنظمة قادرة للغاية، إلا أنها لا تزال تواجه صعوبة في تطبيق نفس المستوى من الفهم عند الانتقال إلى لغة مثل البنغالية التي تتوفر لها موارد رقمية أقل للتدريب.
ربما كانت النتيجة الأكثر كشفاً هي التي جاءت من تجربة محددة حيث قام الباحثون بإزالة الصور تماماً، تاركين النماذج مع نص الأسئلة فقط. عندما طُلب منها تحديد نوع البلاستيك أو وصف مظهره، انهار أداء النماذج بشكل كبير بدون المدخلات المرئية، حيث انخفض بأكثر من 50 نقطة. وقد أكد هذا أن النماذج كانت بالفعل تنظر إلى الصورة في هذه المهام. ومع ذلك، تغيرت القصة بالنسبة لأسئلة الاستدلال البيئي؛ فعندما تمت إزالة الصورة، انخفضت قدرة النماذج على الإجابة على الأسئلة المتعلقة بأخطار التلوث البلاستيكي بنحو 11 نقطة فقط. تشير هذه الفجوة الصغيرة إلى أن النماذج لم تكن تعتمد بشكل صارم على الصورة لهذه الأسئلة المحددة؛ بل تمكنت من تقديم إجابات منطقية بناءً على معرفتها العامة بالتلوث البلاستيكي، مثل حقيقة أنه يسد المصارف أو يضر بالحياة البرية، حتى عندما لم تتمكن من رؤية الزجاجة أو الغلاف المحدد في الصورة الفوتوغرافية.
تخلص الدراسة إلى أن مجرد قياس عدد المرات التي يحصل فيها النموذج على الإجابة الصحيحة ليس كافياً للحكم على ذكائه. يمكن للنموذج أن يعطي إجابة صحيحة حول الضرر البيئي دون أن يفهم حقاً الأدلة المرئية أمامه. وجد الباحثون أنه لكي يكون النموذج موثوقاً حقاً في هذا المجال، يجب اختباره ليس فقط على درجته النهائية، بل أيضاً على اتساقه عبر اللغات المختلفة وحساسيته للمدخلات المرئية. يسلط هذا العمل الضوء على أنه بينما يقطع الذكاء الاصطناعي خطوات واسعة في فهم عالمنا، فلا يزال هناك طريق طويل قبل أن نتمكن من الوثوق بهذه الأنظمة لتحليل القضايا البيئية بجميع اللغات بنفس العمق والاعتماد على الأدلة الواقعية. يعمل هذا المعيار كأداة تشخيصية، توضح أن الأنظمة المستقبلية بحاجة إلى أن تُصمم لفرض اتصال أقوى بين ما تراه وما تقوله، لضمان أنها لا تكتفي بسرد الحقائق بل تراقب العالم من حولها حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.