Evaluation of Small Vision-Language Models on Qualitative Mechanical Problems
تقيم هذه الورقة قدرات الاستدلال المكاني والمنطقي لنموذجين من أحدث النماذج متعددة الوسائط، وهما Gemma-3 وQwen-VL، في مهام حل المشكلات الميكانيكية النوعية من خلال تحليل عمليات تسلسل الأفكار لديهما والإجابات النهائية مقارنة بالحلول المرجعية المستمدة من اختبار بينيت للاستيعاب الميكانيكي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تمتلئ الحياة اليومية بالألغاز الميكانيكية التي نحلها دون أن نلجأ أبداً إلى آلة حاسبة. إن فتح صنبور الماء، أو فهم سبب صعوبة دفع صندوق ثقيل على منحدر مقارنة بآخر خفيف، أو معرفة الاتجاه الذي ستدور فيه مجموعة من التروس عند تدوير مقبض ما—هذه هي المهام التي نؤديها باستخدام نوع من المنطق السليم. هذه القدرة، المعروفة بالاستدلال النوعي، تعتمد على فهم كيفية ظهور الأشياء، وملمسها، وعلاقتها ببعضها البعض في الفراغ، بدلاً من الاعتماد على القياسات الدقيقة أو المعادلات المعقدة. وهي مهارة أساسية لدرجة أن أصحاب العمل غالباً ما يستخدمون اختبارات محددة، مثل اختبار "بينيت" للاستيعاب الميكانيكي، لمعرفة ما إذا كان المرشحون للوظائف يمتلكون الحدس الميكانيكي الفطري اللازم لأدوار مثل السباكة، أو طب الطوارئ، أو القيادة. ولعقود من الزمن، تساءل العلماء عما إذا كانت الآلات يمكنها تعلم القيام بالأمر نفسه، ليس فقط عبر معالجة الأرقام، بل من خلال "رؤية" وفهم العالم المادي حقاً كما يفعل البشر.
قام فريق من الباحثين في جامعة ولاية لويزيانا في نيو أورلينز مؤخراً باختبار هذا السؤال من خلال فحص نموذجين جديدين أصغر حجماً من نماذج الذكاء الاصطناعي المصممة للرؤية والقراءة في آن واحد. هذان النموذجان، واللذان يحملان اسم "جيما" (Gemma) و"كيوين" (Qwen)، مُصممان للنظر إلى صورة والإجابة على سؤال حولها، وهي قدرة أصبحت شائعة بشكل متزايد في التكنولوجيا الحديثة. أراد الباحثون معرفة ما إذا كانت هذه الأنظمة قادرة على حل نفس أنواع الألغاز الميكانيكية التي يواجهها البشر، والأهم من ذلك، أرادوا معرفة كيف تفكر الآلات للوصول إلى الإجابة. وبدلاً من مجرد التحقق مما إذا كانت الإجابة النهائية صحيحة أم خاطئة، طلب الفريق من النماذج شرح استدلالها خطوة بخط-وة، مما كشف عن المنطق الداخلي الذي استخدمته للوصول إلى استنتاج. لقد اختبروا النماذج في ثلاثين مسألة مختلفة تتضمن التروس، وضغط الماء، والموجات الصوتية، والحرارة، مغطيةً نطاقاً من الصعوبات من السهل إلى الصعب.
رسمت النتائج صورة تجمع بين الوعود والقيود الكبيرة. فعندما كانت المسائل مباشرة وكانت القرائن البصرية واضحة، أدى كلا النموذجين أداءً جيداً، حيث حددا الحل بشكل صحيح وشرحا منطقهما بتدفق واضح وخطوة بخطوة. في هذه الحالات المثالية، نجحت الآلات في ربط ما رأته بقواعد الفيزياء، تماماً مثل طالب درس المادة ويفهم المفاهيم. ومع ذلك، عندما أصبحت المسائل أكثر دقة أو تطلبت فهماً أعمق للعلاقات المكانية، بدأت النماذج في التعثر. جزء كبير من أخطائها لم يكن ناتجاً عن نقص في المعرفة، بل عن فشل في رؤية الصورة بشكل صحيح. في إحدى الحالات المتعلقة بغواصة وموجة صوتية، اخترع كلا النموذجين تفاصيل لم تكن موجودة، مثل تحرك الغواصة نحو الانفجار أو بعيداً عنه، بينما أظهرت الصورة مشهداً ثابتاً. ولأنها توهمت بوجود هذه الحركة، طبقت المنطق الخاطئ ووصلت إلى الإجابة الخاطئة، رغم أن الحل الحقيقي كان يعتمد ببساطة على سرعة انتقال الصوت عبر الماء مقابل الهواء.
وفي حالات أخرى، حصلت النماذج على الإجابة الصحيحة لأسباب خاطئة، وهو أمر وجده الباحثون كاشفاً بشكل خاص. فقد حدد أحد النماذج بشكل صحيح أي من توربينات المياه الثلاثة ستدور بشكل أسرع، لكن شرحه اعتمد على فهم خاطئ تماماً لكيفية اصطدام نفاثات الماء بالشفرات. لقد خمن النتيجة الصحيحة عن طريق الصدفة، مما غطى على عملية داخلية معيبة. يشير هذا إلى أنه بينما يمكن للنماذج أحياناً محاكاة مظهر الفهم، إلا أنها تفتقر إلى الاستدلال القوي والمتجذر الذي يستخدمه البشر للتحقق من أفكارهم. وجدت الدراسة أن النماذج فشلت في حل حوالي نصف المسائل، حيث نتجت الأخطاء إما من ضعف الاستدلال المكاني—أي فقدان تفاصيل بصرية رئيسية مثل نقاط التلامس أو المسافات—أو من منطق معيب حيث أخطأت في تطبيق القوانين الفيزيائية. على سبيل المثال، في مسألة تتعلق بالتروس، افترض أحد النماذج أن ترساً كبيراً سيؤدي إلى دوران ترس أصغر بسرعة أكبر، وهي قاعدة لا تنطبق على الترتيب المحدد الموضح في الصورة.
خلص الباحثون إلى أنه على الرغم من أن نماذج الرؤية واللغة الصغيرة هذه قادرة على تحقيق إنجازات مثيرة للإعجاب، إلا أنها ليست جاهزة بعد لتحل محل الحدس البشري في المهام الميكانيكية المعقدة. إن القدرة على الحصول على الإجابة الصحيحة ليست كافية؛ إذ يجب أن يكون المسار المؤدي إلى تلك الإجابة منطقياً وقائماً على قراءة حقيقية للعالم المرئي. تسلط الدراسة الضوء على أن الذكاء الاصطناعي الحالي لا يزال يعاني من نوع الاستدلال المكاني العميق القائم على المنطق السليم الذي يسمح للبشر بالتنقل في العالم المادي دون عناء. وللمضي قدماً، يقترح المؤلفون أن الأنظمة المستقبلية ستحتاج إلى التدريب خصيصاً على مهام تتطلب فهم المساحات والعلاقات، وربما الدمج مع أنظمة يمكنها التحقق من الحقائق مقابل المبادئ الفيزيائية المعروفة. وحتى ذلك الحين، تظل الآلات بمثابة طلاب يمكنهم أحياناً اجتياز الاختبار عن طريق التخمين، لكنهم لم يتعلموا بعد الرؤية الحقيقية للعالم كما نفعل نحن.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.