Do Vision-Language-Models show human-like logical problem-solving capability in point and click puzzle games?
تقدم هذه الورقة VLATIM، وهو معيار مرجعي قائم على لعبة *The Incredible Machine 2* يكشف عن فجوة كبيرة بين قدرات التخطيط رفيعة المستوى والربط البصري الدقيق للنماذج اللغوية الرؤية الحالية، مما يثبت أنها لم تحقق بعد قدرات حل المشكلات المنطقية الشبيهة بالبشر في بيئات الألغاز التفاعلية القائمة على النقر والتشير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً (روبوت) ذكياً جداً. يمكنك التحدث إليه، وإظهار الصور له، وطلب حل لغز منه. السؤال الكبير الذي تطرحه هذه الورقة البحثية هو: هل هذا الروبوت ذكي بما يكفي ليفكر ويتصرف مثل البشر عند لعب لعبة ألغاز معقدة من نوع "النقر والتحريك" (point-and-click)؟
ولمعرفة ذلك، صمم الباحثون اختباراً خاصاً يسمى VLATIM. استخدموا فيه لعبة كلاسيكية من التسعينيات تسمى The Incredible Machine 2. في هذه اللعبة، لا تكتفي بمجرد الضغط على الأزرار؛ بل عليك بناء آلات غريبة بأسلوب "روب جولدبيرج" (Rube Goldberg). على سبيل المثال، قد تحتاج إلى إسقاط كرة بولينج على أرجوحة (seesaw) لإطلاق قطة، مما يخيف فأراً، والذي بدوره يقوم بتشغيل مولد لتشغيل خلاط. تتطلب اللعبة فهماً للفيزياء، والسبب والنتيجة، وحركات ماوس دقيقة.
إليك كيف لخصت الورقة أداء الروبوت، باستخدام تشبيهات بسيطة:
1. الاختبار المكون من خمس خطوات
لم يلقِ الباحثون بالروبوت في العمق مباشرة، بل بنوا سلماً من خمس درجات، تزداد صعوبة في كل مرة:
- الدرجة 1 (رصد الأشياء): هل يستطيع الروبوت الإشارة بإصبعه إلى جسم معين على الشاشة؟ (مثلاً: "أين الشمعة؟")
- الدرجة 2 (معرفة القواعد): هل يستطيع الروبوت الإجابة على أسئلة حول كيفية عمل الأشياء؟ (مثلاً: "أي جدار هو زلق؟")
- الدرجة 3 (التنبؤ بالمستقبل): هل يستطيع الروبوت تخمين ما سيحدث بعد ذلك؟ (مثلاً: "إذا أسقطت الكرة، أين ستستقر؟")
- الدرجة 4 (تحريك الأشياء): هل يستطيع الروبوت فعلياً استخدام الماوس للسحب، والإفلات، وتدوير الأشياء؟
- الدرجة 5 (حل اللغز كاملاً): هل يستطيع الروبوت النظر إلى شاشة فارغة، وفهم الهدف، وبناء الآلة كاملة من الصفر؟
2. نوعان من "الروبوتات" التي تم اختبارها
اختبروا خمسة نماذج مختلفة من الذكاء الاصطناي، والتي انقسمت إلى نوعين متميزين من الشخصيات:
"المخططون المكفوفون" (النماذج الضخمة والمكلفة مثل GPT وGemini):
- التشبيه: تخيل لاعب شطرنج عبقرياً، لكنه يرتدي نظارات سميكة وضبابية.
- ما فعلوه: كانوا بارعين جداً في أجزاء التفكير. لقد فهموا الفيزياء، ووضعوا خططاً رائعة، وعرفوا بالضبط ما الذي يجب القيام به.
- الفشل: عندما جاء وقت النقر بالماوس، كانوا سيئين للغاية. لم يستطيعوا رؤية مكان الجسم بدقة. قد يخططون لحركة مثالية ولكنهم ينقرون على بُعد 10 بوصات إلى اليسار، مما يؤدي إلى تفويت الهدف تماماً. كانوا "مكفوفين" عن التفاصيل الدقيقة اللازمة لتنفيذ أفكارهم الذكية.
"المشغلون قاصرو النظر" (النماذج المتخصصة مثل UI-Tars):
- التشبيه: تخيل جراحاً دقيقاً جداً بيدين ثابتتين، لكنه لا يملك أدنى فكرة عن العملية الجراحية التي ينبغي له إجراؤها.
- ما فعلوه: كانوا رائعين في النقر على المكان الصحيح. إذا قلت لهم "انقر هنا"، يفعلون ذلك بدقة.
- الفشل: لم يستطيعوا التفكير مسبقاً. لم يفهموا سلسلة التفاعلات. قد ينقرون على الزر الصحيح ولكن بالترتيب الخاطئ، أو يعلقون في حلقة مفرغة من تكرار نفس الشيء مراراً وتكراراً، دون إدراك أنهم يفشلون.
3. الحكم النهائي: الفجوة بين التفكير والتنفيذ
الاستنتاج الرئيسي للورقة هو أن نماذج الذكاء الاصطناعي الحالية لا تمتلك بعد مهارات حل المشكلات التي تشبه مهارات البشر في هذه الألعاب.
- الانفصال: هناك فجوة كبيرة بين التخطيط والتنفيذ. النماذج الأكثر ذكاءً يمكنها التخطيط للحل ولكنها تفشل في تنفيذه لأنها لا تستطيع "الرؤية" بدقة كافية. والنماذج التي تستطيع "الرؤية" بدقة ليست ذكية بما يكفي للتخطيط للحل.
- النتيجة: في الاختبار النهائي (حل اللغز كاملاً)، فشل كل نموذج. لم يستطع أي منها بناء الآلة بنجاح من البداية إلى النهاية.
4. لماذا يهم هذا الأمر (وفقاً للورقة)
أراد الباحثون معرفة ما إذا كان بإمكان الذكاء الاصطناي مجرد "قراءة الدليل" ولعب اللعبة مثل البشر. وجدوا أنه بينما يتحسن الذكاء الاصطاني في فهم اللغة والصور بشكل منفصل، فإنه لا يزال يعاني في الجمع بين الاستدلال المنطقي (التفكير) والعمل المستمر (التحكم الدقيق بالماوس).
باخت اختصار: الذكاء الاصطناي يشبه مهندساً معمارياً عبقرياً يمكنه رسم مخطط مثالي، ولكنه لا يستطيع إمساك المطرقة بثبات كافٍ لبناء المنزل. وحتى يتمكن الذكاء الاصطاني من القيام بالأمرين في وقت واحد، فلن يتمكن حقاً من حل هذه الألغاز مثل البشر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.