How Well Does GPT-4o Understand Vision? Evaluating Multimodal Foundation Models on Standard Computer Vision Tasks
تقوم هذه الورقة البحثية بتقييم نماذج التأسيس متعددة الوسائط الرائدة مثل GPT-4o في مهام الرؤية الحاسوبية القياسية باستخدام إطار عمل مبتكر لتسلسل الأوامر (prompt-chaining) لتكشف أنها، بينما تعمل كنماذج عامة محترمة ذات فهم دلالي قوي، إلا أنها لا تزال تتخلف عن النماذج المتخصصة في المهام الهندسية وتظهر أنماط فشل محددة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مجموعة من أمناء المكتبات الأذكياء للغاية والمثقفين (نماذج التأسيس متعددة الوسائط أو MFMs، مثل GPT-4o وGemini وClaude). هؤلاء الأمناء قرأوا كل ما تقريباً على الإنترنت ويمكنهم وصف صورة بتفاصيل شاعرية رائعة. وهم مشهورون بالإجابة على أسئلة مثل: "ماذا يحدث في هذه الصورة؟" أو "اكتب قصة عن هذا الكلب".
لكن الباحثين في EPFL طرحوا سؤالاً مختلفاً: "هل يمكن لهؤلاء الأمناء القيام بعمل مصور محترف أو مهندس معماري ثلاثي الأبعاد؟"
لمعرفة ذلك، لم يكتفوا بطلب الدردشة من هؤلاء الأمناء، بل أخضعوهم لسلسلة من الاختبارات التقنية الصارمة المخصصة عادةً لروبوتات الرؤية الحاسوبية المتخصصة. إليكم كيف فعلوا ذلك وما وجدوه، مشروحاً ببساة.
التحدي: مشكلة "النص فقط"
المشكلة الرئيسية هي أن هذه النماذج الذكية مدربة على الكلام، وليس على الرسم أو القياس. إذا طلبت من روبوت رؤية قياسي "ابحث عن القطة"، فإنه يرسم مربعاً حولها. أما إذا سألت ذكاءً اصطناعياً يعتمد على النصوص، فقد يقول: "أنا أرى قطة".
لاختبارهم بشكل عادل، ابتكر الباحثون لعبة ترجمة تسمى "سلسلة الأوامر" (Prompt Chaining).
- التشبيه: تخيل أنك معصوب العينين وتحتاج للعثور على كتاب معين في مكتبة ضخمة. لا يمكنك الرؤية، لكن يمكنك طرح أسئلة على دليل.
- الطريقة: بدلاً من طلب "ارسم مربعاً حول القطة" من الذكاء الاصطناعي (وهو ما لا يستطيع فعله بشكل أصيل)، قام الباحثون بتفكيك المهمة إلى خطوات صغيرة تعتمد على النصوص. سألوا الذكاء الاصطناعي: "هل توجد قطة في الزاوية العلوية اليسرى؟" "لا". "هل توجد قطة في المنتصف؟" "نعم". ثم "هل هي في النصف العلوي من المنتصف؟" "نعم".
- من خلال ربط هذه الأسئلة الصغيرة التي تعتمد على "نعم/لا" معاً، يقوم الذكاء الاصطناعي في النهاية ببناء خريطة لمكان الكائن، مما يؤدي فعلياً إلى "رسم" مربع أو قناع (mask) عبر النص وحده. سمح هذا للباحثين بمقارنة "المتحدثين" (النماذج اللغوية) مقابل "الفاعلين" (النماذج المتخصصة) في نفس المهام تماماً.
الامتحان: ماذا اختبروا؟
أعطى الباحثون النماذج ستة أنواع مختلفة من الاختبارات، تتراوح من السهلة إلى الصعبة جداً:
- التصنيف (Classification): "ما هذا؟" (مثل تحديد حمار وحشي).
- كشف الأشياء (Object Detection): "أين الحمار الوحشي؟" (رسم مربع حوله).
- التقسيم (Segmentation): "أي بكسلات تنتمي للحمار الوحشي؟" (تلوين الحمار الوحشي بدقة).
- التجميع (Grouping): "إذا نقرت على أذن الحمار الوحشي، أي بكسلات أخرى تنتمي لنفس الحمار الوحشي؟"
- توقع العمق (Depth Prediction): "أي جزء من الصورة أقرب إلى الكاميرا؟" (إنشاء خريطة مسافة ثلاثية الأبعاد).
- الناظم السطحي (Surface Normals): "في أي اتجاه يواجه السطح؟" (هل هذا الجدار يواجه اليسار، اليمين، الأعلى، أم الأسفل؟).
النتائج: "العام" مقابل "المتخصص"
1. هم "عامون" رائعون، لكن ليسوا "متخصصين".
أدّى الذكاء الاصطناعي أداءً جيداً بشكل مفاجئ كونه نموذجاً عاماً. استطاعوا تحديد الأشياء وفهم المشهد العام بشكل أفضل من التخمين العشوائي. ومع ذلك، لا يزالون يتخلفون بشكل كبير عن الروبوتات المتخصصة المصممة خصيصاً لهذه المهام.
- التشبيه: الذكاء الاصطناعي يشبه طبيب ممارس عام بارع يعرف القليل عن كل شيء. النماذج المتخصصة تشبه جراحي الأعصاب؛ الطبيب العام يمكنه تشخيص صداع، لكنه لا يستطيع إجراء جراحة دماغ بنفس كفاءة الجراح.
2. الفجوة بين "الدلالي" و"الهندسي"
كانت النماذج أفضل بكثير في المهام الدلالية (Semantic) (فهم ماهية الأشياء) من المهام الهندسية (Geometric) (فهم أين توجد الأشياء في الفضاء ثلاثي الأبعاد).
- استطاعوا إخبارك "هذا حمار وحشي" بسهولة.
- لكنهم عانوا لإخبارك "هذا الحمار الوحشي يبعد 5 أمتار وظهره يواجه اليسار قليلاً".
- التشبيه: هم بارعون في وصف حبكة فيلم، لكنهم سيئون في تصميم الديكور أو حساب فيزياء الانفجارات.
3. مشكلة "الرؤية الضبابية"
عندما حاول الباحثون جعل الذكاء الاصطناعي يرسم خطوطاً دقيقة، عانت النماذج غالباً مع التفاصيل الدقيقة. بدا الأمر كما لو كان لديهم "رؤية ضبابية".
- لإصلاح ذلك، اضطر الباحثون إلى إعطاء الذكاء الاصطناعي "قصاصات" مكبرة من الصورة (مثل النظر عبر عدسة مكبرة) لمساعدته على رؤية الحواف بوضوح. بدون هذه المساعدة، كانت الخطوط التي يرسمها الذكاء الاصطناعي غير دقيقة.
4. نماذج "الاستنتاج" تغير قواعد اللعبة
اختبر البحث نوعاً جديداً من الذكاء الاصطناعي يسمى "نماذج الاستنتاج" (مثل o1، o3، وo4-mini). هذه النماذج تأخذ وقتاً إضافياً لـ "التفكير" قبل الإجابة.
- النتيجة: كانت هذه النماذج المفكرة أفضل بكثير في مهام الهندسة ثلاثية الأبعاد الصعبة (العمق والناظم السطحي) من النماذج القياسية. يبدو أنها تستخدم المنطق لتحديد العلاقات المكانية، بينما تعتمد النماذج القياسية على التخمين بناءً على الأنماط.
5. مشكلة "الهلوسة"
عندما اختبر الباحثون أحدث نسخة من GPT-4o، والتي يمكنها في الواقع توليد الصور (رسم الصور) بدلاً من مجرد التحدث، وجدوا أنها عرضة لـ الهلوسة.
- التشبيه: إذا طلبت منه "ارسم الحمار الوحشي"، فقد يرسم حماراً وحشياً، ولكنه قد يضيف بالخطأ قرناً وحيد القرن أو يضع أرجل الحمار في مكان خاطئ. توليد الصور واعد ولكنه غير موثوق حالياً للمهام الدقيقة.
الخلا الخلاصة
يخلص البحث إلى أنه رغم كون هذه النماذج الضخمة مثيرة للإعجاب كـ "عامين" يمكنهم فهم معنى الصورة، إلا أنها ليست جاهزة بعد لتحل محل الأدوات المتخصصة التي يستخدمها المهندسون والعلماء للقياسات الدقيقة وإعادة البناء ثلاثي الأبعاد.
ومع ذلك، تُظهر "نماذج الاستنتاج" أولى علامات سد هذه الفجوة، مما يشير إلى أنه مع تعلم الذكاء الاصطناعي "التفكير" بعمق أكبر، فإن قدرته على فهم العالم المادي ثلاثي الأبعاد بدأت تلحق بقدرته على فهم اللغة.
ملاحظة هامة: يؤكد الباحثون أن طريقة "سلسلة الأوامر" الخاصة بهم هي أداة اختبار، وليست طريقة عملية لاستخدام هذه النماذج في الحياة الواقعية. إنها تشبه استخدام مسطرة لقياس طول نموذج؛ إنها وسيلة للحصول على رقم، لكنك لن تستخدم المسطرة لبناء منزل. الهدف كان ببساطة معرفة مدى براعة هذه النماذج حقاً، والإجابة هي: "جيدون جداً في التحدث عن الصور، لكنهم لا يزالون يتعلمون كيفية قياسها".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.