Can VLMs Reason Robustly? A Neuro-Symbolic Investigation
تُثبت هذه الورقة أنه بينما تفشل نماذج الرؤية واللغة القياسية في التعميم تحت تأثير انزياح المتغيرات المصاحبة في مهام الاستنتاج البصري الاستنباطي، يحقق منهج VLC المقترح أداءً قويًا من خلال فصل الإدراك عن الاستنتاج عبر إطار عمل عصبي-رمزي يجمع بين التعرف على المفاهيم القائم على نماذج الرؤية واللغة وبين التنفيذ الرمزي الدقيق للدوائر المنطقية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك طالباً نابغاً يُدعى VLM (نموذج الرؤية واللغة). هذا الطالب مذهل في النظر إلى صورة ووصف ما يراه. إذا عرضت عليه صورة قطة، سيقول: "هذه قطة فروية!". وإذا عرضت عليه غرفة فوضوية، سيقوم بسرد الألعاب والملابس. إنه بارع في الإدراك.
ولكن هنا تكمن المشكلة: عندما تطلب منه حل لغز منطقي بناءً على تلك الصورة، يبدأ في التعثر، خاصة إذا بدا اللغز مختلفاً قليلاً عن الألغاز التي تدرب عليها.
تبحث هذه الورقة البحثية في سبب حدوث ذلك، وتقترح طريقة جديدة لتعليم هؤلاء الطلاب من الذكاء الاصطناي ليفكروا بمنطق سليم.
المشكلة: "المتعلم بالبصم" مقابل "المفكر الحقيقي"
اختبر الباحثون نموذج الـ VLM في ثلاثة أنواع من الألغاز المنطقية:
- جمع الأرقام المكتوبة في صورة.
- حساب عملية "XOR" (لعبة منطقية حيث تقوم بقلب البتات) بناءً على تسلسل من الأرقام.
- التحقق من القواعد المتعلقة بالأشكال والألوان (على سبيل المثال: "هل يجب أن تكون جميع الدوائر الحمراء كبيرة؟").
وقد وجدوا نمطاً محبطاً:
- أسلوب "الحشو" (Cramming): عندما قاموا بتدريب الـ VLM عبر إظهار آلاف الأمثلة له وتركه يخمن الإجابة (وهي طريقة تسمى التدريب الدقيق من الطرف إلى الطرف)، حصل الطالب على 9 la 99% في الاختبارات التجريبية.
- "كارثة الاختبار الجديد": ولكن عندما غير الباحثون الاختبار قليلاً — مثل طلب جمع 7 أرقام بدلاً من 3، أو استخدام خطوط مختلفة — انخفضت درجة الطالب إلى ما يقرب من الصفر.
التشبيه: تخيل أن الطالب لم يتعلم في الواقع كيفية الجمع. بدلاً من ذلك، قام بحفظ الشكل المحدد لمفاتيح الإجابات لمسائل مكونة من 3 أرقام. وعندما أعطيته مسألة مكونة من 7 أرقار، أصيب بالذعر لأن "النمط" الذي حفظه لم يتناسب معها. لقد كان يحشو المعلومات، لا يفكر بمنطق.
الحلول الفاشلة: "الصندوق الأسود"
جرب الباحثون إصلاحين حديثين شائعين:
- Prism: سمحوا للـ VLM بوصف الصورة، ثم سلموا الوصف إلى ذكاء اصطناي نصي فائق الذكاء (LLM) لحل المسألة الرياضية.
- النتيجة: كان الذكاء النصي جيداً في الرياضيات البسيطة، لكنه كان سيئاً جداً في المنطق المعقد. كان الأمر أشبه بتوظيف عبقري في الرياضيات لكنه سيء في اتباع القواعد المنطقية الصارمة.
- ViperGPT: طلبوا من الذكاء الاصطناي كتابة برنامج كمبيوتر لحل المشكلة، ثم قاموا بتشغيل هذا البرنامج.
- النتيجة: نجح هذا الأمر إذا كان البرنامج مثالياً. ولكن إذا ارتكب البرنامج خطأً صغيراً (مثل الخطأ في تحديد شكل ما)، فإن الإجابة بأكملها ستكون خاطئة. كان الأمر أشبه ببناء آلة "روب غولدبيرغ"؛ إذا انزلق ترس واحد، يفشل النظام بأكمله.
الحل: VLC (فريق "الإنسان + الآلة الحاسبة")
اقترح الباحثون نظاماً جديداً يسمى VLC. بدلاً من محاولة جعل عقل واحد ضخم للذكاء الاصطناي يقوم بكل شيء، قاموا بتقسيم المهمة إلى دورين متميزين، مثل المحقق والآلة الحاسبة.
المرحلة 1: المحقق (الـ VLM)
ينظر الـ VLM إلى الصورة ويجيب ببساطة: "ماذا أرى؟"
- "أرى الرقم 6، والرقم 4، والرقم 0."
- "أرى مربعاً أحمر ودائرة زرقاء."
- هو لا يحاول حل اللغز بعد؛ هو فقط يجمع الحقائق.
المرحلة 2: الآلة الحاسبة (الدائرة المنطقية)
هذا هو الجزء السحري. يأخذ الباحثون قواعد اللغز (مثل "اجمع هذه الأرقام" أو "تحقق مما إذا كانت الألوان متطابقة") ويكتبونها في دائرة كمبيوتر صارمة وغير قابلة للتغيير.
- هذه الدائرة تشبه الآلة الحاسبة الميكانيكية أو المخطط الانسيابي. لا يمكنها "التخمين"، ولا يمكنها "الهلوسة". إنها تتبع القواعد بدقة، خطوة بخوة.
- يتم تغذية حقائق "المحقق" في هذه "الآلة الحاسبة".
- تقوم الآلة الحاسبة بمعالجة الأرقام وتخرج الإجابة.
التشبيه:
تخيل أنك تؤدي اختباراً في الرياضيات.
- الطريقة القدلة: تحاول حفظ الإجابات لكل الاختبارات الممكنة. إذا غير المعلم الأرقام، ستفشل.
- طريقة VLC: لديك صديق (الـ VLM) بارع في قراءة الأرقام الموجودة على الورقة وإخبارك ماهيتها. ثم تسلم تلك الأرقام إلى آلة حاسبة روبوتية (الدائرة المنطقية) التي بنيتها بنفسك. الروبوت يعرف قواعد الجمع تماماً. حتى لو كانت الأرقام ضخمة أو الخط غريباً، فإن الروبوت سيحصل دائماً على الإجابة الصحيحة لأنه يتبع القواعد، لا التخمين.
لماذا يهم هذا الأمر؟
تظهر الورقة البحثية أن نظام VLC قوي للغاية.
- لم يهم إذا كان الاختبار يحتوي على 3 أشياء أو 7 أشياء.
- لم يهم إذا كانت الأشياء مكتوبة بخط اليد أو مطبوعة.
- طالما استطاع "المحقق" رؤية الأشياء بوضوح، فإن "الآلة الحاسبة" يمكنها حل اللغز المنطقي بشكل مثالي.
الخلاصة الكبرى:
لجعل الذكاء الاصطناي ذكياً حقاً في التفكير المنطقي، لا ينبغي لنا مجرد إلقاء المزيد من البيانات على عقل ضخم والأمل في أن يفهمها. بدلاً من ذلك، يجب علينا الفصل بين المهام:
- استخدم الذكاء الاصطناي لما هو جيد فيه: الرؤية والتعرف على الأشياء.
- استخدم الأكواد الرمزية الصارمة لما هو سيء فيه: اتباع القواعد المنطقية.
من خلال الجمع بينهما، نحصل على نظام لا يكتفي فقط بـ "حشو المعلومات" للاختبار، بل يفهم فعلياً كيفية التفكير، مما يجعله موثوقاً حتى عندما يتغير العالم من حوله.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.