NICE FACT: Diagnosing and Calibrating VLMs in Quantitative Reasoning for Kinematic Physics
تقدم هذه الورقة NICE وFACT، وهما نموذج تشخيص مزدوج يقيم ويعاير ثقة نماذج الرؤية واللغة في الاستدلال الفيزيائي الحركي، ويكشف أن النماذج الحالية المتطورة غالبًا ما تفشل في تحديد الشروط البصرية المسبقة بشكل صحيح أو تطبيق القوانين الفيزيائية رغم ثقتها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
الصورة الكبيرة: مشكلة "الأحمق الواثق"
تخيل أنك تجري اختباراً في الفيزياء مع طالب واثق من نفسه للغاية، لكنه في الواقع لا يفهم المادة. يكتب هذا الطالب الإجابة "6.9" لسؤال تكون إجابته الحقيقية هي "6.6".
لأن 6.9 قريبة من 6.6، فإن نظام التصحيح القياسي (الذي يسميه البحث MRA) يعطيه درجة نجاح. لكن النظام ليس لديه وسيلة لمعرفة كيف وصل الطالب إلى هذه النتيجة. هل قام بالفعل بالحسابات؟ أم أنه مجرد تخمين؟
يجادل هذا البحث بأن نماذج الذكاء الاصطناعي الحالية (التي تسمى نماذج الرؤية واللغة أو VLMs) تشبه هذا الطالب. يمكنها أحياناً إعطاء الرقم الصحيح، لكنها غالباً ما تكون مجرد "ببغاوات عشوائية" (stochastic parrots)—تخمن بناءً على الأنماط الموجودة في بيانات تدريبها بدلاً من "رؤية" الفيديو فعلياً أو فهم قوانين الفيزياء.
قدم المؤلفون طريقة جديدة لتقييم هذه النماذج تسمى FACT و NICE.
الجزء الأول: FACT (تشخيص "السبب")
FACT هو نظام تشخيصي يفكك عملية تفكير الذكاء الاصطناعي إلى أربعة مجالات محددة لمعرفة أين يكمن الفشل. فكر في الأمر كأنك ميكانيكي يقوم بتفكيك محرك سيارة للعثور على الجزء المعطل، بدلاً من مجرد النظر إلى عداد السرعة.
وجد المؤلفون أن نماذج الذكاء الاصطناعي هذه تفشل بطرق "إدراكية" ثلاث محددة:
الدقة البصرية (نقطة العمى):
- التشبيه: تخيل أنك تحاول حساب سرعة سيارة، لكنك لا تعرف ما إذا كانت الكاميرا مقربة (Zoom) أم بعيدة.
- النتيجة: غالباً ما يفشل الذكاء الاصطناعي في تحديد الإشارات البصرية الأساسية التي يحتاجها لحل المشكلة. فهو لا يدرك أنه بحاجة إلى "مرجع قياس" (مثل مسطرة في الخلفية) أو أنه بحاجة لتتبع جسم عبر عدة إطارات. إنه يحاول حل الرياضيات بدون المكونات الضرورية.
فهم القوانين الفيزيائية (التركيبة الخاطئة):
- التشبيه: طالب يعرف كلمة "السرعة المتجهة" (velocity) ولكنه يستخدم صيغة "التسارع" (acceleration) لحل المسألة.
- النتيجة: حتى عندما يرى الذكاء الاصطناعي الفيديو، فإنه غالباً ما يختار الصيغة الفيزيائية الخاطئة. هو لا "يعرف" حقاً قوانين الحركة (kinematics)؛ بل يخمن فقط أي صيغة تبدو مناسبة.
التأصيل الزمني (مشكلة الضياع في الزمن):
- التشبيه: مشاهدة فيديو لسقوط كرة، لكن الذكاء الاصطناعي يعتقد أن الكرة سقطت في ثانية واحدة بينما استغرق الأمر في الواقع 3 ثوانٍ.
- النتيجة: الذكاء الاصطناعي سيء جداً في فهم متى تحدث الأشياء. لا يمكنه ربط حدث معين بطابع زمني محدد بدقة. وبدون معرفة الوقت الدقيق، فإن أي عمليات حسابية يقوم بها تكون مبنية على هلوسة.
الجزء الثاني: NICE (معايرة "الثقة")
NICE هي طريقة للتحقق مما إذا كان الذكاء الاصطناعي "صادقاً" بشأن مدى تأكده.
- المشكلة: الذكاء الاصطناعي عادة ما يكون مفرط الثقة. إذا خمن "6.9"، فقد يقول: "أنا متأكد بنسبة 100% أن هذه هي الإجابة". ولكن إذا سألته عن "6.8" أو "7.0" (أرقام قريبة جداً من الإجابة الحقيقية)، فقد يقول: "أنا متأكد بنسبة 0%".
- الاستعارة: تخيل لاعب دارتس يصيب مركز الهدف مرة واحدة ويدعي أنه محترف، لكنه يخطئ الهدف تماماً إذا حاول إصابة نفس البقعة مرة أخرى. إنه يفتقر إلى "الوعي بالمحيط"—فهو لا يدرك أن كونك قريباً من الإجابة هو أمر جيد أيضاً.
- الحل (Nicon): ابتكر المؤلفون أداة جديدة تسمى Nicon لإصلاح هذا. فهي تجبر الذكاء الاصطناعي على إدراك أن الإجابات القريبة من الحقيقة هي أيضاً إجابات "جيدة". إنها تعمل على تنعيم ثقة الذكاء الاصطناعي بحيث لا يراهن بكل شيء على رقم واحد فقط، مما يجعل الذكاء الاصطناعي أكثر موثوقية.
النتائج: ماذا وجدوا؟
اختبر المؤلفون 6 من أذكى نماذج الذكاء الاصطناعي المتاحة (مثل Qwen و Gemma و GLM). وإليكم ما اكتشفوه:
- إنهم "عميان": تفشل النماذج غالباً في رؤية المتطلبات البصرية الأساسية اللازمة لحل المشكلة.
- إنهم "ببغاوات": هم لا يفهمون حقاً الصيغ الفيزيائية؛ بل يحاكون فقط نمط استخدامها.
- إنهم "عميان زمنياً": يواجهون صعوبة في تتبع الوقت بدقة في الفيديوهات.
- الأكبر ليس بالضرورة الأفضل: وجد البحث أن مجرد جعل نماذج الذكاء الاصطناعي أكبر (إضافة المزيد من "القوة الذهنية" أو المعلمات/Parameters) لم يحل هذه المشكلات. فالنموذج الضخم كان مرتبكاً تماماً مثل النموذج الصغير.
الخلاية
يخلص البحث إلى أنه لا يمكننا مجرد قياس الذكاء الاصطناعي بمدى عدد الإجابات التي يحصل عليها بشكل صحيح (الدقة). نحن بحاجة إلى قياس كيف يصل إليها.
لبناء ذكاء اصطناعي يمكنه حقاً التفاعل مع العالم المادي (مثل الروبوتات)، نحتاج إلى التوقف عن معاملتهم كـ "صناديق سوداء" تخرج أرقاماً فقط. بدلاً من ذلك، نحتاج إلى استخدام أدوات مثل FACT و NICE لإجبارهم على "رؤية" الفيديو فعلياً، و"فهم" الفيزياء، و"معرفة" متى يكونون غير متأكدين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.