InteractScience: Programmatic and Visually-Grounded Evaluation of Interactive Scientific Demonstration Code Generation
تقدم هذه الورقة InteractScience، وهو معيار مرجعي وإطار تقييم هجين مبتكر صُمم لتقييم قدرة النماذج اللغوية الكبيرة على توليد كود العروض التوضيحية العلمية التفاعلية من خلال الجمع بين الاختبار الوظيفي البرمجي والتحليل النوعي القائم على الرؤية البصرية عبر خمسة مجالات علمية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تطلب من روبوت ذكي جداً ومطلع بناء تجربة علمية لك. أنت لا تريد مجرد صورة لبركان أو فقرة تشرح كيف تعمل الجاذبية. بل تريد محاكاة تفاعلية عاملة حيث يمكنك سحب شريط تمرير لتغيير سرعة الرياح ومشاهدة صاروخ افتراضي يطير، أو الضغط على زر لرؤية الكواكب وهي تدور في مداراتها.
ورقة البحث "InteractScience" تتحدث عن اختبار مدى جودة روبوتات الذكاء الاصطناعي الأكثر ذكاءً اليوم في بناء هذه الأنواع المحددة من العروض العلمية التفاعلية.
إليك تفصيل ما فعلوه، باستخدام تشبيهات بسيطة:
المشكلة: "المتحدث الذكي" مقابل "الباني الذكي"
لاحظ المؤلفون أن نماذج الذكاء الاصطناعي الحالية بارعة في شيئين منفصلين:
- التحدث عن العلوم: إذا سألت: "ما هي القوى التي تؤثر على كتلة فوق منحدر؟"، يمكن للذكاء الاصطناعي كتابة إجابة نموذجية مثالية.
- بناء مواقع إلكترونية ثابتة: إذا طلبت منه: "اصنع لي مدونة برأس أزرق"، يمكن للذكاء الاصطناعي كتابة الكود، وسيبدو المظهر جميلاً.
ولكن، عندما تطلب من الذكاء الاصطناعي الجمع بينهما — "اصنع لي موقعاً تفاعلياً حيث يمكنني سحب كتلة لأسفل منحدر ورؤية قوى الفيزياء تتغير في الوقت الفعلي" — غالباً ما يفشل الذكاء الاصطناعي. قد يبني منحدرًا يبدو حقيقياً، ولكن عندما تسحب الكتلة، تطير الكتلة خارج الشاشة لأن الرياضيات كانت خاطئة، أو أن الأزرار لا تفعل أي شيء في الواقع.
الأمر يشبه توظيف مهندس معماري يمكنه وصف المنزل بجمال وبناء الطوب بدقة، ولكن عندما يُطلب منه بناء منزل بمصعد يعمل، يكون بئر المصعد فارغاً، أو تكون الأبواب تفتح على جدار من الطوب.
الحل: "شهادة تقييم" جديدة (InteractScience)
قام الباحثون ببناء ساحة اختبار جديدة تسمى InteractScience. وبدلاً من مجرد سؤال الذكاء الاصطناعي لكتابة كود وتمني أن يعمل، أنشأوا نظام درجات صارم يتكون من جزأين متميزين، مثل معلم يتحقق من كل من الرياضيات والرسم في مشروع الطالب.
الجزء الأول: "المفتش الروبوتي" (الاختبار الوظيفي البرمجي)
تخيل مفتشاً روبوتياً لا يهتم بمدى جمال الموقع الإلكتروني. هذا الروبوت لديه قائمة مراجعة لأفعال محددة:
- "اضغط على زر 'ابدأ'."
- "حرك شريط التمرير إلى 50%."
- "تحقق مما إذا كان الرقم على الشاشة قد تغير من 10 إلى 20."
إذا فشل كود الذكاء الاصطناعي في القيام بما طلبه الروبوت بالضبط، فإنه يحصل على صفر في هذا الجزء. هذا يتحقق مما إذا كانت المنطق يعمل.
الجزء الثاني: "الناقد الفني" (الاختبار النوعي القائم على الرؤية)
تخيل ناقداً فنياً ينظر إلى الصورة النهائية. لكن هذا ليس مجرد تخمين بشري؛ بل هو حكم ذكاء اصطناعي فائق الذكاء.
- لدى الحكم صورة مرجعية (المعيار الذهبي لما يجب أن يبدو عليه العرض).
- لدى الحكم قائمة مراجعة (مثلاً: "هل السهم يشير في الاتجاه الصحيح؟" "هل المنحنى سلس؟").
- يقوم الحكم بمقارنة نتيجة الذكاء الاصطناعي بالصورة وقائمة المراجعة.
هذا يتحقق مما إذا كانت العلوم والمرئيات صحيحة.
ما وجدوه
اختبر الباحثون 30 نموذجاً مختلفاً من الذكاء الاصطناعي (سواء المجانية أو المدفوعة) على 150 مشكلة علمية مختلفة، تتراوح من السهلة (الرسوم البيانية الرياضية) إلى الصعبة (محاكاة الفيزياء المعقدة).
إليك المفاجأة الكبيرة التي وجدوها:
- "الهيكل" جيد: معظم أنظمة الذكاء الاصطناعي بارعة في بناء "هيكل" التطبيق. يمكنها جعل الأزرار، وأشرطة التمرير، والقوائم تظهر وتعمل. إذا ضغطت على زر، فإنه يُضغط. (هذا يشبه اجتياز الذكاء الاصطناعي لاختبار "الضغط" الخاص بالمفتش الروبوتي).
- "الدماغ" معطل: ومع ذلك، عندما يحاول الذكاء الاصطناعي فعلياً تطبيق العلم، فإنه غالباً ما يفشل. قد يتحرك شريط التمرير، لكن معادلة الفيزياء وراءه خاطئة. قد تسقط الكرة، لكنها تسقط في الاتجاه الخاطئ.
- الفجوة: هناك فجوة كبيرة بين "جعل الأزرار تعمل" وبين "جعل العلم يعمل". يمكن للذكاء الاصطناعي بناء سيارة بأبواب تعمل وطلاء لامع، لكن المحرك لا يدير العجلات.
لماذا هذا مهم
تجادل الورقة بأننا لا نستطيع الوثوق بالذكاء الاصطناعي لبناء الأدوات العلمية بعد. إذا استخدم طالب محاكاة تم إنشاؤها بواسطة الذكاء الاصطناعي لتعلم الفيزياء، وكانت المحاكاة تحتوي على خطأ رياضي خفي، فسيتعلم الطالب الشيء الخاطئ.
InteractScience هو أول أداة تجبر الذكاء الاصطناعي على إثبات قدرته على القيام بكل من البرمجة والعلم بشكل صحيح، وليس أحدهما فقط. إنه اختبار للواقع لمستقبل الذكاء الاصطناعي في التعليم.
الخلاصة
تخلص الورقة إلى أنه بينما يتحسن الذكاء الاصطناعي في كتابة الكود، فإنه لا يزال يكافح لـ دمج المعرفة العلمية العميقة في تلك الأكواد. الأمر يشبه طالباً يمكنه حفظ القاموس ولكنه لم يتعلم بعد كيفية كتابة قصة. يأمل الباحثون أن يساعد هذا الاختبار الجديد المطورين على إصلاح أخطاء "الدماغ" هذه حتى يتمكن الذكاء الاصطناعي في المستقبل من أن يكون شريكاً موثوقاً حقاً في العلوم والتعليم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.