PHYSICS: Benchmarking Foundation Models on University-Level Physics Problem Solving
تقدم الورقة البحثية PHYSICS، وهو معيار شامل يتكون من 1,297 مسألة في الفيزياء على المستوى الجامعي تم تصنيفها من قبل خبراء، والذي يكشف أن حتى أكثر النماذج التأسيسية تقدمًا مثل o3-mini تعاني في الاستدلال العلمي عالي المستوى، حيث تحقق دقة تبلغ 59.9% فقط رغم استراتيجيات التحسين المختلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك قمت ببناء أسطول من الروبوتات الذكية للغاية والسريعة للغاية. هذه الروبوتات قرأت كل كتاب تقريبًا في المكتبة، ويمكنها حل الألغاز الرياضية المعقدة بشكل أسرع من الآلة الحاسبة البشرية. تريد أن تعرف: هل تستطيع هذه الروبوتات حقًا التفكير مثل عالم فيزياء حقيقي؟
هذا بالضبط ما أراد الباحثون وراء معيار PHYSICS اكتشافه. لم يكتفوا بسؤال الروبوتات عن ألغاز بسيطة؛ بل أعطوها "امتحانًا نهائيًا بمستوى الدكتوراه" في الفيزياء.
إليك قصة تجربتهم، مقسمة ببساطة:
1. الامتحان: "الاختبار النهائي للفيزياء"
أنشأ الباحثون اختبارًا جديدًا يسمى PHYSICS. فكر في الأمر كبنك أسئلة رقمي ضخم يحتوي على 1,297 مسألة صعبة.
- من أين جاءت الأسئلة؟ لم يبتكرها الباحثون من خيالهم؛ بل أُخذت من امتحانات تأهيلية حقيقية وشاقة يتعين على طلاب دكتوراه الفيزياء الحقيقيين اجتيازها ليصبحوا علماء محترفين.
- ماذا يوجد في الاختبار؟ يغطي الاختبار المجالات الستة الكبرى للفيزياء: كيفية حركة الأشياء (الميكانيكا)، سلوك الذرات (ميكانيكا الكم)، الحرارة والطاقة (الديناميكا الحرارية)، الكهرباء والمغناطيسية، الضوء (البصريات)، والفيزياء الذرية.
- اللمسة المميزة: على عكس الاختبارات المدرسية حيث تختار فقط "أ، ب، ج، أو د"، فإن هذه الأسئلة مفتوحة النهايات. يجب على الروبوت كتابة الحل كاملاً، موضحاً خطوات عمله، تمامًا مثل الطالب البشري.
2. آلة التصحيح: "المعلم الروبوت"
كيف تصحح واجبات الرياضيات الخاصة بالروبوت دون أن يقرأ إنسان كل صفحة؟ قام الفريق ببناء نظام تصحيح آلي صارم للغاية.
- يستخدم النظام أداة رقمية تسمى SymPy (فكر فيها كروبوت مدقق للرياضيات) للتحقق مما إذا كان جواب الروبوت صحيحًا رياضيًا، حتى لو كتب الروبوت الجواب بطريقة مختلفة قليلاً.
- إذا كانت الرياضيات غريبة جدًا بحيث لا يستطيع الروبوت التحقق منها، فإنه يستدعي "معلمًا احتياطيًا" (ذكاءً اصطناعيًا أكثر تقدمًا) لقراءة المنطق وتحديد ما إذا كان منطقيًا أم لا.
3. النتائج: "الروبوتات تصطدم بالحائط"
اختبر الباحثون 33 نموذجًا من أذكى نماذج الذكاء الاصطناعي المتاحة اليوم، بما في ذلك "الأبطال" مثل o3-mini و GPT-4o و DeepSeek-R1.
لوحة النتائج:
- أفضل روبوت: حتى النموذج الأكثر ذكاءً، o3-mini، لم يحصل إلا على حوالي 60% من الأسئلة بشكل صحيح.
- متوسط الروبوتات: حصلت معظم النماذج الرائدة الأخرى على درجات تتراوح بين 30% إلى 40%.
- المعيار البشري: لاحظ الباحثون أن الخبير البشري، إذا مُنح الوقت الكافي، سيحقق عادةً ما بين 70% و 80%.
الخلاصة الكبرى: حتى الذكاء الاصطناعي الأكثر تقدمًا لا يزال يعاني للوصول إلى مستوى خبير الفيزياء البشري. إنهم يشبهون طالبًا حفظ الكتاب المدرسي عن ظهر قلب، لكنه يعلق عندما يُطلب منه تطبيق القواعد في سيناريو حقيقي معقد.
4. لماذا فشلوا؟ ("قاعة الأخطاء")
نظر الباحثون بدقة في سبب حصول الروبوتات على إجابات خاطئة. ووجدوا خمس عادات سيئة رئيسية:
- اختراع القواعد: أحيانًا، اخترعت الروبوتات حقائق لم تكن موجودة في السؤال. الأمر يشبه طالبًا يحاول تخمين عقل المعلم ويضيف قواعد إضافية غير موجودة.
- تجاهل الصورة: الكثير من مسائل الفيزياء تأتي مع رسوم توضيحية. غالبًا ما أخطأت الروبوتات في قراءة الصورة، معتقدة أن سلكًا متصل بطريقة ما بينما هو في الواقع متصل بطريقة أخرى.
- فخ "الإفراط في التفكير": حاولت بعض الروبوتات التفكير بعمق شديد وكتابة الكثير من الكلام لدرجة أنها نفدت منها المساحة أو ارتبكت بسبب تفسيراتها الطويلة. لقد ضاعت في تفاصيل استنتاجاتها.
- هفوات رياضية: حتى عندما كان المنطق مثاليًا، كانت ترتكب أخطاء حسابية بسيطة في المعادلات المعقدة، مثل خطأ بشري في كتابة عملية حسابية طويلة.
- فقدان الهدف: في بعض الأحيان، كانت تسوء فهم ما يطلبه السؤال بالفعل، فتجيب على سؤال مختلف تمامًا.
5. هل حاولوا المساعدة؟ (تجربة "ورقة الغش")
حاول الباحثون بعض الحيل لمساعدة الروبوتات على الأداء بشكل أفضل:
- التفكير الذاتي (Self-Reflection): أخبروا الروبوتات: "مهلاً، راجعوا عملكم قبل تقديم الإجابة". ساعد هذا قليلاً، وجعل الإجابات أكثر اتساقًا.
- خدعة "جوجل" (RAG): سمحوا للروبوتات بالبحث عن المعلومات عبر الإنترنت أثناء عملهم. ساعد هذا أيضًا في تحسين الدرجات، مما يثبت أن الروبوتات تحتاج أحيانًا فقط إلى تذكير سريع بمعادلة أو حقيقة معينة.
ومع ذلك، حتى مع وجود هؤلاء المساعدين، لم تستطع الروبوتات سد الفجوة تمامًا مع الخبراء البشريين.
الخلاصة
يوضح معيار PHYSICS لنا أنه بينما يعد الذكاء الاصطناعي مذهلاً في الرياضيات والقراءة، فإن حل المشكلات العلمية العميقة والمعقدة لا يزال تحديًا كبيرًا. الروبوتات تشبه الآلات الحاسبة السريعة التي تنسى أحيانًا لماذا تقوم بالعمليات الحسابية. لكي نرفع مستواهم إلى مستوى عالم فيزياء حقيقي، نحتاج إلى تعليمهم التفكير بعمق أكبر، وقراءة الرسوم التوضيحية بشكل أفضل، والتوقف عن اختراع الحقائق.
هذا ليس متعلقًا بالفيزياء فحسب؛ بل هو جرس إنذار بأنه لكي يتمكن الذكاء الاصطناعي من مساعدة العلماء حقًا، يجب أن يصبح أفضل بكثير في "التفكير" مثل الخبير البشري، وليس مجرد "الحساب" مثل الآلة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.