PhysElite: How Far Are LLMs from Solving Olympiad-Level Physics Problems?
تقدم الورقة البحثية PhysElite، وهو معيار ثنائي اللغة متعدد الوسائط واسع النطاق يحتوي على 11,586 مسألة فيزياء بمستوى الأولمبياد مع حلول خطوة بخطوة، والذي يكشف أن أكثر النماذج اللغوية الكبيرة متعددة الوسائط تقدماً في الوقت الحالي لا تحقق سوى دقة بنسبة 33.7% في مهام الاستدلال المعقدة هذه.
لطالما كانت الفيزياء اختباراً صارماً للذكاء البشري، فهي تخصص يتطلب لفهم العالم ما هو أكثر من مجرد حفظ الحقائق؛ إذ تستلزم القدرة على النظر إلى موقف معقد، غالباً ما يُصوَّر في رسم أو مخطط، وفك تشابك القوى غير المرئية المؤثرة فيه ذهنياً. ولحل مسألة ما، يجب على المرء تحديد قوانين الطبيعة الصحيحة، وتطبيقها خطوة بخطوة، ونسج سلسلة منطقية من الاستدلال تقود إلى إجابة واحدة دقيقة. لعقود من الزمن، كان هذا النوع من التفكير العميق متعدد الخطوات يُعتبر ميزة بشرية فريدة، وجبهة لا يمكن للآلات عبورها بسهولة. واليوم، حقق الذكاء الاصطناعي خطوات هائلة، حيث أصبحت الحواسيب قادرة على قراءة النصوص والتعرف على الصور بدقة مذهلة. ومع ذلك، يظل هناك سؤال جوهري: هل تستطيع هذه الآلات حقاً التفكير والاستنتاج في نوع المسائل الفيزيائية الواقعية الصعبة التي تتحدى أفضل طلاب المدارس الثانوية في العالم؟
لقد بنى فريق من الباحثين الآن ميدان اختبار جديداً وضخماً لإيجاد الإجابة. قاموا بإنشاء مجموعة تضم أكثر من أحد عشر ألف مسألة فيزيائية، مستمدة من مواد التدريب اليومية للطلاب المتفوقين في الصين. وهذه ليست أسئلة بسيطة ذات خيارات متعددة؛ بل هي تحديات مفتوحة تتطلب من الحلّاشتقاق الحل من الصفر. والأهم من ذلك، أن الباحثين لم يكتفوا بجمع الأسئلة فحسب، بل جمعوا أيضاً الحلول التفصيلية خطوة بخطوة التي يستخدمها الخبراء لحلها، جنباً إلى جنب مع الرسوم التوضيحية التي تشرح الإعدادات الفيزيائية. وتتضمن هذه المجموعة الجديدة، التي تشمل مسائل باللغتين الإنجليزية والصينية، كل شيء بدءاً من حركة الكواكب وتدفق الكهرباء وصولاً إلى سلوك الضوء وأسرار العالم الذري. ومن خلال ربط كل مسألة برسمها التوضيحي وحلها المنطقي الكامل، أنشأ الفريق معياراً يحاكي التعقيد الحقيقي للاستدلال الفيزيائي على مستوى الخبراء.
وعندما وضع الباحثون ثمانية عشر نموذجاً من أكثر نماذج الذكاء الاصطناعي تقدماً تحت الاختبار، كانت النتائج مثبطة للهمم. فحتى النماذج الأقوى، التي تم تدريبها على كميات هائلة من البيانات وقادرة على أداء مهام استدلال معقدة، عانت بشدة. فقد تمكن النموذج الأفضل أداءً من الحصول على الإجابة النهائية الصحيحة في حوالي ثلث الحالات فقط. وهذا يعني أنه مقابل كل ثلاث مسائل فيزيائية صعبة تُعرض، يخطئ أكثر أنظمة الذكاء الاصطناعي قوة المتاحة حالياً في اثنتين منها. إن الفجوة بين هذه الآلات والخبراء البشريين شاسعة؛ إذ حل الطلاب البشر الذين كانوا بمثابة خط أساس للدراسة ما يقرب من نصف المسائل بشكل صحيح، وهو تفوق ملحوظ على الأنظمة الاصطناعية. ووجد الباحثون أن هذه الصعوبة لم تقتصر على نوع معين من المسائل؛ فقد تعثرت النماذج في الميكانيكا والديناميكا الحرارية والبصريات على حد سواء، وإن بدا أنها تعاني أكثر مع المسائل التي تتضمن الضوء والاستدلال الهندسي.
لقد ذهبت الدراسة إلى ما هو أبعد من مجرد عد الإجابات الصحيحة. فقام الباحثون بفحص عملية التفكير الفعلية للآلات، وتفكيك حلولها خطوة بخطوة لمعرفة أين أخطأت بالضبط. واكتشفوا أن الأخطاء نادراً ما كانت مجرد أخطاء حسابية بسيطة؛ بل إن النماذج غالباً ما فشلت في بداية سلسلة الاستدلال. فقد كانت تسيء تفسير الرسم التوضيحي، أو تفهم الإعداد الفيزيائي بشكل خاطئ، أو تطبق القانون الفيزيائي غير المناسب للموقف. وبمجرد أن يكون الإعداد الأولي معيباً، فإن بقية الحل، مهما كان متطوراً رياضياً، سيؤدي إلى نتيجة خاطئة. وفي حالات كثيرة، استطاعت النماذج إنتاج اشتقاق يبدو منطقياً ويتبع المسار العام الصحيح، لكنه ينهار تحت وطأة سوء فهم جوهٍدي واحد. وهذا يشير إلى أنه بينما تتفوق هذه الأنظمة في مطابقة الأنماط وتوليد النصوص، إلا أنها لا تزال تفتقر إلى الإدراك الحدسي العميق للواقع الفيزيائي الذي يسمح للإنسان بتصور المسألة ومعرفة المبادئ التي تنطبق عليها.
كما اختبر الباحثون ما إذا كان تقديم مساعدة إضافية للنماذج سيحسن أداءها. فقد زودوا بعض النماذج برسوم توضيحية إضافية تظهر الخطوات المتوسطة للحل، آملين أن يجسّر هذا التوجيه البصري الفجوة. ورغم أن هذا ساعد قليلاً، إلا أن التحسن كان متواضعاً، وفي بعض الحالات، أدى إضافة تلميحات نصية إضافية إلى جعل أداء النماذج أسوأ. ويشير هذا إلى أن المشكلة الجوهرية ليست في نقص المعلومات، بل في صعوبة أساسية في معالجة تلك المعلومات بشكل صحيح. فالنماذج لا تفتقر ببساطة إلى البيانات، بل تعاني في دمج القرائن البصرية والنصية في نموذج فيزيائي متماسك. وتخلص الدراسة إلى أنه رغم التقدم السريع في الذكاء الاصطناعي، لا تزال هذه الأنظمة بعيدة عن إتقان نوع الاستدلال الصارم متعدد الخطوات المطلوب لحل المسائل الفيزيائية الأصيلة وعالية المستوى. إن الطريق إلى الأمام سيتطلب طرقاً جديدة لتعليم الآلات ليس فقط كيفية الإجابة على الأسئلة، بل كيفية الفهم الحقيقي للعالم الفيزيائي الذي طُلب منها وصفه.
ملخص تقني: PHYSELITE
بيان المشكلة
تعاني المعايير المرجعية الحالية لتقييم النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) في التفكير الفيزيائي من قصورين حرجين يحجبان القدرات الحقيقية للنماذج الرائدة:
عدم كفاية الصعوبة والنطاق: تهيمن على مجموعات البيانات الحالية غالباً مسائل المستوى الابتدائي أو التعليم الأساسي (K-12)، مما يفشل في اختبار قدرات الاستنتاج المعقدة ومتعددة الخطوات. وبينما توجد بعض مجموعات البيانات بمستوى الأولمبياد (مثل IPhO وAPhO)، إلا أنها محدودة النطاق وتُحدث بشكل غير منتظم، مما يؤدي إلى تشبع النماذج حيث يستقر الأداء قبل الوصول إلى السقف الحقيقي لقدرة حل المشكلات.
الافتقار إلى التعليقات التوضيحية على مستوى العملية: توفر معظم المعايير المرجعية الإجابات النهائية فقط. وفي الفيزياء، تُعد عملية الاشتقاق بالغة الأهمية بقدر أهمية النتيجة نفسها. إن غياب التعليقات التوضيحية خطوة بخطوة التي تربط الإشارات البصرية بالقوانين الفيزيائية يمنع تشخيص حالات الفشل الاستنتاجي المحددة ويحد من فائدة هذه المجموعات للتدريب عبر الإشراف على سلسلة الأفكو (chain-of-thought) أو التعلم المعزز على مستوى العملية.
وبناءً على ذلك، فإن الدرجات العالية في المعايগুলো الحالية قد لا تمثل قدرة النموذج على حل مسائل الفيزياء الحقيقية والمعقدة بمستوى الأولمبياد.
المنهجية
لمعالجة هذه الفجوات، قدم المؤلفون PHYSELITE، وهو معيار مرجعي ضخم، ثنائي اللغة (الصينية-الإنجليزية)، ومتعدد الوسائط مصمم خصيصاً للاستدلال الفيزيائي بمستوى الأولمبياد.
بناء مجموعة البيانات
المواد المصدرية: تتكون مجموعة البيانات من 11,586 مسألة مفتوحة المصدر مستمدة من مواد التدريب والممارسة اليومية لـ 15 طالباً من الفائزين بالجائزة الأولى في الفيزياء من مدارس ثانوية محلية. تهدف استراتيجية المصادر هذه إلى توفير صعوبة واقعية بمستوى الأولمبياد مع تقليل التداخل مع أرشيفات المسابقات العامة أثناء مرحلة ما قبل التدريب.
خط أنابيب التعليقات التوضيحية:
المدخلات متعددة الوسائط: تتضمن كل مسألة النص الأصلي ورسماً تخطيطياً واحداً أو أكثر.
الاشتقاقات ثنائية اللغة: تقترن المسائل باشتقاقات حل خطوة بخطوة تم التحقق منها بشرياً باللغتين الصينية والإنجليزية. يتم تحويل التعبيرات الرياضية إلى LaTeX للحفاظ على الدقة.
البيانات الوصفية: يتم وسم كل مسألة بعلامات الموضوع (الميكانيكا، الكهرومغناطيسية، الديناميكا الحرارية، البصريات، الفيزياء الحديثة) وتقييم صعوبة على مقي scale من 1 إلى 7.
ضبط الجودة: تضمن عملية "الإنسان في الحلقة" (human-in-the-loop)، والتي تتضمن التحقق اليدوي، وتصحيح التعرف الضوئي على الحروف (OCR)، والمطابقة التقريبية لمنع التكرار، سلامة البيانات.
بروتوكول التقييم
قام المؤلفون باختبار 18 نموذجاً (8 نماذج مفتوحة المصدر و10 نماذج مغلقة المصدر)، بما في ذلك كل من بنيات "النظام-1" (القياسي) و"النظام-2" (التفكير الممتد/الاستدلال).
المقاييس:
درجة الإجابة: صحة ثنائية للنتيجة النهائية مقابل المرجع.
درجة العملية: تقييم على مستوى الخطوة حيث يتم تفكيك استجابة النموذج إلى خطوات اشتقاق رئيسية. يتم تقييم كل خطوة كصحيحة تماماً (1.0)، أو صحيحة جزئياً (0.5)، أو غير صحيحة (0.0). يسمح هذا المقياس بالحصول على درجات جزئية حتى لو كانت الإجابة النهائية خاطئة.
التحكيم: يتم تحديد الدرجات بواسطة مجموعة مكونة من ثلاثة أحكام من النماذج اللغوية الكبيرة (GPT-5.2، Claude-Opus-4.6، Gemini-3-Pro)، والتي تم التحقق من صحتها مقابل التقييم البشري الخبير بمتوسط خطأ مطلق قدره 0.09.
الخط المرجعي البشري: قام مجموعة من 15 طالباً حائزاً على جوائز بحل المسائل لإنشاء خط مرجعي للأداء البشري.
المساهمات الرئيسية
النطاق والصعوبة: يعد PHYSELITE أكبر معيار مرجعي للفيزياء بمستوى الأولمبياد حتى الآن، حيث يحتوي على 11,586 مسألة—وهو أكبر بعشرة أضعاف من مجموعات البيانات عالية الصعوبة المماثلة مثل PHYBench أو HiPhO—مع الحفاظ على صعوبة نخبوية موحدة.
التعليقات التوضيحية للعملية متعددة الوسائط: على عكس مجموعات البيانات السابقة التي تقدم نصوصاً أو إجابات نهائية فقط، يوفر PHYSELITE رسوماً بيانية بصرية مقترنة باشتقاقات خطوة بخطوة تم التحقق منها بشرياً. وهذا يدعم كلاً من التقييم الصارم والتدريب الخاضع للإشراف على العملية.
التحليل التشخيصي الشامل: يقدم البحث تقييماً موسعاً لـ 18 نموذجاً، حيث يحدد الفجوة في الأداء مع الخبراء البشريين ويصنف ستة أنماط فشل متكررة عبر مختلف التخصصات الفرعية ومستويات الصعوبة.
النتائج التجريبية
فجوة الأداء: حقق أقوى نموذج تم تقييمه، Grok-4.2، دقة إجابة بلغت 33.7% فقط. وهذا أقل بكثير من الخط المرجعي البشري البالغ 48.5%، مما يشير إلى وجود فجوة كبيرة بين النماذج الرائدة الحالية والقدرة على التفكير بمستوى الخبراء.
المصادر المفتوحة مقابل المغلقة: توجد فجوة كبيرة في الأداء بين الأنظمة المملوكة (Proprietary) والأنظمة ذات الأوزان المفتوحة. وصل أقوى نموذج مفتوح المصدر (Qwen3-VL-235B-A22B) إلى دقة 20.0% فقط.
نماذج الاستدلال: تفوقت نماذج التفكير الممتد (النظام-2) عموماً على النماذج القياسية، لكن الميزة لم تكن موحدة. تفوق بعض النماذج القياسية القوية (مثل Claude-Opus-4.6) على عدة نماذج استدلال، مما يشير إلى أن القدرة الأساسية هي شرط مسبق للاستدلال الممتد الفعال.
العملية مقابل الإجابة: سجلت النماذج باستمرار درجات أعلى في "درجة العملية" مقارنة بـ "درجة الإجابة"، مما يشير إلى أن النماذج غالباً ما تولد اشتقاقات صالحة جزئياً قبل الفشل في الخطوات النهائية.
نقاط الضعف في التخصصات الفرعية: ظهرت البصريات كنقطة ضعف عالمية عبر جميع النماذج، مع معدلات خطأ أعلى بكثير مقارلة بالديناميكا الحرارية. يشير هذا إلى أن النماذج الحالية تعاني في التعامل مع الاستدلال الهندسي والقائم على الطور.
اتجاهات الصعوبة: أظهرت العديد من النماذج منحنى أداء على شكل حرف "U"، حيث سجلت درجات أقل في المسائل ذات الصعوبة "المتوسطة" مقارنة بالمسائل "الصعبة". يعزو المؤلفون ذلك إلى التدريب اللاحق (post-training) على مسائل محددة من نمط المسابقات "الصعبة"، مما جعل مسائل الممارسة اليومية "المتوسطة" خارج نطاق التوزيع لهذه النماذج.
الأهمية والادعاءات
يزعم البحث أن PHYSELITE يعمل كمعيار مرجعي أكثر صرامة وتمثيلاً لتقييم قدرات الاستدلال الحقيقية للنماذج اللغوية الكبيرة متعددة الوسائط في الفيزياء. ومن خلال الانتقال لما وراء مجرد مطابقة الإجابات إلى التقييم على مستوى العملية، يوضح المؤلفون أن النماذج الحالية بعيدة عن تحقيق أداء بمستوى الخبراء.
يؤكد المؤلفون أن مجموعة البيانات ليست مجرد مجموعة اختبار، بل هي مورد للتدريب الخاضع للإشراف على العملية. تهدف التعليقات التفصيلية خطوة بخطوة إلى تسهيل تطوير مستنتجات علمية أقوى من خلال السماح للنماذج بالتعلم من خطوات الاستدلال الوسيطة بدلاً من مجرد النتائج النهائية. يسلط العمل الضوء على أنه بينما حققت النماذج تقدماً، إلا أن تحديات كبيرة لا تزال قائمة في التعامل مع الاستدلال الفيزيائي المعقد، متعدد الوسائط، ومتعدد الخطوات، لا سيال في مجالات مثل البصريات وفي سد الفجوة بين البنيات القياسية والبنيات المعززة بالاستدلال.