📊 statistics

DiscoverPhysics: Benchmarking LLMs for Out-of-the-Box Scientific Thinking

تقدم الورقة البحثية DiscoverPhysics، وهو معيار تفاعلي يضم 22 عالماً محاكياً بفيزياء غير قياسية لتقييم قدرة النماذج اللغوية الكبيرة الرائدة على الانخراط في الاستدلال العلمي طويل الأمد من خلال تصميم التجار تجريبية واستنتاج القوانين الكامنة، مما يكشف أنه بينما تظهر النماذج المتصدرة بوادر واعدة، إلا أنها لا تزال تعاني في كشف البنى الكامنة وأن دقة التنبؤ لا تضمن الفهم المفاهيمي.

المؤلفون الأصليون: Matt L. Wiemann, Lindsay M. Smith, Peter Melchior, Siddharth Mishra-Sharma, Andrew Gordon Wilson, Pavel Izmailov, Carolina Cuesta-Lázaro

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Matt L. Wiemann, Lindsay M. Smith, Peter Melchior, Siddharth Mishra-Sharma, Andrew Gordon Wilson, Pavel Izmailov, Carolina Cuesta-Lázaro

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "DiscoverPhysics" باستخدام لغة بسيطة، وتشبيهات، واستعارات.

الفكرة الكبرى: هل يمكن للذكاء الاصطناعي أن يكون عالماً حقيقياً؟

تخيل أنك أسقطت ذكاءً اصطناعياً ذكياً في عالم لعبة فيديو حيث قواعد الفيزياء فيها من صنع الخيال تماماً. ربما تصبح الجاذبية أضعف كلما ابتعدت، أو ربما توجد جزيئات "شبحية" غير مرئية تسحب الأشياء حولها ولا يمكنك رؤيتها.

أراد الباحثون وراء هذه الورقة البحثية معرفة: هل يمكن للذكاء الاصطناعي اكتشاف قواعد هذا الكون الوهمي بمجرد اللعب به؟

لقد أنشأوا معياراً يسمى DiscoverPhysics. إنه يشبه "الامتحان النهائي" للذكاء الاصطناعي، ولكن بدلاً من مطالبة الذكاء الاصطناعي بسرد حقائق من كتاب مدرسي (مثل "ما هو قانون نيوتن الثاني؟")، فإنهم يطلبون منه ابتكار القانون من الصفر.

كيف يعمل الاختبار: لعبة "الصندوق الأسود"

تخيل الذكاء الاصطناعي كأنه محقق، والكون كأنه غرفة مغلقة مليئة بالغموض.

الإعداد: يتم إلقاء الذكاء الاصطناعي في عالم محاكى. لا يمكنه رؤية "الكود المصدري" (القواعد الرياضية الفعلية). هو فقط يرى جزيئات تتحرك حوله.
الأداة: يمتلك الذكاء الاصطناعي "عصا سحرية" (محاكي للأجسام المتعددة N-body). يمكنه أن يقول: "أريد إطلاق جزيء من هنا بهذه السرعة"، ويخبره المحاكي أين سينتهي مطاف الجزيء.
العملية:
- يطلق الذكاء الاصطناعي بعض الجزيئات ويراقبها.
- يضع تخميناً: "ربما تعمل الجاذبية مثل $1/r^2$ ؟"
- يختبر هذا التخمين. إذا لم تتحرك الجزيئات كما يتوقع التخمين، يجب على الذكاء الاصطناعي تغيير رأيه.
- يكرر ذلك في جولات عديدة، مصمماً تجارب أذكى لإيقاع الذكاء الاصطناعي في الخطأ.
الامتحان النهائي: يجب على الذكاء الاصطناعي تقديم شيئين:
- قصة: شرح باللغة الإنجليزية العادية لكيفية عمل العالم.
- الكود: برنامج بلغة بايثون يمكنه التنبؤ بدقة بمكان ذهاب أي جزيء.

الطريقتان اللتان قيما بها الذكاء الاصطناعي

أدرك الباحثون أن مجرد الحصول على الرياضيات الصحيحة ليس كافياً. في العلم الحقيقي، تحتاج إلى فهم لماذا تحدث الأشياء، وليس فقط التنبؤ بها. لذا، قاموا بتقييم الذكاء الاصطناعي بناءً على شيئين:

درجة "الكرة البلورية" (الدقة التنبؤية): هل يتنبأ كود الذكاء الاصطناعي بمكان هبوط الجزيئات؟ إذا قال الذكاء الاصطناعي "الكرة ستكون هنا"، وهبطت هناك بالفعل، فإنه يحصل على نقاط.
درجة "المعلم" (الفهم المفاهيمي): يقرأ خبير بشري (وذكاء اصطناعي آخر يعمل كمعلم) قصة الذكاء الاصطناعي. هل فهم الذكاء الاصطناعي القواعد الخفية حقاً؟
- مثال: إذا كان العالم يحتوي على "مادة مظلمة" غير مرئية تسحب الأشياء، لكن الذكاء الاصطناعي قال فقط "الجاذبية أقوى من المعتاد"، فإنه يحصل على درجة منخفضة. لقد أصاب الرياضيات بالصدفة، لكنه أخطأ في المفهوم.

ما الذي وجدوه

اختبروا 11 نموذجاً من أذكى نماذج الذكاء الاصطناعي المتاحة (بما في ذلك أفضل النماذج من OpenAI وAnthropic والمجتمعات مفتوحة المصدر). وهذا ما حدث:

1. الأجهزة "الأذكى" لا تزال تعاني
حتى أفضل نماذج الذكاء الاصطناعي نجحت في حوالي 50% فقط من العوالم. إنهم بارعون في حفظ الحقائق، لكن عندما يتعين عليهم اكتشاف قواعد جديدة، فإنهم يتعثرون.

2. مشكلة "الفخ الخفي"
فشل الذكال الاصطناعي غالسباً عندما كان الكون يحتوي على هياكل خفية.

تشبيه: تخيل أنك تحاول معرفة سبب تباطؤ سيارة. إذا نظرت فقط إلى المحرك، فقد تخمن أن المكابح معطلة. ولكن إذا كان هناك مغناطيس ضخم تحت الطريق (مادة مظلمة مخفية) يسحب السيارة للخلف، فلن تجد الإجابة ما لم تبحث عن المغناطيس.
استمرت نماذج الذكاء الاصطناعي في محاولة تفسير الحركة باستخدام قواعد قياسية (مثل الجاذبية العادية) ورفضت التصديق بوجود "جزيئات شبحية" أو أبعاد إضافية.

3. الرياضيات الجيدة $\neq$ الفهم الجيد
كان أحد النماذج (GPT-5.5) مذهلاً في التنبؤ بمكان هبوط الجزيئات (خطأ منخفض)، لكن شرحه لـ لماذا كان غالباً خاطئاً. كان الأمر يشبه طالباً حفظ نموذج الإجابة لكنه لم يفهم الدرس.
أما نموذج آخر (Claude Opus) فكان أفضل في استيعاب المفاهيم (مثل إدراك أن الزمن يغير القواعد)، حتى لو كانت تنبؤاته الرياضية أقل كمالاً بقليل.

4. فجوة "التخمين" مقابل "التجريب"
اختبر الباحثون ما إذا كان الذكاء الاصطناعي يقوم فعلياً بـ تصميم تجارب جيدة أم أنه يرمي السهام على لوحة عشوائية فقط.

الوضع الموجه: يختار الذكاء الاصطناعي مكان إطلاق الجزيئات.
الوضع العشوائي: يقوم الكمبيوتر بإطلاق الجزيئات عشوائياً، ويقوم الذكاء الاصطناعي بالمراقبة فقط.
النتيجة: أدى أفضل نماذج الذكاء الاصطناعي أداءً أفضل بكثير عندما كان بإمكانها اختيار تجاربها الخاصة. لقد تعلمت طرح الأسئلة الصحيحة. ومع ذلك، فإن العديد من النماذج مفتوحة المصدر قدمت أداءً سيئاً في كلا الوضعين، مما يشير إلى أنها لم تكن "تفكر" حقاً في تجاربها؛ بل كانت تخمن فحسب.

الحكم النهائي

تخلص الورقة البحثية إلى أنه بينما أصبح الذكاء الاصطناعي جيداً جداً في حل مسائل الفيزياء، إلا أنه لا يزال يتعلم كيفية ممارسة الفيزياء.

الذكاء الاصطناعي الحالي: يشبه طالباً عبقرياً يمكنه حل مسألة رياضية إذا أعطيته الصيغة، لكنه يعاني إذا طلبت منه ابتكار الصيغة بناءً على ملاحظات قليلة مشوشة.
المستقبل: لكي يكون شريكاً علمياً حقيقياً، يحتاج الذكاء الاصطناعي إلى أن يصبح أفضل في "الاستدلال طويل المدى" — القدرة على القول: "نظريتي الحالية خاطئة، أحتاج إلى تجربة نوع مختلف تماماً من التجارب للعثور على الحقيقة الخفية".

باختصار: يمكن للذكاء الاصطناعي التنبؤ بالمستقبل، لكنه لا يزال بحاجة إلى المساعدة لفهم الـ "لماذا" الكامنة وراء الغموض.

ملخص تقني: DiscoverPhysics

بيان المشكلة

بينما تُظهر النماذج اللغوية الكبيرة (LLMs) المتطورة أداءً قويًا في الاختبارات المعيارية الثابتة للمعرفة العلمية (مثل GPQA) ومهام الاستدلال، فإن قدرتها على القيام باكتشاف علمي حقيقي تظل غير مثبتة. تعتمد التقييمات الحالية غالبًا على الحقائق المحفوظة، أو الانحدار الرمزي على مجموعات بيانات ثابتة، أو المهام التفاعلية حيث تكون القوانى الفيزيائية الأساسية نمطية مع تغيير المعلمات فقط. تفشل هذه النهج في اختبار جوهر الاكتشاف العلمي: القدرة على توليد فرضيات جديدة، وتصميم تجارب معلوماتية للتمييز بين النظريات المتنافسة، ومراجعة النماذج المفاهيمية بناءً على ملاحظات مشوبة بالضجيج. وتحديدًا، لا تختبر الاختبارات المعيارية الحالية بشكل كافٍ ما إذا كان بإمكان الوكلاء الكشف عن الهياكل الكامنة (مثل أنواع الجسيمات الخفية أو الأبعاد الإضافية) أو التمييز بين الإشارة والضجيج في البيئات الفيزيائية غير النمطية.

المنهجية

يقدم المؤلفون DISCOVERPHYSICS، وهو اختبار معياري تفاعلي مصمم لتقييم الوكلاء من النماذج اللغوية الكبيرة في اكتشاف القوانين الفيزيائية في عوالم محاكية تنحرف عمدًا عن الفيزياء التقليدية الموجودة في الكتب الدراسية.

هيكل الاختبار المعياري

العوالم المحاكية: يتكون الاختبار المعياري من 22 عالمًا متميزًا (11 عالمًا عامًا و11 عالمًا خاصًا) تحكمها قوانين قوة غير نمطية. تشمل الأمثلة: الجاذبية ذات القوى المبطنة (Yukawa) والجاذبية ذات القوة الكسرية، والاقترانات متعددة الأنواع، والجسيمات الشبيهة بالمادة المظلمة الخفية، والفيزياء غير المتوافقة مع الإحداثيات، والتفاعلات المتغيرة مع الزمن، والأبعاد الإضافية.
تفاعل الوكيل: يُكلف وكيل من النماذج اللغوية الكبيرة باكتشاف القانون الخفي لعالم معين. يعمل الوكيل ضمن ميزانية ثابتة من جولات التجريب ( $n$ ).
الحلقة التكرارية:
1. اقتراح التجربة: يقترح الوكيل جسيمات اختبار محددة بتموضعها الأولي، وسرعاتها، وشحناتها، وأوقات القياس.
2. المحاكاة: يقوم محاكي الأجسام المتعددة ( $N$ -body) (باستخدام مكاملات مثل Yoshida4 أو RK4) بتوليد بيانات المسار الخام بناءً على قانون الحقيقة الأرضية الخفي.
3. صقل الفرضية: يحلل الوكيل بيانات المسار المسترجعة، ويقترح قوانين مرشحة، ويمكنه اختياريًا استخدام أداة لضبط المعلمات عبر scipy.optimize.
4. التكرار: تتكرر هذه الدورة حتى استنفاد الميزانية.
المخرج النهائي: يجب على الوكيل تقديم عنصرين:
1. شرح باللغة الطبيعية لفيزياء العالم.
2. تنفيذ بلغة بايثون للقانون المستنتج (دالة لتطوير حركة الجسيمات).

مقاييس التقييم

يستخدم الاختبار المعياري إطار تقييم ثنائي المحور لتقييم كل من دقة التنبؤ والفهم المفاهيمي:

متوسط مربع الخطأ في المسار (Trajectory MSE): المسافة الإقليدية المتوسطة بين مسارات الوكيل المتوقعة والمسارات الحقيقية للجسيمات المختبرة (بدون ضجيج). هذا يقيس دقة التنبؤ.
درجة الشرح: يقوم نموذج لغوي كبير (Claude Opus 4) بتقييم شرح الوكيل باللغة الطبيعية مقابل معيار مكتوب بشريًا (يُسجل من 0 إلى 10). هذا يقيس الفهم المفاهيمي والقدرة على تحديد السمات الهيكلية (مثل التبطين أو الأنواع الخفية).
معايير النجاح: يُعتبر العالم "ناجحًا" إذا كان متوسط مربع الخطأ في المسار المعياري أقل من 0.1 (خطأ بنسبة 10%) ودرجة الشرح $\ge 0.9$ .

الإعداد التجريبي

قيم المؤلفون 11 نموذجًا من النماذج اللغوية الكبيرة الرائدة والمفتوحة المصدر (بما في ذلك النماذج المملوكة مثل Claude Opus 4.7 و GPT-5.5، والنماذج المفتوحة مثل Qwen3.5 و Llama-3.3). أُجريت التجارب عبر 5 بذور عشوائية لكل نموذج لكل عالم. شملت الدراسة أيضًا دراسات استئصال تقارن بين التجريب الموجه بالتجريب العشوائي ومستويات متفاوتة من الضجيج في الملاحظة.

النتائج الرئيسية

الأداء العام: حتى أقوى الوكلاء الرائدين (Claude Opus 4.7 و GPT-5.5) ينجحون في حوالي 50% فقط من العوالم خلال خمس محاولات. ينخفض الأداء بشكل كبير في العوالم التي تتطلب تحديد بنية كامنة (مثل المادة المظلمة الخفية أو الأبعاد الإضافية).
دقة التنبؤ مقابل الفهم المفاهيمي: تنفصل المقاييس عن بعضها. يحقق GPT-5.5 أدنى متوسط مربع خطأ في المسار (أعلى دقة تنبؤية) ولكنه غالبًا ما يسجل درجات أقل في جودة الشرح مقارنة بـ Claude Opus 4.7. يشير هذا إلى أن GPT-5.5 يميل إلى ملاءمة البيانات جيدًا من خلال تبني معادلات مرنة مبكرًا ولكنه يفشل في مراجعة تصوره المفاهيمي، بينما يُظهر Claude Opus 4.7 قدرة أفضل على صقل الفرضيات من خلال التجريب.
التصميم التجريبي: توجد فجوة كبيرة بين التجريب الموجه والعشوائي للنماذج العليا. يُظهر Claude Opus 4.7 تحسنًا رتيبًا في معدل النجاح ودرجات الشرح مع زيادة عدد جولات التجريب، مما يشير إلى أنه يتعلم من البيانات الجديدة ويصمم تجارب معلوماتية. في المقابل، تُظهر النماذج مفتوحة المصدر فرقًا ضئيلًا بين الوضع الموجه والعشوائي، مما يشير إلى أنها لا تستخدم ميزانيتها التجريبية بفعالية.
النماذج المفتوحة مقابل المملوكة: تتخلف النماذج مفتوحة المصدر بشكل كبير عن النماذج التجارية في تصميم التجارب واستخلاص الاستنتاجات. أفضل نموذج مفتوح (Qwen3.5) يحل حوالي 10% فقط من العوالم في خمس محاولات.
أنماط الفشل: يكشف تحليل أنماط الفشل عن نقاط ضعف متميزة:
- GPT-5.5: تتركز الإخفاقات في "النظر في نوع القانون الصحيح" (إغفال البنية الكامنة) والتعامل مع التفردات العددية في مكاملات المعادلات التفاضلية العادية (ODE).
- Claude Opus 4.7: تتوزع الإخفاقات عبر التصميم التجريبي (الفشل في التمييز بين الفرضيات)، وكتابة كود ينفذ الاستدلال اللفظي بأمانة، والتمييز بين الإشارة والضجيج، ومعرفة متى يتوقف عن التجريب.

الأهمية والادعاءات

يزعم البحث أن DISCOVERPHYSICS يمثل أقوى اختبار حالي لقدرة النماذج اللغوية الكبيرة على القيام بعملية البحث غير المحددة بدقة، والتي تتسم بالتكرار وصياغة الفرضيات وصقلها بناءً على تجارب يقترحها الوكيل بنفسه.

ما وراء الحفظ: يوضح الاختبار المعياري أن الأداء العالي في الاختبارات القائمة على المعرفة لا يضمن القدرة على اكتشاف قوانين فيزيائية جديدة.
ضرورة التجريب: تسلط النتائج الضوء على أن الاكتشاف العلمي في العلوم الفيزيائية يعتمد بشكل حاسم على القدرة على تصميم تجارب ثاقبة، وليس فقط على الاستدلال فوق بيانات ثابتة.
ضرورة التقييم المزدوج: يجادل البحث بأن دقة التنبؤ (MSE) وحدها غير كافية لتقييم الاكتشاف العلمي؛ إذ يمكن للنموذج ملاءمة البيانات بشكل مثالي دون فهم المبادئ الأساسية. يلتقط إطار التقييم المزدوج ما إذا كان الوكلاء يقومون بمجرد استكمال البيانات (Interpolation) أم تحديد الآليات المولدة لها.
القيود الحالية: يخلص المؤلفون بتواضع إلى أنه على الرغم من أن النماذج الرائدة تمثل تحسنًا كبيرًا، إلا أنها ليست قادرة بعد على القيام باكتشاف علمي مستقل تمامًا، خاصة عند مواجهة فيزياء غير نمطية تتطلب استنتاج درجات حرية خفية. يعمل الاختبار المعياري كأداة لقياس التقدم في هذا المجال المحدد عالي الصعوبة.