LLMs with in-context learning for Algorithmic Theoretical Physics

ملخص تقني: النماذج اللغوية الكبيرة ذات التعلم داخل السياق للفيزياء النظرية الخوارزمية

بيان المشكلة
تتضمن الفيزياء النظرية طيفًا من المهام يتراوح بين الحسابات العددية الميكانيكية وبين بناء النظريات الإبداعي. وبين هذين الطرفين تقع فئة كبيرة من "الحسابات الخوارزمية": وهي مهام معقدة للغاية بحيث لا يمكن لبرنامج حاسوبي حتمي واحد حلها بشكل عام بسبب التعقيدات الخاصة بكل مشكلة، ومع ذلك فهي ليست إبداعية لدرجة تتطلب طرقًا جديدة تمامًا. تشمل الأمثلة الحسابات الاضطرابية في نظرية المجال الكمي وتحديد درجات الحرية (dof) في نظريات الجاذبية المعدلة. وبينما تساعد أنظمة الجبر الحاسوبي (CAS) في هذه المهام، إلا أنها تظل مستهلكة للوقت وعرضة للخطأ البشري في الإعداد والتفسير. يبحث هذا العمل فيما إذا كانت النماذج اللغوية الكبيرة (LLMs) الرائدة، المزودة ببيئة تشغيل لنظام جبر حاسوبي (CAS) والمعززة بالتعلم داخل السياق، قادرة على أتمتة هذه المهام الخوارزمية بشكل موثوق. وبشكل محدد، يركز المؤلفون على تحديد درجات الحرية المنتشرة للاضطرابات الكونية في نظريات الجاذبية المعدلة المختلفة.

المنهجية
طوّر المؤلفون إطار عمل يربط بين النموذج اللغوي الكبير الرائد Claude Opus 4-6 ونظام الجبر الحاسوبي Maple. يعمل النظام عبر حلقة "اقرأ-نفذ-اطبع" (REPL)، حيث يقوم النموذج بتوليد أوامر Maple بناءً على بيان المشكلة والسياق، ثم ينفذها، ويكرر العملية حتى يتم الوصول إلى حل أو بلوغ حد معين.

• مجموعة الاختبار: استخدم التقييم تسع مسائل متميزة تتعلق بنظريات السلم-التوتر (scalar-tensor) والتنسور (tensor) على خلفيات مسطحة وكونية على حد سواء. صُممت هذه المسائل لتكون بمستوى الأبحاث المتقدمة، حيث تميزت بدقائق مثل حدود المشتقات العليا، والحلول المتفرعة لمعادلات الخلفية، والقيود التي تتطلب معالجة دقيقة (مثل إطار المجال السلمي المقيد).
• استراتيجيات التعلم داخل السياق: اختبرت الدراسة أربعة تكوينات مختلفة للسياق لتحديد ما يحسن الأداء:
  1. 10ex: مجموعة من 10 أمثلة محلولة بالتفصيل وخطوة بخطوة (60 ألف توكن).
  2. 3broad: مجموعة مختزلة من 3 أمثلة تمثيلية (18 ألف توكن).
  3. 3tailored: مجموعة معدلة من 3 أمثلة، هندست خصيصًا لمعالجة أوضاع الفشل الشائعة التي لوحظت في التجارب الأولية (24 ألف توكن).
  4. instruction: وصف خوارزمي عام دون أمثلة برمجية (2 ألف توكن).
• التقييم: تم قياس النجاح على أساس "النجاح/الفشل" عبر أربع مراحل: الإعداد، اشتقاق معادلة الخلفية، حساب الفعل من الدرجة الثانية، وتحليل الاضطراب. كما تتبعت الدراسة عدد جولات التفاعل وإعادة تشغيل جلسات Maple كمؤشرات على الكفاءة والاستقرار.

النتائج الرئيسية
تُظهر الدراسة أن نموذجًا لغويًا كبيرًا رائدًا، مجهزًا بنظام جبر حاسوبي وسياق مناسب، يمكنه حل مسائل الفيزياء الخوارزمية المعقدة بكفاءة، مما يجعله في مستوى يقارب طالب دراسات عليا في السنة الأولى.

• فعالية السياق: تُعد الأمثلة المحلولة ضرورية للنجاح. أدى سياق "التعليمات فقط" إلى أدنى معدل نجاح (3/9) وأعلى تكلفة حوسبية (متوسط 67 جولة)، حيث عانى النموذج في ترجمة الخوارزميات المجردة إلى كود قابل للتنفيذ. حقق سياق "10ex" معدل نجاح قدره 5/9.
• التحسين عبر التخصيص: حقق سياق "3tailored"، الذي تضمن أمثلة مصممة خصيصًا لمواجهة أوضاع الفشل المرصودة (مثل الاختزال غير الصحيح للمشتقات العليا وتفسير خلفيات الزمكان بشكل خاطئ)، أعلى معدل نجاح (7/9) وأكثر تنفيذ كفاءة (أقل متوسط جولات وإعادة تشغيل). ومن الجدير بالذكر أن هذا كان التكوين الوحيد الذي تم فيه حل المسألة الصعبة sRi2Ft بشكل صحيح.
• أوضاع الفشل: شملت حالات الفشل الشائعة ما يلي:
  • سوء تفسير الخلفيات: خلط النموذج أحيانًا بين "الخلفية المسطحة" وبين مترية فريدمان-ليمتر-روبرتسون-وولكر (FLRW) المسطحة بدلًا من فضاء مينكوفسكي، أو اعتبر الحلول البديهية "بسيطة للغاية" وانتقل دون داعٍ إلى تحليل الزمكان المنحني.
  • التعامل مع القيود: وقعت الأخطاء بشكل متكرر في حل معادلات حركة الخلفية أو اختزال حدود المشتقات العليا، وغالبًا ما كان ذلك بسبب نسيان مضاعفات لاجرانج.
  • وضع التفكير: لم يوفر تفعيل "وضع التفكير" للنموذج (السماح بـ 1024 توكن تفكير) تحسنًا يُذكر، حيث نادرًا ما استغل النموذج هذه المساحة لتصحيح الأخطاء الاستراتيجية الأساسية.
• سلوك النموذج: أظهر النموذج اللغوي توجهًا قويًا نحو تحقيق الهدف، حيث أدرك غالبًا المسارات غير المثمرة وقام بإعادة تشغيل جلسة CAS. كما أظهر قدرة على التعامل مع الحلول المتفرعة، حيث اختار غالبًا الفرع الأبسط لتبسيط التحليل، رغم أن هذا أدى أحيانًا إلى فقدان بعض الفروع الفيزيائية الصالحة.

الأهمية والادعاءات
يزعم البحث أن الفيزياء النظرية الخوارزمية تعمل كاختبار صارم للنماذج اللغوية الكبيرة ذات السياق الطويل نظرًا للحاجة إلى التفكير الاستباقي (look-ahead reasoning) وتوفر حالات اختبار نادرة وذات مستوى بحثي من غير المرجح وجودها في بيانات التدريب.

تتمثل المساهمة الأساسية في وضع مبادئ توجيهية عملية للممارسين الراغبين في توظيف الذكاء الاصطناعي في الفيزياء النظرية. ويخلص المؤلفون إلى أن:

1. الأمثلة المحلولة تتفوق على التعليمات المجردة في تمكين النماذج اللغوية الكبيرة من أداء الحسابات الرمزية الروتينية المرهقة.
2. المجموعة الصغيرة والمستهدفة من الأمثلة (المخصصة لأوضاع الفشل المحددة) أكثر فعالية من المجموعة الكبيرة العامة.
3. التعاون مع الإنسان في الحلقة (Human-in-the-loop) يظل ضروريًا لالتقاط أخطاء تفسيرية محددة (مثل تعريفات مترية الخلفية)، ولكن يمكن للنموذج اللغوي الكبير التعامل ذاتيًا مع الجزء الأكبر من الاشتقاق الرمزي.

يصرح المؤلفون بتواضع أنه بينما لا يهدفون إلى استبدال الباحثين البشر، فإن هذا النهج يوفر مسارًا قابلًا للتطبيق لأتمتة الجزء "الخوارزمي" من البحث النظري، مما قد يحرر الفيزيائيين للتركيز على العمل المفاهيمي رفيع المستوى. ويقترحون أن العمل المستقبلي سيستكشف إعدادات التوليد المعزز بالاسترجاع (RAG) لسحب الأمثلة ذات الصلة ديناميكيًا إلى السياق.