AstroMLab 4: Benchmark-Topping Performance in Astronomy Q&A with a 70B-Parameter Domain-Specialized Reasoning Model

1. بيان المشكلة

غالبًا ما تعاني النماذج اللغوية الكبيرة (LLMs) ذات الأغراض العامة من صعوبة في التعامل مع المعرفة المتخصصة، لا سيما في المجالات العلمية المعقدة مثل علم الفلك، والفيزياء الفلكية، وعلم الكونيات. هذا القصور يعيق نشرها كوكلاء بحثيين موثوقين. وبينما أظهر العمل السابق (AstroSage-Llama-3.1-8B) أن التخصص في المجال يمكن أن يسمح للنماذج الأصغر بمضاهاة النماذج الأكبر العامة، إلا أنه ظل من غير الواضح ما إذا كان توسيع نطاق هذا التخصص ليشمل أعداداً أكبر من المعلمات (مثل 70 مليار معلمة) يمكن أن يمكّن النماذج المتخصصة من تجاوز النماذج التجارية الأكثر تقدمًا في مجالها المحدد مع الحفاظ على كفاءة التكلفة.

2. المنهجية

طوّر المؤلفون AstroSage-Llama-3.1-70B، وهو مساعد ذكاء اصطناعي متخصص في المجال بـ 70 مليار معلمة، مشتق من النموذج الأساسي Meta-Llama-3.1-70B. اتبع التطوير مساراً صارماً يتكون من ثلاث مراحل:

• التدريب المسبق المستمر (CPT):

  • البيانات: تم تدريب النموذج على مجموعة ضخمة من الأدبيات الفلكية، بما في ذلك حوالي 250,000 ورقة بحثية من arXiv (astro-ph, gr-qc)، وحوالي 30,000 مقال من ويكيبيديا، وكتب مدرسية. تم تنظيف البيانات باستخدام ftfy لتوحيد ترميز Unicode وإزالة التكرار القائم على القواعد.
  • تخفيف النسيان الكارثي: للحفاظ على القدرات اللغوية العامة، تم دمج عينات مختارة عشوائياً من مجموعة بيانات FineWeb في كل حقبة تدريبية ("إعادة التشغيل" - replay).
  • البنية التحتية: تم التدريب على حاسوب OLCF Frontier الخارق باستخدام 2,048 من وحدات معالجة الرسوميات AMD Instinct MI250X.
  • المعلمات الفائقة: تم تغيير معدل التعلم ليتناسب مع مقاييس الرموز لكل ثانية (tokens-per-second) الخاصة بتدريب Llama-3.1 الأصلي؛ وتم تمديد فترة الإحماء (warm-up) إلى 0.15 من الحقبة، وزيادة اضمحلال الوزن (weight decay) إلى 0.1.

• الضبط الدقيق الخاضع للإشراف (SFT):

  • الهدف: غرس مهارات اتباع التعليمات، والقدرات الحوارية، وقدرات الاستنتاج الصريحة.
  • تكوين البيانات: كانت مجموعة البيانات مزيجاً متنوعاً:
    • مجموعة NVIDIA Llama-Nemotron-Post-Training-Dataset: استُخدمت للاستنتاج العلمي، والبرمجة، والرياضيات، والدردشة العامة (حوالي 22.7% من البيانات).
    • OpenHermes 2.5: لاتّباع التعليمات العامة.
    • أسئلة وأجوبة فلكية مخصصة: مستمدة من أعمال AstroSage السابقة (حوالي 22.0% من البيانات).
  • دمج الاستنتاج: تضمنت مجموعة بيانات SFT صراحةً سلاسل استنتاج سلسلة الأفكار (CoT)، مما يُمكّن النموذج من إصدار عملية تفكير قابلة للقراءة من قبل البشر قبل تقديم الإجابة.
  • التدريب: أُجري لمدة حقبتين (2 epochs) على نفس البنية التحتية للحاسوب الخارق.

• دمج النماذج:

  • تم إنشاء النموذج النهائي باستخدام طريقة DARE-TIES (متوسط المعلمات) عبر مكتبة mergekit.
  • المزيج: 85% من AstroSage-70B-SFT (متخصص) + 15% من Meta-Llama-3.1-70B-Instruct (صقل التعليمات العامة). هدفت هذه الاستراتيجية إلى الاحتفاظ بالخبرة الفلكية مع وراثة القدرات الحوارية القوية للنموذج الإرشادي الأساسي.

3. المساهمات الرئيسية

• التخصص في المجال على نطاق واسع: إثبات أن توسيع نطاق التخصص من 8 مليار إلى 70 مليار معلمة يسمح للنموذج بالتفوق على النظراء العامين ومضاهاة النماذج المملوكة رفيعة المستوى في مجال علمي محدد.
• قدرة الاستنتاج الصريح: دمج "وضع التفكير" حيث يولد النموذج عمليات تحليلية خطوة بخطوة (محاطة بعلامات <thought>) قبل تقديم الإجابة، مما يحسن الموثوقية في المسائل المعقدة متعددة الخطوات.
• توافر الأوزان المفتوحة: على عكس العديد من النماذج المتطورة، تم إصدار AstroSage-Llama-3.1-70B بشكل مفتوح بموجب رخصة Llama 3.1 المجتمعية، مما يسمح بالنشر المحلي ومعالجة البيانات المؤسسية الحساسة (مثل بيانات NASA وNSF).
• إطار كفاءة التكلفة: تقديم مقياس "درجة القيمة" (Value Score) لتحديد المقايضة بين الأداء وتكلفة الاستدلال، مما يوضح أن النماذج المفتوحة المتخصصة يمكن أن توفر قيمة أفضل بعدة أوامر مقدارية من واجهات برمجة التطبيقات (APIs) المملوكة.

4. النتائج

تم تقييم النموذج على معيار AstroMLab-1، وهو مجموعة فرعية تم التحقق منها وتتكون من 3,846 سؤالاً من نوع الاختيار من متعدد مستمدة من أوراق Annual Review of Astronomy and Astrophysics (والتي لم تُستخدم أثناء التدريب).

• الأداء: حقق AstroSage-Llama-3.1-70B درجة 89.0%.
  • يضع هذا النموذج نفسه على قدم المساواة مع النماذج الرائدة المملوكة الأحدث: GPT-5.2 (89.4%)، وClaude 4.5 Opus (89.0%)، وGemini 3.0 Pro (88.9%).
  • تفوق بشكل كبير على نموذجه الأساسي (Llama-3.1-70B، بنسبة 82.5%) وعلى نموذج AstroSage-8B الأصغر (81.9%).
• كفاءة التكلفة:
  • حقق النموذج درجة قيمة قدرها +5.55 بالنسبة لـ GPT-4.
  • بينما سجل Gemini 3.0 Flash درجة أعلى قليلاً (90.3%)، إلا أنه حصل على درجة قيمة أقل (+4.98) بسبب تكاليف الاستدلال الأعلى.
  • الأثر العملي: ستكلف معالجة أرشيف astro-ph بالكامل حوالي 1,000 دولار باستخدام AstroSage-Llama-3.1-70B مقابل 10,000 دولار باستخدام Gemini 3.0 Flash.
• المقارنة مع البشر: يسجل علماء الفلك المحترفون حوالي 67% في هذا المعيار، مما يشير إلى أن النموذج قد تجاوز مستوى الأداء البشري في مهام استرجاع المعرفة القياسية في هذا المجال.

5. الأهمية

• المساواة مع العمالقة المملوكين: تثبت الدراسة أن النماذج المتخصصة في المجال ذات الأوزان المفتوحة يمكن أن تتنافس مع، بل وتتفوق في بعض مقاييس التكلفة على، أكثر النماذج التجارية المغلقة تقدماً.
• دمقرطة الذكاء الاصطناعي في العلوم: من خلال إصدار نموذج عالي الأداء بـ 70 مليار معلمة بشكل مفتوح، يُمكّن المؤلفون الباحثين من تشغيل الذكاء الاصطناعي المتطور على بنيتهم التحتية المحلية، مما يعالج مخاوف خصوصية البيانات ويقلل الاعتماد على واجهات برمجة التطبيقات المكلفة.
• مستقبل الذكاء الاصطناعي العلمي: تجادل الورقة بأن مستقبل الذكاء الاصطناعي في علم الفلك لا يكمن فقط في توسيع النماذج العامة، ولكن في التدريب المتخصص المدمج مع سير العمل الوكيل (على سبيل المثال، الاستعلام عن قواعد البيانات مثل SIMBAD أو تنفيذ كود التحليل).
• تطور المعايير: يسلط هذا العمل الضوء على الحاجة إلى معايير مستقبلية تتجاوز مجرد استرجاع المعرفة لتختبر الاستنتاج المعقد، وصياغة الفرضيات، وتفسير البيانات في سيناريوهات بحثية واقعية.

في الختام، يمثل AstroSage-Llama-3.1-70B قفزة نوعية في الذكاء الاصطناዊ المتخصص، حيث يثبت أن التدريب المستهدف في المجال على بنيات واسعة النطاق يمكن أن يقدم أدوات متفوقة وفعالة من حيث التكلفة ومتاحة للوصول المفتوح لمجتمع علم الفلك.