Applying Vision Transformers on Spectral Analysis of Astronomical Objects

ملخص تقني: تطبيق نماذج المحولات الرؤية (Vision Transformers) على التحليل الطيفي للأجرام الفلكية

بيان المشكلة
يعد علم الأطياف الفلكية أمراً جوهرياً لتحديد الخصائص الفيزيائية والكيميائية للأجرام السماوية وفهم البنية واسعة النطاق للكون. ومع ذلك، يواجه تحليل البيانات الطيفية تحديات كبيرة بسبب النمو الأسي في حجم البيانات من المسوحات الحديثة مثل مسح سلون الرقمي للسماء (SDSS) وتلسكوب لامتوست (LAMOST) ذي الألياف الطيفية متعدد الأجسام ذي المساحة السماوية الكبيرة. غالباً ما تبسط الطرق التقليدية، مثل مطابقة القوالب (template-fitting)، تعقيد البيانات، مما يحد من الدقة ويعتمد بشكل كبير على اختيار قوالب مرجعية. وبينما يوفر الفحص اليدوي بديلاً، فإنه عرضة لعدم اليقين ولا يمكنه التوسع ليشمل ملايين الأجرام. أظهرت مناهج التعلم العميق الحالية وعوداً، لكنها غالباً ما تعتمد على بيانات محاكاة، أو تعامل الأطياف كإشارات أحادية البعد (1D) بحتة دون الاستفادة من قدرات معالجة الصور متعددة القنوات، أو تتطلب تصميمات معمارية محددة قد لا تعمل بشكل جيد مع الأنواع المتنوعة من الأجرام.

المنهجية
يقترح المؤلفون إطار عمل مبتكر يكيف نماذج المحولات الرؤية (ViTs) — وهي بنيات صُممت أصلاً للتعرف على الصور — لتحليل الأطياف الفلكية أحادية البعد. يكمن الابتكار الجوهري في تحويل البيانات الطيفية أحادية البعد (الطول الموجي مقابل التدفق) إلى تمثيلات صور ثنائية الأبعاد (2D)، مما يسمح باستخدام نماذج ViT سابقة التدريب.

• مصادر البيانات: تستخدم الدراسة بيانات طيفية حقيقية من SDSS (الإصدار 18) وLAMOST (الإصدار 10، الإصدار 2.0). تمت معالجة مجموعات البيانات لإزالة المدخلات منخفضة الجودة وتطبيعها (normalization). قام المؤلفون بإنشاء مجموعتي بيانات "المتوسطة" (تمثيل متوازن للفئات) و"الكبيرة" (حجم المسح الكامل)، ودمجهما في مجموعة بيانات مشتركة تسمى "SLOMOST".
• التمثيلات الصورية: تم استكشاف ثلاث طرق متميزة لترميز الأطياف في صور بدقة 224 × 224 بكسل:
  1. المخطط البسيط (Simple Plot): رسم بياني خطي ثنائي الأبعاد مباشر للطيف.
  2. مخطط التداخل (Overlap Plot): يتم تقسيم الطيف إلى ثلاثة أجزاء متساوية، حيث يتم تعيين كل جزء لقناة لون RGB منفصلة لزيادة وضوح التفاصيل.
  3. الخريطة ثنائية الأبعاد (2D Map): تمثيل يشبه الخريطة الحرارية حيث يتم إعادة تشكيل بيانات التدفق أحادية البعد إلى شبكة مربعة (باستخدام كتل 3×3 بكسل لكل نقطة بيانات) وتلوينها حسب الكثافة، مما يخلق ترميزاً مكانياً كثيفاً للميزات الطيفية.
• بنية النموذج: استخدم المؤلفون بنية ViT سابقة التدريب (DINO، وتحديداً facebook/dino-vitb16) والتي تم تدريبها أصلاً على ImageNet. تم ضبط هذا النموذج (fine-tuning) على مجموعات الصور الطيفية دون التدريب المسبق على الأطياف من الصفر.
  • التصنيف: تمت إضافة رأس مخصص للتصنيف المورفولوجي (النجوم، الكوازارات، المجرات).
  • الانحدار: تم إلحاق رأس انحدار خطي بـ (CLS token) لتقدير الإزاحة الحمراء ($z$) والمعلمات النجمية (درجة الحرارة الفعالة $T_{eff}$، والجاذبية السطحية $\log g$، والمعدنية $[Fe/H]$).
• التدريب: تم ضبط النماذج باستخدام خطأ التربيع المتوسط (MSE) للانحدار، والاعتلاج التقاطعي الفئوي (categorical cross-entropy) للتصنيف، مع تحسين المعلمات الفائقة (hyperparameters) عبر الضبط.

المساهمات الرئيسية

1. أول تطبيق واسع النطاق لـ ViT على الأطياف الحقيقية: حسب علم المؤلفين، يعد هذا أول تطبيق للمحولات الرؤية على بيانات طيفية فلكية واسعة النطاق باستخدام ملاحظات حقيقية بدلاً من المدخلات الاصطناعية.
2. التكيف عبر الوسائط (Cross-Modal Adaptation): يوضح العمل جدوى إعادة توظيف النماذج التأسيسية القائمة على الصور للمهام العلمية أحادية البعد من خلال التحويل المكاني، والاستفادة من آلية الانتباه الذاتي لالتقاط الميزات الطيفية المحلية والعالمية.
3. التقييم المرجعي الشامل: تقيم الدراسة استراتيجيات الترميز المتعددة وتقارن الأداء عبر مهام متنوعة (التصنيف، انحدار الإزاحة الحمراء، وانحدار المعلمات النجمية) مقابل الخطوط المرجعية الراسخة.

النتائج

• التصنيف: حقق النموذج دقة عالية في التمييز بين النجوم والمجرات والكوازارات. حقق تمثيل الخريطة ثنائية الأبعاد (2D Map) أفضل النتائج، حيث وصل إلى دقة 99.4% ودرجة F1 بلغت 0.991 على مجموعة بيانات SLOMOST-Big. وقد تفوق هذا على الخطوط المرجعية التقلية لتعلم الآلة، بما في ذلك آلات ناقلات الدعم (SVM) والغابات العشوائية (RF)، التي حققت حوالي 96% دقة في دراسات مماثلة. قلل تمثيل الخري {2D Map} تحديداً من الارتباك بين الكوازارات والمجرات.
• تقدير الإزاحة الحمراء: أظهر النموذج أداءً قوياً في انحدار الإزاحة الحمراء، محققاً معامل تحديد ($R^2$) قدره 0.992 على مجموعة بيانات SLOMOST-Big باستخدام تمثيل الخريطة ثنائية الأبعاد. هذا الأداء يضاهي مشفر الطيف في AstroCLIP (الذي سجل $R^2 = 0.990$)، ولكنه تحقق على مجموعة بيانات أكبر وأكثر تنوعاً بشكل كبير (أكثر من 14 مليون جسم مقابل حوالي 200 ألف) باستخدام وحدة معالجة رسومات واحدة من نوع NVIDIA 4090 على مدار تسعة أيام. كما حافظ النموذج على دقة عالية عبر نطاق واسع من نسب الإشارة إلى الضوضاء (SNR).
• انحدار المعلمات النجمية: بينما نجح النموذج في استنتاج المعلمات النجمية، كانت النتائج أكثر تباينًا. حقق تمثيل المخطط البسيط (Simple Plot) أفضل أداء لـ $T_{eff}$ و $\log g$ (بـ $R^2 \approx 0.79$)، بينما كان مخطط التداخل (Overlap Plot) هو الأفضل للمعدنية $[Fe/H]$ في المجموعة الكبيرة ($R^2 \approx 0.78$). كان تمثيل الخريطة ثنائية الأبعاد، رغم تفوقه في التصنيف وانحدار الإزاحة الحمراء، أقل فعالية في عمليات انحدار المعلمات الفيزيائية المحددة هذه، مما يشير إلى أن استراتيجيات الترميز المختلفة قد تكون مثالية لخصائص فيزيائية مختلفة.

الأهمية والادعاءات
يزعم البحث أن تحويل البيانات الطيفية إلى تمثيلات صور ثنائية الأبعاد يسمح لنماذج المحولات الرؤية بالتقاط الأنماط الطيفية المعقدة بفعالية، والتي قد تغفل عنها النماذج التقليدية أحادية البعد أو طرق مطابقة القوالب. وتثبت النتائج أنه يمكن بنجاح ضبط نماذج الرؤية سابقة التدريب للمهام الطيفية، مما يوفر بديلاً قابلاً للتوسع والمرونة وقائماً على البيانات للعمليات الحالية.

يؤكد المؤلفون أن نهجهم لا يعتمد على البيانات الاصطناعية، مما يعالج فجوة في تطبيقات التعلم العمما الحالي في علم الفلك. ويخلصون إلى أنه بينما يظهر منهجهم "أداءً قوياً وقابلية للتوسع" في التصنيف وانحدار الإزاحات الحمراء، فإن انحدار المعلمات النجمية يمثل تحديات إضافية قد تتطلب تحسيناً معمارياً أو مناهج هجينة. ويتم وضع هذا العمل كخطوة تأسيسية نحو أدوات عامة لعلوم الأطياف، قادرة على التعامل مع الحجم المتزايد والتباين في البيانات من المسوحات المستقبلية مثل MSE و4MOST وDESI.