Toward a Scientific Discovery Engine for Weather and Climate Data: A Visual Analytics Workbench for Embedding-Based Exploration

1. بيان المشكلة

تنتج علوم نظام الأرض مجموعات بيانات ضخمة بمقياس البيتابايت، عالية الأبعاد، من كل من النماذج القائمة على الفيزياء ونماذج الطقس والمناخ الناشئة القائمة على الذكاء الاصطعي. وبينما توفر التمثيلات القائمة على التضمين (Mapping complex data into vector spaces) -والتي تعني رسم البيانات المعقدة في مساحات متجهة- طريقة واعدة للبحث عن التشابه واسترجاع النظائر، إلا أنها تفرض تحديات علمية كبيرة:

• المعنى العلمي: قد تعكس أقرب الجيران في الفضاء الكامن (Latent space) هياكل جوية فيزيائية حقيقية، أو قد تكون مجرد نواتج ثانوية لعمليات المعالجة المسبقة، أو الجغرافيا، أو الموسمية، أو انحياز النموذج، أو بنية التضمين المحددة.
• التجزئة: سير العمل الحالي غير مترابط؛ حيث يتم التعامل مع توليد التضمين، وتقليل الأبعاد، والبحث المتجهي، وتدقيق النماذج، والتصور الأرصادي كأدوات منفصلة. وهذا يجعل من الصعب على الباحثين تتبع نتائج الفضاء الكامن وصولاً إلى الأدلة الفيزيائية أو مقارنة نماذج التمثيل المختلفة بفعالية.
• القابلية للتوسع: يمكن لتدفقات عمل التضمين أن تولد ملايين المتجهات (على سبيل المثال، لكل خطوة زمنية أو عضو في مجموعة نموذجية)، مما يتجاوز سعة ذاكرة الوصول العشوائي (RAM) لمحطات العمل القياسية، مما يستليزم حلول بحث خارج نطاق الذاكرة (Out-of-core).

2. المنهجية

يقترح المؤلفون منصة تحليل بصري مفتوحة المصدر مصممة لسد الفجوة بين البحث في الفضاء الكامن والأدلة الأرصادية الفيزيائية. تم بناء النظام بناءً على ثلاث أهداف تصميمية أساسية:

أ. بنية النظام

• تجريد تجربة التضمين: يعامل النظام كل مجموعة تضمين كـ "تجربة" مرتبطة بمرجع مصدر مشترك (صور المصدر، البيانات الوصفية، الطوابع الزمنية، الإحداثيات المكانية). يتيح ذلك تقييم نماذج متعددة (مثل Vision Transformers أو Autoencoders) فوق نفس البيانات المصدرية دون تكرار البيانات الأساسية.
• تتبع الأصل (Provenance Tracking): يحافظ النظام على روابط صارمة بين متجهات التضمين وأصولها الفيزيائية (بيانات المصدر، تكوين النموذج، خطوات المعالجة المسبقة)، مما يضمن إمكانية تتبع أي نتيجة بحث وصولاً إلى البيانات الأرصادية الخام.
• فصل الاهتمامات: يتم فصل جداول بيانات المصدر عن جدا ملاول التجارب (التي تخزن المتجهات والفهارس)، مما يتيح مقارنة مرنة للتمثيلات المختلفة.

ب. سير العمل التفاعلي

يدعم مجمع العمل دورة اكتشاف مكونة من مرحلتين:

1. فحص الفضاء الكامن: يقوم المستخدمون بتصور مساحات التضمين باستخدام تقليل الأبعاد (PCA, UMAP) المرتبط بفرز البيانات الوصفية (Metadata brushing)، والرسوم البياسية المتوازية، ومعارض الصور. يسمح هذا للمستخدمين بالتحقق مما إذا كانت العناقيد الكامنة تتوافق مع الظواهر الفيزيائية (مثل مسارات العواصف) أم أنها مجرد نواتج اصطناعية.
2. تصميم استراتيجية الاسترجاع: يمكن للمستخدمين بناء استعلامات بمقاييس مختلفة:
   • عالمي: حالات غلاف جوي كاملة.
   • محلي: رقع مكانية محددة.
   • مقيد: مصفى بواسطة البيانات الوصفية (مثل شدة العاصفة) أو الجغرافيا.
   • متعدد المراحل: تنقيح من المستوى العالمي إلى المحلي.
     تُعرض النتائج مع صور المصدر المرتبطة، والسياق المكاني، ودرجات التشابه.

ج. الخلفية القابلة للتوسع

• البحث خارج نطاق الذاكرة (Out-of-Core Search): للتعامل مع مجموعات البيانات التي تتجاوز ذاكرة محطة العمل، يستخدم النظام Lance (تنسيق بيانات عمودي) مع فهارس متجهة مدعومة بالقرص الصلب.
• استراتيجية الفهرسة: يستخدم النظام IVF-PQ (فهرس الملف المعكوس مع التكميم بالمنتج). يقوم IVF بتقسيم مساحة المتجهات للحد من نطاق البحث، بينما يقوم PQ بضغط المتجهات لتقليل البصمة التخزينية والذاكرة.

3. المساهمات الرئيسية

1. الاسترجاع العلمي الواعي بالأصل: بنية نظام تربط متجهات التضمين مباشرة بصور المصدر، والإحداثيات المكانية، وتكوينات النماذج، مما يضمن إمكانية التتبع من الفضاء الكامن إلى البيانات الفيزيائية.
2. تصميم استراتيجية الاسترجاع التفاعلية: واجهة مرئية تسمح لعلماء المجال بتصميم واختبار وتحسين استراتيجيات الاسترجاع (على مستوى الرقعة، أو المقيدة بالبيانات الوصفية، إلخ) والتحقق فوراً مما إذا كانت النتائج تعكس هياكل غلاف جوي ذات معنى.
3. دراسة حالة قابلة للتوسع للأعاصب المدارية: دراسة حالة باستخدام بيانات إعادة التحليل ERA5 وبيانات عواصف IBTrACS. نجح النظام في إجراء عملية استرجاع باستخدام تضمينات DINOv3 (نموذج أساسي للرؤية) عبر عشرات الملايين من المتجهات عالية الأبعاد على أجهزة قياسية.

4. النتائج

تقدم الورقة دراسة حالة حول استرجاع الأعاصب المدارية وتقييماً لقابلية التوسع:

• دراسة الحالة (الأعاصب المدارية):

  • الإعداد: بيانات ERA5 (2016–2018) مشفرة كصور RGB ثلاثية القنوات (شذوذ الضغط، سرعة الرياح، بخار الماء) تمت معالجتها بواسطة DINOv3.
  • الفحص: أظهر تصور UMAP أن المركبات التي تحتوي على عواصف تشكل عنقوداً طرفياً متميزاً، يمكن فصله عن حالات عدم وجود عواصف.
  • الاسترجاع: نجح استعلام محلي على إعصار ماثيو (2016) مقيد بمنطقة الكاريبي في استرجاع:
    1. إطارات مسار ماثيو نفسه.
    2. إعصار إيرما (2017) وإعصار ماريا (2017) في نفس المنطقة.
    3. أنظمة أخرى في المحيط الأطلسي (2017/2018) عبرت منطقة الفلتر.
  • النتيجة: حدد النظام بنجاح أحداثاً متشابهة أرصادياً، مما يؤكد أن الفضاء الكامن قد التقط الهياكل الفيزيائية للعواصف.

• تقييم القابلية للتوسع:

  • الأجهزة: محاكاة محطة عمل قياسية بذاكرة 16 جيجابايت RAM وقرص NVMe SSD محلي.
  • مجموعة البيانات: التوسع من 0.98 مليون إلى 23.55 مليون متجه (768 بُعداً).
  • كفاءة الذاكرة: رغم أن بصمة متجهات float32 الخام تتجاوز 16 جيجابايت عند أكبر مقياس، إلا أن ذروة حجم المجموعة المقيمة (RSS) ظلت حوالي 3 جيجابايت، مما يثبت فعالية العمل خارج نطاق الذاكرة.
  • الأداء:
    • زمن الاستجابة (Latency): ظل متوسط زمن الاستجابة أقل من 100 مللي ثانية حتى لأكبر مجموعة بيانات.
    • الدقة: ظل معدل Recall@10 (الاتفاق مع أقرب الجيران الدقيقين) فوق 92%.
  • الاستنتاج: يدعم النظام الاستكشاف التفاعلي لمجموعات التضمين الضخمة دون الحاجة إلى ذاكرة من فئة الحوسبة عالية الأداء (HPC).

5. الأهمية

يعالج هذا العمل عقبة حرجة في علوم نظام الأرض: الانتقال من إنتاج مجموعات البيانات الضخمة إلى البحث فيها وتفسيرها.

• الموثوقية: من خلال ربط نتائج الفضاء الكامن بالأدلة الفيزيائية، يقلل مجمع العمل من مخاطر الاستنتاجات العلمية "المهلوسة" أو المدفوعة بالنماذج الاصطناعية.
• المرونة: يسمح تجريد "التجربة" للعلماء بالمقارنة السريعة بين نماذج الذكاء الاصطناعي المختلفة (مثل النماذج الأساسية مقابل Autoencoders) دون إعادة بناء خطوط معالجة البيانات.
• إمكانية الوصول: تساهم تجربة البحث خارج نطاق الذاكرة على أجهزة قياسية في دمقرطة الوصول إلى تحليل التضمين واسع النطاق، مما يلغي الحاجة إلى مجموعات متخصصة عالية الذاكرة.
• المسار المستقبلي: يعمل النظام كبنية تحتية للعمل المستقبلي في محاكاة الطقس المدفوعة بالذكاء الاصطناعي، واكتشاف الأحداث النادرة، والواجهات متعددة الوسائط (اللغة/الرؤية) لبيانات المناخ.

باخت-صار، تقدم الورقة إطاراً قوياً وقابلاً للتوسع ومبنياً على أسس علمية يحول البحث القائم على التضمين من خوارزمية "الصندوق الأسود" إلى أداة تفاعلية وقابلة للتحقق للاكتشاف الأرصادي.