Requirement-Driven Lossy Compression of Weather and Climate Fields

ملخص تقني: الضغط مع فقدان البيانات الموجه بالمتطلبات لمجالات الطقس والمناخ

بيان المشكلة
تتوسع أرشيفات بيانات الطقس والمناخ بسرعة أكبر من قدرات التخزين، مما يستدي ضرورة استخدام الضغط مع فقدان البيانات (lossy compression). ومع ذلك، فإن الاعتماد التشغيلي يعوقه نقص الثقة؛ إذ لا يكون إعادة البناء (reconstruction) قابلاً للاستخدام إلا إذا كان خطؤه محصوراً ضمن حدود دقة محددة وقابلة للتحقق آلياً. التحدي الهندسي لا يقتصر مجرد على تقليل التشويه عند معدل ثابت، بل في تعظيم نسبة الضغط مع مراعاة القيود التي يضعها علماء المجال الخارجي ويتحقق منها فاحصون مرجعيون لا يتحكم فيهم برنامج الضغط. يتناول هذا العمل خمس مشكلات مختلفة للضغط تتعلق ببيانات غلاف جوي تشغيلية، تتراوح من حقول الأقمار الصناعية ذات القيم المفقودة إلى مجموعات كبيرة من متغيرات ERA5 ذات متطلبات الدقة المتنوعة لكل متغير.

المنهجية
يقترح المؤلف بنية موحدة مصممة لحل مشكلات ضغط مختلفة بنيوياً من خلال نهج موجه بالمتطلبات بدلاً من النهج الموجه بالبيانات.

1. اختيار برنامج الترميز (Codec) عبر تحليل المتطلبات: بدلاً من اختيار برنامج ترميز بناءً على إحصائيات البيانات، يقوم النظام بتحليل بنية متطلب الدقة (على سبيل المثال، الحدود المطلقة مقابل النسبية، الحدود النقطية مقابل متوسط الحدود، والحدود على المشتقات). وبناءً على هذه البنية، يختار من بين أربع عائلات من برامج الترميز:

   • شبكة منتظمة مرتكزة على الصفر: للحدود المطلقة، حيث يتم تثبيت القيم على شبكة مرتكزة عند الصفر للحفاظ على الأصفار الدقيقة (وهو أمر بالغ الأهمية للهطول ومتوسط الحدود).
   • شبكة النسبة اللوغاريتمية: للحدود النسبية النقطية، عبر تحويل البيانات عبر $\log_2|x|$ وتطبيق شبكة منتظمة.
   • برنامج ترميز التحويل (SPERR/SZ3) مع طبقة إصلاح اختيارية: للحقول الملساء، يتم تشغيل هذه البرامج عند إعدادات أقل صرامة من ضماناتها الاسمية. وإذا تم انتهاك حد نقطي، تقوم طبقة تصحيح بإصلاح نقاط محددة.
   • طبقة التصحيح فقط: تنبؤ ثابت (صفر) مغلف بضمانات، يعمل كخط أساس للحقول التي يهيمن عليها الثبات.

2. مرحلة الإنتروبيا (Entropy Stage): تنتهي جميع العائلات بمرحلة إنتروبيا مشتركة تتكون من ترميز القيم المتميزة، وفهرس بت (bitmap index) لرفع الرموز (tokens) المتكررة من التدفق الحرفي، وضغط LZMA2 الخام. يتم التعامل مع القيم المفقودة (NaN) إما عبر بت مكدس أو عن طريق التقريب في الفاصلة العائمة بحيث تظل NaN كرمز متميز بعد عمليات التحويل.

3. البحث عن المعلمات في حلقة الفاحص (Checker-in-the-Loop): يستخدم النظام بحثاً بمعلمة واحدة وهي معلمة "التراخي" $p$ التي تقوم بتوسيع الإعداد الاسمي لبرنامج الترميز المختار. يبدأ البحث عند $p=1$، ثم يتضاعف حتى يرفض الفاحص المرجعي إعادة البناء، ثم ينصف المسافة لإيجاد الإعداد الأمثل. بالنسبة للعائلات التي تستخدم طبقات التصحيح، يأخذ البحث أقصى نسبة فوق الإعدادات التي تم تقييمها بدلاً من الإعداد الأكثر تساهلاً، لأن منحنى النسبة غير رتيب.

4. معيار الدقة (Fidelity Criterion): يقدم المؤلف معياراً لرفض عمليات إعادة البناء "المقبولة ولكن المتدهورة". إذا تجاوز حد متوسط الخطأ تباين الحقل نفسه، فقد يقوم برنامج الترميز بإعادة بناء حقل ثابت (مما يؤدي لمحو البيانات) مع استيفاء الحد تقنياً. يفرض النظام قيداً يقضي بأن يجب أن تحتفظ عملية إعادة البناء بالحد الأدنى من القيم المتميزة وتحافظ على خطأ بالنسبة للانحراف المعياري ($\sigma$) للحقل.

النتائج الرئيسية
تم تقييم النظام على خمس مشكلات (P1–P5) مع صفر انتهاكات ضد الفاحصين المرجعيين:

• P1 (مسار بخار الماء في الأقمار الصناعية): حقق نسبة ضغط بلغت ×47.44 على حقل يحتوي على 69% من القيم المفقودة (NaN)، متفوقاً على النماذج المرجعية مثل SZ3 (×30.3) و SPERR (×20.1).
• P2 (الهطول): حقق ×19.07 على حقل يحتوي على أصفار دقيقة وتوزيع ملتوٍ. هنا، تفوقت شبكة النسبة اللوغاريتمية المنتظمة على برامج ترميز التحويل، التي فشلت في الحفاظ على الحدود في البيانات الصاخبة.
• P3 (مشتق رطوبة محددة): حقق ×83.88 من خلال تقييد مشتق طولي. كان برنامج ترميز التحويل (SPERR) مع طبقة تصحيح فعالاً للغاية لأن الأخطاء في الحقول الملساء تكون مترابطة مكانياً، مما يتطلب إصلاحات قليلة.
• P4 و P5 (متغيرات ERA5):
  • P4 (16 متغيراً عند مستويات الضغط): متوسط النسبة ×55.68 (مقابل ×46.14 للنموذج المرجعي). هيمنت برامج ترميز التحويل (9/16 متغيراً).
  • P5 (226 متغيراً عند المستويات الأحادية): متوسط النسبة ×50.76 (مقابل ×22.88 للنموذج المرجعي). هيمنت الشبكات المنتظمة (170/226 متغيراً)، خاصة في الحقول السطحية ذات التوزيع الصفري الكثيف.
  • تأثير معيار الدقة: بدون معيار الدقة، كان سيتم إعادة بناء 28 من أصل 226 متغيراً كحقول ثابتة بنسب تصل إلى ×35,194. تطبيق المعيار قلل أقصى نسبة إلى ×6,530 ولكنه ضمن عدم محو البيانات.

الأهمية والادعاءات
يدعي البحث ثلاث نتائج رئيسية تتجاوز مجموعات البيانات المحددة:

1. التفاعل بين المتطلبات وبرنامج الترميز: يعتمد الاختيار الأمثل بين ترميز التحويل والكمية المنتظمة على التفاعل بين انتظام الحقل ونوع الحد. الحقول الملساء تحت الحدود النقطية تفضل ترميز التحويل، بينما الحقول الصاخبة أو ذات التوزيع الصفري الكثف تحت حدود المتوسط تفضل الشبكات المرتكزة على الصفر.
2. تكلفة التصحيح: تضمن طبقة التصحيح القبول، لكن كفاءتها تعتمد على نسبة النقاط التي تحتاج إلى إصلاح. هي مربحة للقيود المشتقة في الحقول الملساء (P3)، لكنها غير فعالة للقيود النقطية في الحقول الصاخبة (P2).
3. القبول ليس كافياً: يوضح البحث أن استيفاء متطلب دقة منشور ليس معيار قبول كافياً إذا كان الحد يسمي بمحو تباين الحقل. يجادل المؤلف بأن نتائج الضغط الموجه بالمتطلبات يجب أن تُقدم جنباً إلى جنب مع بيان الدقة (مثل عدد القيم المتميزة والخطأ النسبي)، ويجب نشر برامج الترميز كإعدادات قابلة لإعادة البناء لضمان التحقق المستقل.

ملاحظات إضافية
كشفت عملية التقييم عن مشكلتين هامتين في تعريفات المشكلات نفسها:

• خطأ في قيد المشتق: قام كود التقييم لـ P3 بقسمة المشتق على $357.5^\circ$ بدلاً من $2.5^\circ$ المقصودة، مما جعل الحد أوسع بنحو 143 ضعفاً مما هو موثق. أبلغ المؤلف عن نتائجه مقابل القيد المنفذ (الأوسع) مع الإشارة صراحة إلى هذا التباين.
• حدود متوسط الخطأ: بالنسبة لـ 28 متغيراً، تجاوز حد متوسط الخطأ المنشور مقدار متوسط الحقل نفسه، مما سمح تقنياً بإعادة بناء حقل ثابت. يسلط هذا الضوء على خلل في كيفية صياغة بعض المتطلبات لأغراض الاختبار المعياري.

يخلص العمل إلى أن بنية واحدة، مدفوعة بتحليل المتطلبات ومحققة بواسطة فاحصين خارجيين مع ضمانات الدقة، يمكنها حل مشكلات ضغط جوي متنوعة بفعالية مع الحفاظ على النزاهة العلمية.