Scalable Bayesian maximum entropy for large environmental data sets through Vecchia graphical inference

تُعد المياه الجوفية المحرك الخفي لإمداداتنا المائية، فهي تتدفق بصمت تحت أقدامنا عبر الصخور والرمال المسامية. ولإدارتها بأمان، يعتمد العلماء على شبكات من الآبار التي تقيس مستويات المياه وجودتها. لكن هذه القياسات نادراً ما تكون مثالية؛ فأحياناً يعطي المستشعر رقماً دقيقاً، وفي أحيان أخرى، يخبرنا فقط أن مستوى مادة كيميائية ما "مرتفع جداً بحيث لا يمكن قياسه" أو يقع ضمن نطاق واسع. وفي لغة الإحصاء، يُسمى النوع الأول من البيانات "بيانات صلبة" (hard data)، بينما يُسمى النوع الثاني "بيانات ناعمة" (soft data). وتواجه الطرق التقليدية لرسم خرائط المياه الجوفية صعوبة عندما تُجبر على دمج هذين النوعين من المعلومات، خاصة عندما تتوسع مجموعات البيانات لتشمل مئات الآلاف من القياسات. وعندما تصبح البيانات ضخمة جداً، يمكن لأجهزة الكمبيوتر المطلوبة لمعالجتها أن تصبح مثقلة، مما يضطر العلماء إما إلى تجاهل البيانات الناعمة أو الانتظار لأيام للحصول على نتيجة.

لقد طور فريق من الباحثين طريقة جديدة للتعامل مع هذا التدفق الهائل من المعلومات، مما يسمح برسم خرائط ظروف المياه الجوفية بدقة وسرعة. نهجهم، الذي يسمونه VISTA-BME، يعمل كمرشح متطور يمكنه استيعاب الأرقام الدقيقة جنباً إلى جنب مع النطاقات الغامضة وتوزيعات الاحتمالات دون فقدان تفاصيل البيانات الأصلية. ومن خلال الجمع بين تقنية تعمل على تفكيك العلاقات المكانية المعقدة إلى قطع أصغر يمكن إدارتها، وطريقة تقرب البيانات غير المؤكدة بذكاء، تمكن الباحثون من معالجة مجموعات البيانات البيئية التي كانت في السابق أكبر من أن يتم التعامل معها. وفي الاختبارات التي شملت المياه الجوفية في فلوريدا ومجموعة بيانات وطنية ضخمة من الولايات المتحدة، أنتجت طريقتهم نتائج مطابقة تقريباً للحسابات التقليدية الأكثر دقة، ولكنها فعلت ذلك في جزء ضئيل من الوقت وباستخدام جزء ضئيل جداً من ذاكرة الكمبيوتر.

يتمثل التحدي الجوهري الذي عالجه الباحثون في كيفية تحديث خريطة للعالم عند وصول معلومات جديدة، خاصة عندما تكون تلك المعلومات غير كاملة. تخيل محاولة رسم خريطة لمشهد طبيعي حيث يتم تحديد بعض النقاط بإحداثيات دقيقة، بينما توصف نقاط أخرى بأنها "في مكان ما في هذا الوادي" أو "من المرجح أن تكون بين هذين التلّين". غالباً ما تجبر الأدوات الرياضية القياسية العلماء على تبسيط هذه الأوصاف الغامضة إلى أرقام مفردة، مما يؤدي إلى التخلص من المعلومات القيمة حول شكل البيانات وعدم اليقين. وبدلاً من ذلك، يمكنهم محاولة الاحتفاظ بكل عدم اليقين، لكن الحسابات المطلوبة للقيام بذلك تنمو بسرعة كبيرة لدرجة أنها تصبح مستحيلة حتى بالنسبة لأقوى أجهزة الكمبيوتر لإنهائها في وقت معقول. كان على الباحثين إيجاد طريقة للحفاظ على عدم اليقين سليماً مع جعل الرياضيات سريعة بما يكفي لتكون مفيدة.

ولحل هذه المشكلة، بنى الفريق على مفهوم يُعرف باسم إطار "الاحتمال الأقصى للإنتروبيا البايزية" (Bayesian maximum entropy framework)، وهو نهج إحصائي يعامل جميع المعلومات المتاحة كنموذج احتمالي واحد موحد. وقد أدخلوا طبقة جديدة من الكفاءة باستخدام تقنية تسمى "تحليل فيتشيا" (Vecchia factorization). فبدلاً من محاولة حساب العلاقة بين كل نقطة بيانات وكل نقطة أخرى في شبكة ضخمة — وهي مهمة تتطلب تخزين جدول هائل وغير منظم من الأرقام — قاموا بحصر كل عملية حسابية في مجموعة صغيرة من الجيران القريبين. يشبه هذا كيف يمكن لشخص أن يفهم حالة الطقس في بلدته من خلال النظر في ظروف القرى المحيطة بها، بدلاً من محاولة مراعاة الطف في كل مدينة على كوكب الأرض في آن واحد. ومن خلال التركيز فقط على هذه الروابط المحلية، حوّل الباحثون مشكلة تتطلب تخزين مئات الجيجابايت من البيانات إلى مشكلة تتسع بسهولة في جهاز كمبيوتر مكتبي عادي.

كان الابتكار الرئيسي الثاني هو كيفية تعاملهم مع البيانات "الناعمة". فعندما يكون القياس غامضاً، مثل تركيز مادة كيميائية معروف أنه أعلى من حد معين ولكن غير معروف بدقة كم يبلغ، استخدم الباحثون طريقة تسمى "انتشار التوقع" (expectation propagation). تسمح هذه التقنية للكمبيوتر بتقريب شكل عدم اليقين دون الحاجة إلى إجراء عمليات تكامل معقدة وبطيئة. وبالنسبة للحالات التي تحتوي فيها البيانات على قمم متعددة محتملة أو أنماط متميزة — أي أن المادة الكيميائية قد تكون في نطاقين مختلفين تماماً — فقد طوروا طريقة لنقل هذه الاحتمالات المتعددة عبر العملية الحسابية. ويقرر نظامهم تلقائياً متى يكون التقريب البسيط كافياً ومتى يكون من الضروري الاحتفاظ بالشكل الأكثر تعقيداً ومتعدد القمم لضمان الدقة. وهذا يضمن أن الخريطة النهائية تعكس التعقيد الحقيقي للبيئة تحت الأرض بدلاً من تسويتها في متوسط مضلل.

اختبر الباحثون نظامهم الجديد على مستويين مختلفين تماماً. أولاً، نظروا في طبقة "بيسكاين" الجوفية في فلوريدا، وهي مصدر حيوي لمياه الشرب حيث يشكل تسرب المياه المالحة تهديداً مستمراً. لقد جمعوا بين القياسات الصلبة لمستويات الكلوريد والبيانات الناعمة المستمدة من قراءات الموصلية الكهربائية والملاحظات المبتورة. وعندما قارنوا طريقتهم الجديدة بالنهج التقليدي البطيء، وجدوا أن النظام الجديد أنتج خرائط مطابقة تقريباً لحدود المياه المالحة. كان الفرق في القيم المتوقعة صغيراً جداً لدرجة أنه يكاد لا يُلاحظ، ومع ذلك، كان النظام الجديد أسرع بنحو عشرين مرة واستخدم أقل بنحو ألفي مرة من ذاكرة الكمبيوتر. هذا الكفاءة تعني أن مهمة كانت ستتطلب حاسوباً فائقاً (supercomputer) يمكن إنجازها على محطة عمل واحدة.

ثم دفعوا النظام إلى أقصى حدوده باستخدام مجموعة بيانات ضخمة من هيئة المسح الجيولوجي الأمريكية، تغطي ملاحظات المياه الجوفية من أكثر من 1,700 بئر عبر منطقتين كبيرتين في البلاد على مدى ست سنوات. احتوت مجموعة البيانات هذه على ما يقرب من 1.5 مليون ملاحظة، منظمة في شبكة تضم أكثر من 178,000 عقدة متميزة تمثل الآبار والأشهر. كان النهج التقليدي سيتطلب تخزين مصفوفة بيانات تزيد عن 100 جيجابايت، وهو حجم يجعل التحليل القياسي مستحيلاً. ومع ذلك، قام النظام الجديد ببناء الرسم البياني اللازم وحل مسألة مستويات المياه في ما يزيد قليلاً عن ثانية واحدة، مستخدماً بضع عشرات من الميجابايت فقط من الذاكرة. أظهرت الخرائط الناتجة ليس فقط متوسط عمق المياه، ولكن أيضاً كيف تغيرت من شهر لآخر، مما كشف عن الأنماط الموسمية والاتجاهات طويلة المدى بوضوح لم يكن ممكناً تحقيقه بهذا النطاق من قبل.

بالإضافة إلى السرعة والذاكرة، تحقق الباحثون بعناية من دقة توقعاتهم. وقارنوا نتائجهم بطرق حديثة أخرى، بما في ذلك نماذج تعلم الآلة ومرشحات التجميع (ensemble filters). وبينما أنتجت بعض هذه الطرق البديلة أخطاءً أقل قليلاً في تنبؤات النقاط المحددة، إلا أنها غالباً ما فشلت في تقديم تقديرات موثوقة لعدم اليقين، حيث كانت فترات التنبؤ الخاصة بها تغطي القيم المرصودة الفعلية بمعدل أقل بكثير مما ينبغي. حافظ النظام الجديد على مستوى عالٍ من الدقة في تنبؤاته للنقاط، مع توفير تقديرات قوية لعدم اليقين، مما يضمن قدرة صناع القرار على الثقة في مستويات الثقة المرفقة بالخرائط. كما أظهرت الدراسة أنه من خلال استخدام تقنية تسمى "المعايرة المطابقة" (conformal calibration)، استطاعوا ضبط عرض فترات التنبؤ لتتطابق مع مستوى الثقة المطلوب، مما أدى إلى تحسين موثوقية التوقعات بشكل أكبر.

تمتد آثار هذا العمل إلى ما هو أبعد من المياه الجوفية. فالقدرة على معالجة مجموعات البيانات الضخمة، الفوضوية، وغير المؤكدة بكفاءة تفتح الباب أمام نمذجة أكثر دقة في مجالات عديدة، من علوم المناخ إلى الصحة العامة. ومن خلال إثبات إمكانية الاحتفاظ بالثراء الكامل للبيانات غير المؤكدة دون التضحية بالسرعة الحسابية، قدم الباحثون أداة يمكن أن تساعد العلماء في فهم أفضل لعالم معقد. لا تدعي الدراسة أنها حلت كل المشكلات في الإحصاء المكاني، وهي تقر بأن بعض مصادر عدم اليقين، مثل الاختلافات في أعماق شاشات الآبار، تظل صعبة الحل. ومع ذلك، فإنها تضع مساراً واضحاً للمستقبل، وتوضح أنه باستخدام الاختصارات الرياضية الصحيحة، يمكننا الآن تحليل البيانات البيئية على نطاق كان بعيد المنال سابقاً، وتحويل المحيطات الشاسعة من الأرقام الخام إلى خرائط واضحة وقابلة للتنفيذ للعالم الخفي تحت أقدامنا.