D2-CDIG: Controlled Diffusion Remote Sensing Image Generation with Dual Priors of DEM and Cloud-Fog
تقترح الورقة البحثية إطار عمل D2-CDIG، وهو إطار عمل جديد لتوليد صور الاستشعار عن بعد يستفيد من نموذج الانتشار مع معطيات ثنائية من نماذج الارتفاعات الرقمية (DEM) ومعلومات السحب والضباب لتحقيق تحكم دقيق وعالي الجودة وواقعي في كل من التضاريس والظواهر الجوية.
المؤلفون الأصليون:Zuopeng Zhao, Ying Liu, Kanyaphakphachsorn Pharksuwan, Su Luo, Xiaoyu Li, Maocai Ning
تخيل أنك فنان تحاول رسم صورة واقعية للأرض من قمر صناعي. تريد إظهار سلسلة جبلية معينة، لكنك تريد أيضاً التحكم بدقة في مقدار الضباب أو السحب التي تغطيها.
المشكلة: "الفنانون بالذكاء الاصطناعي" (البرامج الحاسوبية السابقة) بارعون في الرسم، لكنهم يواجهون صعوبة في أمرين:
الأرض: غالباً ما يخطئون في شكل الجبال والوديان لأنهم لا ينظرون إلى خريطة ثلاثية الأبعاد للتضاريس.
السماء: يعاملون السحب والضباب كأنها زينة عشوائية. لا يمكنهم بسهولة قول: "اجعل السحب كثيفة هنا وخفيفة هناك"، أو "أضف القليل من الضباب في الوادي".
بسبب ذلك، تبدو الصور التي يصنعونها مزيفة، خاصة عندما يكون الطقس معقداً أو التضاريس وعرة.
الحل: D2-CDIG قام مؤلفو هذه الورقة البحثية بابتكار أداة جديدة تسمى D2-CDIG. فكر في الأمر كـ "نظام تحكم مزدوج" لرسام الذكاء الاصطناعي. بدلاً من إعطاء الذكاء الاصطناعي مجموعة واحدة من التعليمات، فإنهم يعطونه دليلين منفصلين ومتخصصين يعملان معاً:
"دليل الأرض" (DEM): يحمل هذا الدليل نموذج ارتفاع رقمي (DEM). تخيل هذا كخريطة سلكية ثلاثية الأبعاد للجبال والوديان. يستخدمه الذكاء الاصطناعي لضمان أن تبدو الأرض صحيحة تماماً—لا جبال مسطحة ولا تلال مقلوبة.
"دليل السماء" (السحب والضباب): يحمل هذا الدليل معلومات عن السحب والضباب. إنه يعمل مثل مفتاح تعتيم أو منزلق (Slider) للتحكم في الطقس. يمكنك تحريكه لتقول: "أريد غطاءً سحابياً بنسبة 10%"، أو "أريد ضباباً كثيفاً في الوديان".
كيف يعمل الأمر (تشبيه إبداعي): تخيل بناء منزل.
الطرق القديمة: تحاول بناء الجدران ورسم السماء في نفس الوقت باستخدام فرشاة واحدة. إذا أخطأت في رسم السماء، فقد تفسد السقف بالخطأ.
D2-CDIG: يستخدم طاقمين منفصلين من عمال البناء.
الطاقم (أ) (الأرض): يقومون ببناء الأساس والجدران بناءً على المخططات (DEM) بدقة. هم لا يهتمون بالطقس.
الطاقم (ب) (السماء): يأتون لاحقاً ليرسموا السماء ويضيفوا السحب. ينظرون إلى المنزل المكتمل ويقررون بالضبط أين يجب أن تستقر السحب لتبدو واقعية.
السحر: هذان الطاقمان يتحدثان مع بعضهما البعض. طاقم السماء يعرف أنه لا ينبغي وضع سحابة تطفو في منتصف قمة جبل لأن طاقم الأرض أخبرهم: "هذا منحدر صخري". هذا يضمن أن تبدو السحب وكأنها تتفاعل حقاً مع الأرض (مثل استقرار الضباب في وادٍ).
الميزات الرئيسية:
منزلق السحب: يحصل المستخدم على مقبض تحكم بسيط. إذا قمت بتدويره إلى "50%"، فسيقوم الذكاء الاصطناعي بإنشاء صورة تحتوي بالضبط على 50% من الغطاء السحابي. إنه ليس مجرد تخمين؛ بل هو عملية حسابية دقيقة.
التعلم الطبقي: يتعلم الذكاء الاصطناعي تفاصيل الأرض في المراحل الأولى من "التفكير"، ويتعلم تفاصيل السحب في المراحل اللاحقة. هذا يمنع تداخل وتداخل الأمرين مع بعضهما.
ماذا وجدوا: اختبرت الورقة البحثية هذه الأداة الجديدة مقابل طرق الذكاء الاصطنا أخرى.
صور أفضل: بدت الصور أكثر واقعية، مع جبال أكثر حدة وسحب تبدو طبيعية أكثر.
تحكم أكبر: على عكس الأدوات الأخرى التي كانت تكتفي بالتخمين بشأن الطقس، سمح D2-CDIG للمستخدم بتحديد مدى غيوم المشهد بدقة.
بيانات مفيدة: كانت الصور جيدة جداً لدرجة أنه إذا استخدمت لتدريب ذكاء اصطناعي آخر (مثل الذي يحدد المحاصيل أو المباني)، فإن ذلك الذكاء الاصطنا الثاني سيؤدي بشكل جيد جداً، وكأنه تدرب على صور حقيقية.
باخت-صار: D2-CDIG هو طريقة جديدة لتوليد صور الأقمار الصناعية تفصل بين مهمة رسم الأرض ومهمة رسم الطقس. من خلال استخدام خريطة ثلاثية الأبعاد للأرض و"منزلق سحب" للسماء، فإنه ينشئ صوراً واقعية للغاية وقابلة للتحكم، وهي أفضل بكثير مما كان ممكناً في السابق.
ملخص تقني: D2-CDIG
بيان المشكلة تعتمد طرق توليد صور الاستشعار عن بُعد القابلة للتحكم الحالية بشكل أساسي على التقنيات التقليدية مثل تقسيم الأجسام الأرضية وكشف الحواف. وبينما توفر هذه النهج بيانات جغرافية، إلا أنها تفشل في الاستفادة الكاملة من تضاريس الأرض المعقدة أو الظروف الجوية. ونتيجة لذلك، غالبًا ما تفتقر الصور المولدة إلى الدقة والواقعية عند محاكة التضاربات المعقدة والظواهر الجوية مثل السحب، والضباب، والتغيرات المناخية. وتكافح النماذج الحالية لالتقاط التفاعلات المعقدة بين الميزات السطحية والتأثيرات الجوية، مما يؤدي إلى مخرجات غير واقعية تفشل في دعم المهام ذات الدقة العالية أو تدريب النماذج الضخمة.
المنهجية يقترح البحث إطار عمل D2-CDIG (توليد صور الاستشعار عن بُعد عبر الانتشار المتحكم به بآلية الثنائية المسبقة لنموذج الارتفاع الرقمي والسحب والضباب)، وهو إطار يدمج نماذج الانتشار مع آلية تحكم ثنائية المسبقات. وبناءً على بنية Stable Diffusion v1.5، يقدم هذا الأسلوب تصميم ControlNet ثنائي المسارات لفصل توليد التضاريس عن الغلاف الجوي:
المعرفة الثنائية المسبقة: يدمج النظام إشارتين تحكم متمايزتين:
نموذج الارتفاع الرقمي (DEM): يعمل كمسبق أرضي للتحكم في هيكل التضاريس.
معلومات السحب والضباب: تعمل كمسبق جوي للتحكم في الظروف الجوية.
البنية ثنائية المسارات:
المسار الأرضي: يستخدم مشفرًا يعتمد على الشبكات العصبية الالتفافية (ResNet-18) لمعالجة بيانات DEM. ويقوم بحقن إشارات التحكم في كتل U-Net الدنيا والمتوسطة (الكتل 2، 4، 6، 8) لتوجيه هندسة التضاريس المحلية، والحواف، والنسيج.
المسار الجوي: يستخدم مشفرًا يعتمد على المحولات (ViT-Small) لمعالجة أقنعة السحب والضباب. ويقوم بحقن الإشارات في كتل U-Net العليا (الكتل 10، 12، 14، 16) للتحكم في التكوين العالمي، والبنية الدلالية، ومورفولوجيا السحب.
استراتيجية الحقن الطبقي: يتم حقن إشارات التحكم في مستويات ميزات محددة لضمان الاتساق الفيزيائي. حيث تثبت الميزات الأرضية عملية التوليد في مرحلة مبكرة، بينما تعدل الميزات الجوية المخرجات لاحقًا، مما يسمح للنموذج بمراعاة الإضاءة العالمية والتضاريس عند رصد التأثيرات الجوية.
التحكم الدقيق في السحب: تم تقديم "منزلق كثافة السحب" (δ∈[0,1])، والذي تمت معايرته عبر دالة قانون القوة (Ccov=0.95⋅δ0.85×100%) لربط مدخلات المستخدم بنسب تغطية السحب الفيزيائية الدقيقة.
هدف التدريب: يتم تدريب النموذج باستخدام دالة خسارة مشتركة تجمع بين خسارة التنبؤ بضجيج الانتشار القياسية وخسائر الإدراك الحسّي لاتساق الأرض (Lground) وتشابه الغلاف الجوي (Latmosphere)، والموزونة بمعاملات فائقة α=0.6 و β=0.4.
المساهمات الرئيسية
التوليد المتحكم به بمسبقات ثنائية: تقديم طريقة تأخذ في الاعتبار في آن واحد الميزات السطحية (عبر DEM) والتغيرات الجوية (عبر السحب والضباب) باستخدام شبكة تحكم ثنائية المسارات، مما يسد الفجوة البحثية في الجمع بين التحكم في التضاريس والغلاف الجوي.
عملية توليد مفككة: تصميم مسارات أرضية وجوية متوازية تسمح بتحكم مستقل ومتناسق في آن واحد، مما يضمن انتقالات طبيعية بين التضاريس والظروف الجوية.
آلية التحكم الدقيق في السحب: تطوير منزلق لكثافة السحب ونظام بارامترات أرصاد جوية يسم يسمح للمستخدمين بتعديل سمك السحب وشكلها وتوزيعها بمرونة ودقة أثناء الاستدلال.
الحقن الطبقي: استراتيجية تدريب يتم فيها حقن الإشارات الأرضية والجوية في مستويات ميزات مختلفة (مستوى منخفض للتضاريس، ومستوى عالٍ للغلاف الجوي) لضمان التكامل السلس.
النتائج التجريبية قام المؤلفون بتقييم D2-CDIG مقابل النماذج المرجعية الرائدة (SD v1.5, DiffusionSat, ControlNet, CRS-Diff, T2I-Adapter) عبر ثلاث مهام: تحويل النص إلى صورة، وتحويل DEM إلى صورة، والتوليد متعدد الشروط.
الأداء الكمي: حقق D2-CDIG أفضل النتائج عبر جميع المقاييس. وفي التوليد الموجه بـ DEM، حقق معامل SSIM قدره 0.303، وPSNR قدره 16.930 dB، وFID قدره 59.974، متفوقًا بشكل كبير على ثاني أفضل طريقة (CRS-Diff).
المتانة: أظهر النموذج استقرارًا فائقًا عبر مستويات تغطية سحابية متفاوتة (5% إلى 70%). عند تغطية سحابية بنسبة 50%، حافظ D2-CDIG على SSIM قدره 0.321 وFID قدره 63.175، بينما أظهرت النماذج المرجعية تدهورًا ملحوظًا.
الفائدة في المهام اللاحقة: في مهام تقسيم غطاء الأرض باستخدام نموذج DeepLabV3+ المدرب على بيانات معززة، حققت الصور المولدة بواسطة D2-CDIG قيمة mIoU بلغت 0.678، وهي تقارب أداء النماذج المدربة على بيانات حقيقية (0.683) وتتفوق بشكل كبير على استراتيجيات التعزيز الأخرى.
القابلية للنقل: أظهر إطار العمل قابلية نقل "صفرية" (zero-shot) إلى بيانات Sentinel-2 (بدقة 10 أمتار)، مع تحسن الأداء بشكل كبير بعد الضبط الدقيق.
الأهمية والادعاءات يزعم البحث أن D2-CDIG يوفر حلاً مرنًا ودقيقًا لتوليد صور الاستشعار عن بُعد، معالجًا قيود الطرق التقليدية التي تتجاهل الظواهر الجوية. ومن خلال فصل توليد التضاريس عن الغلاف الجوي، ينتج الأسلوب صورًا ذات غنى في التفاصيل، وواقعية، واتساق فيزيائي أعلى. ويذكر المؤلفون أن D2-CDIG يوفر أساسًا عالي الجودة للبيانات لتدريب نماذج الاستشعار عن بُعد الضخمة والمهام اللاحقة. علاوة على ذلك، تم تصميم الطريقة لتكون مستقلة عن نوع المستشعر، حيث تعتمد على مدخلات DEM والسحب والضباب المتاحة عالميًا بدلاً من نطاقات محددة للمستشعر، مما يجعلها قابلة للتطبيق عبر منصات استشعار عن بُعد متنوعة. يهدف العمل إلى سد الفجوة بين الطلب على البيانات وتوافرها، مما يساعد العلماء وصناع القرار في اتخاذ قرارات مدروسة بشأن سطح الأرض والغلاف الجوي المتغيرين.