BenthicFlow: Generating Extensible Underwater Environments via Flow Matching
يُعد BenthicFlow إطار عمل توليدي موحد يستخدم نموذج مطابقة تدفق شرطي واحد وعينات مستوحاة من تقنية MultiDiffusion لإنشاء بيئات تحت مائية ثلاثية الأبعاد متماسكة وقابلة للتوسع مكانيًا مع أنسجة RGBD وخرائط عمق متوافقة، مما يعالج بفعالية تحديات ندرة البيانات والتعميم في الرؤية الحاسوبية تحت الماء.
يُعد قاع المحيط حدوداً شاسعة وغير مستكشفة إلى حد كبير، ومع ذلك، يتم رسم خرائطها بشكل متزايد بواسطة مركبات ذاتية القيادة تنزلق بصمت فوق الشعاب المرجانية والرمال والحطام. تلتقط هذه الآلات عشرات الآلاف من الصور خلال مهمة واحدة، مما يخلق أرشيفاً ضخماً لقاع البحر. ومع ذلك، فإن تحويل هذه الصور الخام إلى خرائط ثلاثية الأبعاد مفيدة أمر صعب للغاية؛ فالمياه تشوه الضوء، وغالباً ما يفتقر قاع البحر إلى المعالم المميزة، وعادة ما تكون البيانات الناتجة مجرد صور مسطحة تفتقر إلى معلومات موثوقة عن العمق أو مواقع الكاميرا. وبسبب هذه العقبات، يكافح العلماء والمهندسون لبناء نماذج رقمية دقيقة للعالم تحت الماء. وتكمن أهمية هذه الفجوة في أن الباحثين يحتاجون إلى بيئات ثلاثية الأبعاد واقعية لتدريب الروبوتات، واختبار أنظمة الملاحة، ودراسة البيئة البحرية، لكنهم لا يستطيعون بسهولة جمع البيانات النوعية العالية المطلوبة لهذه عمليات المحاكاة.
ولحل هذه المشكلة، طور فريق من الباحثين نظاماً جديداً يسمى "BenthicFlow"، والذي يعمل كمحرك توليدي لإنشاء المناظر الطبيعية تحت الماء. فبدلاً من محاولة تجميع الصور الحقيقية أو الاعتماد على نصوص حاسوبية جامدة، يتعلم هذا النظام الأنماط البصرية لقاع المحيط من بيانات المسح الموجودة، ثم يبتكر مشاهد جديدة ومنطقية تبدو وتشعر بأنها حقيقية. وكان التحدي الجوهري الذي واجهه الفريق هو كيفية إنشاء هذه المشاهد على نطاق واسع دون أن تبدو كأنها رقعة من قطع متباينة غير متناسقة. فغالباً ما كانت الطرق السابقة تولد قطعاً صغيرة ومستقلة من قاع البحر ثم تحاول لصقها معاً لاحقاً، وهي عملية تؤدي غالباً إلى ظهور فواصل مرئية وأنسجة غير متسقة. ويتخذ "BenthicFlow" نهجاً مختلفاً عبر توليد المشهد بأكمله في عملية واحدة مستمرة وموحدة؛ حيث يستخدم نموذجاً رياضياً واحداً يقوم بتوليد كل من صورة الألوان وخريطة العمق في آن واحد، مما يضمن تطابق نسيج الرمال أو الصخور تماماً مع شكله ثلاثي الأبعاد منذ البداية.
يعمل النظام من خلال أخذ بضع صور مرجعية لموقع معين تحت الماء واستخدامها لتوجيه إنشاء بيئة أكبر بكثير. تخيل العملية كأنها رسم جدارية ضخمة حيث يشير الفنان باستمرار إلى رسومات صغيرة لضمان الحفاظ على الأسلوب ولوحة الألوان الصحيحة. يبدأ الكمبيوتر بمساحة كبيرة من الضجيج الساكن ثم يقوم بتنقيحها تدريجياً، خطوة بخطوة، لتتحول إلى صورة واضحة. وللتعامل مع المساحات الشاسعة لقاع المحيط، يقوم النظام بتقسيم المهمة إلى أقسام متداخلة، ويعالجها جميعاً في وقت واحد ويمزج النتائج معاً أثناء العمل؛ وهذا يضمن أن يكون الانتقال من قسم إلى آخر سلساً، دون وجود خطوط حادة أو انقطاعات في النمط. وبمجرد أن يولد الكمبيوتر صورة عالية الدقة لقاع البحر مع خريطة العمق المقابلة لها، فإنه يرفع هذه الصورة المسطحة إلى بيئة ثلاثية الأبعاد كاملة. ويقوم بذلك عن طريق تحويل كل بكسل إلى عنصر سطحي مسطح وصغير موجه بشكل صحيح في الفضاء، مما يخلق عالماً ثلاثي الأبعاد مستمراً وقابلاً للتنقل يمكن مشاهدته من أي زاوية.
اختبر الباحثون نظامهم باستخدام بيانات تم جمعها من ثلاثة مواقع متميزة: شعاب مرجانية في أستراليا ومنطقة ساحلية في هاواي. ووجدوا أن المشاهد المولدة كانت وفية بشكل ملحوظ للبيئات الحقيقية، حيث التقطت الألوان والأنسجة وظروف الإضاءة الخاصة بكل موقع. وعند مقارنتها بأدوات توليد الصور المتقدمة الأخرى، أنتج "BenthicFlow" صوراً أكثر اتساقاً مع البيانات الفعلية تحت الماء، متجنباً المظاهر الغريبة والمصطنمة للشعاب المرجانية والمياه الزرقاء الصافية التي تنتجها النماذج العامة. كما أثبت النظام قدرته على الاستكمال بين المواقع المختلفة، حيث دمج بسلاسة ملامح أحد الشعاب المرجانية مع آخر لإنشاء مناظر طبيعية متنوعة ومتماسكة. علاوة على على ذلك، كانت معلومات العمق التي ولدها النظام متسقة للغاية مع الأنسجة البصرية، مما يعني أن الكمبيوتر لم ينشئ مجرد صورة جميلة، بل مثّل تضاريس دقيقة من الناحية الهيكلية.
ومن خلال النجاح في توليد هذه البيئات الممتدة تحت الماء، يوفر هذا العمل أداة قوية لعلوم البحار والروبوتات. إن القدرة على إنشاء عمليات محاكة ثلاثية الأبعاد واسعة النطاق وواقعية تسمح للمهندسين بتدريب المركبات ذاتية القيادة في عوالم افتراضية تحاكي بدقة تحديات المحيط الحقيقي، من المياه العكرة إلى التضاريس المعقدة، دون الحاجة إلى زيارة كل موقع فعلياً. كما يوفر لعلماء البيئة وسيلة لنمذجة شكل قاع البحر الصحي، مما يوفر معياراً أساسياً للكشف عن الظواهر غير الطبيعية مثل ابيضاض المرجان أو الأنواع الغازية. وتوضح الدراسة أنه من خلال توحيد توليد الصور والهندسة في عملية واحدة مستمرة، يمكن التغلب على قيود الطرق السابقة وإنشاء توائم رقمية لقاع المحيط تكون واسعة النطاق وأصيلة بعمق.
ملخص تقني: BenthicFlow
بيان المشكلة تواجه الرؤية الحاسوبية تحت الماء عقبة حرجة: فبينما راكمت المركبات ذاتية القيادة تحت الماء (AUVs) مجموعات هائلة من الصور، تظل البيانات ثلاثية الأبعاد المهيكلة والقابلة للاستخدام شحيحة بسبب غياب وضعيات الكاميرا الموثوقة، والافتقار إلى الإشراف ثلاثي الأبعاد الكثيف، وتدهور أداء تقنيات "الرؤية من الحركة" (SfM) و"تحديد الموقع ورسم الخرائط المتزامن" (SLAM) في البيئات منخفضة الملمس وعالية العكارة. تعاني النهج التوليدية الحالية التي تحاول سد هذه الفجوة في البيانات من قيود جوهرية؛ فالطرق السابقة، مثل مولد التضاريس القابل للتوسيع في [52]، تقوم بتجميع مشاهد ضخمة عبر دمج بلاطات مُولدة بشكل مستقل باستخدام نموذج منفصل لإكمال الصور (in-painting). وتؤدي هذه الاستراتيجية إلى ظهور عيوب عند الحدود، وتفشل في الحفاظ على التماسك العالمي عبر المشهد بأكٍمله، كما تقيد عملية التوليد في مواقع مسح محددة، مما يفتقر إلى القدرة على الاستكمال (interpolation) بين بيئات متباعدة جغرافياً. علاوة على ذلك، تفشل النماذج التأسيسية العامة في التقاط المظهر الخاص للصور المسحية، والذي غالباً ما يكون مسطحاً وعكراً، حيث تميل بدلاً من ذلك إلى إنتاج شعاب مرجانية ذات مياه صافية ومظهر جمالي مبالغ فيه.
المنهجية يقترح المؤلفون BenthicFlow، وهو إطار عمل موحد يولد فسيفساء (mosaics) متوافقة من نوع (RGB-depth) قابلة للتوسع مكانياً، ويقوم برفعها إلى بيئات ثلاثية الأبعاد صريحة. تتكون سلسلة المعالجة من ثلاث مراحل أساسية:
التمثيل الكامن (d-RAE): يعمل النظام في فضاء كامن مضغوط يُدار بواسطة مشفر تمثيل تلقائي معدل (d-RAE). يستخدم هذا المشفر هيكلاً خلفياً من نوع DINOv2 مجمد لصور RGB، وTransformer رؤية (ViT) منفصلاً تم تدريبه من الصفر لخرائط العمق. يتم دمج هذه العناصر في تمثيل كامن واحد (z∈Rh×w×1024)، مما يضمن التوافق الطبيعي بين الملمس والهندسة أثناء التدريب.
التوليد القابل للتوسع عبر مطابقة التدفق (Conditional Flow Matching):
الاشتراط (Conditioning): يتم اشتراط النموذج بناءً على صور مرجعية من مواقع مسح محددة. تُستخرج واصفات المظهر العالمي من البذور المرجعية، ثم تُجمع بالمتوسط وتُدرج خطياً لتشكيل شبكة اشتراط مستمرة. يسمح هذا بتوليد مشاهد متنوعة مع الحفاظ على الخصائص المميزة لكل موقع.
مطابقة التدفق (Flow Matching): يتعلم نموذج مطابقة تدفق شرطي (CFM) واحد، مُنفذ كشبكة U-Net كاملة التلافيف (fully convolutional)، كيفية استرجاع حقل السرعة الذي يحول الضجيج الغاوسي المتماثل (isotropic Gaussian noise) إلى التوزيع الكامن المستهدف.
أخذ العينات المستوحى من MultiDiffusion: لتوليد مشاهد أكبر من دقة التدريب، يتم تقسيم اللوحة الكامنة إلى نوافذ متداخلة. وخلافاً للطرق السابقة التي تقوم بدمج البلاطات لاحقاً (post-hoc)، يقوم BenthicFlow بالتوفيق بين النوافذ المتداخلة أثناء مسار التوليد. وفي كل خطوة تكامل، يتم حساب متوسط السرعات المتوقعة للرموز (tokens) المتداخلة باستخدام وزن نافذة جيبية قابلة للفصل، مما يضمن التماسك العالمي دون الحاجة إلى شبكة دمج ثانوية.
الرفع ثلاثي الأبعاد (3D Lifting): يتم فك تشفير اللوحة الكامنة المنقاة إلى فسيفساء RGBD عالية الدقة. ثم يتم رفع هذه الملاحظة (2.5D) إلى تمثيل ثلاثي الأبعاد مستمر باستخدام سطوح غاوسية محاذية للسطح (surface-aligned Gaussian surfels). وخلافاً لكتل غاوس ثلاثية الأبعاد المتماثلة (isotropic)، يتم توجيه الـ "surfels" بناءً على النواظم المحلية للسطح، مع امتدادات متباينة الخواص داخل المستوى لمنع الربط الخاطئ بين الفجوات في العمق. وتعمل خطوة تحسين المظهر فقط على ضبط اللون والعتامة لتتطابق مع الرؤية المصدرية مع الحفاظ على السلامة الهندسية.
المساهمات الرئيسية
توليد موسع موحد: صياغة مطابقة تدفق نافذة تتيح التوفيق بين نوافذ الكامن المتداخلة طوال مسار توليد مشترك. يتيح ذلك إنشاء فسيفساء RGBD قابلة للتوسع مكانياً باستخدام نموذج توليدي واحد، مما يلغي الحاجة إلى شبكات إكمال صور أو دمج منفصلة.
الاستكمال بين المواقع (Cross-Site Interpolation): حقل سرعة شرطي واحد قادر على تغطية مواقع مسح متباينة جغرافياً والاستكمال بسلاسة بينها، وهي قدرة لم تظهرها المولدات المائية السابقة.
الرفع ثلاثي الأبعاد باستخدام الـ Surfels: مرحلة رفع تحول فسيفساء RGBD إلى تمثيلات ثلاثية الأبعاد مستمرة مكانياً باستخدام "surfels" غاوسية محاذية للسطح، مما يحسن تغطية السطح ويحافظ على الهندسة المقدرة.
النتائج أُجريت التجارب على أكثر من 600,000 إطار قاعي من ثلاثة مواقع متميزة (Batemans Bay، وScott Reef، وHawaii).
جودة الصورة: تفوق BenthicFlow بشكل كبير على خط الأساس FLUX.2-dev، حيث حقق متوسط مسافة فريدشيه للإنتروبيا (FID) يبلغ 16.2 مقارنة بـ 99.7. كما أظهر توافقاً شرطياً فائقاً (تشابه جيب التمام 0.842 مقابل 0.649).
خصوصية الموقع: احتفظت مصنفات k-NN المدربة على البيانات المولدة بأكثر من 95% من دقة التوازن ودرجة F1 الكلية للبيانات الحقيقية، مما يؤكد الحفاظ على المؤشرات البصرية الخاصة بالموقع.
السلاسة: أشارت مقاييس نسبة تدرج الدرز (SGR) إلى دمج أمثل عند تداخل نوافذ بنسبة 62.5%، حيث كانت عيوب الحدود غير قابلة للتمييز عن بقية الملمس.
اتساق العمق: حقق النظام توافقاً شبه مثالي بين الصور المولدة وخرائط العمق (ارتباط بيرسون r=0.997)، مما يثبت الاتساق الهيكلي للتوليد متعدد الوسائط.
الدقة ثلاثية الأبعاد: أظهرت دراسات الاستبعاد (ablation studies) على مرحلة الرفع ثلاثي الأبعاد أن استخدام الـ surfels المحاذية للسطح مع التحسين المثبت حقق أفضل دقة للمشهد الواحد (SSIM 0.925، LPIPS 0.046)، متفوقاً على نهج غاوس المتماثل (isotropic).
الأهمية يزعم البحث أن BenthicFlow يعالج قيود خطوط إنتاج التوليد المائية الحالية من خلال صياغته الموحدة. فمن خلال معاملة التوليد وإكمال الصور كعملية واحدة ضمن مسار أخذ عينات مشترك، ينتج الإطار مشاهد ثلاثية الأبعاد متماسكة واسعة النطاق تطابق التوزيعات المستهدفة عن كثب دون العيوب المرتبطة بالدمج اللاحق. إن القدرة على الاستكمال بين المواقع الجغرافية المختلفة توفر نموذجاً طبيعياً لعلم البيئة البحرية ومصدراً قابلاً للتوسع للنماذج التضاريسية الاصطناعية لتدريب أنظمة إدراك المركبات ذاتية القيادة تحت الماء، خاصة في السيناريوهات التي لا يمكن فيها جمع بيانات الموقع المستهدف مسبقاً. يضع هذا العمل حجر الأساس لتوليد بيئات تحت مائية أصيلة ومعقدة طوبولوجياً، والتي عجزت النمذجة الإجرائية وخطوط أنابيب الانتشار القياسية عن محاكاتها.