Improved Vision-to-Chart Buoy Association with Learned World-to-Image Projection

ملخص تقني: تحسين ربط العوامات من الرؤية إلى الخريطة باستخدام إسقاط "من العالم إلى الصورة" المُتعلم

تعريف المشكلة
تتناول الورقة البحثية تحدي "الرؤية إلى الخريطة" (MaCVi 2026)، والذي يتضمن اكتشاف العوامات في الصور البحرية وربط كل اكتشاف بمدخله المقابل في الخريطة الملاحية. يكمن الصعوبة الجوهرية في الإسقاط الهندسي: حيث تتلقى النسخة المرجعية (baseline) استعلامات لكل عوامة تشفر فقط المسافة والاتجاه في الفضاء العالمي. وبناءً على ذلك، يجب على وحدة فك الترميز (decoder) في نموذج الـ Transformer تعلم عملية الربط المعقدة من هذه الإحداثيات العالمية إلى بكسلات الصورة بشكل ضمني، وهي عملية تعتمد بشدة على ميل السفينة اللحظي (pitch و roll) واتجاهها (heading) (المستخلص عبر وحدة القياس بالقصور الذاتي IMU). وتجبر النهج المرجعي النموذج على اكتشاف هذه العلاقة الهندسية من الصفر، معتمدة فقط على تحسين المظهر.

المنهجية
يقدم الحل المقترح تعديلاً خفيف الوزن على نموذج الـ fusion transformer القائم على DETR من خلال توفير أولوية مكانية (spatial prior) صريحة لفك الترميز. تتكون المنهجية من مرحلتين رئيسيتين:

1. QueryMLP (إسقاط مُتعلم من العالم إلى الصورة):
   يتم تدريب شبكة عصبية متعددة الطبقات (MLP) مخصصة بشكل مستقل للتنبؤ بـ "نقطة تلامس خط الماء" للعوامة في الصورة. تم اختيار هذه النقطة كهدف للتنبؤ لأنها تتوافق مباشرة مع موقع الجسم على مستوى الماء، ويتم تقريبها بواسطة الحافة السفلية المركزية لصندوق الإحاطة ($[c_x, c_y + h/2]$).

• المدخلات: تأخذ الـ MLP ست ميزات مشتقة من بيانات الخريطة واتجاهات الـ IMU: المسافة الموحدة، المسافة العكسية (المقصوصة للتعامل مع عدم الخطية في المجال القريب)، الاتجاه الموحد، الميل الطولي (pitch)، الميل العرضي (roll)، والاتجاه (heading).
• البنية: شبكة مكونة من أربع طبقات ($6 \to 128 \to 128 \to 128 \to 2$) مع استخدام BatchNorm و ReLU و Dropout وطبقة مخرجات Sigmoid.
• التدريب: تم تدريبها على أمثلة (استعلام، IMU، تسمية) باستخدام AdamW وخسارة SmoothL1، حيث وصلت للتقارب عند الحقبة 585 بمتوسط خطأ تحقق قدره 18.4 بكسل.

2. التكامل في مسار عمل DETR:
   بمجرد تدريب QueryMLP، يتم تجميدها. أثناء تدريب واستدلال DETR، يقوم محمل البيانات (dataset loader) بتشغيل الـ MLP على كل استعلام خريطة لتوليد إحداثيات البكسل المتوقعة. يتم دمج هذه الإحداثيات مع المسافة والاتجاه الموحد الأصلي لتشكيل متجه استعلام معزز رباعي الأبعاد ($q = [dist_{norm}, bearing_{norm}, c_x, c_y + h/2]$).

• يعمل هذا المتجه على توسيع أبعاد المدخل لـ embedding MLP الخاص بفك الترميز الأساسي من 2 إلى 4.
• بعد ذلك، يقوم الـ transformer decoder بعمل cross-attention لهذه التضمينات المعززة مقابل ميزات صورة ResNet-50.
• تظل جميع المكونات المعمارية الأخرى (العمود الفقري ResNet-50، طبقات الـ transformer، ودوال الخسارة) مطابقة للنسخة المرجعية.

المساهمات الرئيسية

• الأولويات المكانية الصريحة: يستبدل هذا العمل التعلم الضمني للإسقاط الهندسي بخرائط صريحة مُتعلمة توفر لفك الترميز موقعاً تقريبياً لكل عوامة قبل معالجة ميزات الصورة.
• هدف نقطة تلامس خط الماء: استلهاماً من أعمال سابقة في الجيومكانية البحرية، تستهدف الطريقة تحديداً نقطة تلامس خط الماء باعتبارها الموقع الأكثر دقة هندسياً في مساحة الصورة لربط العوامة.
• تعديل خفيف الوزن: لا يتطلب النهج أي تغييرات في العمود الفقري الثقيل للـ transformer أو حلقة التدريب الرئيسية لـ DETR، بل يتطلب فقط MLP إضافي مُدرب مسبقاً وتعديلاً في مسار بناء الاستعلام.

النتائج
تم تقييم الطريقة على مجموعة بيانات ATON (5,189 عينة) وعلى مجموعة الاختبار الخاصة بالمسابقة.

• الأداء: حقق النهج المقترح درجة إجمالية قدرها 0.7386 على مجموعة الاختبار (محسوبة كمتوسط لـ F1-score و mIoU)، مما وضعه في المركز الثاني بين جميع المشاركات.
  • مقاييس مجموعة الاختبار: F1 = 0.8055، mIoU = 0.6718.
  • مقاييس مجموعة التحقق: الإجمالي = 0.7462 (F1 = 0.8171، m IoU = 0.6753).
• المقارنة: عندما أُعيد تدريب النسخة المرجعية (باستخدام المسافة والاتجاه فقط) تحت ظروف متطابقة، حققت درجة إجمالية قدرها 0.7193 على مجموعة التحقق. أظهرت الطريقة المقترحة تعميماً متسقاً بين مجموعتي التحقق والاختبار.
• التحليل النوعي: تشير المقارنات البصرية إلى أن الطريقة المقترحة تقلل من الاكتشافات الإيجابية الكاذبة للأجسام غير العوامات وتنجح في اكتشاف العوامات التي فاتها النموذج المرجعي، ويُعزى ذلك إلى تحسين الدقة بفضل الأولوية المكانية.

الأهمية والادعاءات
تدعي الورقة أن الأهمية الرئيسية لهذا العمل هي تقليل "عبء الاستدلال الهندسي" على الـ transformer decoder. فمن خلال التنبؤ الصريح بمكان ظهور العوامة بناءً على الإحداثيات العالمية وتوجه السفينة، يمكن للنموذج تركيز قدرته على تحسين المظهر بدلاً من تعلم هندسة الإسقاط من الصفر.

يشير المؤلفون بتواضع إلى القيود والتوجهات المستقبلية:

• التصميم المجمد: يترك التنفيذ الحالي QueryMLP مجمدة أثناء تدريب DETR، مما يمنع فك الترميز من تقديم تغذية راجعة لتحسين تنبؤات البكسل. ويُقترح التدريب المشترك (end-to-end joint training) كتحسين مستقبلي.
• المتانة البيئية: بينما تعتبر نقطة تلامس خط الماء مستقرة هندسياً في الظروف الهادئة، يقر المؤلفون بأنها قد تكون أقل موثوقية في البحار الهائجة حيث يمكن لحركة الأمواج أو الرذاذ حجب قاعدة العوامة، وهي الظروف التي يكون فيها الربط القوي في غاية الأهمية.

كود التنفيذ متاح للجمهور.