A Dual-Stream Network with Spatial Alignment and Swin Transformer Fusion for Visible-Infrared Object Detection
تقترح هذه الورقة شبكة كشف أجسام ثنائية المسار للمجالين المرئي وتحت الأحمر تدمج نمذجة الميزات القائمة على المويجات، ووحدة OffsetNet للمحاذاة المكانية، ووحدة SwinFusion لدمج الميزات عبر الأنماط لمعالجة عدم المحاذاة المكانية والاختلافات في الأنماط بفعالية، مما يؤدي إلى تحسين دقة الكشف.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الرؤية الآلية، غالبًا ما تكون الكاميرات أدوات متخصصة، لكل منها طريقتها الخاصة في رؤية العالم. تلتقط الكاميرات القياسية، مثل تلك الموجودة في هواتفنا، الضوء المرئي، وتسجل الألوان الغنية والمنسوجات والتفاصيل الدقيقة للمشهد. ومع ذلك، يمكن لهذه الصور أن تتلاشى في الظلام، أو تصبح ضبابية عبر الضباب الكثيف، أو تبهت بسبب التوهج الشديد. توفر كاميرات الأشعة تحت الحمراء منظورًا مختلفًا؛ فبدلاً من رؤية الضوء المنعكس، هي ترصد الإشعاع الحراري، مما يسمح لها بـ "رؤية" الأجسام الدافئة مثل البشر أو المحركات حتى في الظلام الدامس أو من خلال الدخان. وبينما تمتلك كل كاميرا نقاط قوة خاصة بها، فإن الاعتماد على نوع واحد فقط يترك فجوات في فهمنا للمشهد. لعقود من الزمن، حاول الباحثون دمج هذين المنظورين في صورة واحدة أكثر موثوقية، وهي عملية تُعرف باسم كشف الأجسام عبر الأشعة المرئية وتحت الحمراء. والهدف هو إنشاء أنظمة يمكنها رصد السيارات أو المشاة أو العوائق في أي طقس، ليلًا أو نهارًا، من خلال دمج الألوان والمنسوجات من الضوء المرئي مع الوضوح الحراري للأشعة تحت الحمراء.
ومع ذلك، فإن التحدي يكمن في أن هاتين الكاميرتين نادرًا ما تريان العالم في تزامن تام. نظرًا لأنهما غالبًا ما تكونان مثبتتين على مستشعرات مختلفة أو تمتلكان عدسات مختلفة، فإن الصور التي تلتقطانها قد تكون مزاحة قليلاً، أو مائلة، أو ذات مقاييس مختلفة. تخيل محاولة وضع طبقتين من خرائط لنفس المدينة حيث تكون إحداهما أكبر قليلاً ومزاحة إلى اليسار؛ لن تتماشى الشوارب، وستكون المعالم في أماكن خاطئة. عندما يحاول الكمبيوتر دمج هذه الصور غير المتوافقة، تكون النتيجة فوضى مربكة حيث تبهت حواف الأجسام ويفشل النظام في التعرف على ما ينظر إليه. علاوة على على ذلك، تبدو أنواع الصور هذان مختلفتين جوهريًا بالنسبة للكمبيوتر: إحداهما مليئة بالألوان والمنسوجات، بينما الأخرى عبارة عن خريطة للحرارة. إن مجرد تكديس هذه الصور فوق بعضها البعض لا يعمل بشكل جيد لأن الكمبيوتر يكافح لفهم كيف يتوافق الشكل الدافئ لشخص في صورة الأشعة تحت الحمراء مع الملابس التفصيلية لذلك الشخص نفسه في الصورة المرئية.
ولحل هذه المشكلة، طور فريق من الباحثين من جامعة سوتشو ومؤسسات أخرى طريقة جديدة تعمل مثل محرر ماهر، حيث تقوم بمحاذاة ودمج هذين المنظورين المتميزين بعناية قبل تقديمهما إلى نظام الكشف. نهجهم، المفصل في دراسة حديثة، يبتعد عن الخلط البسيط وبدلاً من ذلك يعامل المحاذاة والدمج كعملية متعددة الخطوات. أولاً، يقوم النظام بتفكيك الصور إلى طبقات مختلفة من التفاصيل، وفصل الأشكال العريضة عن الحواف الدقيقة. يسمح هذا للكمبيوتر بالحفاظ على السلامة الهيكلية للأجسام بينما يعمل على المهمة الأصعب المتمثلة في مطابقتها. ثم قدم الباحثون مكونًا محددًا، يسمونه وحدة المحاذاة المكانية، للتعامل مع مشكلة الإزاحة. بدلاً من محاولة تحريك الصورة بأكملها فعليًا، تتنبأ هذه الوحدة بتعديلات صغيرة محددة للمهام لكل جزء من الصورة المرئية، مما يؤدي فعليًا إلى تمرير التفاصيل إلى الموضع الصحيح بالنسبة لصورة الأشعة تحت الحمراء. إنه يشبه ضبط التركيز في عدسة الكاميرا، ولكن يتم ذلك رقميًا ولحظيًا لكل جزء من الصورة لضمان توافق حواف السيارة أو الشخص تمامًا مع بصمتها الحرارية.
بمجرد محاذاة الصور، يستخدم النظام محرك دمج قوي لدمجهما. تم تصميم هذا المحرك لفهم السياق داخل كل نوع من الصور بشكل مستقل أولاً — تعلم أنماط الحرارة في عرض الأشعة تحت الحمراء وأنماط المنسوجات في العرض المرئي — قبل أن يحاول الدمج بينهما. ومن خلال فهم كل منظور بشكل فردي أولاً، يمكن للنظام بعد ذلك دمجها بطريقة تبرز المعلومات الأكثر فائدة من كليهما. على سبيل المثال، قد يستخدم الحواف الحادة من الصورة المرئية لتحديد شكل الجسم، بينما يستخدم البصمة الحرارية من صورة الأشعة تحت الحمراء للتأكد من أن الجسم هو بالفعل كائن حي أو مركبة. يضمن هذا النهج التدريجي أن الصورة النهائية المجمعة ليست مجرد مجموع جزأين، بل هي رؤية متماسكة ومعززة تحتفظ بأفضل الصفات من كليهما.
اختبر الباحثون هذا النظام الجديد على أربع مجموعات بيانات عامة مختلفة، والتي تضمنت سيناريوهات من العالم الحقيقي تتراوح من القيادة الذاتية في شوارع المدينة إلى المراقبة الجوية من الطائات بدون طيار. احتوت مجموعات البيانات هذه على آلاف أزواج الصور الملتقطة في ظروف متنوعة، من ضوء النهار الساطع إلى الليالي شديدة الظلمة، وشملت أجسامًا ذات أحجام مختلفة. أظهرت النتائج أن طريقتهم تفوقت باستمرار على التقنيات الحالية. وفي مجموعة بيانات تركز على القيادة الذاتية، حقق النظام الجديد درجة دقة كشف بلغت 80.9 في المائة، وهي أعلى من الطرق السابقة. وفي كشف المشاة في الإضاءة المنخفضة، طابق النظام أفضل النماذج الحالية، وفي كشف المركبات الجوية، حسن القدرة على رصد الأجسام الصغيرة من ارتفاعات عالية. كما تضمنت الدراسة اختبارات مفصلة لإثبات أن كل جزء من نظامهم كان ضروريًا. فعندما أزالوا وحدة المحاذاة، عانى النظام مع الصور غير المتوافقة. وعندما أزالوا محرك الدمج المتقدم، فات النظام تفاصيل دقيقة. كان الجمع بين كلا المكونين هو ما دفع التحسن.
بينما يعد النظام فعالًا للغاية، يقر الباحثون بأنه يأتي بتكلفة. فالعملية المعقدة لمحاذاة ودمج الصور تتطلب قدرة حوسبة ووقتًا أكثر من الطرق الأبسط، مما قد يجعل من الصعب تشغيلها على الأجهزة الصغيرة التي تعمل بالبطارية في الوقت الفعلي. بالإضافة إلى ذلك، تم تصميم وحدة المحاذاة لإصلاح الإزاحات المحلية الصغيرة وليس الإزاحات العالمية الضخمة، مما يعني أنها تعمل بشكل أفضل عندما تكون الكاميرات موجهة بالفعل في نفس الاتجاه تقريبًا. ورغم هذه القيود، يوضح العمل مسارًا واضحًا للمستقبل في مجال الرؤية الآلية. فمن خلال معاملة محاذاة ودمج أنواع الكاميرات المختلفة كعملية دقيقة ومنظمة بدلاً من مجرد خلط بسيط، أظهر الباحثون أن أجهزة الكمبيوتر يمكنها أن تتعلم رؤية العالم بوضوح أكبر، حيث تجمع بين ألوان النهار وحرارة الليل لخلق رؤية أكثر أمانًا وموثوقية لكل شيء، من السيارات ذاتية القيادة إلى طائرات الدرون الأمنية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.