HP-UniIF: Hierarchical Prompt Learning for Unified Image Fusion
تقترح الورقة البحثية إطار عمل HP-UniIF، وهو إطار رؤية موحد يستفيد من مسبقات الانتشار واستراتيجية تعديل شرطي هرمي عميق الاتجاه لتحقيق دمج الصور غير المتجانس، والترميم البصري، والإدراك الموجه نحو المهام في آن واحد، وذلك عبر فك الارتباط بين هذه الأهداف عبر مراحل الشبكة المختلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً يمكن فيه للكاميرا أن ترى من خلال الضباب، والظلام، والضبابية في آن واحد، عبر دمج لقطات متعددة غير مكتملة لتكوين صورة واحدة مثالية. هذا هو الوعد الذي يقدمه "دمج الصور" (image fusion)، وهو مجال في الرؤية الحاسوبية مخصص لجمع المعلومات من مصادر مختلفة. أحياناً، تلتقط الكاميرات نفس المشهد بطرق مختلفة: إحداها ترى البصمات الحرارية لشخص في الظلام، بينما ترى الأخرى تفاصيل الألوان في وضح النهار. وفي أحيان أخرى، يتم تصوير مشهد واحد في أوقات مختلفة من اليوم أو بإعدادات تركيز مختلفة. الهدف هو دمج هذه الصور المنفصلة بحيث تحتوي النتيجة النهائية على أفضل التفاصيل من كل مصدر، مما يخلق رؤية أكثر وضوحاً وإفادة مما يمكن أن تكون عليه أي صورة منفردة بمفردها. ومع ذلك، فإن العالم الحقيقي نادراً ما يكون مثالياً؛ فالصور التي نحاول دمجها غالباً ما تكون متضررة بالضجيج، أو الإضاءة الضعيفة، أو الضباب، وغالباً ما يكون الهدف من الصورة النهائية هو استخدامها من قبل الحاسوب للعثور على سيارة أو شخص، وليس فقط لتبدو جميلة. لفترة طويلة، كان على العلماء بناء أدوات منفصلة لكل تحدٍ من هذه التحديات: أداة لدمج الصور، وأداة أخرى لإصلاح الضرر، وثالثة لتجهيز الصورة للتحليل الحاسوبي. وهذا يعني أنه إذا تطلب الموقف الثلاثة أشياء معاً، فإن الأدوات الموجودة كانت تعاني، وغالباً ما تنتج نتائج إما ضبابية، أو مليئة بالضجيج، أو مربكة للحاسوب الذي يحاول قراءتها.
لقد اقترح فريق من الباحثين نهجاً جديداً يسمى HP-UniIF، والذي يحاول حل كل هذه المشكلات ضمن نظام واحد. فبدلاً من بناء أدوات منفصلة للدمج، والإصلاح، والتحليل، أنشأوا إطار عمل موحداً يتعامل مع كل شيء معاً. وتعتمد فكرة جوهرهم على نوع من الذكاء الاصطناዊ المعروف باسم "نموذج الانتشار" (diffusion model). فكر في هذا النموذج كفنان ماهر للغاية قد شاهد ملايين الصور ويعرف تماماً كيف يجب أن تبدو الصورة الواضحة والطبيعية. يستخدم الباحثون معرفة هذا الفنان كقاعدة، لكنهم يضيفون طبقة خاصة من التعليمات لتوجيه الفنان. لقد أدركوا أن طلب "صنع صورة جيدة" من الفنان ليس كافياً عندما تكون المدخلات فوضوية أو عندما تحتاج الصورة إلى استخدام مهمة محددة مثل رصد مركبة. لذا، استحدثوا نظاماً من "المطالبات" (prompts)، وهي تشبه الملاحظات التفصيلية التي تُمرر إلى الفنان في مراحل مختلفة من عملية الرسم.
صمم الباحثون هذه الملاحظات لتكون هرمية، بمعنى أنها منظمة حسب العمق والغرض. في البداية تماماً، عندما ينظر النظام إلى الصور الخام المتضررة، توجد مجموعة محددة من الملاحظات تخبر النظام بكيفية تنظيف الضجيج والضبابية دون فقدان التفاصيل المهمة. هذه هي "مطالبة التدهور" (degradation prompt)، والتي تعمل كدليل للترميم، مما يضمن أن الفنان يعرف الأجزاء المتضررة التي تحتاج إلى إصلاح. وبمجرد أن تصبح الصورة أنظف، تتولى مجموعة ثانية من الملاحظات، وهي "مطالبة المهمة" (task prompt)، زمام الأمور. تخبر هذه الملاحظة النظام بنوع الدمج المطلوب: هل يجب دمج صورة حرارية مع صورة مرئية، أم يجب مزج صورة ساطعة مع أخرى مظلمة؟ وهذا يضمن أن النظام يعرف بالضبط نوع الدمج الذي يجب تنفيذه. وأخيراً، إذا كانت الصورة الناتجة تهدف لمساعدة الحاسوب في العثور على جسم معين، يتم إضافة مجموعة ثالثة من الملاحظات، وهي "مطالبة التطبيق" (application prompt). تعمل هذه الملاحظة على توجيه اللمسات النهائية للصورة للتأكد من أن الميزات الأكثر أهمية للحاسوب، مثل شكل السيارة أو مخطط الشخص، حادة وواضحة.
من خلال فصل هذه التعليمات إلى طبقات مختلفة، وجد الباحثون أن النموذج يمكنه التعامل مع المواقف المعقدة والفوضوية دون ارتباك. وفي اختباراتهم، غدوا النظام بأزواج من الصور التي لم تكن مختلفة عن بعضها البعض فحسب، بل كانت متضررة أيضاً بعوامل مثل الثلج، أو الضباب، أو الإضاءة المنخفضة. وطلبوا من النظام دمجها لمهام متنوعة، مثل دمج الأشعة تحت الحمراء مع الضوء المرئي، أو مزج تعرضات متعددة لمشهد طبيعي. وأظهرت النتائج أن هذه الطريقة الجديدة أنتجت صوراً متفوقة بصرياً على المحاولات السابقة. فقد احتفظت الصور المدمجة بالتفاصيل الواضحة من المصادر الأصلية مع إزالة الضجيج والتشويه بفعالية. والأهم من ذلك، عندما تم تسليم هذه الصور إلى أنظمة حاسوبية مصممة لاكتشاف الأشياء أو رسم خرائط للمشاهد، أدت تلك الأنظمة أداءً أفضل مما فعلت مع الصور الناتجة عن طرق أخرى. فقد استطاع الحاسوب تحديد السيارات، والأشخاص، ولوحات المرور بدقة أكبر لأن الصورة حافظت على التفاصيل المحددة اللازمة لتلك المهام.
كما اختبر الباحثون مدى فعالية نظامهم عند تغيير الظروف، مثل إضافة أنواع مختلفة من الضرر لصور المدخلات أو تغيير الهدف من مجرد النظر إلى الصورة إلى استخدامها لمهمة حاسوبية محددة. ووجدوا أن النظام ظل قوياً، حيث قدم باستمرار نتائج عالية الجودة عبر جميع هذه المتغيرات. وقد أثبتوا أنه من خلال استراتيجية المطالبة الطبقية هذه، يمكنهم تدريب النظام ليكون مرناً؛ فإذا تم تقديم مهمة جديدة، يمكنهم ببساطة إضافة مجموعة جديدة من الملاحظات إلى النظام دون الحاجة إلى إعادة بناء المحرك بالكامل. وهذا يشير إلى أن هذا النهج ليس مجرد حل مؤقت لمشكلة معينة، بل هو إطار عمل قابل للتكيف يمكن أن ينمو مع الاحتياجات الجديدة. ويؤكد هذا العمل أنه من الممكن توحيد أهداف جعل الصور تبدو جيدة، وجعلها نظيفة، وجعلها مفيدة للآلات، وكل ذلك ضمن نظام واحد متماسك يتعلم من أنماط ما يجب أن تكون عليه الصورة الطبيعية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.