ملخص تقني: UniISP

بيان المشكلة

تواجه خطوط معالجة الصور الحالية ثنائية بين الإدراك البصري البشري ومتطلبات الرؤية الآلية. تُصمم خطوط معالجة إشارة الصور (ISP) التقليدية يدويًا لإنتاج صور RGB مرضية بصريًا للاستهلاك البشري. ومع ذلك، فإن هذه العمليات (مثل تقليل الضجيج، والحدة، وتعيين النغمات) غالبًا ما تؤدي إلى عيوب في الضغط وفقدان للمعلومات، مما يقلل من أداء مهام الرؤية الحاسوبية اللاحقة، لا سيما في الظروف الصعبة مثل بيئات الإضاءة المنخفضة.

وعلى العكس من ذلك، فإن الطرق المصممة للرؤية الآلية غالبًا ما تتجاوز عمليات ISP التقليدية لاستخدام بيانات المستشعر الخام مباشرة أو تستخدم شبكات ISP مدربة بشكل مشترك. وبينما تحسن هذه الأساليب مقاييس مهام محددة (مثل دقة اكتشاف الأشياء)، فإن صور RGB الناتجة غالبًا ما تفشل في تلبية المعايير الجمالية البشرية، حيث تبدو غير قابلة للعرض البصري أو تفتقر إلى دقة الألوان. هناك نقص في أطر التحسين المخصصة التي تلبي في آن واحد المتطلبات المزدوجة لتوليد صور عالية الجودة للمشاهدة البشرية مع الحفاظ على سلامة المعلومات للتفسير الآلي.

المنهجية

يقترح البحث UniISP، وهو إطار عمل عصبي خفيف الوزن وشامل (end-to-end) لمعالجة إشارة الصور (ISP) يعتمد على بنية U-Net. تم تصميم UniISP لمعالجة بيانات المستشعرات الخام وتحويلها إلى صور sRGB محسنة في آن واحد للجودة البصرية البشرية ومهام الرؤية الآلية اللاحقة. يتكون الإطار من ثلاثة مكونات رئيسية:

1. وحدة الانتباه الهجين (HAM)

لضمان إعادة بناء عالية الجودة للصور مناسبة للإدراك البشري، يستخدم UniISP وحدة الانتباه الهجين كعمود فقري له.

• الانتباه الذاتي عبر القنوات (Channel-wise Self-Attention): مستوحى من Restormer، تطبق الوحدة الانتباه الذاتي على طول بُعد القناة بدلاً من البعد المكاني. يقلل هذا من التعقيد الحسابي من $O((H \cdot W)^2)$ إلى $O(C^2)$، مما يجعل التفاعلات العالمية ممكنة للصور عالية الدقة.
• تعزيز الميزات الديناميكي: على عكس آليات الانتباه الثابتة، يقوم الانتباه الذاتي عبر القنوات بتضخيم القنوات المعلوماتية وتثبيط القنوات الضوضائية ديناميكيًا بناءً على السياق، وهو أمر بالغ الأهمية لتحويل RAW-to-RGB.
• ترميز الموضع النسبي (RPE): تم دمج RPE للحفاظ على المعلومات الهيكلية من خلال توفير إشارات حول المواضع النسبية للقنوات، مما يعزز نمذجة الاعتمادات المحلية وبعيدة المدى.
• التعلم الخاضع للإشراف: يتم تدريب HAM باستخدام التعلم الخاضع للإشراف لضمان توافق الصور المولدة مع التفضيلات البصرية البشرية.

2. مهايئ الميزات (Feature Adapter)

لسد الفجوة بين مرحلة ISP والشبكات اللاحقة للرؤية الحاسوبية (التي تكون عادةً مدربة مسبقًا على صور RGB)، تم تقديم مهايئ الميزات.

• دمج نطاق التردد: يستخدم المهايئ وحدة FreqFusion لتجميع مخرجات المشفر متعددة المقاييس (D1–D4). تقوم الوحدة بفصل الميزات إلى مكونات منخفضة التردد (سياق عالمي) وعالية التردد (تفاصيل دقيقة).
• التكامل متعدد المراحل: يتم دمج الميزات المدمجة تدريجيًا في العمود الفقري للشبكة اللاحقة عبر الاتصال (concatenation) والاتصالات المتبقية (residual connections). تسمح هذه الآلية للشبكة بدمج معلومات نطاق RAW بمرونة، مما يقلل من انزياح النطاق (domain shift) ويسهل نقل الأوزان المدربة مسبقًا.

3. إطار التدريب التكيفي

يستخدم UniISP استراتيجية تحسين مشتركة للموازنة بين أهداف الرؤية البشرية والرؤية الآلية.

• دالة الخسارة: يتم تعريف الخسارة الإجمالية $L_{total}$ كمجموع مرجح لخسارة الرؤية البشرية ($L_{human}$) وخسارة الرؤية الآلية ($L_{machine}$).
• الترجيح الديناميكي: يتم حساب عامل الوزن $\lambda$ تكيفيًا في كل خطوة تدريب باستخدام المتوسطات المتحركة الأسية (EMA) للخسائر. إذا كانت خسارة الرؤية البشرية عالية، تنخفض قيمة $\lambda$ للتركيز على أداء الآلة، والعكس صحيح.
• معالجة عدم المحاذاة: بالنسبة لمجموعات البيانات غير المتوافقة (حيث تأتي صور RAW وصور RGB المرجعية من كاميرات مختلفة)، يتضمن الإطار وحدة رسم خرائط الألوان العالمية (GCM) وقناع اتساق التدفق البصري القوي. يقوم هذا القناع بتصفية مناطق المحاذاة غير الدقيقة (مثل الانسدادات أو الأنماط المتكررة) لضمان إشراف موثوق.

المساهمات الرئيسية

1. إطار عمل موحد: اقتراح UniISP، وهو إطار عمل ISP قابل للتعلم وخفيف الوزن قادر على تلبية احتياجات الإدراك البصري البشري ومهام الرؤية الآلية في آن واحد.
2. وحدة الانتباه الهجين (HAM): تقديم آلية انتباه مبتكرة تجمع بين الانتباه الذاتي والانتباه التلافيفي الكلاسيكي. يستفيد هذا التصميم من أنواع مختلفة من الانتباه لتعزيز تمثيل الميزات والتعميم مع الحفاظ على الكفاءة الحسابية.
3. مهايئ الميزات: تطوير وحدة تدمج وتكيف الميزات متعددة المقاييس من مرحلة ISP إلى الشبكات اللاحقة، مما يثري فهم النموذج ويحسن أداء المهام اللاحقة دون التضحية بالجودة البصرية.
4. تقييم شامل: أظهرت التجارب المكثفة عبر مهام متعددة (رسم خرائط RAW-to-RGB، اكتشاف الأشياء، التجزئة الدلالية) ومجموعات بيانات متنوعة (ZRR, PASCAL RAW, LOD, ADE20K RAW) فعالية الإطار وقدراته على التعميم.

النتائج التجريبية

يقيم البحث UniISP في ثلاث مهام رئيسية باستخدام مجموعات بيانات مختلفة (ZRR, PASCAL RAW, LOD, ADE20K RAW):

• رسم خرائط RAW-to-RGB: في مجموعة بيانات ZRR، يتفوق UniISP على الطرق الرائدة (بما في ذلك AWNet, MW-ISPNet, LiteISP, FourierISP) عبر مقاييس PSNR وSSIM وLPIPS. يحقق هذه النتائج بعدد أقل بكثير من المعلمات وتعقيد حسابي أقل (GFLOPs) بفضل تصميم HAM الخفيف. تظهر النتائج النوعية صورًا أكثر حدة مع تفاصيل أغنى ودقة ألوان أعلى.
• اكتشاف الأشياء: في مجموعتي بيانات PASCAL RAW وLOD، يحسن UniISP بشكل كبير أداء الاكتشاف في سيناريوهات الإضاءة المنخفضة مقارنة بطرق مثل RAW-Adapter. وقد ثبت أن تضمين مهايئ الميزات أمر بالغ الأهمية للاستفيد من ميزات مرحلة ISP. يحقق UniISP توازنًا، حيث يوفر جودة بصرية بشرية فائقة مع تجنب التباين الحاد الذي غالبًا ما يظهر في التحسين الموجه للآلة فقط، مما يؤدي إلى اكتشاف قوي في الظروف العادية، والتعرض المفرط للضوء، والظلام.
• التجزئة الدلالية: في مجموعة بيانات ADE20K RAW، يتفوق UniISP على الطرق المنافسة عبر أحجام مختلفة من الأعمدة الفقارية (MIT-B0, B3, B5) ومستويات إضاءة مختلفة. ومن الملاحظ أن نموذج UniISP ذو العمود الفقري الأصغر (MIT-B3) يتفوق على طرق أخرى تستخدم أعمدة فقارية أكبر (MIT-B5) في ظروف الإضاءة المنخفضة، ويعزى ذلك إلى الدمج الفعال للميزات بواسطة المهايئ.

الأهمية والادعاءات

يدعي البحث أنه الاستكشاف الأول للتحسين المتزامن لـ ISP لكل من الإدراك البصري البشري ومهام الرؤية الآلية. ويفترض أن الأبحاث الحالية قد عاملت هذين الهدفين بشكل منفصل إلى حد كبير، مما أدى إلى حلول دون المستوى لكل من المشاهدة البشرية أو التحليل الآلي.

تكمن أهمية UniISP في قدرته على:

• الحفاظ على سلامة المعلومات: من خلال تجنب فقدان المعلومات المتأصل في خطوط المعالجة التقليدية ذات المرحلتين (RAW $\to$ Human-ISP $\to$ Machine Task)، يحافظ UniISP على المعلومات ذات المعنى الفيزيائي من المستشعرات الخام.
• سد فجوة النطاق: يعمل مهايئ الميزات بفعالية على نشر ميزات RAW إلى الشبكات اللاحقة، مما يسمح لنماذج RGB المدربة مسبقًا بالعمل بفعالية على البيانات الخام.
• تحقيق التحسين المزدوج: ينجح إطار التدريب التكيفي في الموازنة بين الأهداف المتعارضة غالبًا للجمالية والأداء الدلالي، مما يثبت أن النهج الموحد ممكن ومتفوق على استراتيجيات التحسين المنفصلة.

يخلص المؤلفون إلى أن هذا العمل يشير إلى اتجاهات محتملة لأنظمة ISP المستقبلية، لا سيما في السيناريوهات الهجينة مثل القيادة الذاتية، حيث يتطلب الأمر عرضًا مرئيًا في الوقت الفعلي للمستخدمين والتعرف على البيئة للآلات في آن واحد.