Bridging Day and Night: Target-Class Hallucination Suppression in Unpaired Image Translation

إليك ملخص تقني مفصل لورقة البحث بعنوان: "سد الفجوة بين النهار والليل: كبح هلوسة الفئات المستهدفة في ترجمة الصور غير المقترنة."

1. بيان المشكلة

تعد ترجمة الصور من نوع (صورة إلى صورة) غير المقترنة أمراً بالغ الأهمية لتكييف مجموعات البيانات الموسومة من ظروف النهار إلى الليل لدعم المهام اللاحقة مثل اكتشاف الأشياء والتقطيع الدلالي في القيادة الذاتية. ومع ذلك، تعاني الطرق الحالية (المعتمدة على GAN أو الانتشار/Diffusion) من خلل حرج وهو: هلوسة الفئات المستهدفة (Target-Class Hallucination).

• المشكلة: في الترجمة غير المقترنة، غالباً ما تقوم النماذج بتخليق كائنات تنتمي إلى فئات مستهدفة (مثل لوحات المرور، المركبات، إشارات المرور) بشكل خاطئ في مناطق الخلفية حيث لا وجود لها.
• السبب: تعتمد المميزات (Discriminators) التقليدية على إشارات الأسلوب العالمية (مثل الظلام، مصادر الضوء) للتمييز بين الحقيقي والمزيف. وهذا يشجع المولدات (Generators) عن غير قصد على إدراج آثار اصطناعية مثل أضواء خلفية مزيفة أو إشارات مرور لمحاكاة "أسلوب الليل"، مما يؤدي إلى عدم اتساق دلالي.
• النتيجة: تؤدي هذه الهلوسات إلى إدخال ضوضاء في التسميات (Labels) وإيجابيات كاذبة، مما يؤدي بشكل كبير إلى تدهور أداء النماذج اللاحقة المدربة على البيانات المترجمة. تركز الطرق الحالية الواعية بالنماذج (Instance-aware) على الحفاظ على كائنات المقدمة الموسومة، لكنها تفشل في تقييد مناطق الخلفية غير الموسومة، مما يسمح بانتشار الهلوسات.

2. المنهجية

يقترح المؤلفون إطار عمل مبتكر مبني على نموذج الترجمة متعدد الخطوات Schrödinger Bridge (UNSB). يكمن الابتكار الجوهري في الكشف الصريح عن هلوسة الفئات المستهدفة وكبحها من خلال مكونين متكاملين:

أ. ترجمة Schrödinger Bridge متعددة الخطوات

بدلاً من عملية رسم خرائط أحادية الخطوة، يقوم المولد بنمذجة الترجمة كسلسلة من خطوات النقل العشوائي (سلسلة ماركوف). يقوم النموذج بتحسين الصورة تدريجياً من المجال المصدر ($x_0$) إلى المجال المستهدف ($x_N$) عبر حالات وسيطة. تسمح هذه الصيغة بتحولات أكثر سلاسة في المجال وتنوعاً أكبر في الترجمة.

ب. تقطيع هلوسة الفئات المستهدفة (الكشف)

للكشف عن الهلوسات، قدم المؤلفون مميّز ثنائي الرأس (Dual-Head Discriminator):

1. رأس الأسلوب ($D_{sty}$): يقيم الواقعية العالمية (خسارة تنافسية قياسية).
2. رأس التقطيع ($D_{seg}$): يتنبأ صراحة بخرائط التقطيع الدلالي لتحديد المحتوى المهلوس في مناطق الخلفية.
   • استراتيجية التدريب: بما أن مجموعات البيانات توفر عادةً صناديق الإحاطة (Bounding Boxes) فقط (وليس أقنعة على مستوى البكسل)، استخدم المؤلفون نموذجاً تأسيسياً (SAM2) لإنشاء أقنعة تقطيع وهمية (Pseudo segmentation masks) باستخدام صناديق الإحاطة كمحفزات.
   • خسارة الهلوسة ($L_{hl}$): تعمل هذه الخسارة على معاقبة التنبؤ بالفئات المستهدفة في المناطق غير الموسومة (الخلفية). وهي تجبر النموذج على كبح التنشيطات الزائفة لفئات مثل "إشارة المرور" أو "السيارة" في المناطق التي لا يوجد فيها وسم حقيقي.

ج. كبح الهلوسة الوسيطة (التصحيح)

لإزالة ميزات الهلوسة بنشاط أثناء مسار الترجمة، يستخدم المؤلفون التعلم التبايني القائم على النماذج الأولية (Prototype-Based Contrastive Learning):

• النماذج الأولية للفئة المستهدفة: يقوم النظام بتجميع ميزات كائنات المجال المستهدف الموسومة لإنشاء "مرتكزات دلالية" (Prototypes) مستقرة لكل فئة.
• خسارة الكبح ($L_{supp}$): خلال خطوات الترجمة الوسيطة، إذا تم اكتشاف بكسل في الخلفية يشبه فئة مستهدفة (هلوسة)، يتم دفع متجه ميزاته بعيداً عن النموذج الأولي للفئة المقابلة.
  • الآلية: يتم تطبيق خسارة InfoNCE حيث يكون الميزة المهلوسة هي المرتكز (Anchor)، والميزة المصدر المقابلة هي الموجب (Positive)، وتعمل النماذج الأولية للفئات كعينات سالبة (Negative) إضافية. هذا يفرض حدوداً دلالية واضحة بين الخلفية والمقدمة.

3. المساهمات الرئيسية

1. إطار عمل لكبح الهلوسة: إطار عمل متعدد الخطوات لترجمة (صورة إلى صورة) يكشف صراحةً عن هلوسة الفئات المستهدفة ويكبحها، مما يضمن الاتساق الدلالي بين الترجمات والتوصيفات الأصلية.
2. مميز واعٍ بالهلوسة: مميز ثنائي الرأس يدمج رأس التقطيع المدرب على التسميات الوهمية (المشتقة من صناديख الإحاطة) لمعاقبة عدم الاتساق الدلالي بدلاً من مجرد عدم تطابق الأسلوب.
3. الكبح القائم على النماذج الأولية: آلية مبتكرة تستخدم النماذج الأولية الخاصة بكل فئة كمرتكزات دلالية لدفع الميزات المهلوسة بعيداً عن الفئات المستهدفة عبر التعلم التبايني.
4. التحقق التجريبي: أثبت أداءً رائداً (State-of-the-art) في تقليل الهلوسات وتحسين دقة الاكتشاف اللاحقة عبر مجموعات بيانات متنوعة.

4. النتائج التجريبية

تم تقييم الطريقة على معايير BDD100K (من النهار إلى الليل) و KITTI $\to$ Cityscapes (عبر مجموعات البيانات).

• اكتشاف الكائنات اللاحق (BDD100K):

  • حسنت الطريقة المقترحة متوسط الدقة المتوسطة (mAP) بنسبة 15.5% مقارنة بالحد الأدنى الأساسي (Lower Bound).
  • حققت مكسباً قدره 31.7% لإشارات المرور، وهي فئة معرضة بشدة للهلوسة.
  • والجدير بالذكر أن الطريقة تفوقت على "الحد الأعلى" (Upper Bound) (وهو كاشف مدرب على بيانات ليلية حقيقية) لعدة فئات (الشاحنة، الدراجة، الراكب، الشخص)، وهو إنجاز لم تحققه الأعمال السابقة.
  • تفوقت على الحالة الراهنة السابقة (InstaFormer) بنسبة 13.1% في إجمالي الـ mAP.

• التكيف عبر مجموعات البيانات (KITTI $\to$ Cityscapes):

  • حققت أعلى دقة عبر معظم فئات الكائنات، مما أظهر المتانة في سيناريوهات النطاق المتقاطع.

• النتائج النوعية:

  • تُظهر المقارنات البصرية أن الطريقة تقضي بفعالية على الأضواء الخلفية المزيفة، وإشارات المرور الزائفة، والمركبات الشبحية التي تعاني منها الطرق الأخرى (مثل CycleGAN، CUT، UNSB)، مع الحفاظ على إضاءة ليلية واقعية.

• دراسة الاستئصال (Ablation Study):

  • أدى حذف كل من خسارة تقطيع الهلوسة ($L_{hl}$) وخسارة الكبح ($L_{supp}$) إلى نتيجة بالكاد تتجاوز الحد الأدنى، مما يثبت أن التحكم في الهلوسة أمر بالغ الأهمية.
  • حقق النموذج الكامل أفضل النتائج، مما أكد التآزر بين اكتشاف الهلوسات ودفع الميزات بعيداً عن النماذج الأولية.

5. الأهمية

تعالج هذه الورقة قصوراً جوهرياً في ترجمة الصور غير المقترنة: المقايضة بين نقل الأسلوب والسلامة الدلالية. ومن خلال تحويل التركيز من مجرد "جعل الصورة تبدو كليل" إلى "ضمان أن صورة الليل تحتوي فقط على الكائنات التي كانت موجودة خلال النهار"، يقدم المؤلفون حلاً قوياً لـ تكييف النطاق في التطبيقات الحرجة للسلامة مثل القيادة الذاتية. إن القدرة على توليد بيانات اصطناعية عالية الدقة دون إدخال ضوضاء في التسميات تعزز بشكل كبير موثوقية نماذج الإدراك اللاحقة، مما قد يقلل من الحاجة إلى جمع البيانات الليلية وتوسيمها المكلف.