ملخص تقني: FARCLUSS

بيان المشكلة

يهدف التقسيم الدلالي شبه الموجه (SSSS) إلى تحقيق أداء يقارب النماذج الخاضعة للإشراف الكامل من خلال الاستفادة من مجموعة صغيرة من الصور المصنفة إلى جانب بيانات غير مصنفة وفيرة. ومع ذلك، تواجه الأساليب الحالية ثلاث قيود مستمرة:

1. الاستخدام غير الفعال للتسميات المستعارة (Pseudo-Labels): تعتمد الطرق الحالية غالبًا على عتبات ثقة صارمة لتوليد تسمات مستعارة صلبة. وهذا يؤدي إلى التخلص من المناطق "غير المؤكدة" (مثل حدود الأجسام أو المناطق المحجوبة) حيث تكون احتمالات التنبؤ غامضة، مما يضيع إشارات إشرافية قيمة ويعزز الانحياز التأكيدي.
2. عدم توازن الفئات: في مجموعات البيانات ذات الذيل الطويل، تميل التسمات المستعارة إلى الانحياز نحو الفئات المهيمنة (مثل الطريق، السماء)، مما يتسبب في عدم تمثيل الفئات الأقلية (مثل لوحات المرور، الأعمدة) بشكل كافٍ وضعف تحسينها.
3. عدم الكفاءة الحسابية: تواجه الأساليب التي تستخدم التعلم التبايني (Contrastive Learning) لتحسين تميز الميزات تكالوت حسابية عالية بسبب المقارنات الثنائية المكثفة للبكسلات أو بنى الشبكات المزدوجة، مما يحد من قابليتها للتوسع.

المنهجية

يقترح المؤلفون FARCLUSS (التعلم التبايني لعدم اليقين وإعادة التوازن التكيفي الضبابي)، وهو إطار عمل موحد مبني على بنية معلم-طالب (teacher-student) قياسية. يدمج هذا الأسلوب أربعة مكونات رئيسية لمعالجة التحديات المذكورة أعلاه:

1. التسمية المستعارة الضبابية (Fuzzy Pseudo-Labeling)

بدلاً من التخلص من البكسلات التي لا تستوفي عتبة ثقة عالية، يحتفظ FARCLUSS بأعلى $K$ من احتمالات الفئات لكل بكسل.

• الآلية: بالنسبة لخريطة احتمالات مولدة من المعلم، يتم اختيار أعلى $K$ فئات. ويتم حساب توزيع تسمية ضبابي ناعم عن طريق تطبيع هذه الاحتمالات.
• الفائدة: يحافظ هذا على توزيعات الفئات الناعمة والعلاقات بين الفئات في المناطق الغامضة (مثل الحدود بين "الرصيف" و"الطريق")، محولاً عدم اليقين إلى إشارة تعلم بناءة بدلاً من كونه عبئاً.

2. التوزين الديناميكي المدرك لعدم اليقين (Uncertainty-Aware Dynamic Weighting)

للتخفيف من الضجيج الناتج عن التنبؤات غير المؤكدة، يقوم إطار العمل بتعديل تأثير كل بكسل أثناء التدريب.

• الآلية: يتم تخصيص أوزان لكل بكسل بناءً على الإنتروبيا ($H$) الموحدة لتنبؤ المعلم. ويُعرف الوزن كالتالي: $W = 1 - H$.
• الفائدة: البكسلات ذات عدم اليقين العالي (إنتروبيا عالية) تحصل على أوزان أقل، بينما يتم تضخيم التنبؤات الواثقة. يعمل هذا كمنهج تعليمي ناعم، حيث يقلل من وزن المناطق المشوشة دون التخلص منها تماماً.

3. إعادة التوازن الفئوي التكيفي (Adaptive Class Rebalancing)

لمواجهة الانحياز نحو الفئات الأكثر انتشار في التسمات المستعارة، يتم تعديل دالة الخسارة ديناميكياً لكل دفعة (batch).

• الآلية: يتم حساب أوزان الفئات ($w_c$) بناءً على تكرار البكسلات ذات التسمات المستعارة في الدفعة الحالية. يستخدم المؤلفون مُطبعاً يعتمد على الوسيط: $w_c = \text{median}(F) / (F_c + \epsilon)$، حيث $F_c$ هو تكرار الفئة $c$.
• الفائدة: يضمن هذا النهج الإحصائي القوي حصول الفئات الأقلية على تركيز تحسين كافٍ دون عدم الاستقرار الناتج عن التوزين بالتردد العكسي أو التضخم الناتج عن التوزين بالمتوسط.

4. التنظيم التبايني خفيف الوزن (Lightweight Contrastive Regularization)

لتعزيز تميز الميزات دون تحمل أعباء المقارنات الثنائية، يستخدم الأسلوب خسارة تباينية قائمة على النماذج الأولية (Prototypes).

• الآلية: يتم حساب النماذج الأولية الخاصة بكل فئة (المراكز) كمتوسط تضمين البكسلات ذات التسمات المستعارة الضبابية الواثقة. وتعمل الخسارة على معاقبة المسافة الجيبية (cosine distance) بين تضمينات البكسل والنماذج الأولية المقابلة لها.
• الفائدة: يعزز هذا التماسك داخل الفئة الواحدة والتمايز بين الفئات بتعقيد $O(N \cdot d)$، متجنباً تكلفة $O(N^2 \cdot d)$ للأساليب الثنائية مثل ReCo.

المساهمات الرئيسية

يلخص البحث مساهماته كما يلي:

• التسمية المستعارة الضبابية: إنشاء توزيعات تسمية ناعمة من أعلى $K$ احتمالات، مما يحافظ على الغموض كإشارة تعلم.
• التوزين الديناميكي المدرك لعدم اليقين: استخدام الإنتروبيا الموحدة لتعديل تأثير التسمات المستعارة لكل بكسل، مما يقلل الضجيج من المناطق الغامضة.
• إعادة التوازن التكيفي: تغيير حجم الخسائر ديناميكياً بناءً على ترددات التسمات المستعارة لكل دفعة لتحسين التعلم للفئات الأقلية دون الحاجة إلى قواعد استدلالية يدوية.
• التنظيم التبايني خفيف الوزن: استخدام التعلم التبايني القائم على النماذج الأولية لتجنب العمليات الثنائية المكلفة مع تعزيز تماسك الميزات.

النتائج التجريبية

أُجريت تجارب واسعة النطاق على مجموعات بيانات Pascal VOC (الكلاسيكية والممزوجة) و Cityscapes باستخدام بنى ResNet-50 و ResNet-101.

• الأداء: يتفوق FARCLUSS باستمرار على الأساليب الرائدة (بما في ذلك UniMatch و CorrMatch و PS-MT) عبر مختلف نسب البيانات المصنفة (من 1/16 إلى 1/2).
  • في Pascal VOC Classic، حقق درجات mIoU متفوقة، متجاوزاً UniMatch بمقدار 0.4–1.2 mIoU في معظم التقسيمات.
  • في Cityscapes، حقق أفضل النتائج (على سبيل المثال، 81.0 mIoU مع ResNet-101 عند نسبة 1/2)، وأظهر مكاسب واضحة بشكل خاص في الفئات غير الممثلة كفاية ومناطق الحدود.
• الكفاءة: يحقق الأسلوب هذه النتائج بتصميم شبكة واحدة، متجنباً أعباء مطابقة الارتباط في CorrMatch أو تعقيد الشبكة المزدوجة في CPS. كما يضاهي كفاءة البيانات في الأساليب الحديثة مثل UniMatch و CW-BASS.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة التسمية الضبابية إلى أكبر انخفاض في الأداء (-6.2 mIoU في Pascal)، مما يؤكد دورها في الاحتفاظ بالإشراف المعلوماتي.
  • تفوق إعادة التوازن الفئوي القائم على الوسيط على استراتيجيات العكس، والمتوسط، والمتوسط التوافقي.
  • أثبتت التسمية الضبابية (Top-$K$) مع ($K=2$) تفوقها على تصفية العتبة الثابتة، لأنها تحتفظ بـ 100% من البكسلات مع حصر توزيع التسمية في الفئات المعقولة.
  • حقق التنظيم التبايني القائم على النماذج الأولية دقة مقاربة للأساليب الثنائية (ReCo, U2PL) مع استخدام أقل بكثير للذاكرة ووقت التدريب.

الأهمية والادعاءات

يدعي البحث أن FARCLUSS يمثل حلاً شاملاً يحول عدم اليقين من عبء إلى أصل تعليمي. ومن خلال معالجة ضجيج التسمات المستعارة، وعدم توازن الفئات، والأعباء الحسابية بشكل منهجي ضمن إطار عمل موحد، يتيح الأسلوب تعلماً أكثر معلوماتية وتوازناً.

يؤكد المؤلفون أن نهجهم ذو أهمية خاصة لـ:

1. المناطق الغامضة: تسمح التسمية الضبابية وتوزين الإنتروبيا للنموذج بالتعلم من مناطق الحدود التي عادة ما يتم التخلص منها بواسطة طرق العتبة.
2. الفئات الأقلية: يستهدف آلية إعادة التوازن التكيفي تحديداً مشكلات توزيع الذيل الطويل المتأصلة في مجموعات بيانات التقسيم الدلالي.
3. القابلية للتوسع: يضمن التنظيم التبايني خفيف الوزن وتصميم الشبكة الواحدة توسع المنهج بكفاءة إلى مجموعات البيانات الكبيرة دون التضحية بالدقة.

يخلص العمل إلى أن FARCLUSS يضع اتجاهاً جديداً للتعلم الموجه بعدم اليقين والموفر للموارد في سيناريوهات التقسيم الدلالي شبه الموجه.