ملخص تقني: الهيكل العلاقاتي المدرك للبدائيات (PARSE)

بيان المشكلة

يهدف التعميم النطاقي (Domain Generalization - DG) إلى تدريب مصنفات تحافظ على الدقة في النطاقات المستهدفة غير المرئية، رغم التغيرات في التوزيع الناتجة عن الكاميرا، أو الإضاءة، أو زاوية الرؤية، أو الأسلوب. وبينما تركز طرق التعميم النطاقي الحالية غالبًا على تحسين عمليات التدريب (مثل تعزيز البيانات، أو محاذاة الميزات، أو اختيار النموذج)، إلا أنها تعتمد إلى حد كبير على تمثيلات العمود الفقري (backbone) لالتقاط التركيب الهيكلي بشكل ضمني. ويرى المؤلفون أن هذا النهج الضمني يترك التركيب الهيكلي غير محدد بدقة، مما يحد من الأداء في الاختبارات المرجعية التي تنطوي فيها تغيرات النطاق على تغييرات كبيرة في المظهر مع الحفاظ على التخطيط المكاني (على سبيل المثال، نفس نوع الطائر المصور كصورة فوتوغرافية مقابل رسم كرتوني). وغالبًا ما تفشل الطرق الحالية في نمذجة العلاقات المكانية المستقرة بين الأجزاء المرئية بشكل صريح، وهي العلاقات الضرية للتعرف القوي تحت تغير النطاق.

المنهجية: إطار عمل PARSE

يقترح المؤلفون إطار عمل PARSE (التعميم النطاقي عبر الهيكل العلاقاتي المدرك للبدائيات)، وهو إطار عمل قابل للتفاضل بالكامل من البداية إلى النهاية، يقوم بتفكيك التعرف البصري إلى بدائيات بصرية وتركيب علاقاتي.

1. البدائيات البصرية والواصفات

يفترض PARSE وجود مجموعة من $K$ من البدائيات البصرية المتعلمة. وبدلاً من اشتراط تسميات توضيحية يدوية، يتم تعلم هذه البدائيات من الإشراف على مستوى الصورة. لكل بدائية $p_k$، تخرج الشبكة واصفًا يعتمد على الصورة $z_k(X) = \langle c_k, \sigma_k, \delta_k \rangle$، ويتكون من:

• الموقع المكاني ($c_k$): إحداثيات ثنائية الأبعاد مشتقة من خريطة حرارية قابلة للتفاضل.
• درجة الوجود ($\sigma_k$): قيمة ثقة تشير إلى وجود البدائية.
• المدى المكاني ($\delta_k$): مقياس لحجم البدائية.

2. المحمولات المكانية القابلة للتفاضل

لالتقاط الثبات الهيكلي، يستخدم PARSE مفردات من المحمولات (predicates) المكانية الناعمة والقابلة للتفاضل فوق المواقع البدائية. تخرج هذه المحمولات درجة إرضاء تتراوح بين $[0, 1]$:

• أحادية (Unary): $R_{has}$ (وجود بدائية).
• ثنائية (Binary): تشفر العلاقات الزوجية مثل الموقع النسبي ($R_{above}, R_{left}$)، والمحاذاة ($R_{h-align}, R_{v-align}$)، والتقارب ($R_{near}$)، والاحتواء ($R_{contains}$).
• ثلاثية (Ternary): تُمذل الإشارات الهندسية مثل التكوينات المثلثية ($R_{tri}$) وزوايا الدوران في السلاسل المرتبة ($R_{turn}$).
• رباعية (Quaternary): تقارن العلاقات بين زوجين من البدائيات، وتقيم التوجه النسبي ($R_{orient}$) والمسافة الإقليدية النسبية ($R_{eqdist}$).

جميع معاملات المحمولات (مثل الهوامش، والتفاوتات، والحدة) قابلة للتعلم ويتم مشاركتها عالميًا عبر الفئات.

3. بنية الشبكة

يتكون إطار العمل من ثلاثة مكونات قابلة للتدريب من البداية إلى النهاية:

1. العمود الفقري البصري (Visual Backbone): تستخرج شبكة CNN (مثل ResNet) ميزات بصرية عامة.
2. طبقة عنق الزجاجة المفاهيمي (Concept Bottleneck Layer): تربط ميزات العمود الفقري بـ $K$ من الخرائط الحرارية للبدائيات. باستخدام عملية soft-argmax المعيرة حراريًا، يتم تحويل هذه الخرائط الحرارية إلى إحداثيات مكانية، ودرجات وجود، ومدى.
3. طبقة التسجيل الهيكلي (Structural Scoring Layer):
   • تحصي جميع التعيينات الصالحة للبدائيات ضمن مفردات المحمولات.
   • تحسب متجه درجات تنشيط المحمول $a(X)$.
   • تتعلم أوزانًا متفرقة خاصة بالفئة $\lambda_c$ فوق هذه التنشيطات باستخدام تطبيع sparsemax.
   • تحسب درجة الفئة النهائية $s_c(X)$ كحاصل الضرب النقطي للأوزان المتفرقة ومتجه التنشيط.

يتم تدريب النموذج من البداية إلى النهاية باستخدام فقدان الإنتروبيا المتقاطعة (cross-entropy loss) على الدرجات الهيكلية، مما يسمح بانتقال الاشتقاقات (gradients) من مهمة التصنيف إلى كواشف البدائيات ومعاملات المحمولات.

المساهمات الرئيسية

1. إطار عمل مدرك للهيكل: نهج جديد للتعميم النطاقي (DG) ينمذج الفئات البصرية صراحةً كتركيبات من بدائيات متعلمة وعلاقات مكانية، بدلاً من الاعتماد فقط على محاذاة الميزات الضمنية.
2. بنية قابلة للتفاضل من البداية إلى النهاية: نموذج موحد يتعلم بشكل مشترك كواشف البدائيات، والواصفات المكانية، والمحمولات الهيكلية دون الحاجة إلى تسميات توضيحية يدوية للأجزاء.
3. التحيز الاستقرائي الهيكلي القابل للتفاضل: استخدام المحمولات الثنائية والثلاثية والرباعية الناعمة كتحيز هيكلي للتصنيف، وهو أمر متميز عن استخدامها في الاستدلال الرمزي العصبي (neuro-symbolic reasoning) كأهداف دلالية.
4. التكثيف الهيكلي المتفرق (Sparse Structural Compaction): آلية حيث يدفع التدريب معظم أوزان العلاقة للفئة إلى الصفر، مما يسمح بتقليم العلاقات غير النشطة من أجل استدلال فعال.

النتائج التجريبية

قيم المؤلفون PARSE على اثنين من الاختبارات المرجعية:

• CUB-DG (التعميم النطاقي التركيبي):

  • حقق PARSE متوسط دقة قدره 65.6%، متفوقًا على الحالة السابقة للأفضل (ERM++) بمقدار 4.5 نقطة مئوية.
  • حقق أفضل دقة في ثلاثة من أصل أربعة نطاقات مستهدفة (Photo, Cartoon, Art).
  • أكدت دراسات الاستئصال (Ablation studies) أن إضافة المحمولات العلاقاتية (الثنائية، الثلاثية، الرباعية) حسنت الأداء باستمرار مقارنة بالنموذج المرجعي الذي استخدم فقط الواصفات البدائية.

• DomainBed:

  • حقق PARSE متوسط دقة قدره 66.7% عبر خمس مجموعات بيانات.
  • تفوق على MIRO و GVRT وظل منافسًا لـ SWAD (بفارق 0.2 نقطة).
  • حقق أفضل نتيجة في مجموعة بيانات TerraIncognita، متفوقًا على أفضل نتيجة سابقة بمقدار 3.6 نقطة.

• الكفاءة:

  • على الرغم من أن الطبقة الهيكلية تضيف معاملات، إلا أن العبء الحسابي ضئيل مقارنة بالعمود الفقري (الذي يهيمن عليه مرور ResNet-50 للأمام).
  • يقلل التقليم بعد التدريب عبر sparsemax من المعاملات الهيكلية بأكثر من 99% دون تدهور في الأداء.

الأهمية والادعاءات

يدعي البحث أن PARSE يثبت قيمة التحيز الاستقرائي الهيكلي الصريح في التعميم النطاقي. من خلال توزيع الأدلة بين المظهر المحلي للبدائيات والتركيب الهيكلي، يصبح النموذج أكثر قوة تجاه تغيرات المظهر (مثل الملمس والأسلوب) بينما يستفيد من التنظيم المكاني المستقر (مثل تخطيط الأجزاء).

يؤكد المؤلفون أن نهجهم يكمل الطرق التي تركز على الميزات. ويشيرون إلى أنه بينما تكون الطريقة أكثر فعالية عندما يمكن تحديد مواقع البدائيات بشكل موثوق ويظل الهيكل المكاني غنيًا بالمعلومات، فإن إطار العمل ينجح في سد الفجوة بين التعلم العميق والاستدلال الهيكلي دون التضحية بقابلية التدريب من البداية إلى النهاية. ويشير العمل إلى أن التحسينات المستقبلية في التعميم النطاقي قد تكمن في تمثيلات بدائية أفضل ومفردات محمولات تكيفية.