PAS: Estimating the target accuracy before domain adaptation

إليك ملخص تقني مفصل لورقة البحث "PAS: تقدير دقة الهدف قبل التكيف مع النطاق" (ICLR 2026).

1. بيان المشكلة

يهدف التكيف مع النطاق غير الخاضع للإشراف (UDA) إلى نقل المعرفة من نطاق مصدر مصنف إلى نطاق هدف غير مصنف. ومع ذلك، يعتمد نجاح الـ UDA بشكل كبير على خيارين حاسمين:

1. اختيار نطاق المصدر: اختيار نطاق مصدر يتوافق مع الهدف. قد يؤدي الاختيار غير المناسب إلى النقل السلبي (Negative Transfer)، حيث يتدهور الأداء إلى ما دون المستوى المرجعي.
2. اختيار مستخرج الميزات المدرب مسبقاً: اختيار نموذج مدرب مسبقاً (Backbone) يلتقط ميزات ثابتة مناسبة لمهمة الهدف.

التحدي: في السيناريوهات الواقعية، تكون تسميات (Labels) الهدف غير متوفرة. تتطلب طرق تقدير القابلية للنقل الموجودة (مثل H-score وLEEP) تسميات للهدف، وبالتالي فهي غير قابلة للتطبيق. علاوة على ذلك، فإن تقييم كل مجموعة من نطاقات المصدر والنماذج المدربة مسبقاً عبر تدريب كامل للتكيف مع النطاق هو أمر مكلف حاسوبياً. هناك نقص في وجود مقياس يمكنه تقدير القابلية للنقل قبل التدريب، وتحديداً مع مراعاة الطبيعة غير المتماثلة لانزياحات النطاق (النقل من سهل إلى صعب مقابل من صعب إلى سهل).

2. المنهجية: درجة القدرة على التكيف المحتمل (PAS)

يقترح المؤلفون PAS، وهو مقياس جديد غير خاضع للإشراف مصمم لتقدير النجاح المحتمل لمزيج معين من نطاق المصدر والنموذج المدرب مسبقاً لمهمة الهدف.

الافتراضات الجوريّة

يعتمد PAS على افتراض أن النموذج المدرب مسبقاً عالي الجودة يستخرج ميزات تمييزية ثابتة. وبناءً على ذلك:

• العينات من نفس الفئة (حتى عبر نطاقات مختلفة) يجب أن تكون قريبة في فضاء التضمين (Embedding Space).
• العينات من فئات مختلفة يجب أن تكون متباعدة.
• من الناحية المثالية، يجب أن تكون عينة الهدف أقرب إلى مركز ثقل فئتها المصدرية الحقيقية من أي مركز ثقل لفئة أخرى.

الخوارزمية

1. توليد التضمين: يقوم مستخرج ميزات مدرب مسبقاً $f_\theta$ برسم عينات المصدر ($x^S$) وعينات الهدف ($x^T$) في فضاء تضمين $Z$.
2. حساب مركز الثقل (Centroid): لكل فئة مصدرية $c$، يتم حساب مركز الثقل $\mu_c$ كالمجموع الموزون لتمثيلات جميع عينات المصدر في تلك الفئة:
   $$\mu_c = \frac{\sum_{x^S_i \in S^S_c} f_\theta(x^S_i)}{\|\sum_{x^S_i \in S^S_c} f_\theta(x^S_i)\|}$$
3. حساب المسافة: لكل عينة هدف $x^T_i$، يتم حساب مسافة جيب التمام (Cosine Distance) إلى جميع مراكز ثقل الفئات المصدرية:
   $$\text{dist}(f_\theta(x^T_i), \mu_c) = 1 - (f_\theta(x^T_i) \cdot \mu_c)$$
4. حساب PAS: لكل عينة هدف، لتكن $d_{1i}$ هي المسافة إلى أقرب مركز ثقل و $d_{2i}$ هي المسافة إلى ثاني أقرب مركز ثقل. درجة PAS هي متوسط الهامش الموزون عبر جميع عينات الهدف:
   $$\text{PAS}(\theta, D_S, D_T) = \frac{1}{|D_T|} \sum_{i} \frac{d_{2i} - d_{1i}}{d_{2i}}$$

خيارات التصميم الرئيسية:

• عدم التماثل (Asymmetry): على عكس المقاييس المتماثلة (مثل MMD وWasserstein)، فإن PAS غير متماثل؛ فهو يقيس مدى ملاءمة الهدف للهيكل المصدر.
• مسافة جيب التمام (Cosine Distance): استُخدمت بدلاً من المسافة الإقليدية لتجاهل تغيرات الحجم (مثل تغيرات الإضاءة) والتركيز على الاختلافات الزاوية، مما يخفف من "لعنة الأبعاد".
• الطبيعة غير الخاضعة للإشراف: لا يتطلب تسميات للهدف؛ فهو يفترض أن أقرب عنقود مصدري يمثل "الفئة الحقيقية" لعينة الهدف أثناء التقدير.

3. المساهمات الرئيسية

1. مقياس مبتكر (PAS): أول اقتراح لتقدير القابلية للنقل المصمم خصيصاً لـ إعداد التكيف مع النطاق (حيث تفتقر تسميات الهدف).
2. إطار الاختيار: إطار عمل عملي لاختيار نطاق المصدر والنموذج المدرب مسبقاً الأمثل من بين مجموعة من المرشحين قبل تشغيل خوارزميات التكيف مع النطاق المكلفة.
3. الكفاءة: يتميز PAS بتكلفة حاسوبية منخفضة (تعقيد خطي) وهو قوي تجاه تقليل حجم العينات، مما يسمح بالفحص السريع للمرشحين.
4. التحقق التجريبي: تجارب واسعة النطاق أظهرت أن PAS يرتبط بقوة بدقة الهدف النهائية، متفوقاً على المقاييس المتماثلة الموجودة.

4. النتائج التجريبية

قيم المؤلفون PAS على أربعة معايير قياسية: Office-Home، وOffice-31، وImageCLEF، وDomainNet، باستخدام نماذج مدربة مسبقاً متنوعة (ResNet، DeiT، ViT، Swin) وطرق مختلفة للتكيف مع النطاق (DANN، MCC، إلخ).

• الارتباط بالدقة:
  • حقق PAS ارتباط سبيرمان (Spearman rank correlation) قدره 0.88 مع دقة الهدف عبر جميع السيناريوهات، متفوقاً بشكل كبير على MMD (0.37) وA-distance (-0.16).
  • في نطاقات هدف محددة (مثل Office-Home "C" target)، وصل ارتباط PAS إلى 0.81.
• اختيار المصدر: نجح PAS في تحديد نطاق المصدر الذي حقق أعلى دقة في معظم الحالات.
• اختيار النموذج (Backbone): حدد PAS بشكل صحيح أي نموذج مدرب مسبقاً (مثل ViT-Base مقابل ResNet-50) سيكون الأفضل لمهمة تكيف معينة.
• القوة (Robustness): ظل الترتكبي لدرجات PAS مستقراً حتى عند استخدام مجموعة فرعية فقط من البيانات (مثل 10% من العينات)، مما يجعله قابلاً للتوسع.
• القيود: أظهر المقياس ارتباطاً أقل في مجموعة بيانات ImageCLEF، خاصة بالنسبة لنطاق "Pascal". ويعزو المؤلفون ذلك إلى الصور متعددة الأجسام حيث تكون عينة الهدف متشابهة بصرياً مع مركز ثقل فئة مصدرية ولكنها تنتمي دلالياً (Semantically) إلى جسم مختلف في المشهد.

5. الأهمية والأثر

• تقليل التكلفة: من خلال التنبؤ بأفضل مزيج من المصدر/النموذج قبل التدريب، يقلل PAS بشكل كبير من العبء الحسابي والوقت المطلوب للبحث في المعلمات الفائقة (Hyperparameters) وهندسة النماذج في التكيف مع النطاق.
• تجنب النقل السلبي: يوفر آلية أمان لتجنب اختيار نطاقات المصدر التي قد تضر بأداء الهدف.
• المنفعة العملية: الطريقة "جاهزة للاستخدام" (Plug-and-play)، حيث تتطلب فقط النموذج المدرب مسبقاً والبيانات (بدون تسميات للهدف أو تدريب)، مما يجعلها قابلة للتطبيق للغاية في السيناريوهات الواقعية حيث تكون البيانات نادرة أو مكلفة التسمية.
• الاتجاهات المستقبلية: يقترح المؤلفون توسيع نطاق PAS ليشمل التكيف مع النطاقات متعددة المصادر والتحقق من صحته على وسائط غير الرؤية الحاسوبية (مثل معالجة اللغات الطبيعية أو الصوت).

باختصار، يسد PAS الفجوة بين تقدير القابلية للنقل النظري والتطبيق العملي للتكيف مع النطاق من خلال تقديم متنبئ سريع، غير خاضع للإشراف، ومرتبط ارتباطاً وثيقاً بنجاح التكيف.