Unsupervised Domain Adaptation for Binary Classification with an Unobservable Source Subpopulation

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التكيف غير الخاضع للإشراف مع النطاق للتحصيص الثنائي مع وجود مجتمع فرعي مصدر غير قابل للملاحظة".

1. بيان المشكلة

تتناول الورقة البحثية نوعاً محدداً وتحدياً كبيراً من التكيف غير الخاضع للإشراف مع النطاق (Unsupervised Domain Adaptation - UDA).

• الإعداد القياسي: يفترض الـ UDA عادةً وجود نطاق مصدر مصنف (labeled) ونطاق هدف غير مصنف (unlabeled) مع وجود انزياحات في التوزيع.
• التحدي الجديد: ينظر المؤلفون في إعداد يعاني فيه النطاق المصدر من فقدان مهيكل (structured missingness). وتحديداً، يتم تعريف البيانات بواسطة تسمية ثنائية $Y$ ومتغير خلفية/بيئة ثنائي $A$. في النطاق المصدر، يكون هناك مجتمع فرعي محدد ناتج عن الجمع بين $(Y=1, A=1)$ غير قابل للملاحظة تماماً (احتماليته تساوي صفراً)، بينما المجتمعات الفرعية الثلاثة الأخرى $(0,0), (0,1), (1,0)$ موجودة.
• النطاق المستهدف: يحتوي النطاق المستهدف على جميع المجتمعات الفرعية الأربعة، ولكن التسميات $Y$ غير ملاحظة.
• الدوافع في العالم الحقيقي: ينشأ هذا السيناريو في مجموعات بيانات مثل Waterbirds (حيث تكون الطيوت المائية على خلفيات مائية نادرة/غائبة في التدريب) أو الرعاية الصحية (حيث تغيب تركيبات معينة من المرض/الديموغرافيا بسبب معايير الاشتمال). إن تطبيق طرق UDA القياسية بشكل ساذج يؤدي إلى تقديرات متحيزة وأداء ضعيف على المجتمع الفرعي غير الملاحظ في النطاق المستهدف.

2. المنهجية

يعتمد الإطار المقترح على الثبات الشرطي المهيكل (Structured Conditional Invariance) ومطابقة التوزيع (Distribution Matching) لاستعادة احتمالات التنبؤ في النطاق المستهدف.

2.1 الافتراضات الجوهرية

• الثبات الشرطي المهيكل: يظل التوزيع الشرطي للميزات $X$ بشرط التسمية والخلفية ثابتاً عبر النطاقات:
  $$p(X | Y, A, R=1) = p(X | Y, A, R=0) = p(X | Y, A)$$
  هذا افتراض أقوى من انزياح التسمية القياسي، لأنه يشترط على كل من $Y$ و $A$.
• الفقدان المهيكل: في المصدر، $pr(Y=1, A=1 | R=1) = 0$.

2.2 الاشتقاق النظري

يشتق المؤلفون تعبيرات مغلقة (closed-form) لاحتمالات التنبؤ المستهدفة:

• $\eta_1(x) = pr(Y=1 | X=x, A=1, R=0)$
• $\eta_0(x) = pr(Y=1 | X=x, A=0, R=0)$
• $\eta(x) = \eta_1(x)\tau_0(x) + \eta_0(x)(1-\tau_0(x))$ (الاحتمالية الإجمالية)

بشكل حاسم، يوضحون أنه يمكن استعادة $\eta_1(x)$ (احتمالية المجموعة المفقودة في المصدر) باستخدام كميات ملاحظة من المصدر والمستهدف، وتحديداً عن طريق تقدير نسب المجتمعات الفرعية ($\beta$) في النطاق المستهدف.

2.3 التقدير عبر مطابقة التوزيع

بما أن نسب النطاق المستهدف غير معروفة، يقترح المؤلفون طريقة مطابقة التوزيع لتقدير متجه المعلمة $\beta = (\beta_{10}, \beta_{00})^T$ (نسب $Y=1$ و $Y=0$ بشرط $A=0$ في النطاق المستهدف).

• الهدف: تقليل تباعد كولباك - ليبلر (KL divergence) بين توزيع الميزات الملاحظ في المجموعة الفرعية للمستهدف ($R=0, A=0$) ومزيج من توزيعات المجموعات الفرعية للمصدر ($R=1, Y=1, A=0$ و $R=1, Y=0, A=0$).
• التحسين: تمت إعادة صياغة المشكلة لتعظيم هدف الاحتمالية القصوى (log-likelihood) الذي يتضمن مصنف المصدر $\xi_0(x)$ ونسب المزيج المستهدف، مما يتجنب الحاجة إلى نمذجة كثافات الميزات عالية الأبعاد مباشرة.
• الخوارزمية:
  1. تدريب المصنفات على المجموعات الفرعية الملاحظة في المصدر للحصول على $\xi(x)$ و $\xi_0(x)$.
  2. تقدير الاحتمالات الشرطية $\tau(x)$ و $\kappa(x)$ باستخدام البيانات المتاحة.
  3. حل مشكلة مطابقة التوزيع لتقدير $\hat{\beta}$.
  4. تعويض $\hat{\beta}$ في المعادلات المشتقة للحصول على $\hat{\eta}(x)$.

3. المساهمات الرئيسية

1. صياغة جديدة للمشكلة: تحدد الورقة رسمياً وتحلل إعداد UDA مع وجود مجتمع فرعي مصدر غير قابل للملاحظة تماماً، وهو سيناريو تتجاهله الطرق الموجودة.
2. الإطار النظري: يقدم المؤلفون اشتقاقات صارمة توضح أن التنبؤ الدقيق للمستهدف ممكن رغم البيانات المفقودة، بشرط تحقق فرضية الثبات الشرطي.
   | 3. تحليل القابلية للتعريف (Identifiability Analysis): يضع المؤلفون شروطاً تصبح فيها معلمات النموذج قابلة للتعريف، ويربطون المشكلة بتعلم العناصر غير المعلمة (PU learning) وانزياح التسمية مفتوح المجموعة (OSLS).
3. الضمانات الإحصائية:
   • الاتساق (Consistency): أثبت أن مُقدّر نسب المجتمعات الفرعية متسق إحصائياً.
   • حدود الخطأ: اشتقوا حدوداً عليا على خطأ تقدير المعلمات وخطأ التعميم (prediction risk) للمصنف الناتج، موضحين أن الخطأ يعتمد على معدل تقارب مُقدّر النسب.
4. خوارزمية عملية: تم اقتراح خوارزمية مطابقة التوزيع (Algorithm 1) التي تتجنب تقدير الكثافة المعقد، مما يجعلها قابلة للتوسع.

4. النتائج التجريبية

تم تقييم الطريقة على كل من البيانات الاصطناعية ومجموعات البيانات الواقعية (Waterbirds و CelebA).

• البيانات الاصطناعية: تفوقت الطريقة المقترحة ($\hat{\eta}$) باستمرار على اثنين من النماذج الأساسية الساذجة:
  • النموذج الساذج 1 (Naive1): تطبيق احتمالات المصدر بشكل أعمى (تجاهل الفقدان).
  • النموذج الساذج 2 (Naive2): افتراض انزياح التسمية القياسي دون مراعاة المجموعة الفرعية المفقودة.
    أظهرت الطريقة المقترحة تحسناً في الدقة (Accuracy) ودرجة F1، خاصة مع زيادة أحجام العينات.
• البيانات الواقعية (Waterbirds):
  • تم تقسيم مجموعة البيانات بحيث تم استبعاد المجموعة $(Y=1, A=1)$ من المصدر.
  • تفوقت الطريقة المقترحة بشكل كبير على النماذج الأساسية في الدقة ودرجة F1.
  • استخراج الميزات: حققت ميزات ViT-16 نتائج أفضل من ResNet-18، خاصة بالنسبة للنماذج الأساسية الساذجة التي عانت أكثر من الارتباطات الزائفة.
  • المتانة: ظلت الطريقة فعالة حتى عندما تغيرت نسبة المجموعة الفرعية "الجسر" (على سبيل المثال، $Y=0, A=1$) في المصدر، رغم تراجع الأداء إذا أصبحت مجموعات متعددة صغيرة جداً.

5. الأهمية والتأثير

• معالجة تحيز البيانات: يوفر هذا العمل حلاً للسيناريوهات التي تؤدي فيها قيود جمع البيانات إلى فجوات منهجية في بيانات التدريب (مثل مجموعات الأمراض النادرة أو الظروف البيئية المحددة).
• ما وراء الارتباط الزائف: من خلال نمذجة هيكل المجتمع الفرعي المفقود صراحة، تمنع الطريقة ظاهرة "الانهيار" (collapse) التي تحدث في التكيف النطاقي التنافسي، حيث يقوم النموذج بشكل خاطئ بمحاذاة المجموعة المفقودة في النطاق المستهدف مع مجموعة مصدر موجودة.
• العدالة والموثوقية: تضمن هذه المقاربة أن التنبؤات للمجتمعات الفرعية التي كانت غير ملاحظة سابقاً في النطاق المستهدف ليست متحيزة بشكل منهجي، مما يساهم في أنظمة تعلم أكثر قوة وعدالة في المجالات الحرجة مثل الرعاية الصحية وعلم البيئة.
• الأساس النظري: تضع أول توصيف صارم للتكيف مع غياب المجتمع الفرعي المهيكل، مما يقدم مخططاً للتعامل مع مشكلات "الفقدان" المماثلة في سياقات التعلم الإحصائي الأخرى.