Semi-supervised linear regression with missing covariates

إليك ملخص تقني مفصل لورقة البحث بعنوان "الانحدار الخطي شبه الموجه مع المتغيرات المستقلة المفقودة" (Semi-supervised linear regression with missing covariates) للباحثين بينيديكت م. رايزبرو وتوماس ب. بيريت.

1. بيان المشكلة

تتناول الورقة تحدي تقدير معاملات الانحدار ($\beta^*$) في نموذج خطي حيث:

1. متغيرات مستقلة مفقودة: تحتوي مجموعة البيانات المصنفة (labelled dataset) على قيم مفقودة في المتغيرات التفسيرية ($X$). يمكن أن يكون فقدان البيانات غير مهيكل (مبعثر، ومستقل عبر المتغيرات) أو مهيكلاً (على شكل كتل، حيث تُفقد المتغيرات في مجموعات، مثل الاختلاف بين بيانات الرنين المغناطيسي MRI مقابل بيانات التصوير المقطعي بالإصدار البوزيتروني PET).
2. الإعداد شبه الموجه (Semi-Supervised): تتكون البيانات المتاحة من مجموعة بيانات مصنفة ($L$) تحتوي على متغيرات مستقلة مفقودة، ومجموعة بيانات غير مصنفة ($U$) تحتوي على المتغيرات المستقلة ولكن بدون استجابة ($Y$).
3. الهدف: تطوير مقدرات تستفيد من البيانات غير المصنفة لتحسين دقة التقدير، وتوصيف الحدود الإحصائية الأساسية (معدلات minimax) لهذه المشكلة، ومقارنتها بحالات الإشراف الكامل.

يسعى المؤلفون للإجابة على:

• كيف يمكن الاستفيد من البيانات غير المصنفة عندما تكون العينات المصنفة تعاني من فقدان في المتغيرات المستقلة؟
• كيف تؤثر أنماط الفقدان (المهيكلة مقابل غير المهيكلة) على الأداء الأمثل؟
• هل يمكن للإجراءات أن تكون مثالية لكلا الإعدادين؟

2. المنهجية

تقترح الورقة مقدرات متميزة للإعدادات منخفضة الأبعاد وعالية الأبعاد، مع التعامل مع سيناريوهات "المقدر شبه الموجه العادي" (OSS) و"المقدر شبه الموجه المثالي" (ISS، حيث تكون مصفوفة التباين $\Sigma$ للمجتمع معلومة).

أ. الإعداد منخفض الأبعاد

• بناء المقدر: يقترح المؤلفون مقدر المربعات الصغرى الموزون بناءً على التعويض (imputation).
  • بالنسبة لنمط فقدان $k$ الذي يلاحظ المتغيرات $O_k$، يتم تعويض المتغيرات المفقودة $M_k$ باستخدام التوقع الشرطي: $\hat{X}_{M_k} = \hat{\Sigma}_{M_k O_k} \hat{\Sigma}_{O_k O_k}^{-1} X_{O_k}$.
  • يقوم المقدر $\hat{\beta}$ بتقليل مجموع مربعات الأخطاء الموزون عبر جميع الأنماط:
    $$\hat{\beta} = \arg \min_{\beta} \sum_{k=1}^K \sum_{i \in I_k} \hat{D}_k (Y_i - X_{O_k, i}^T \hat{P}_k \beta)^2$$
    حيث $\hat{P}_k$ هي مصفوفة التعويض المشتقة من التباين المقدر $\hat{\Sigma}$، و$\hat{D}_k$ هي عوامل إعادة الوزن.
• إعادة الوزن: الابتكار الرئيسي هو خطوة إعادة الوزن. التعويض الساذج (ضبط الأوزان إلى 1) يكون غير أمثل. الوزن الأمثل $D_k^*$ هو نسبة تباين الحالة الكاملة إلى تباين حالة ذات نمط فقدان $k$. يقدم المؤلفون إجراءً لتقدير هذه الأوزان من البيانات.
• تقدير التباين:
  • في إعداد OSS، يتم تقدير $\hat{\Sigma}$ باستخدام البيانات غير المصنفة (ومحتمل أيضاً البيانات المصنفة عبر التقاطع المتقاطع/cross-fitting).
  • في الإعداد المُشرف (Supervised) (حيث $N=0$)، يستخدمون التقاطع المتقاطع ثنائي الطيات (two-fold cross-fitting) لتقدير $\Sigma$ والأوزان لتجنب الإفراط في التخصيص (overfitting) وضمان الاستقلال بين تقدير المعلمات المزعجة والمقدر النهائي.

ب. الإعداد عالي الأبعاد المتناثر (High-Dimensional Sparse Setting)

• بناء المقدر: يكيف المؤلفون مقدر دانتزيغ (Dantzig Selector) للتعامل مع البيانات المفقودة والعينات غير المصنفة.
  • يقومون ببناء مقدرات غير متحيزة لـ $\gamma = \Sigma \beta^*$ و $\Sigma$ باستخدام الملاحظات الجزئية المتاحة والبيانات غير المصنفة.
  • يحل المقدر البرنامج الخطي:
    $$\hat{\beta} \in \arg \min_{\beta} \{ \|\beta\|_1 : \|\hat{\Sigma}\beta - \hat{\gamma}\|_\infty \leq \lambda \}$$
• التنظيم (Regularization): يتم اختيار معلم الضبط $\lambda$ بعناية لمراعاة حجم العينة الفعال لأنماط الفقدان ووجود البيانات غير المصنفة.

3. المساهمات الرئيسية

1. مقدرات مبتكرة:

   • تقديم مقدر تعويض موزون للإعدادات منخفضة الأبعاد يتفوق على التعويض الساذج وطرق الإشراف القياسية.
   • توسيع مقدر دانتزيغ ليشمل الإعداد شبه الموجه مع الفقدان المهيكل وغير المهيكل.

2. نظرية Minimax (الحدود العليا والدنيا):

   • الحدود غير اللامتناهية (Non-Asymptotic Bounds): تقديم حدود عليا صارمة للمخاطرة (MSE) لكلا المقدرين.
   • الحدود الدنيا المطابقة: اشتقاق حدود دنيا جديدة لـ minimax تطابق الحدود العليا حتى العوامل الثابتة، مما يثبت أمثلية المعدل (rate optimality).
   • حل التخمينات: حل تخمين لـ Wang et al. (2019) بخصوص معدل minimax في حالة الإشراف عالي الأبعاد مع الفقدان غير المهيكل.

3. توصيف فائدة البيانات غير المصنفة:

   • أثبتوا أن البيانات غير المصنفة تحسن معدل التقارب من خلال زيادة احتمالية الملاحظة بشكل فعال.
   • منخفض الأبعاد: يتحسن المعدل من $O(\frac{1}{\rho n_L})$ إلى $O(\frac{1}{\rho n_L} + \frac{1}{\rho^2 n_L + N})$، مما يعزز معدل الملاحظة من $\rho$ إلى $\rho^{1/2}$ عندما تكون $N$ كبيرة.
   • تقليل الأبعاد: في الفقدان المهيكل (مثل الأنماط الرتيبة)، تسمح البيانات غير المصنفة بتقليل الأبعاد الفعالة. إذا كانت $p_0$ من المتغيرات مفقودة في جزء كبير من البيانات المصنفة ولكنها مرصودة في البيانات غير المصنفة، فإن المعدل يعتمد على $p_0$ بدلاً من البعد الكامل $p$.

4. الأمان: المقدرات المقترحة "آمنة"، مما يعني أنها تؤدي بشكل أفضل على الأقل من أفضل مقدر مُشرف في أسوأ الحالات.

4. النتالئ الرئيسية

معدلات الأبعاد المنخفضة

تتدرج مخاطر minimax كالتالي:
$$\text{Risk} \asymp \sigma^2 \sum_{i=1}^p \frac{1}{\alpha_i} + \|\beta^*\|_2^2 \zeta$$
حيث تمثل $\alpha_i$ حجم العينة الفعال للمتغير $i$، و $\zeta$ تعتمد على القدرة على تقدير مصفوفة التباين (تتدرج مع $1/N$ في OSS).

• غير مهيكل: المعدل هو $O(\frac{p}{\rho n_L} + \frac{p}{\rho^2 n_L + N})$.
• مهيكل: يعتمد المعدل على أحجام الأنماط (modality sizes) $h_g$ والأحجام المتقاطعة $n_{g,h}$. البيانات غير المصنفة تقلل من عقوبة الكتل المفقودة.

معدلات الأبعاد العالية

تتدرج مخاطر minimax كالتالي:
$$\text{Risk} \asymp \frac{s \log p}{\rho n_L} + \frac{s \log p}{\rho^2 n_L + N}$$

• يؤكد هذا أن وجود البيانات غير المصنفة ($N$) يحسن المعدل من الاعتماد على $\rho n_L$ إلى $\rho^2 n_L + N$، مما يضاعف "المعلومات" المتعلقة بهيكل التباين فعلياً.
• بالنسبة للفقدان المهيكل، يعتمد المعدل على أحجام الأنماط المحددة، مما يظهر أن البيانات غير المصنفة يمكن أن تخفف من تأثير الكتل المفقودة.

الأداء التجريبي

• المحاكاة: تظهر المحاكاة المكثفة على بيانات اصطناعية أن المقدرات المقترحة تتفوق بشكل كبير على:
  • تحليل الحالة الكاملة (Complete Case Analysis).
  • التعويض الساذج (المتوسط، kNN، الغابة العشوائية).
  • طرق التعلم شبه الموجه الموجودة (مثل Azriel et al., 2022) التي تتجاهل الفقدان.
  • المقدرات شبه البارامترية الفعالة (Robins, Rotnitzky, Zhao) التي غالباً ما تفشل في الاستفادة من البيانات غير المصنفة بفعالية في هذا السياق المحدد.
• البيانات الحقيقية: طُبقت على مجموعة بيانات California Housing مع فقدان اصطناعي. قلل مقدر OSS من متوسط مربع الخطأ (MSE) بشكل كبير مقارنة بتحليل الحالة الكاملة، خاصة عندما كان عدد الحالات الكاملة صغيراً.

5. الأهمية

• سد الفجوة: يسد هذا العمل فجوة نظرية حرجة من خلال معالجة المتغيرات المستقلة المفقودة والتعلم شبه الموجه معاً. لقد عاملت الأدبيات السابقة هاتين المشكلتين كمسألتين منفصلتين.
• الأهمية العملية: النتائج ذات صلة وثيقة بعلوم البيانات الحديثة، لا سيما في الرعاية الصحية (بيانات السجلات الصحية الإلكترونية EHR مع فقدان مهيكل بسبب اختبارات مختلفة) والتعلم متعدد الوسائط، حيث يكون الحصول على الملصقات (labels) مكلفاً بينما تكون المتغيرات المستقلة وفيرة.
• الرؤية النظرية: توفر الورقة أول حدود عليا ودنيا متطابقة لهذه الإعدادات، مما يوضح بالضبط مقدار مساعدة البيانات غير المصنفة وتحت أي ظروف (على سبيل المثال، ضرورة ملاحظة أزواج المتغيرات معاً).
• التقدم المنهجي: إن تقديم خطوة إعادة الوزن في الإعدادات منخفضة الأبعاد وتكييف مقدر دانتزيغ للبيانات شبه الموجهة يوفر أدوات قوية ومثالية للممارسين.

باختصار، تثبت الورقة أن البيانات غير المصنفة ليست مجرد إضافة بل هي متطلب أساسي لتحقيق المعدلات المثلى في الانحدار الخطي مع المتغيرات المستقلة المفقودة، حيث تعمل فعلياً على تغيير صعوبة المشكلة من خلال تحسين حجم العينة الفعال وتقليل تأثير أنماط الفقدان.