📊 statistics

General Frameworks for Conditional Two-Sample Testing

تتناول هذه الورقة الصعوبة المتأصلة في اختبار العينات الثنائية الشرطي من خلال إرساء حد أساسي واقتراح إطارين عامين — أحدهما يحول اختبارات الاستقلال الشرطي والآخر يستفيد من تقدير نسبة الكثافة — لتمكين مقارنات صالحة وقوية للتوزيعات مع التحكم في العوامل المربكة.

المؤلفون الأصليون: Seongchan Lee, Suman Cha, Ilmun Kim

نُشر 2026-05-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Seongchan Lee, Suman Cha, Ilmun Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق يحاول معرفة ما إذا كانت مجموعتان من الناس مختلفتين جوهرياً. ولكن هناك عقبة؛ هاتان المجموعتان له خلفيات مختلفة. ربما المجموعة (أ) معظمها من مدينة ممطرة، والمجموعة (ب) معظمها من مدينة مشمسة. إذا قارنت فقط متوسط أطوالهم، فقد تظن أن المجموعة (أ) أقصر، لكن هذا فقط لأنهم أقصر في المتوسط في المدينة الممطرة، وليس لأنهم بشر مختلفون بطبيعتهم.

هذه هي مشكلة اختبار العينات الثنائية المشروط (Conditional Two-Sample Testing). أنت تريد معرفة ما إذا كانت المجموعات مختلفة بعد مراعاة تلك العوامل الخلفية ("المتغيرات المربكة").

هذه الورقة البحثية التي كتبها "لي، وتشا، وكيم" تتناول سؤالاً صعباً للغاية: هل من الممكن أصلاً حل هذا العمل التحقيقي دون وضع بعض التخمينات الإضافية؟

إليك تفصيل نتائجهم، باستخدام تشبيهات بسيطة:

١. "اللغز المستحيل" (نتيجة الصعوبة)

أثبت المؤلفون أولاً حقيقة محبطة نوعاً ما: بدون وضع افتراضات إضافية، يكون هذا اللغز غير قابل للحل.

تخيل أنك تحاول مقارنة جرتين من الكرات الملونة المختلطة. أنت تعلم أن لون الكرات في الجرة (أ) يعتمد على وقت التقاطها، وكذلك الحال بالنسبة للجرة (ب). إذا كان "وقت اليوم" (المتغير المربك) متغيراً مستمراً (مثل ساعة يمكن أن تظهر أي ثانية)، فإن المؤلفين يظهرون أنه لا يوجد اختبار يمكنه إخبارك بشكل موثوق ما إذا كانت الجرتان مختلفتين.

الأمر يشبه محاولة سماع همسة وسط إعصار. إذا لم تفترض أن "الرياح" (المتغير المربك) تسلك سلوكاً معيناً يتسم بالنعومة، فإن الضجيج سيغرق الإشارة. لا يمكنك إثبات أن الجرتين مختلفتان بمجرد النظر إلى البيانات؛ يجب أن تفترض أن "الرياح" ليست فوضوية للغاية.

٢. الأداتان الجديدتان (الأطر العملياتية)

بما أن اللغز مستحيل الحل بدون مساعدة، فقد بنى المؤلفون "صندوقين للأدوات" يعملان إذا كنت مستعداً لتقديم تلك الافتراضات المنطقية.

الأداة (أ): "المترجم السحري" (الاستقلال المشروط)

تأخذ هذه الأداة أداة مصممة لمهمة أخرى (التحقق مما إذا كان شيئان غير مرتبطين ببعضهما) وتترجمها لتعمل على مشكلتك الخاصة.

التشبيه: تخيل أن لديك مفتاحاً رئيسياً يفتح أبواب "الاستقلال". أنت تريد فتح باب "المجموعتين"، لكن القفل مختلف قليلاً لأن المجموعات ذات أحجام ثابتة (لا يمكنك مجرد التقاط أشخاص عشوائيين؛ بل لديك بالضبط ٥٠ شخصاً من المجموعة (أ) و٥٠ من المجموعة (ب)).
كيف تعمل: ابتكر المؤلفون "مترجماً" (الخوارزمية ١). يأخذ مجموعاتك الثابتة، ويخلطها حول بعضها، وينشئ مجموعة بيانات "زائفة" مؤقتة تبدو وكأنها مزيج عشوائي. ثم يستخدم مفتاحك الرئيسي (اختبار الاستقلال) على هذه البيانات الزائفة.
العقبة: لكي يعمل الخلط، يجب على المترجم التخلص من بعض الكرات (نقاط البيانات) لضمان صحة الرياضيات. ولكن، طالما أن لديك ما يكفي من الكرات، فإن هذا الفقد سيكون ضئيلاً، ويظل الاختبار دقيقاً.

الأداة (ب): "الميزان المرجح" (تقدير نسبة الكثافة)

تغير هذه الأداة المشكلة تماماً. بدلاً من محاولة مقارنة المجموعات مباشرة، تحاول معرفة كيفية "إعادة ترجيح" إحدى المجموعات لتبدو مثل الأخرى.

التشبيه: تخيل أن المجموعة (أ) مليئة بالصخور الثقيلة، والمجموعة (ب) مليئة بالريش الخفيف. تريد مقارنتهما، لكن فرق الوزن (المتغير المربك) يفسد الميزان.
كيف تعمل: يقترح المؤلفون حساب "عامل وزن" (نسبة الكثافة) لكل عنصر في المجموعة (ب). إذا كان العنصر في المجموعة (ب) نادراً في المجموعة (أ)، فإنك تعطيه وزناً ثقيلاً. وإذا كان شائعاً، تعطيه وزناً خفيفاً. بمجرد تطبيق هذه الأوزان، يمكنك استخدام اختبارات بسيطة ومعيارية لمقارنة المجموعتين.
العقبة: هذا يعمل فقط إذا استطعت حساب تلك الأوزان بدقة. إذا كانت الأوزان جامحة (بعضها ضئيل جداً وبعضها ضخم جداً)، فإن الميزان سينقلب وينكسر. تظهر الورقة أنه إذا استخدمت طرقاً جيدة لتقدير هذه الأوزان (مثل مصنفات تعلم الآلة)، فإن الاختبار يعمل بشكل رائع.

٣. التجارب (الإثبات)

اختبر المؤلفون هذه الأدوات على بيانات وهمية (محاكاة) وبيانات من العالم الحقيقي (مثل أسعار الماس وخصائص الموصلات الفائقة).

النتائج:
- الأداة (أ) (المترجم): تعمل بشكل جيد، لكنها حساسة لكيفية خلط البيانات. إذا لم يتم الخلط بعناية، فقد تحصل على إنذارات كاذبة.
- الأداة (ب) (الميزان المرجح): قوية جداً إذا لم تكن البيانات فوضوية للغاية. ومع ذلك، في البيانات عالية الأبعاد (البيانات التي تحتوي على العديد من الميزات، مثل مجموعة بيانات الموصلات الفائقة)، يصبح تقدير الأوزان أمراً صعباً. إذا استخدمت طريقة بسيطة لتقدير الأوزان، سيفشل الاختبار. أما إذا استخدمت طريقة أكثر تعقيداً و"ذكاءً"، فستعمل بشكل مثالي.
- المقايضة: بعض الطرق سريعة ولكنها قد تغفل عن الاختلافات الدقيقة. بينما طرق أخرى قوية جداً ولكنها تستغرق وقتاً طويلاً للحساب (مثل الانتظار لمدة ٣٠٠ ثانية للحصول على نتيجة).

الملخص

تقول الورقة: "مقارنة مجموعتين مع التحكم في العوامل الخلفية أمر صعب للغاية - لدرجة أنه مستحيل بدون وضع بعض الافتراضات."

ومع ذلك، فقد قدموا طريقتين عمليتين لحل ذلك:
١. المترجم: حوّل مشكلتك إلى مشكلة "عشوائية" واستخدم الأدوات الموجودة، حتى لو اضطررت للتخلص من جزء ضئيل من البيانات.
٢. الميزان المرجح: عدّل أهمية نقاط البيانات الخاصة بك لتسوية أرض الملعب، بشرط أن تتمكن من حساب هذه التعديلات بدقة.

لقد أثبتوا أنه باستخدام هذه الأدوات، يمكننا أخيراً القيام بهذا العمل التحقيقي بشكل موثوق، طالما اخترنا الأداة المناسبة لطبيعة "الفوضى" في بياناتنا.

ملخص تقني: الأطر العامة لاختبار العينات الثنائية الشرطي

إعداد المشكلة
تتناول هذه الورقة مشكلة اختبار العينات الثنائية الشرطي (conditional two-sample testing)، والتي تسعى لتحديد ما إذا كان هناك مجتمعان يتشاركان في نفس التوزيع الشرطي لمتغير الاستجابة $Y$ بشرط المتغير المصاحب $X$ ، وذلك بعد مراعاة عوامل الارتباك المحتملة. صياغياً، بالنظر إلى عينتين مستقلتين $\{(X^{(1)}_i, Y^{(1)}_i)\}_{i=1}^{n_1} \sim P^{(1)}_{XY}$ و $\{(X^{(2)}_i, Y^{(2)}_i)\}_{i=1}^{n_2} \sim P^{(2)}_{XY}$ ، فإن الهدف هو اختبار الفرضية الصفرية:
$H_0: P^{(1)}_{Y|X}(\cdot | X) = P^{(2)}_{Y|X}(\cdot | X) \quad \text{تقريباً في كل مكان (almost surely)}$
مقابل الفرضية البديلة التي تفترض وجود اختلاف باحتمالية موجبة. تبرز هذه المشكلة في تطبيقات حيوية مثل تكييف النطاق (domain adaptation) (للتحقق من فرضيات إزاحة المتغيرات المصاحبة) والعدالة الخوارزمية (الكشف عن التحيز بناءً على السمات الديموغرافية).

نتيجة الصعوبة (Hardness Result)
يؤسس المؤلفون أولاً نتيجة صعوبة جوهرية لهذه المشكلة. فقد أثبتوا أنه بدون افتراضات إضافية، لا يمكن لأي اختبار عينات ثنائية شرطي أن يمتلك قدرة (power) غير تافهة ضد أي بديل واحد عندما يكون المتغير الشرطي $X$ مستمراً. وتوازي هذه النتيجة السلبية نتيجة اختبار الاستقلال الشرطي التي وضعها شاه وبيرترز (2020). ويكمن التمايز التقني الرئيسي في برهانهم في أنه، على عكس حالات الاستقلال الشرطي القياسية حيث تكون مؤشرات المجموعات عشوائية، فإن أحجام العينات $n_1$ و $n_2$ في مشكلة العينات الثنائية هي أحجام محددة (deterministic). وقد جسر المؤلفون هذه الفجوة باستخدام حجج التركيز (concentration arguments) لإظهار أن المشكلة تظل صعبة بطبيعتها، مما يستلزم وجود افتراضات هيكلية (مثل سلاسة أو محدودية نسب الكثافة) لجعل المشكلة قابلة للحل.

الأطر المنهجية
للتغلب على هذه الصعوبات، تقدم الورقة إطارين عامين يدمجان، بشكل ضمني أو صريح، افتراضات معقولة لتمكين الاختبار الصحيح.

1. الإطار عبر اختبار الاستقلال الشرطي (CIT)
يستفيد الإطار الأول من التكافؤ بين اختبار العينات الثنائية الشرطي واختبار الاستقلال الشرطي. من خلال إدخال مؤشر مجموعة ثنائي $Z$ ، تصبح المشكلة $P^{(1)}_{Y|X} = P^{(2)}_{Y|X}$ مكافئة لاختبار $Y \perp\!\!\!\perp Z \mid X$ .

الخوارزمية 1: يقترح المؤلفون طريقة تحويل "الصندوق الأسود" (black-box) عامة تحول أي اختبار استقلال شرطي موجود إلى اختبار عينات ثنائية شرطي. تقوم الخوارزمية بإنشاء مجموعة بيانات من الثلاثيات $(X, Y, Z)$ المستقلة والموزعة بشكل متماثل (i.i.d.) عن طريق أخذ عينات فرعية من المجموعات ذات الحجم الثابت بناءً على توزيع ثنائي الحدين (Binomial distribution). إذا تجاوزت أحجام العينات الفرعية أحجام المجموعات الأصلية، يتم قبول الفرضية الصفرية؛ وإلا، يتم تطبيق اختبار استقلال شرطي قياسي على البيانات المتبادلة (permuted data).
الضمانات النظرية: يثبت المبرهنة 2 أن هذا التحويل يحافظ على الصلاحية التقاربية (التحكم في خطأ النوع الأول) والاتساق (القدرة) للاختبار الشرطي الأساسي، بشرط أن يكون إحصاء الاختبار "مستقراً في الاقتران" (coupling-stable) أو أن خسارة أخذ العينات الفرعية مهملة تقاربياً.

2. الإطار عبر تقدير نسبة الكثافة (DRT)
يحول الإطار الثاني المقارنة الشرطية إلى مقارنة هامشية باستخدام تقدير نسبة الكثافة.

المبدأ: تتحقق الفرضية الصفرية إذا وفقط إذا كانت الكثافة المشتركة $f^{(1)}_{XY}$ تساوي نسخة مُعاد وزنها من $f^{(2)}_{XY}$ ، وتحديداً $f^{(1)}_{XY}(x,y) = r_X(x) f^{(2)}_{XY}(x,y)$ ، حيث $r_X(x) = f^{(1)}_X(x)/f^{(2)}_X(x)$ هي نسبة الكثافة الهامشية.
التنفيذ: يُعاد صياغة المشكلة كاختبار عينات ثنائية هامشي بين $f^{(1)}_{XY}$ $f_{X Y}^{(1)}$ و $f^{(2)}_{XY}$ $f_{X Y}^{(2)}$ المُعاد وزنه. يوضح المؤلفون ذلك من خلال نهجين ملموسين:
- النهج القائم على التصنيف: تدريب مصنف للتمييز بين المجموعتين، حيث يتم وزن دالة الخسارة للمجموعة الثانية بواسطة نسبة الكثافة المقدرة $r_X$ .
- النهج القائم على النواة (MMD): استخدام التباعد المتوسط الأقصى (Maximum Mean Discrepancy) مع الوزن المرجح بالأهمية. يقترح المؤلفون إحصاء MMD موحد يعمل بنظام الكتل (block-wise) محكوم بمعلمة $\gamma \in [0, 1]$ $γ \in [0, 1]$ .
  - النظام الأول ( $0 \le \gamma < 1$ ): يستخدم إحصاءات U المعتمدة على الكتل لتحقيق التوزيع الطبيعي التقاربي.
  - النظام الثاني ( $\gamma = 1$ ): يستعيد إحصاء MMD القياسي ذو الوقت التربيعي، والذي تمت معايرته عبر بوتستراب المضاعف (multiplier bootstrap) للتعامل مع التوزيع الحدي غير الغاوسي.
تقسيم العينات: لتجنب انحياز الإدخال (plug-in bias)، يستخدم المؤلفون تقسيم العينات (أو التوافق المتقاطع/cross-fitting) للفصل بين تقدير $r_X$ وتقييم إحصاء الاختبار.

المساهمات الرئيسية

توصيف الصعوبة: برهان صارم على أن اختبار العينات الثنائية الشرطي بنفس صعوبة اختبار الاستقلال الشرطي تحت التوزيع المستمر، مما يسلط الضوء على ضرورة الافتراضات.
خوارزمية التحويل العامة: خوارزمية مبتكرة (الخوارزمية 1) تسمح للممارسين بتطبيق أي اختبار استقلال شرطي على مشكلة العينات الثنائية مع الحفاظ على الضمانات النظرية.
إطار نسبة الكثافة: إطار مرن يحول الاختبار الشرطي إلى اختبار هامشي عبر نسب الكثافة، ويتجسد في طرق متنوعة (التصنيف مقابل النوى).
نظرية MMD الموحدة: تطوير نظري لإطار MMD موحد يغطي الأنظمة ذات الوقت الخطي (block-wise) والأنظمة ذات الوقت التربيعي، بما في ذلك المعايرة عبر البوتستراب للأنظمة الأخيرة.

النتائج والنتائج التجريبية
قيمت الورقة الطرق المقترحة باستخدام بيانات اصطناعية (تغطي النماذج الخطية، وعالية التباين، ونماذج ما بعد غير الخطية) وبيانات من العالم الحقيقي (Diamonds و Superconductivity).

البيانات الاصطناعية:
- أظهرت طرق DRT (التي تعتمد على نسب الكثافة) قدرة فائقة عندما تكون نسبة الكثافة الهامشية محدودة وسهلة التقدير.
- كانت طرق CIT (عبر الخوارزمية 1) وطرق النواة الشرطية (CMMD, CGED) أكثر متانة تجاه نسب الكثافة غير المحدودة ولكنها قد تعاني في سيناريوهات معينة عالية التباين.
- لا توجد طريقة واحدة تهيمن بشكل موحد؛ إذ يعتمد الأداء بشدة على آلية توليد البيانات وصعوبة تقدير نسبة الكثافة.
البيانات الحقيقية:
- في الإعدادات عالية الأبعاد (مجموعة بيانات Superconductivity)، كان اختيار مقدر نسبة الكثافة أمراً حاسماً. فشل نموذج الانحدار اللوجستي الخطي (LLR) في التحكم في خطأ النوع الأول، بينما استعاد نموذج الانحدار اللوجستي القائم على النواة (KLR) الصلاحية، وإن كان بتكلفة حوسبية أعلى.
- حققت طرق النواة الشرطية (CMMD, CGED) قدرة تنافسية ولكنها واجهت تكاليف حوسبية أعلى بكثير (أبطأ بعدة مراتب من الطرق الأخرى).

الأهمية والادعاءات
تدعي الورقة أنها توفر أساساً منهجياً لاختبار العينات الثنائية الشرطي، وهي مشكلة لم تُدرس بعمق سابقاً في الإحصاء غير المعلمي. ومن خلال إرساء الصعوبة الجوهرية وتقديم إطارين متميزين ومؤسسين نظرياً، توسع هذه الدراسة الأدوات المتاحة للممارسين.

يوفر إطار CIT مساراً عملياً للاستفادة من الأدبيات الواسعة لاختبار الاستقلال الشرطي في مشكلات العينات الثنائية.
يربط إطار DRT الاختبار الشرطي بمجال ترجيح الأهمية والاختبار الهامشي المدرس جيداً، مما يوفر مرونة في اختيار الطريقة (التصنيف مقابل النوى).
يؤكد المؤلفون أن صلاحية هذه الطرق تعتمد على افتراضات محددة (مثل محدودية أو قابلية تقدير نسب الكثافة)، ويقدمون إرشادات تجريبية حول المقايضات بين التكلفة الحوسبية، والقدرة، والتحكم في خطأ النوع الأول عبر مختلف أنظمة البيانات.

تختتم الورقة بتحديد الاتجاهات المستقبلية، مثل توسيع الأطر لتشمل اختبار العينات $K$ الشرطي ( $K \ge 2$ ) واستكشاف مناهج إعادة أخذ العينات مثل إعادة أخذ العينات بأهمية العينات (SIR).