The Marginal Likelihood of two-way tables and Ecological Inference

ملخص تقني: الاحتمالية الهامشية للجداول ثنائية الاتجاه والاستدلال الإيكولوجي

بيان المشكلة
تتناول الورقة التحدي الإحصائي الجوهري المتمثل في استنتاج بنية الارتباط (تحديداً التوزيعات الصفية الشرطية) لجدول عَددي ثنائي الاتجاه عندما تكون المجاميع الهامشية للصفوف والأعمدة فقط هي المرصودة. هذه المشكلة مركزية في الاستدلال الإيكولوجي (Ecological Inference)، وهو منهجية تُستخدم لتقدير السلوكيات على مستوى الأفراد (مثل التحولات الانتخابية بين الانتخابات) من البيانات التجميعية (مثل نتائج مراكز الاقتراع) حيث تكون القرارات المشتركة الفردية غير قابلة للملاحظة بسبب سرية التصويت.

تبحث الورقة في سيناريوهين متميزين:

1. حالة الجدول الواحد: استنتاج الاحتمالات الشرطية من هوامش جدول واحد من فئة $R \times C$.
2. مجموعة من الجداول: استنتاج مجموعة مشتركة من التوزيعات الصفية الشرطية عبر مجموعة من $s$ من الجداول (الوحدات المحلية) التي تشترك في نفس بنية الارتباط ولكن لها مجاميع هامشية مختلفة.

المنهجية والإطار النظري

1. حالة الجدول الواحد ($R \times C$)
يعمم المؤلف عمل بلاكيت (1977) المتعلق بالجداول من فئة $2 \times 2$ ليشمل جداول عامة من فئة $R \times C$. يركز التحليل على الاحتمالية الهامشية تحت أخذ العينات متعددة الحدود (multinomial sampling).

• البارامترية (Parametrization): يتم تمثيل الاحتمالات الصفية الشرطية باستخدام اللوغيت ($\phi_j$) ونسب الأرجحية اللوغاريتمية ($\lambda_{ij}$) بالنسبة لفئة مرجعية.
• معادلات الاحتمالية: تشتق الورقة معادلات الاحتمالية، وتوضح أن التقديرات القياسية غير المقيدة ($\hat{p}_{j|i} = n_{ij}/n_{i0}$) تحقق القيود الهامشية ولكنها تفشل في تحقيق قيود التوقع الشرطي ($M_{ij} = n_{i0}p_{j|i}$) للجدول المرصود.
• الجداول المتطرفة (Extreme Tables): المساهمة النظرية الجوهرية تتعلق بمفهة الجداول المتطرفة. هذه الجداول التكرارية يتم إنشاؤها عبر عمليات تبديل محددة لفئات الصف والعمود (الخوارزمية 1) والتي تمثل الحدود العليا لفئة فريه (Fréchet class) من التوزيعات ذات الهوامش المعطاة.
  • تُعرف الورقة تسلسلاً من التوزيعات الاحتمالية $P(Z, \epsilon)$ التي تقترب من جدول متطرف $Z$ مع اقتراب $\epsilon$ من الصفر.
  • في هذا الحد، تتباعد نسب الأرجحية اللوغاريتمية غير الصفرية إلى $+\infty$ (أو $2\xi$)، مما يخلق أقوى ارتباط إيجابي ممكن ضمن فئة فريه.
• القمم المحلية: ثبت أن هذه التوزيعات الحدية تحقق معادلات الاحتمالية، مما يعني أن الاحتمالية الهامشية تمتلك مجموعة من القمم المحلية التي تتحقق عند هذه الجداول المتطرفة.

2. حالة مجموعة من الجداول
إدراكاً منها بأن الاستدلال من جدول واحد هو أمر مستحيل جوهرياً (حيث يتم تعظيم الاحتمالية عند ارتباطات متطرفة مرضية)، تنتقل الورقة إلى دراسة مجموعة من $s$ من الجداول التي تشترك في نفس الاحتمالات الصفية الشرطية.

• بناء الاحتمالية: يتم صياغة الاحتمالية الهامشية متعددة الحدود الدقيقة لمجموعة الجداول، مما يتطلب الجمع عبر جميع الجداول الممكنة $N_h$ المتوافقة مع الهوامش المرصودة لكل وحدة.
• خوارزمية تسجيل فيشر (Fisher Scoring Algorithm): لتعظيم هذه الاحتمالية المعقدة، يقترح المؤلف خوارزمية تسجيل فيشر فعالة.
  • بدلاً من مصفوفة المعلومات المتوقعة (التي يصعب حسابها)، تستخدم الطريقة مصفوفة معلومات تجريبية مشتقة من ناقلات التسجيل (score vectors).
  • يتم حساب ناقلات التسجيل باستخدام التوقعات الشرطية ($M_{hij}$) تحت التوزيع الهندسي الموسع (extended hypergeometric distribution).
  • يتم وضع شرط ضروري لإمكانية التحديد (identifiability): يجب أن يكون عدد الوحدات المحلية $s$ على الأقل $R(C-1)$ (بافتراض بيانات غير متدهورة).

النتائج الرئيسية

1. عدم اتساق تقدير الاحتمالية القصوى (MLE) للجدول الواحد
تثبت الورقة أن تقديرات الاحتمالية القصوى (MLE) لجدول واحد هي غير متسقة.

• مع زيادة حجم العينة، يتم الوصول إلى الحد الأقصى العالمي للاحتمالية عند أحد الجداول المتطرفة.
• هذه الجداول المتطرفة تقابل توزيعات ذات أقوى ارتباط إيجابي ممكن (بعد التبديل المناسب)، والتي لا تعكس عموماً بنية الارتباط الحقيقية الكامنة.
• وبناءً على ذلك، فإن الاستدلال القائم على الاحتمالية في جدول واحد يعطي نتائج "غير حاسمة" أو مضللة، مما يؤكد نتائج بلاكيت السابقة لحالات $2 \times 2$.

2. أداء الخوارزمية المقترحة
أُجريت دراسة محاكاة باستخدام $s=60$ من الوحدات المحلية، و $R=C=3$، و $n=40$ من الملاحظات لكل وحدة. تمت مقارنة خوارزمية تسجيل فيشر المقترحة (الاحتمالية الدقيقة) مقابل:

• طريقة الانحدار الخطي لغودمان (1953).
• طريقة براون وباين المعدلة (2009).

النتائج:

• أنتجت طريقة الاحتمالية الدقيقة تقديرات ($\hat{\Pi}$) هي الأقرب إلى الآلية المولدة الحقيقية ($\Pi$)، بمتوسط مربع خطأ ($M_e$) قدره 0.0537.
• أنتجت طريقة براون وباين المعدلة $M_e = 0.0549$.
• أنتجت طريقة غودمان $M_e = 0.0551$.
• تشير النتائج إلى أنه بينما الطريقة المقترحة متفوقة نظرياً، فإن فجوة الأداء مع الطرق القائمة في هذه المحاكاة المحددة كانت طفيفة. تشير المؤلفة إلى أن طريقة غودمان، رغم قيودها (مثل احتمال وجود احتمالات خارج النطاق $[0,1]$)، تعمل بشكل جيد بشكل مفاجئ.

3. التعقيد الحسابي
تسلط الورقة الضوء على عقبة حسابية كبيرة: بناء وتخزين مجموعة من جميع الجداول المتوافقة ($N_h$) لكل وحدة محلية.

• في جدول $3 \times 3$، ينمو حجم $N_h$ بسرعة مع حجم العينة $n$ (حوالي $10^5$ جدول لـ $n=100$، وأكثر من $10^6$ لـ $n=200$).
• تشير المؤلفة إلى أن تطبيق هذه الطريقة على البيانات الانتخابية في العالم الحقيقي (حيث غالباً ما يكون $n \approx 800$ في مراكز الاقتراع) غير ممكن حالياً دون استراتيجيات تقريب أو اختيار مجموعات فرعية.

الأهمية والادعاءات
تدعي الورقة أنها توفر:

1. رؤية هندسية: توضيح لهندسة مجموعة الجداول ذات الهوامض الثابتة، وتحديداً تحديد أن القيم القصوى المحلية للاحتمالية الهامشية تقابل الجداول المتطرفة ذات نسب الأرجحية اللوغاريتمية المتباعدة.
2. حل نظري: إثبات أن MLE لجدول واحد غير متسق، مما يفسر سبب فشل الاستدلال القائم على الاحتمالية القياسي في سياقات الاستدلال الإيكولوجي دون فرض افتراضات إضافية أو بيانات إضافية.
3. مساهمة خوارزمية: خوارزمية تسجيل فيشر فعالة لتعظيم الاحتمالية متعددة الحدود الدقيقة عند توفر بيانات من وحدات محلية متعددة.
4. التحقق التجريبي: دليل على أن نهج الاحتمالية الدقيقة يعطي تقديرات أقرب إلى الحقيقة من الطرق الموجودة، وإن كان التفوق العملي في المحاكاة الصغيرة هامشياً.

تخلص المؤلفة إلى أنه بينما الطريقة الدقيقة قوية من الناحية النظرية، فإن تطبيقها على البيانات واسعة النطاق في العالم الحقيقي محدود حالياً بالقيود الحسابية، مما يشير إلى الحاجة إلى عمل مستقبلي حول المجموعات الفرعية ذات المعنى من مجموعة الجداول لتقريب ناقلات التسجيل ومصفوفات المعلومات.