📈 economics

Prediction Sets and Conformal Inference with Interval Outcomes

تُطوّر هذه الورقة طرقاً متسقة وصالحة في العينات المحدودة لبناء مجموعات تنبؤ مثلى للنتائج المبتورة أو القيم ذات الفترات، وذلك من خلال توصيف فترات التنبؤ المرجعية (oracle) في ظل التحديد الجزئي، وتطبيق الاستدلال التوافقي المصمم خصيصاً لمراعاة حالات عدم اليقين الناجمة عن عدم اليقين غير القابل للاختزال، والتحديد الجزئي، وعينات المعاينة.

المؤلفون الأصليون: Weiguang Liu, Áureo de Paula, Elie Tamer

نُشر 2026-02-24

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Weiguang Liu, Áureo de Paula, Elie Tamer

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تخمين سعر منزل في مدينة جديدة. في عالم مثالي، ستعرف السعر الدقيق لكل منزل تم بيعه هناك. ولكن في العالم الحقيقي، تكون البيانات فوضوية. أحياناً، لا يقول الناس: "بُيع هذا المنزل مقابل 500,000 دولار"، بل يقولون: "لقد بُيع بسعر يتراوح بين 450,000 و550,000 دولار". أو ربما يقولون فقط: "لقد بُيع بأكثر من 500,000 دولار".

هذا ما يسميه الاقتصاديون البيانات الفترية (Interval Data). الأمر يشبه النظر إلى خريطة حيث يتم تحديد بعض المدن بنقطة دقيقة، بينما تُحدد مدن أخرى بسحابة ضبابية.

هذه الورقة البحثية التي كتبها "ليو، دي باولا، وتامر" تدور حول كيفية تقديم أفضل تخمين ممكن (تنبؤ) عندما تكون بياناتك ضبابية، وكيف تكون واثقاً من أن تخمينك صحيح.

إليك تفصيل عملهم باستخدام تشبيهات بسيطة:

1. الهدف: "الشبكة المثالية" (الأوراكل/العراف)

تخيل أنك تصطاد السمك. أنت تريد الإمساك بسمكة (النتيجة الحقيقية)، لكنك لا تعرف مكانها بالضبط.

التخمين بالنقطة: يحاول معظم الناس تخمين المكان الدقيق الذي توجد فيه السمكة. "إنها عند الإحداثي X". إذا أخطأت بمقدار بوصة واحدة، فقد فشلت.
مجموعة التنبؤ: تقترح هذه الورقة استخدام شبكة. أنت تريد شبكة كبيرة بما يكفي للإمساك بالسمكة بنسبة 95% من الوقت (حتى لا تخطئ)، ولكنها صغيرة بما يكفي لتكون مفيدة. إذا كانت شبكتك تغطي المحيط بأكمله، فقد "أمسكت" بالسمكة تقنياً، لكنك لم تتعلم شيئاً.

يطلق المؤلفون على "الشبكة المثالية" اسم مجموعة تنبؤ الأوراكل (Oracle Prediction Set). وهي أصغر شبكة ممكنة تضمن لك الإمساك بالسمكة بنسبة 95% من المرات.

2. المشكلة: البيانات "الضبابية"

عادةً، لبناء هذه الشبكة المثالية، تحتاج إلى معرفة أماكن سباحة الأسماك بدقة. ولكن هنا، البيانات مبتورة (Censored) أو ذات قيم فترية (Interval-valued).

التشبيه: تخيل أنك تحاول رسم خريطة لأماكن سباحة الأسماك، لكن جهاز السونار الخاص بك يخبرك فقط: "هناك سمكة في مكان ما داخل هذه المساحة المربعة التي تبلغ 10 أقدام"، أو "هناك سمكة في مكان ما فوق هذا الخط". أنت لا تعرف المكان الدقيق.
التحدي: إذا حاولت استخدام الطرق القديمة (التي تفترض أنك تعرف المكان الدقيق)، فإن شبكتك ستكون إما فضفاضة جداً (تضيع مساحة) أو ضيقة جداً (تخطئ في صيد السمك). كان على المؤلفين ابتكار طريقة جديدة لرسم الشبكة باستخدام هذه المربعات الضبابية فقط.

3. الحل: سحر الخطوتين

الخطوة أ: "المقدر الذكي" (الاتساق)

أولاً، بنى المؤلفون آلة رياضية تنظر إلى كل تلك المربعات الضبابية وتكتشف شكل "الشبكة المثالية".

كيف تعمل: يستخدمون تقنية تسمى تنعيم النواة (Kernel Smoothing). تخيل أن لديك كومة من الرمل (نقاط البيانات الخاصة بك). تسكب القليل من الماء عليها، فيستقر الرمل على شكل تلة ناعمة. هذه التلة تمثل احتمالية وجود الأسماك.
التحول: لأن البيانات ضبابية، قد يكون لهذه "التلة" قمتان (ثنائية المنوال). ربما تحب الأسماك التواجد في المياه العميقة و المياه الضحلة، ولكن ليس في المنتصف. الطريقة البسيطة قد ترسم شبكة واحدة كبيرة تغطي كليهما. طريقة المؤلفين ذكية بما يكفي لرسم شبكتين منفصلتين (واحدة للعميق، وأخرى للضحل) إذا كان هذا هو مكان تواجد الأسماك فعلياً. هذا يجعل الشبكة أصغر وأكثر كفاءة.

الخطوة ب: "شبكة الأمان" (الاستدلال المطابق)

حتى مع وجود آلة ذكية، قد ترتكب خطأً لأن لديك كمية محدودة من البيانات (خطأ المعاينة). أنت بحاجة إلى ضمان أن شبكتك تعمل الآن، وليس فقط على المدى الطويل.

التشبيه: فكر في الاستدلال المطابق (Conformal Inference) كـ "اختبار معايرة".
1. تبني شبكتك باستخدام 75% من بياناتك (مجموعة التدريب).
2. تأخذ الـ 25% المتبقية (مجموعة المعايرة) وتلقي بها في شبكتك.
3. تسأل: "كم عدد أسماك الاختبار التي أمسكت بها شبكتي؟"
4. إذا كانت الشبكة صغيرة جداً وأخطأت في بعض الأسماك، فأنت توسع الشبكة بقدر ما يكفي للإمساك بها. وإذا كانت الشبكة ضخمة وأمسكت بكل شيء بسهولة، فأنت تضيقها قليلاً.
النتيجة: هذا يضمن أنه بغض النظر عن شكل البيانات، ستصطاد شبكتك النهائية السمكة بنسبة 95% على الأقل. إنه يشبه "ضمان استرداد الأموال" لتنبؤك.

4. تطبيقات من الواقع

اختبر المؤلفون طريقتهم في سيناريوهين من الواقع:

رواتب الوظائف في المملكة المتحدة: العديد من إعلانات الوظائف لا تدرج راتباً محدداً؛ بل تقول "50 ألف - 70 ألف جنيه إسترليني". استخدم المؤلفون طريقتهم للتنبؤ بنطاقات الرواتب عبر مختلف المدن البريطانية. وجدوا أنه في لندن، كانت "الشبكة" ضخمة (الرواتب تتفاوت بشكل هائل من منخفض إلى مرتفع جداً)، بينما في البلدات الصغيرة، كانت الشبكة أكثر إحكاماً. هذا يعطي صورة أوضح بكثير لسوق العمل من مجرد تخمين "متوسط" الراتب.
بيانات الدخل في الولايات المتحدة: في الاستطلاعات، غالباً ما يرفض الناس إعطاء دخلهم الدقيق، لكنهم قد يقولون: "أنا أجني ما بين 40 ألف و60 ألف دولار". الطرق التقليدية غالباً ما تتجاهل هذه البيانات أو تخمن رقماً واحداً (التعويض)، وهو ما قد يكون خاطئاً. طريقتهم تحتفظ بالنطاق "الضبابي" وتبني شبكة تنبؤ حوله، مما يظهر أن الأشخاص الذين لديهم تعليم أعلى لديهم نطاق أوسع من الدخل المحتمل (شبكة أكبر)، وليس فقط متوسطاً أعلى.

ملخص

هذه الورقة البحثية تدور حول تقديم تخمينات أفضل عندما لا تملك معلومات مثالية.

لا تخمن رقماً واحداً؛ بل خمن نطاقاً (شبكة).
اجعل الشبكة أصغر ما يمكن مع البقاء في منطقة الأمان (الكفاءة).
تعامل مع البيانات الضبابية (الفترية) دون التخلص منها أو تخمين أرقامها الدقيقة.
استخدم اختبار المعايرة (الاستدلال المطابق) لضمان نجاح شبكتك، حتى مع أحجام العينات الصغيرة.

إنها مجموعة أدوات لتحويل "أنا لا أعرف بالضبط" إلى "أنا أعرف أنه بالتأكيد في هذه المنطقة المحددة".

إليك ملخص تقني مفصل لورقة البحث بعنوان "مجموعات التنبؤ والاستدلال المطابق مع المخرجات الفترية" (Prediction Sets and Conformal Inference with Interval Outcomes) للباحثين ليو، دي باولا، وتامر.

1. بيان المشكلة

تتناول الورقة تحدي بناء مجموعات تنبؤ (فترات أو اتحاد فترات) لمتغير عشوائي $Y$ عندما تكون المخرجات خاضعة للرقابة الفترية (interval-censored) أو ذات قيمة فترية (interval-valued).

السياق: في العديد من المسوح الاقتصادية والاجتماعية (مثل الدخل، الثروة، أجور الوظائف)، يقدم المستجيبون نطاقات (فئات) بدلاً من قيم دقيقة بسبب عدم الاستجابة أو مخاوف الخصوصية. بالإضافة إلى ذلك، قد تكون البيانات خاضعة للرقابة من جهة اليمين ( $Y \in [Y_L, Y_U]$ ) أو من جهة اليسار.
الفجوة: تفترض الطرق الحالية لمجموعات التنبؤ غالباً مخرجات محددة نقطياً أو تعتمد على انحدار المئينات (quantile regression). ومع ذلك، عندما تكون المخرجات ذات قيم فترية:
1. يكون التوزيع الأساسي لـ $Y$ محدد جزئياً فقط (القيمة الحقيقية لـ $Y$ غير مرصودة، المعلوم هو فقط $Y_L \leq Y \leq Y_U$ ).
2. مجموعات التنبؤ "الأوراكل" (oracle) القياسية (المبنية على مجموعات مستويات الكثافة) لا يمكن تطبيقها مباشرة لأن الكثافة الشرطية لـ $Y$ غير محددة.
3. درجات الاستدلال المطابق (conformal inference scores) القياسية المصممة للمخرجات النقطية لا يمكنها التعامل مع البيانات الفترية دون تعديل.
الهدف: تطوير طريقة لبناء مجموعات تنبؤ $C_n(x)$ $C_{n} (x)$ تتميز بـ:
- الصلاحية (Validity): ضمان احتمال تغطية لا يقل عن $1-\alpha$ في العينات المحدودة.
- الكفاءة (Efficiency): تقليل حجم (طول) مجموعة التنبؤ.
- الاتساق (Consistency): التقارب نحو مجموعة "الأوراكل" مع زيادة حجم العينة.

2. المنهجية

يقترح المؤلفون إطار عمل يتكون من مرحلتين يجمع بين نظرية التحديد الجزئي (Partial Identification) والاستدلال المطابق (Conformal Inference).

أ. تعريف مجموعة "الأوراكل" تحت التحديد الجزئي

في غياب الرقابة، تكون مجموعة الأوراكل هي المجموعة ذات الحجم الأدنى التي تحتوي على $1-\alpha$ من الكتلة الاحتمالية (مرتبطة بمنطقة الكثافة الأعلى). تحت الرقابة الفترية، يكون التوزيع المشترك $P_{X,Y}$ غير محدد نقطياً.

المجموعة المحددة ( $\mathcal{P}_I$ ): هي مجموعة جميع التوزيعات المشتركة لـ $(X, Y)$ المتوافقة مع التوزيع المرصود لـ $(X, Y_L, Y_U)$ وآلية الرقابة.
التحسين الممكن: يوضح المؤلفون أن تقليل حجم المجموعة $C(x)$ بشرط تغطية $Y$ باحتمال $1-\alpha$ لجميع التوزيعات في $\mathcal{P}_I$ يكافئ مسألة تحسين ممكنة تعتمد على الفئات المرصودة:
$C^*(x) = \arg \min_{C(x) \in \mathcal{C}} \mu(C(x)) \quad \text{s.t.} \quad P([Y_L, Y_U] \subset C(x) \mid X=x) \geq 1-\alpha$
حيث $\mathcal{C}$ هي فئة من الاتحادات المحدودة للفترات المنفصلة.
الرؤية الجوهرية: يعتمد القيد فقط على التوزيع الشرطي المرصود للفئات $(Y_L, Y_U)$ ، وهو توزيع محدد بالكامل. وهذا يسمح ببناء مقدر متسق دون الحاجة إلى استكمال (impute) قيمة $Y$ .

ب. التقدير غير المعلمي المتسق (Nonparametric Consistent Estimation)

المقدر: يقترح المؤلفون مقدراً يعتمد على النواة (kernel-based estimator) للاحتمال الشرطي $P([Y_L, Y_U] \subset C(x) \mid X=x)$ .
التعامل مع الرقابة المنفصلة: في حالات الرقابة الثابتة (مثل فئات المسح المحددة مثل " $10k-$ 20k")، يكون التوزيع منفصلاً، مما ينتهك افتراضات النعومة القياسية. يقدم المؤلفون قيداً مخففاً ( $\geq 1-\alpha - \psi_n$ ) لضمان الاتساق في هذه الحالات الاستثنائية.
النتيجة: يُظهر أن المجموعة المقدرة $\hat{C}(x)$ متسقة بانتظام مع مجموعة الأوراكل $C^*(x)$ من حيث مقياس الفرق المتماثل $\mu(\hat{C} \triangle C^*)$ .

ج. الاستدلال المطابق للتحقق في العينات المحدودة

لضمان صلاحية التغطية في العينات المحدودة بغض النظر عن التوزيع الأساسي، يقوم المؤلفون بتكييف الاستدلال المطابق المنقسم (Split Conformal Inference):

تقسيم البيانات: تقسيم البيانات إلى مجموعة تدريب (لتقدير $\hat{C}$ ) ومجموعة معايرة (calibration set).
درجة المطابقة للفترات: يتم تعريف دالة درجة مبتكرة $s(y_L, y_U, x; \hat{C})$ $s (y_{L}, y_{U}, x; \hat{C})$ .
- إذا كانت الفترة $[y_L, y_U]$ محتواة داخل مجموعة التنبؤ $\hat{C}$ ، فإن الدرجة تكون غير موجبة.
- إذا كانت الفترة جزئية أو كاملة خارج المجموعة، تكون الدرجة موجبة، وهي تمثل "المسافة" أو "الفجوة" المطلوبة لتغطية الفترة.
- هذه الدرجة تعاقب كلاً من نقص التغطية والإفراط في التغطية.
البناء: يتم بناء مجموعة التنبؤ المطابقة النهائية $\tilde{C}(x)$ عن طريق توسيع $\hat{C}(x)$ بمقدار $(1-\alpha)$ -الرتبة (quantile) لدرجات المطابقة من مجموعة المعايرة.
الضمان النظري: تحقق المجموعة الناتجة $\tilde{C}(x)$ الشرط $P(Y_{n+1} \in \tilde{C}(X_{n+1})) \geq 1-\alpha$ لأي توزيع $P$ ، بشرط أن تكون البيانات قابلة للتبادل (exchangeable).

3. المساهمات الرئيسية

توصيف الأوراكل تحت التحديد الجزئي: تحدد الورقة رسمياً مجموعة تنبؤ الأوراكل للبيانات الخاضعة للرقابة الفترية، وتثبت أن المجموعة المثلى تقلل الحجم بشرط تغطية الفئات المرصودة باحتمالية عالية.
درجة مطابقة مبتكرة: صمم المؤلفون دالة درجة محددة مصممة خصيصاً للمخرجات الفترية تسمح لمجموعة التنبؤ بأن تكون اتحاداً لفترات منفصلة (وهو أمر بالغ الأهمية للتوزيعات متعددة الأنماط/multimodal).
ضمانات مزدوجة: توفر الطريقة المقترحة صلاحية في العينات المحدودة (عبر الاستدلال المطابق) وكفاءة تقاربية (الاتساق مع مجموعة الأوراكل).
المتانة تجاه أنواع الرقابة: تتعامل الطريقة مع كل من الرقابة العشوائية (فترات مستمرة) والرقابة الثابتة (فئات مسح منفصلة) دون الحاجة إلى افتراضات حول آلية الرقابة (مثل كونها مفقودة بشكل عشوائي/Missing at Random).
التطبيق العملي: يتم تطبيق الإطار على بيانات واقعية (إعلانات الوظائف في المملكة المتحدة وCPS في الولايات المتحدة)، مما يوضح فائدتها في اقتصاديات العمل حيث تسود البيانات الفترية.

4. النتائج

التجارب العددية (مونت كارلو)

الإعداد: تضمنت المحاكاة توزيعات أحادية النمط (unimodal)، وثنائية النمط (bimodal)، وملتوية (skewed) مع رقابة عشووية وثابتة (منفصلة).
المقارنة: تمت مقارنة طريقة التنبؤ المطابق (CP) والطرق المحلية (Local CP) المقترحة مع انحدار المئين المطابق (CQR) مع مواصفات تربيعية وتكعيبية.
النتائج:
- الحجم: أنتجت الطريقة المقترحة مجموعات تنبؤ ذات حجم أصغر بكثير (فترات أضيق) من CQR، خاصة في الحالات ثنائية النمط حيث فشل CQR (الذي يفرض فترة واحدة) في التقاط البنية.
- التغطية: حققت طرق التنبؤ المطابق معدلات تغطية قريبة من المستوى الاسمي ( $1-\alpha$ )، بينما عانى CQR غالباً من نقص التغطية أو اتساع مفرط.
- الرقابة الثابتة: نجح نهج القيد المخفف في التعامل مع بيانات الفئات المنفصلة حيث فشلت المقدرات القياسية في أن تكون متسقة.

التطبيقات العملية

بيانات إعلانات الوظائف في المملكة المتحدة (Adzuna):
- البيانات: 121 ألف إعلان وظيفي، حوالي 62% من بيانات الرواتب مُبلغ عنها كفترات.
- النتيجة: رسمت الطريقة التباينات المكانية في توزيعات الرواتب عبر المملكة المتحدة. وكشفت أنه بينما كانت الحدود الدنيا متساوية نسبياً، فإن الحدود العليا (وبالتالي عرض الفترات) كانت مركزة بشدة في المدن الكبرى (لندن، مانشستر)، مما يشيد بتباين الأجور العالي في هذه المراكز.
- الميزة: تجنبت التحيز الناتج عن استكمال (imputing) نطاقات الرواتب المفقودة، مما سمح بالتقاط شكل التوزيع بالكامل.
مسح السكان الحالي في الولايات المتحدة (CPS):
- البيانات: بيانات الدخل مع حوالي 22% من الاستجابات ذات قيم فترية.
- النتيجة: مقارنة نهج "الرقابة" (باستخدام الفترات مباشرة) مقابل نهج "الاستكمال" (ملء القيم المفقودة).
- النتيجة: كانت مجموعات التنبؤ المطابقة باستخدام البيانات الفترية تمتلك حدوداً عليا مختلفة (أوسع) بشكل ملحوظ ومعدلات تغطية أفضل مقارنة بالبيانات المستكملة. مال الاستكمال إلى التقليل من تقدير مخاطر الذيل (tail risk) لتوزيع الدخل. نجحت الطريقة في التقاط عدم اليقين المتأصل في البيانات الفترية دون افتراضات تعسفية.

5. الأهمية

تجسّر هذه الورقة فجوة حرجة بين اقتصاديات التحديد الجزئي وتعلم الآلة (الاستدلال المطابق).

نظرياً: توسع مفهوم "مجموعات تنبؤ الأوراكل" لتشمل الحالات التي لا تكون فيها المخرجات مرصودة بالكامل، مما يوفر تعريفاً صارماً للأمثلية تحت التحديد الجزئي.
عملياً: تقدم أداة قوية وخالية من الافتراضات لصناع السياسات والباحثين الذين يتعاملون مع بيانات المسح حيث يؤدي عدم الاستجابة إلى تقديم تقارير فترية. ومن خلال تجنب الاستكمال (imputation)، فإنها تمنع إدخال التحيز القائم على النموذج.
منهجياً: يفتح تطوير درجات المطابقة الخاصة بالفترات الباب أمام تطبيق الاستدلال المطابق على أشكال أخرى من البيانات ذات القيم المجموعاتية (set-valued) أو البيانات الخاضعة للرقابة في مجالات مثل تحليل البقاء (survival analysis)، والتمويل، والعلوم البيئية.

باختيد، يقدم المؤلفون إطار عمل سليماً رياضياً ومتيناً تجريبياً للتنبؤ بالمخرجات عندما تكون البيانات غير دقيقة بطبيعتها، مما يضمن أن تكون مجموعات التنبؤ صالحة إحصائياً ومعلوماتية (ضيقة) قدر الإمكان وفقاً لما تسمح به البيانات.