Universal distribution of the empirical coverage in split conformal prediction

في عالم التنبؤ الحديث، من توقع طقس الغد إلى تقدير سعر منزل، غالبًا ما يكون المخرج الأكثر شيوعًا هو رقم واحد. ينظر النموذج إلى البيانات ويقول: "درجة الحرارة ستكون 72 درجة"، أو "قيمة المنزل هي 450,000 دولار". وبينما تعد هذه التنبؤات النقطية مفيدة، إلا أنها غالبًا ما تخفي معلومة حاسمة: مدى تأكد النموذج. فإذا كان النموذج يخمن بشكل عشوائي، فإن الرقم الواحد يعطي شعورًا زائفًا بالدقة. ولإصلاح ذلك، طور الإحصائيون إطار عمل يسمى "التنبؤ المطابق" (conformal prediction). وبدلاً من تقديم إجابة واحدة فقط، تنتج هذه الطريقة مجموعة من الاحتمالات، أو مجموعة من النتائج المرجحة، التي تأتي مع ضمان إحصائي. فهي تضمن أن الإجابة الحقيقية ستقع داخل هذه المجموعة لنسبة مئوية معينة من الوقت، لنقل 95 بالمائة. هذا النهج قوي لأنه يعمل مع أي أداة تنبؤ موجودة تقريبًا، ولا يتطلب افتراضات محددة حول كيفية توزيع البيانات، ويوفر هذه الضمانات حتى عندما تكون كمية البيانات محدودة.

ومع ذلك، يظل هناك سؤال عملي يواجه أي شخص يحاول استخدام هذه الأدوات: ما مقدار البيانات المطلوبة لجعل الضمان حقيقيًا؟ في الإعداد النموذجي، يتم تقسيم مجموعة البيانات إلى جزأين: جزء لتدريب النموذج، والجزء الآخر، المعروف باسم "عينة المعايرة" (calibration sample)، والذي يُستخدم لضبط حجم مجموعة التنبؤ. إذا كانت عينة المعايرة صغيرة جدًا، فقد تكون مجموعات التنبؤ الناتجة ضيقة للغاية بحيث لا تحتوي فعليًا على القيم الحقيقية، مما يؤدي إلى كسر الضمان الموعود. وإذا كانت كبيرة جدًا، تصبح مجموعات التنبؤ واسعة بشكل غير ضروري، مما يجعلها أقل فائدة. لسنوات، اضطر الممارسون إلى التخمين بشأن الحجم المناسب لعينة المعايرة هذه، معتمدين غالبًا على قواعد تقريبية أو تقديرات متحفظة قد تهدر بيانات قيمة.

لقد نجحت دراسة حديثة أجراها باولو سي. ماركيز إف. في معهد إنسبر للتعليم والبحث في البرازيل في حل هذه المشكلة من خلال إيجاد السلوك الرياضي الدقيق لمجموعات التنبؤ هذه. ركز الباحث على نسخة محددة من هذه الطريقة تسمى "التنبؤ المطابق المنقسم" (split conformal prediction)، والتي تعمل في دفعات. تخيل سيناريو حيث تم تدريب نموذج ومعايرته بالفعل، وهو الآن يُطالب بالتنبؤ بنتائج مجموعة كبيرة من الأحداث المستقبلية دفعة واحدة. تسأل الدراسة سؤالاً بسيطًا ولكنه عميق: إذا نظرنا إلى دفعة من التنبؤات المستقبلية، فما هو التوزيع الفعلي لعدد التنبؤات الصحيحة منها؟

تثبت الورقة البحثية أن الإجابة عالمية؛ فهي لا تعتمد على نوع البيانات المحدد، أو تعقيد النموذج، أو الأنماط الكامنة في العالم. بدلاً من ذلك، يتحدد سلوك مجموعات التنبؤ بالكامل من خلال رقمين: مستوى الثقة المطلوب (مستوى عدم التغطية الاسمي) وحجم عينة المعايرة المستخدمة لضبط النظام. أثبت الباحث أنه بالنسبة لدفعة محدودة من الملاحظات المستقبلية، فإن عدد التنبؤات الصحيحة يتبع نمطًا إحصائيًا دقيقًا يُعرف بتوزيع "بيتا-بينوميال" (Beta-Binomial distribution). علاوة على أننا عندما يكبر حجم دفعة الملاحظات المستقبلية لتصبح لانهائية، فإن نسبة التنبؤات الصحيحة تستقر في نمط محدد يُعرف بتوزيع "بيتا" (Beta distribution). هذه النتائج ليست مجرد اقتراحات أو نتائج من محاكاة حاسوبية، بل هي براهين رياضية صارمة مشتقة من افتراض أن نقاط البيانات "قابلة للتبادل" (exchangeable)، مما يعني أن ترتيبها لا يهم وأنها تأتي من نفس المصدر الأساسي.

النتيجة الأكثر أهمية لهذا العمل هي وجود معيار جديد ودقيق لاختيار حجم عينة المعايرة. نظرًا لأن الباحث أصبح يعرف الآن التوزيع الدقيق للتغطية، فمن الممكن حساب الحد الأدنى من بيانات المعايرة المطلوبة لضمان دقة مجموعات التنبؤ ضمن هامش خطأ معين، بدرجة عالية من اليقين. على سبيل المثال، إذا أراد مستخدم أن يكون متأكدًا بنسبة 95 بالمائة من أن مجموعات التنبؤ الخاصة به صحيحة ضمن هامش خطأ قدره 5 بالمائة، فإن الورقة توفر طريقة مباشرة لإيجاد العدد الدقيق لعينات المعايرة المطلوبة. تقدم الدراسة جدولاً شاملاً يسرد هذه الأحجام الدنيا للعينات لمختلف التوليفات من مستويات الثقة، وهوامش الخطأ، ومتطلبات اليقين.

يكشف هذا الجدول أن حجم العينة المطلوب يمكن أن يختلف بشكل كبير اعتمادًا على مدى صرامة المتطلبات. فبالنسبة لمستوى ثقة قياسي قدره 90 بالمائة مع هامش خطأ سخي قدره 10 بالمائة، قد تكفي عينة معايرة صغيرة نسبياً تتراوح بين 40 إلى 50 ملاحظة. ومع ذلك، إذا طالب المستخدم بمستوى ثقة 99 بالمائة مع هامش خطأ ضيق للغاية قدره 1 بالمائة، فإن حجم العينة المطلوب يقفز إلى أكثر من 40,000 ملاحظة. وتوضح الدراسة أن هذه الأرقام ليست عشوائية، بل هي الحد الأدنى الرياضي المستمد من التوزيع الدقيق للتغطية التجريبية. وهذا يسمح للممارسين بالتوقف عن التخمين والبدء في الحساب، مما يضمن استخدام القدر الكافي فقط من البيانات لتلبية أهداف الموثوقية دون هدر الموارد في معايرة مفرطة.

كما تتناول الورقة تمييزًا دقيقًا ولكن مهمًا في كيفية سلوك هذه التنبؤات. فبينما يُعرف متوسط أداء مجموعات التنبؤ بأنه قريب من مستوى الثقة المستهدف، إلا أن الأداء الفعلي في أي دفعة واحدة يمكن أن يتفاوت. وتظهر الدراسة أن هذا التفاوت ليس ضوضاء عشوائية، بل يتبع شكلاً يمكن التنبؤ به. ومن خلال فهم هذا الشكل، يمكن للمستخدمين إدراك أنه حتى مع وجود نموذج مثالي وعينة معايرة ذات حجم صحيح، فإن هناك تقلبًا طبيعيًا في عدد التنبؤات المستقبلية الصحيحة. وتؤكد الأبحاث أن هذا التقلب متأصل في الطريقة ويتم توصيفه بالكامل من خلال حجم عينة المعايرة ومستوى الثقة المختار.

في سياق تطبيقات تعلم الآلة، يوفر هذا العمل أداة تأسيسية للموثوقية. فهو يحول اختيار حجم عينة المعايرة من "فن" إلى "علم". ويوضح الباحث أن خصائص "التنبؤ المطابق المنقسم" قوية وعالمية، وتظل ثابتة بغض النظر عن الخوارزمية المحددة المستخدمة لإنشاء التنبؤات. وسواء كانت المهمة هي التنبؤ بقيمة مستمرة مثل سعر السهم أو تصنيف فئوي مثل تشخيص مرض، فإن القواعد لتحديد بيانات المعايرة اللازمة تظل كما هي. لا تدعي الدراسة تحسين دقة النماذج الأساسية نفسها، ولكنها تضمن أن فترات الثقة المبنية حول تلك النماذج سليمة رياضياً ومصممة بشكل أمثل.

إن هذه النتائج ذات صلة وثيقة بالمجالات التي تكون فيها البيانات باهظة الثمن أو نادرة، حيث تسمح للمستخدمين بتحديد الحد الأدنى الدقيق من البيانات المطلوبة لتحقيق المستوى المنشود من الثقة. وعلى العكس من ذلك، في السيناريوهات التي تتوفر فيها وفرة من البيانات، تحذر الدراسة من عدم كفاءة استخدام مجموعات معايرة كبيرة بلا داعٍ، مما قد يؤدي إلى فترات تنبؤ محافظة للغاية وغير مفيدة. ومن خلال توفير صيغة عالمية واضحة لتوزيع التغطية التجريبية، تزود الورقة الباحثين والممارسين بالقدرة على تصميم أنظمة التنبؤ الخاصة بهم بمستوى من الدقة لم يكن متاحًا من قبل. والنتي نتيجة لذلك هي إطار عمل أكثر كفاءة وموثوقية لقياس عدم اليقين في عصر الذكاء الاصطناعي.