ملخص تقني: التنبؤ التوافقي عبر الإنترنت عبر التحسين عبر الإنترنت

بيان المشكلة

يوفر التنبؤ التوافقي (Conformal Prediction) إطار عمل مبدئي لتقدير عدم اليقين مع ضمانات تغطية في العينات المحدودة. وبينما وسعت التطورات الأخيرة هذه الأساليب لتشمل الإعدادات عبر الإنترنت والمتسلسلة، إلا أن الأساليب الحالية تعمل عادةً عند مستوى تغطية واحد ($1-\alpha$). وعندما تكون هناك مستويات تغطية متعددة مطلوبة في آن واحد — وهو سيناريو شائع في تطبيقات مثل التنبؤ بالطقس، والتنبؤ بالاقتصاد الكلي، وإدارة المخاطر حيث يمتلك المستخدمون درجات متفاوتة من تحمل المخاطر — يجب تشغيل طرق التنبؤ عبر الإنترنت بشكل مستقل لكل قيمة $\alpha$.

يؤدي هذا التنفيذ المستقل إلى قصور حرج: إذ لا تضمن مجموعات التنبؤ الناتجة خاصية التعشيش (Nestedness). فمن الناحية العملية، يجب أن تكون مجموعة التنبؤ لمستوى ثقة أعلى (مثل 99%) مجموعة شاملة للمجموعة ذات مستوى الثقة الأدنى (مثل 90%). وبدون خاصية التعشيش هذه، يمكن أن تكون تقديرات عدم اليقين غير متماسكة ويصعب تفسيرها. علاوة على ذلك، يفشل التقدير المستقل في الاستفادة من مكاسب الكفاءة الإحصائية المعروفة من انحدار الكميات المشترك (Joint Quantile Regression)، حيث يسمح فرض قيود عدم التقاطع بمشاركة المعلومات عبر مستويات الكميات المختلفة.

تعالج هذه الورقة تحدي تطوير طرق تنبؤ توافقي عبر الإنترنت تنتج مجموعات تنبؤ متداخلة (Nested Prediction Sets) عبر نطاق من مستويات التغطية، مع الحفاظ على ضمانات التغطية طويلة المدى، حتى في ظل تسلسلات البيانات غير المستقرة أو العدائية.

المنهجية

يقترح المؤلفون خوارزميتين جديدتين تعتمدان على منظور التحسين عبر الإنترنت. حيث يؤطرون مشكلة تحديث العتبات كمسألة تعلم عبر الإنترنت تهدف إلى تقليل دالة خسارة مشتركة مع فرض قيود الرتابة (Monotonicity) على العتبات.

1. صياغة المشكلة

لتكن $s_t$ درجة عدم توافق محدودة عند الزمن $t$. بالنسبة لتسلسل مستويات عدم التغطية $0 = \alpha_0 < \alpha_1 < \dots < \alpha_K < \alpha_{K+1} = 1$، فإن الهدف هو تقدير العتبات $q_{t,i}$ بحيث تكون مجموعات التنبؤ $C^i_t = \{y : s_t(x,y) \le q_{t,i}\}$ متداخلة ($C^{i+1}_t \subseteq C^i_t$). وهذا يتطلب أن تكون العتبات متناقصة رتيباً: $q_{t,1} \ge q_{t,2} \ge \dots \ge q_{t,K}$.

تتعامل التحديثات عبر الإنترنت القياسية (مثل الاستدلال التوافقي التكيفي) مع كل كمية بشكل مستقل:
$$q_{t+1,i} = q_{t,i} - \eta_t (\alpha_i - \text{err}_{t,i})$$
حيث $\text{err}_{t,i}$ هو مؤشر عدم التغطية. يفتقر هذا النهج إلى الاقتران بين المستويات ولا يضمن الرتابة.

2. الخوارزميات المقترحة

تقدم الورقة طريقتين تعدلان قاعدة التحديث لفرض الرتابة عبر تقنيات التحسين عبر الإنترنت:

أ. التدرج الأسي (Exponentiated Gradient - EG)

تستفيد هذه الطريقة من خوارزمية التدرج الأسي المطبقة على فضاء معاملات محول.

• التمثيل بالمعاملات (Parameterization): بدلاً من تحديث العتبات مباشرة، تقوم الخوارهازمية بتحديث الفجوات المعيارية بين الكميات المتتالية ($w_{t,i}$) على سمبلكس (Simplex) مقصوص. هذا التغيير في المتغيرات ($q_{t,i} = B \sum_{j=i}^K w_{t,j}$) يضمن بطبيعته أنه إذا كانت الأوزان غير سالبة، فإن الكميات ستكون مرتبة.
• قاعدة التحديث: تقوم الخوارزمية بتقليل دالة خسارة مشتركة $g_t(\bar{w})$ باستخدام تحديثات EG. يقوم تدرج كل إحداثي بتجميع تباينات عدم التغطية عبر جميع مستويات الكميات ذات الصلة، مما يؤدي إلى اقتران عالمي.
• الآلية: عندما يكون الأسلوب مفرط التحفظ أو يعاني من نقص التغطية، فإن حد الخطأ التراكمي يعدل الفجوات عبر منحنى الكميات بأكره في آن واحد. يسمح هذا للأسلوب بـ "استعارة القوة" عبر المستويات، مما ينسق التعديلات للحفاظ على التعشيش بشكل طبيعي.

ب. التدرج المسقط (Projected Gradient - PG)

تستخدم هذه الطريقة التدرج المسقط مع مجموعة قيود محددة.

• قاعدة التحديث: تقوم الخوارزمية أولاً بإجراء تحديثات تدرج مستقلة على متجه الكميات $\bar{q}_t$ بناءً على الخسارة المشتركة.
• الإسقاط: يتم بعد ذلك إسقاط المتجه الناتج على مجموعة محدبة من المتتاليات المتناقصة ($Q = \{\bar{q} : B \ge q_1 \ge \dots \ge q_K \ge 0\}$).
• الآلية: يتم تنفيذ هذا الإسقاط باستخدام خوارزمية مجمع المنتهكين المتجاورين (PAVA). بخلاف EG، يعمل PG عبر تصحيح محلي: حيث يقوم بتحديث الكميات بشكل مستقل ثم يعدلها بأقل قدر ممكن لاستعادة قيد الترتيب. وهو لا يعيد توزيع المعلومات عبر المستويات أثناء خطوة التدرج.

3. الضمانات النظرية

يضع المؤلفون حدوداً نظرية لكلا الطريقتين:

• التغطية: توفر كلتا الطريقتين ضمانات تغطية طويلة المدى، مما يضمن أن معدل عدم التغطية التجريبي يتقارب مع $\alpha_i$ المستهدف لجميع المستويات.
• الندم والخطأ: تستنتج الورقة حدوداً للندم الديناميكي وانحراف الكميات المقدرة عن الكميات الحقيقية ($\|\bar{q}_t - \bar{q}^*_t\|_2$). تعتمد هذه الحدود على التباين الديناميكي للكميات الحقيقية ($V_T$) وحجم الخطوة $\eta$. يشير حد طريقة EG إلى تحسن في الكفاءة بسبب الاقتران المهيكل، بينما تضمن طريقة PG قابلية التنفيذ (التعشيش) في كل خطوة زمنية.

المساهمات الرئيسية

1. صياغة مبتكرة: تقديم إطار عمل للتنبؤ التوافقي عبر الإنترنت ينتج مجموعات تنبؤ متداخلة عبر مستويات تغطية متعددة، مما يتيح التقدير المعاير لعدم اليقين عبر كامل طيف المخاطر.
2. ابتكار خوارزمي: اقتراح خوارزميتين عبر الإنترنت (EG و PG) تعتمدان على التحسين المحدب لتقدير العتبات التوافقية بشكل مشترك مع فرض الرتابة بصرامة.
3. ضمانات نظرية: وضع ضمانات تغطية طويلة المدى لجميع المستويات إلى جانب براهين تضمن مجموعات تنبؤ متداخلة في كل خطوة زمنية.
4. التحقق التجريبي: إثبات أن هذه الطرق تحقق تغطية مستقرة، ومجموعات متداخلة بصرامة، وكفاءة إحصائية محسنة مقارنة بالنماذج المرجعية المستقلة أحادية المستوى.

النتائج التجريبية

تم تقييم الطرق على مجموعات بيانات اصطناعية وواقعية.

البيانات الاصطناعية

• الإعداد: بيئة غير مستقرة حيث تتطور توزيعات الدرجات عبر مسار عشوائي منعكس كامن.
• النتائج: حققت طريقة التدرج الأسي (EG) خطأ تتبع $\ell_1$ أقل مقارنة بتتبع الكميات المستقل وطريقة التدرج المسقط. يدعم هذا فرضية أن مشاركة المعلومات عبر الكميات يحسن الكفاءة الإحصائية في تتبع التوزيعات المتغيرة زمنياً. أما طريقة PG فقد كان أداؤها مشابهاً للمتتبع المستقل، مما يشير إلى مكاسب محدودة من التحسين المشترك في هذا الإعداد المحدد مقارنة بـ EG.

البيانات الواقعية (تضخم الولايات المتحدة)

• الإعداد: التنبؤ بتضخم أسعار المستهلك الأمريكي (CPI) باستخدام نموذج AR(3) مع نوافذ متدحرجة.
• النتائج:
  • المعايرة: استقرت جميع الطرق في النهاية عند خطأ معايرة منخفض. ومع ذلك، أظهر متتبع الكميات غير المقيد سلوكاً تذبذبياً (إفراط في التصحيح)، بينما أظهرت الطرق المقيدة المقترحة مسارات أكثر استقراراً.
  • التعشيش والنعومة: أنتجت النماذج المرجعية (المتتبع المستقل والإسقاط اللاحق) نطاقات تنبؤ بها تشوهات عرضية ومناطق غير متداخلة. في المقابل، أنتجت الطرق المقترحة (خاصة EG) مجموعات تنبؤ أكثر نعومة وتماسكاً حافظت بصرامة على هيكل التعشيش.
  • القابلية للتفسير: أدت تحديثات EG إلى إنتاج نطاقات تنبؤ أكثر نعومة من خلال تنسيق الكميات المتجاورة عبر التباينات التراكمية، مما قلل من التغيرات المفاجئة عبر المستويات.

الأهمية والادعاءات

تدعي الورقة أن أهميتها الأساسية تكمكن في معالجة عدم الاتساق في تقديرات عدم اليقين في الإعدادات متعددة المستويات عبر الإنترنت. ومن خلال فرض القيود الهيكلية (الرتابة) عبر التحسين عبر الإنترنت، توفر الطرق المقترحة طيف مخاطر متماسك.

تشمل الادعاءات الرئيسية ما يلي:

• الكفاءة الإحصائية: يحسن التقدير المشترك الكفاءة من خلال مشاركة المعلومات عبر الكميات، وهي فائدة أثبتتها طريقة EG بوضوح من خلال تفوق أداء التتبع الخاص بها.
• القابلية للتفسير: مجموعات التنبؤ المتداخلة الناتجة ضرورية لسياقات اتخاذ القرار حيث يتطلب أصحاب المصلحة تقديرات متسقة لعدم اليقين عبر مستويات مختلفة من تحمل المخاطر (على سبيل المثال، مخططي الطوارئ مقابل صانعي السياسات).
• الاستقرار: إن فرض الرتابة بالتزامن مع التحديثات يعمل على استقرار ديناميكيات التعلم، مما يمنع التذبذبات العشوائية التي تظهر في المتتبعات غير المقيدة.
• السياق الأوسع: يربط هذا العمل الفجوة بين المتانة العدائية (الضمانات في حالات السوء الأقصى) والكفاءة الإحصائية (تتبع التوزيعات المتغيرة زمنياً)، ويؤطر التنبؤ التوافقي عبر الإنترنت كمسألة تتبع الكميات المتغيرة زمنياً مع تحليل الندم الدينانيكي.

يشير المؤلفون إلى أن العمل المستقبلي يمكن أن يستكشف معدلات التعلم التكيفية لتعزيز الأداء بشكل أكبر في البيئات غير المستقرة، لكن المساهمة الحالية تركز على الفوائد الهيكلية للتقدير المشترك تحت أنظمة حجم الخطوة الثابتة.