ملخص تقني: PASC (التنبؤ التشكلي الواعي بالمسار - Pipeline-Aware Conformal Prediction)

1. بيان المشكلة

تتعرض أنظمة معالجة اللغات الطبيعية (NLP) والنماذج اللغوية الكبيرة (LLMs) الحديثة بشكل متزايد للنشر كمسارات متعددة المراحل (على سبيل المثال، التعرف على الكيانات المسماة $\to$ فض نزاع الكيانات $\to$ تحديد نوع الكيان، أو سلاسل المخطط $\to$ الأداة $\to$ الناقد). ويتمثل التحدي الحرج في هذه الأنظمة في تقدير عدم اليقين من البداية إلى النهاية (E2E Uncertainty Quantification).

بينما يمكن معايرة المراحل الفردية لتوفير ضمانات تغطية هامشية (مثل $P(\text{stage}_k \text{ covered}) \ge 1-\alpha$)، فإن هذه الضمانات لا تترجم إلى المسار بأكمله.

• المعايرة المستقلة (Independent Calibration): تؤدي معايرة كل مرحلة عند مستوى $1-\alpha$ بشكل مستقل إلى احتمالية تغطية مشتركة لا تتجاوز $(1-\alpha)^K$ (في حالة الاستقلال)، وهو ما يتدهور بشكل كبير مع زيادة عدد المراحل $K$. فإذا كانت $K=3$ و $\alpha=0.1$، تنخفض التغطية المشتركة إلى $\approx 72.9\%$، وهو أقل بكثير من الهدف البالغ $90\%$.
• تصحيح بونفيروني (Bonferroni Correction): يؤدي تطبيق حد الاتحاد (union bound) عبر معايرة كل مرحلة عند $1-\alpha/K$ إلى ضمان التغطية المشتركة ($\ge 1-\alpha$)، ولكنه متحفظ للغاية. فهو يخصص ميزانيات الخطأ بشكل موحد بغض النظر عن صعوبة المرحلة، مما يؤدي إلى مجموعات تنبؤ كبيرة بشكل غير ضروري (تغطية زائدة) في المراحل السهلة دون تحقيق مكاسب تناسبية في الموثوقية المشتركة.
• البدائل الحالية: توفر طرق مثل MC Dropout أو Deep Ensembles تقديرات غير نمطية لعدم اليقين، لكنها تفتقر إلى ضمانات في العينات المحدودة وخالية من التوزيع، وغالبًا ما تتجاهل الاعتمادات المتبادلة بين المراحل.

تتمثل المشكلة الجوهرية في غياب طريقة توفر ضمان تغطية مشتركة رسمياً، وفي عينات محدودة، وخالٍ من التوزيع للمسار بأكله، مع الحفاظ على الكفاءة (أي عدم تضخيم أحجام مجموعات التنبؤ دون داعٍ).

2. المنهجية: PASC

يقترح المؤلفون PASC (التنبؤ التشكلي المنقسم الواعي بالمسار)، وهي طريقة تختزل مشكلة المعايرة متعددة المراحل إلى مشكلة تنبؤ تشكلي قياسية ذات قيمة عددية واحدة (scalar).

الرؤية الجوهرية

إن حدث "تغطية جميع المراحل $K$ في آن واحد" يكافئ رياضياً حدث "أن الحد الأقصى لدرجة عدم المطابقة عبر جميع المراحل لا يتجاوز عتبة معينة".
$$\bigcap_{k=1}^K \{s_k \le q\} \iff \left\{ \max_{k} s_k \le q \right\}$$
حيث $s_k$ هي درجة عدم المطابقة للمرحلة $k$.

الخوارزمية

1. تعريف الدرجة (Score Definition): لعينة المسار، احسب درجات عدم المطابقة لكل مرحلة ($s_1, \dots, s_K$).
   • التعرف على الكيانات المسماة (NER): $s_{NER} = \max_t (1 - p_{BIO, t})$ (احتمالية softmax).
   • فض نزاع الكيانات (NED): $s_{NED} = 1 - \text{score}(e^*)$ (درجة الكيان الأعلى ترتيباً).
   • تحديد نوع الكيان (Entity Typing): $s_{typing} = 1 - \max_c \min_{\text{span}} p_{RoBERTa}$.
2. الدرجة القصوى المشتركة: احسب الدرجة القصوى القياسية لكل عينة: $s_{\max} = \max_k s_k$.
3. المعايرة: باستخدام مجموعة معايرة، احسب الكمية التشكلية $\hat{q}$ لتوزيع $s_{\max}$ عند المستوى $1-\alpha$.
4. التنبؤ: بالنسبة لمدخل اختبار، احسب درجات كل مرحلة. يتم قبول المسار إذا كان $s_{\max} \le \hat{q}$. مجموعة التنبؤ لكل مرحلة $k$ هي $C_k(x) = \{y_k : s_k(x, y_k) \le \hat{q}\}$.

الضمان النظري

تحت فرضية التبادلية (exchangeability) بين بيانات المعايرة وبيانات الاختبار، يوفر PASC ضماناً في العينات المحددة وخالياً من التوزيع:
$$P\left( \bigcap_{k=1}^K \{s_k(x_{n+1}, y_{k,n+1}) \le \hat{q}\} \right) \ge 1 - \alpha$$
الضمان وثيق جداً، حيث يحده $1 - \alpha + \frac{1}{n+1}$. وبخلاف بونفيروني، الذي يستخدم حد الاتحاد في أسوأ الحالات، يتكيف PASC مع التوزيع التجريبي المشترك للدرجات، مما يخصص تلقائياً ميزانيات أضيق للمراحل "السهلة" (الدرجات المنخفضة) وميزانيات أوسع للمراحل "الصعبة" (الدرجات العالية).

3. المساهمات الرئيسية

1. خوارزمية PASC: إجراء معايرة واعٍ بالمسار يختزل التنبؤ متعدد المراحل إلى حساب كمية تشكلية واحدة على الدرجة القصوى المشتركة لعدم المطابقة.
2. الضمان الرسمي: مبرهنة تثبت التغطية المشتركة في العينات المحددة والخالية من التوزيع ($\ge 1-\alpha$) تحت شرط التبادلية، مع نتيجة تقارب الوثوقية.
3. التقييم الشامل: تجارب عبر ثلاثة سيناريوهات للإزاحة (التوزيع الأصلي، NER لـ Twitter، و NER لـ Wikipedia)، مع تغيير أحجام المعايرة، والتوسع من $K=1$ إلى $K=6$ مراحل.
4. اختبارات التحقق (Sanity Checks): اختبارات التبديل (permutation tests) وضوابط التحكم السلبية التي تؤكد أن الصلاحية ليست ناتجة عن أخطاء في التنفيذ، أو تسرب البيانات، أو العتبات الواسعة للغاية.

4. النتائج التجريبية

قيم المؤلفون PASC على مسار مكون من ثلاث مراحل (NER $\to$ NED $\to$ Entity Typing) باستخدام مجموعات بيانات CoNLL-2003، WNUT-17، و WikiNEuRal.

• التغطية مقابل الكفاءة: عند $\alpha=0.1$ مع $K=3$:
  • PASC: حقق تغطية E2E بنسبة 96.4%.
  • Bonferroni: حقق تغطية E2E بنسبة 93.4%.
  • Independent CP: حقق تغطية E2E بنسبة 86.5%.
  • الأهم من ذلك، حافظت جميع الطرق على متوسط حجم مجموعة تنبؤ متطابق قدره 1.083، مما يظهر كفاءة PASC المتفوقة في تحويل احتمالية التغطية إلى حجم المجموعة.
• إزاحة التوزيع (Distribution Shift): عند المعايرة على CoNLL-2003 والاختبار على مجالات مزاحة (WNUT-17، WikiNEuRal):
  • انهار التغطية في Independent CP إلى 59.0%.
  • حافظ PASC و Bonferroni على تغطية 100% (بسبب العتبات المتحفظة التي توفر حماية ضد الإزاحة).
• التوسع إلى $K$ من المراحل: في تجارب اصطناعية توسعت إلى $K=6$:
  • انخفضت تغطية Independent CP إلى 0.53 (انهيار ضربي).
  • ظل PASC قريباً من التغطية المستهدفة، متجنباً التدهور الضربي.
• التغطية الشرطية: أظهر PASC مزايا كبيرة في المجموعات الفرعية "الصعبة" (على سبيل المثال، أخطر خمس منخوت الثقة في NER)، محققاً تغطية بنسبة 82.0% مقارلة بـ 67.0% لـ Bonferroni و 30.0% لـ Independent CP.
• وقت التشغيل: عملية معايرة PASC أسرع بمقدار 1.7$\times$ من Bonferroni و Independent CP لأنها تتطلب حساب كمية واحدة فقط بدلاً من $K$.

5. الأهمية والادعاءات

يزعم البحث أن PASC يعالج فجوة جوهرية في نشر أنظمة معالجة اللغات الطبيعية متعددة المراحل:

• الشهادة المباشرة (Direct Certification): بخلاف Independent CP (الذي يشهد للمراحل المحلية ولكنه يفشل عالمياً) أو Bonferroni (الذي يضمن عالمياً ولكنه يدفع "ضريبة تحفظ")، يقوم PASC بشهادة الحدث المراد نشره بالضبط (القبول المشترك) مباشرة.
• الاختزال الأدنى (Minimal Reduction): الاختزال من مشكلة متعددة المراحل إلى مشكلة قياسية (scalar) هو أمر بسيط رياضياً (باستخدام الحد الأقصى) ولكنه يمثل الاختزال الرتيب الأدنى الكافي لحدث القبول المشترك.
• القابلية للتطبيق العملي: الطريقة قابلة للتطبيق فوراً على أي مسار متعدد المراحل (بما في ذلك أنظمة LLM المركبة وسلاسل الوكلاء) دون الحاجة لتعديل النموذج أو عبء استدلال ثقيل.
• المتانة: بينما تعتمد الضمانات النظرية على التبادلية، تشير النتائج التجريبية إلى أن PASC يحافظ على التغطية تحت إزاحة التوزيع بشكل أفضل من Independent CP، رغم أن المؤلفين يشيرون إلى أن التوسع إلى Weighted CP للتعامل القوي مع الإزاحة هو عمل مستقبلي.

يضع المؤلفون PASC ليس كبديل للمعايرة الخاصة بكل مرحة، بل كطبقة تجميع ضرورية تضمن موثوقية مخرجات المسار بأكمله، وهو المقياس الذي يهم لاتخاذ القرارات في التطبيقات عالية الخطورة.