ملخص تقني: التنبؤ الكنفورمي عبر بايز التجريبي لنماذج الرؤية واللغة

بيان المشكلة

يوفر التنبؤ الكنفورمي (Conformal Prediction - CP) إطار عمل خالٍ من التوزيع لتوليد مجموعات تنبؤية تضمن التغطية للنماذج الحديثة للرؤية واللغة. ومع ذلك، يعتمد التنبؤ الكنفورمي القياسي على تحقق واحد لدرجة عدم المطابقة (nonconformity score) لترتيب المرشحين. هذا النهج يتجاهل عدم اليقين الإبستيمي (epistemic uncertainty) وتذبذب الدرجات الناتج عن معاملات النموذج، أو العشوائية في التدريب، أو صياغة المطالبات (prompts).

عندما تتلقى عدة تسميات أو استجابات مرشحة درجات متشابهة، يمكن للتقلبات الطفيفة أن تغير ترتيبها بشكل جذري. وبناءً على ذلك، قد يتضمن التنبؤ الكنفورمي القياسي مرشحين زائفين ذوي تباين عالٍ لمجرد أن تحققًا واحدًا ضوضائيًا جعلهم يبدون أقوياء، بينما يستبعد مرشحين مستقرين حصلوا على درجة أقل بقليل ولكنها أكثر اتساقًا. البدائل الموجودة، مثل "المتوسط ثم المعايرة" (CPavg)، تقوم بتنعيم هذا التباين عن طريق متوسط الدرجات قبل المعايرة، مما يؤدي إلى التخلص من المعلومات المتعلقة باستقرار رتبة المرشح. المشكلة الجوهرية هي أن طرق التنبؤ الكنفورمي الحالية تفشل في استخدام تباين الدرجات كإشارة للتمييز بين الأدلة المستقرة والتقلبات الناتجة عن الضوضاء، مما يؤدي إلى مجموعات تنبؤية أقل كفاءة (أكبر حجمًا) وأقل استقرارًا.

المنهجية: إطار عمل قيمة $r$

يقترح المؤلفون $CPr$-value، وهو إطار عمل للتنبؤ الكنفورمي عبر بايز التجريبي (Empirical Bayes) يقوم بتحويل تباين الدرجات إلى درجة عدم مطابقة مدركة لعدم اليقين تسمى قيمة $r$.

المفهوم الجوهري

بدلاً من ترتيب المرشحين بناءً فقط على درجة ملاحظة $f(x)_i$، يعامل هذا الأسلوب الترتيب كمسألة بايز تجريبية. يفترض أن لكل مرشح درجة كامنة غير ملاحظة $\theta_i$ (الإشارة المستقرة) ودرجة ملاحظة $f(x)_i$ والتي تمثل تحققًا ضوضائيًا لـ $\theta_i$. تقيس قيمة $r$ احتمال أن تنتمي الدرجة الكامنة للمرشح إلى المجموعة الأعلى ترتيبًا، مع مراعاة كل من الدرجة المقدرة وعدم اليقين الخاص بها.

المقدرات

يوفر إطار العمل مقدرين لقيمة $r$:

1. البارامتري (نموذج Normal-Normal): يفترض أن الدرجات الكامنة تتبع توزيعًا طبيعيًا وأن ضوضاء الملاحظة تتبع التوزيع الطبيعي (Gaussian). ينتج عن ذلك تعبير مغلق لقيمة $r$. وهو ينمذج صراحةً المقايضة بين مقدار الدرجة والتباين، حيث يقوم بتقليص (shrinking) الدرجات ذات التباين العالي نحو المتوسط التجريبي.
2. غير البارامتري (أخذ عينات من اللاحقة - Posterior-Sampling): مقدر مونت كارلو خالٍ من الافتراضات. يقوم بترتيب المرشحين عبر عينات لاحقة متعددة (على سبيل المثال، من مجموعات النماذج، أو MC-dropout، أو إعادة صياغة المطالبات) ويحسب التكرار الذي يظهر فيه المرشح في المواقع الـ $k$-الأولى. يعمل هذا التكرار كاحتمال ذيل تجريبي، والذي يتم تحويله بعد ذلك إلى قيمة $r$.

الخوارزمية

1. تقدير التباين: توليد مخرجات نموذج متعددة (على سبيل المثال، عبر محولات Bootstrap Bayesian الموزونة (WBB) لنماذج الرؤية أو إعادة صياغة المطالبات لنماذج VLMs/LLMs) لتقدير توزيع الدرجات لكل مرشح.
2. المعايرة: حساب قيم $r$ للسمات الحقيقية في مجموعة معايرة. تحديد العتبة $\hat{r}$ كقيمة $\lceil(n+1)(1-\alpha)\rceil$-الأصغر لقيم $r$.
3. التنبؤ: بالنسبة لمدخل اختبار، احسب قيم $r$ لجميع المرشحين. قم بتضمين المرشحين الذين لديهم $r(x, u_j) < \hat{r}$ في مجموعة التنبؤ.

المساهمات الرئيسية

• الضمان النظري: تحت شرط التبادلية (exchangeability)، فإن استخدام قيمة $r$ كدرجة عدم مطابقة يحافظ على ضمان تغطية الهدف ($1-\alpha$).
• تحسين الكفاءة: من الناحية النظرية، تقلل قيمة $r$ من احتمالية تضمين المرشحين الزائفين ذوي التباين العالي مقارنة بالتنبؤ الكنفورمي القياسي وCPavg. وهذا يؤدي إلى مجموعات تنبؤية أصغر حجمًا، خاصة عندما يكون التباين معلوماتيًّا.
• إطار عمل موحد: يوحد هذا الأسلوب بين النهجين البارامتري وغير البارامتري، مما يسمح بتطبيقه على أنواع مختلفة من الدرجات (اللوجيت، الاحتمالات، درجات المقيم المنفصلة) وبنيات نماذج متنوعة (ViTs, CLIP, LLMs).
• استقرار الترتيب: من خلال معاقبة المرشحين ذوي تباين الدرجات العالي، ينتج الأسلوب ترتيبات أكثر استقرارًا، مما يضمن منح الأولوية للمرشحين الذين يظهرون باستمرار بالقرب من القمة على حساب أولئك الذين يمتلكون درجات عالية متقطعة.

النتائج التجريبية

قيم المؤلفون $CPr$-value عبر تصنيف الصور، ونماذج الرؤية واللغة (VLMs)، والنماذج اللغوية الكبيرة (LLMs).

• نماذج الرؤية (تصنيف الصور): باستخدام نماذج ViT وResNet مع محولات Weighted Bayesian Bootstrap (WBB) لتقريب التباين اللاحق.
  • عندما يكون التباين صغيرًا (عمود فقري قوي، محولات خفيفة)، يتصرف $C$ $Pr$-value بشكل مشابه للتنبؤ الكنفورمي القياسي، محافظًا على التغطية وحجم المجموعة.
  • عندما يكون التباين معلوماتيًا، ينتج $CPr$-value مجموعات أصغر وأكثر استقرارًا، وغالبًا ما يرتب الفئة الحقيقية في مرتبة أعلى ضمن المجموعة مقارنة بالتنبؤ الكنفورمي القياسي.
• نماذج VLMs وLLMs (CLIP, SigLIP, MobileCLIP, LLaMA): تم استحثاث التباين عبر إعادة صياغة المطالبات.
  • التغطية: حافظ $CPr$-value على تغطية قريبة من المستوى الاسمي (على سبيل المثال، 95% لـ $\alpha=0.05$).
  • حجم المجموعة: لوحظ انخفاض كبير في حجم المجموعة. على سبيل المثال، في ImageNet، قلل $CPr$-value متوسط حجم المجموعة بنسبة تقارب النصف مقارنة بالتنبؤ الكنفورمي القياسي.
  • اتجاه قوة النموذج: كانت مكاسب الكفاءة أكثر وضوحًا في النماذج ذات الدقة المنخفضة والتباين المتأصل العالي (مثل SigLIP2). ومع زيادة دقة النموذج وانخفاض التباين (مثل MobileCLIP2)، تضاءلت المكاسب، وعاد الأسلوب طبيعيًا إلى سلوك يشبه CP، وهو ما يتوافق مع التوقعات النظرية.
  • المهام مفتوحة النهايات: في مهام LLM ذات درجات المقيم الخشنة (مثل TruthfulQA)، نجحت قيمة $r$ في كسر التعادل بين الاستجابات ذات متوسط الدرجات المتطابق من خلال الاستفادة من استقرار الدرجات عبر إعادة الصياغة، مما وفر دقة ترتيب أدق.

الأهمية والادعاءات

يزعم البحث أن قيمة $CPr$-value تحول نقطة ضعف النماذج الكبيرة المتصورة — وهي عدم الاتساق أو التباين — إلى إشارة مفيدة لكفاءة الكنفورم.

• المتانة: يوفر وسيلة لبناء مجموعات تنبؤية ليست صحيحة إحصائيًا فحسب، بل هي أيضًا أكثر كفاءة من خلال تصفية المرشحين غير المستقرين والناتجين عن الضوضاء.
• العملية: إطار العمل قابل للتطبيق في كل من مجالات الرؤية واللغة، باستخدام تقنيات موجودة لتقدير عدم اليقين (المحولات، المجموعات، تنوعات المطالبات) دون الحاجة إلى إعادة تدريب النماذج الأساسية.
• القيود: يشير المؤلفون إلى أن فعالية الطريقة تعتمد على جودة تقدير التباين. إذا كان تقدير التباين ضعيفًا أو ضئيلاً (كما في النماذج المستقرة للغاية)، فإن الفوائد تكون متواضعة. بالإضافة إلى ذلك، تفرض الطريقة عبئًا حسابيًا لإنشاء عينات متعددة، رغم أن هذا غالبًا ما يكون ممكنًا عبر المحولات الخفيفة أو الاستدلال المتوازي.

باختصار، تقدم $CPr$-value طريقة منهجية لدمج عدم اليقين الإبستيمي في التنبؤ الكنفورمي، مما ينتج مجموعات تنبؤية أصغر، وأكثر استقرارًا، وأكثر موثوقية لأنظمة الذكاء الاصطناعي الحديثة.