ملخص تقني: الشلال المتوافق (Conformal Cascade)

بيان المشكلة

يتطلب نشر النماذج اللغوية الكبيرة (LLMs) على نطاق واسع موازنة بين جودة الاستدلال والتكلفة. تعالج "شلالات النماذج اللغوية الكبيرة" (LLM cascades) هذه المعضلة من خلال توجيه الاستعلامات إلى نموذج أصغر وأقل تكلفة أولاً، ثم تصعيدها إلى نموذج أكبر وأكثر قدرة فقط عند الضرورة. ومع ذلك، تعتمد الشلالات الإنتاجية الحالية على عتبات الثقة (مثل احتمالية softmax، أو الاتفاق في الاتساق الذاتي) لاتخاذ قرونات التأجيل. وتعاني هذه المنهجيات من ثلاث عيوب حرجة:

1. سوء المعايرة: تُعرف درجات ثقة النماذج اللغبية الكبيرة بأنها سيئة المعايرة بشكل ملحوظ، خاصة في المهام التي تتطلب تفكيراً عميقاً، مما يعني أن الثقة العالية لا ترتبط بالضرورة بالصحة.
2. الافتقار إلى الضمانات الرسمية: لا توجد قيمة لأي عتبة ثقة $\theta$ توفر حداً رسمياً غير مرتبط بالتوزيع (distribution-free bound) لدقة الشلال. إذ يعتمد معدل الخطأ الفعلي على التوزيع المشترك غير المعروف للاستعلامات ودرجات الثقة.
3. أعباء الضبط: يتعين على الممارسين إجراء مسح تجريبي للعتبات لكل زوج جديد من النماذج، أو مجال، أو توزيع صعوبة، للوصول إلى معدل خطأ مستهدف، حيث لا يوجد ربط تحليلي من ميزانية الخطأ المرغوبة إلى قيمة العتبة.

المنهجية: الشلال المتوافق (Conformal Cascade)

يقترح المؤلفون الشلال المتوافق (CC)، وهو إطار استدلال متعدد المستويات يستبدل عتبات الثقة بـ مجموعات التنبؤ المتوافقة. تعمل الآلية الجوهرية كما يلي:

1. تسجيل عدم التطابق (Nonconformity Scoring)

بدلاً من استخدام درجات الثقة الخام، يستخدم CC درجة عدم تطابق قائمة على التكرار مستمدة من فك التشفير بالاتساق الذاتي. بالنسبة لمستوى $k$ واستعلام $x$، يولد النموذج $N$ من العينات المستقلة. لكل إجابة مرشحة $a$ في مجموعة الإجابات المحدودة $A(x)$، تُعرف الدرجة كالتالي:
$$s_k(x, a) = 1 - \frac{|\{i : \hat{y}^{(k)}_i = a\}|}{N}$$
تحصل الإجابات الأكثر تكراراً على درجات منخفضة (تطابق عالٍ)، بينما تحصل الإجابات النادرة على درجات عالية. تتطلب هذه الطريقة فقط الوصول إلى واجهة برمجة تطبيقات (API) "الصندوق الأسود" وتعيد استخدام العينات المولدة للاتساق الذاتي.

2. المعايرة لكل مستوى (Per-Tier Calibration)

باستخدام مجموعة معايرة محجوزة $D_{cal}$، يتم حساب عتبة $\hat{q}_k$ لكل مستوى $k$ لتلبية مستوى عدم تغطية $\alpha$ يحدده المستخدم. يتم ضبط العتبة لتكون المئوية $(1-\alpha)$ لدرجات عدم التطابق في بيانات المعايرة. مجموعة التنبؤ للاستعلام الجديد هي:
$$C_k(x) = \{a \in A : s_k(x, a) \leq \hat{q}_k\}$$
من خلال خصائص التنبؤ المتوافق المنقسم (split conformal prediction)، تضمن هذه المجموعة احتواء الإجابة الصحيحة داخل $C_k(x)$ باحتمال لا يقل عن $1-\alpha$ (التغطية الهامشية).

3. قاعدة التأجيل (Deferral Rule)

يتم توجيه قرار التأجيل بناءً على حجم مجموعة التنبؤ المتوافقة، وليس قيمة الثقة:

• القبول: إذا كان حجم المجموعة $|C_k(x)| \leq \kappa$ (حيث $\kappa \geq 1$ هو معامل القبول، والافتراضي $\kappa=1$)، يلتزم الشلال بالإجابة الأكثر تكراراً في المجموعة.
• التأجيل: إذا كان $|C_k(x)| > \kappa$، يتم تصعيد الاستعلام إلى المستوى التالي.
• الاحتياط (Fallback): إذا فشل المستوى الأخير في إنتاج مجموعة بحجم $\leq \kappa$، يعيد الشلال الإجابة الأكثر تكراراً من عينات المستوى الأخير.

من المهم ملاحظة أن التأجيل نفسه لا يمكن أن يتسبب في خطأ؛ فالأخطاء تحدث فقط عند القبول. هذا الهيكل يسمح لضمانات كل مستوى بالتراكم لتشكيل ضمان على مستوى الشلال بأكد.

المساهمات الرئيسية

1. الإطار النظري: صاغ المؤلفون نظام CC لأي عدد $K$ من المستويات، وأثبتوا حداً لتغطية مستوى الشلال (النظرية 2). في أسوأ الحالات، يُحد احتمال قبول الشلال لإجابة خاطئة بـ $K\alpha$. وتحت شرط "الحفاظ على الاختيار" (الافتراض 3)، يتقلص هذا الحد إلى $\alpha$.
2. توصيف التكلفة والدقة: اشتق الورقة تعبيراً مغلق الصيغة للتكلفة المتوقعة للاستدلال كدالة لـ $\alpha$ ومعدل قبول مجموعة المعايرة (النظرية 4). وهذا يسمح للممارسين بالمقايضة صراحة بين ميزانية الخطأ والتكلفة الحسابية.
3. التحقق التجريبي: أظهر التقييم الواسع عبر 18 اختباراً معيارياً متعدد الخيارات (تغطي العلوم، الطب، المنطق العام، والامتحانات) وأربع عائلات من النماذج مفتوحة الأوزان (Llama, Gemma, Ministral, Phi) أن CC يتفوق بشكل صارم على أقوى الشلالات القائمة على المعايرة التجريبية في معظم أزواج النماذج والاختبارات المعيارية.

النتائج التجريبية

• مكاسب الدقة: يحسن CC الأداء مقارنة بأفضل النماذج المرجعية القائمة على الاستدلال (بما في ذلك الاتفاق، والاعتلاج/الإنتروبي، واستراتيجيات التأجيل العشوائي) في 49 من أصل 72 زوجاً من النماذج والاختبارات المعيارية. وتحدث أكبر المكاسب في الاختبارات المعيارية التي تتطلب تفكيراً عميقاً (مثل GPQA-Diamond, MathQA, MedMCQA) حيث يكون التصويت بالأغلبية غير موثوق به. على سبيل المثال، في نموذج Phi/GPQA-Diamond، يحقق CC زيادة قدرها 4.3 نقطة مئوية.
• الكفاءة: في الاختبارات المعيارية الأسهل حيث يكون النموذج الصغير موثوقاً، يلتزم CC بمعظم الاستعلامات للنموذج الصغير دون أي تكلفة في الدقة، مما يقلل بشكل كبير من تكلفة الاستدلال المتوقعة مقارنة باستراتيجيات التأجيل الدائم أو النماذج القوية دائماً.
• ضمانات التغطية: تقع معدلات عدم التغطية التجريبية عموماً بين الحد الأدنى لـ $\alpha$ والحد الأقصى لـ $K\alpha$. على سبيل المثال، مع $\alpha=0.10$ و $K=2$، كان معدل عدم التغطية الملحوظ غالباً قريباً من 0.10، وبقي ضمن حدود الـ 0.20 النظرية.
• حد باريتو (Pareto Frontier): يهيمن CC على الطرق المرجعية في حدود باريتو بين التكلفة والدقة. ومن خلال ضبط معامل القبول $\kappa$، يمكن لـ CC فتح نقاط تشغيل أرخص مع الحفاظ على الضمان المتوافق، وهي مقايضة لا يمكن تحقيقها بواسطة عتبات الثقة الثابتة.

الأهمية والادعاءات

يزعم الورق أن Conformal Cascade يوفر أول ضمان دقة خالٍ من التوزيع وذات عينة محدودة للاستدلال متعدد المستويات في النماذج اللغوية الكبيرة. بخلاف الطرق السابقة التي تعتمد على درجات ثقة سيئة المعايرة وتتطلب ضبطاً مكثفاً لكل عملية نشر، يوفر CC ما يلي:

• القابلية للتفسير: المعامل الفائق $\alpha$ يتوافق مباشرة مع ميزانية الخطأ للمستخدم.
• التوافق مع الصندوق الأسود: لا يتطلب تدريب النموذج، ولا الوصول إلى احتمالات السجل (log-probabilities)، ويتطلب فقط أخذ عينات API القياسية.
• المتانة: يعالج مشكلة المعايرة بفعالية من خلال حصر تغطية مستوى المجموعة بدلاً من محاولة إعادة قياس درجات الثقة.

يشير المؤلفون إلى أن الطريقة محدودة حالياً بالمهام ذات مجموعات الإجابات المحدودة والقابلة للاستخراج (مثل الاختيار من متعدد). ويُعد التوسع ليشمل التوليد مفتوح النهايات عبر تجميع الإجابات عملاً مستقبلياً. بالإضافة إلى ذلك، فإن الضمان هو ضمان هامشي (على توزيع البيانات) وليس شرطياً على صعوبة الاستعلام، كما يفترض الإطار وجود "التبادلية" (exchangeability) بين بيانات المعايرة وبيانات الاختبار، مما يستلزم إعادة معايرة عبر الإنترنت عند حدوث انزياحات في المتغيرات التوضيحية (covariate shifts).