Prompt-Dependent Ranking of Large Language Models with Uncertainty Quantification

إليك ملخص تقني مفصل للورقة البحثية بعنوان "الترتيب المعتمد على المحفز (Prompt) للنماذج اللغوية الكبيرة مع التكميم الكمي لعدم اليقين" من إعداد مينيندز، وليو، وداي.

1. صياغة المشكلة

تعالج الورقة البحثية خللاً حرجاً في أنظمة تقييم النماذج اللغوية الكبيرة (LLMs) الحالية: الاعتماد على التقديرات النقطية (point estimates) للترتيبات المستمدة من التفضيلات البشرية الثنائية. تتعامل لوحات المتصدرين الحالية (مثل LMSys Arena) عادةً مع الترتيبات كأشياء ثابتة ومحددة جيداً، متجاهلةً واقعين أساسيين:

1. الاعتماد على السياق: يختلف أداء النماذج اللغوية الكبيرة بشكل كبير بناءً على محفزات الإدخال (على سبيل المثال: الطول، الفئة الدلالية، نوع المهمة). وتفشل درجة المنفعة العالمية الواحدة في التقاط هذا التباين.
2. عدم اليقين الإحصائي: تُشتق الترتيبات من أحكام بشرية محدودة ومشوبة بالضجيج. إن معاملة التقديرات النقطية كحقائق مطلقة يؤدي إلى قرارات "مفرطة في الثقة" حيث تكون فروق الرتب الظاهرة في الواقع غير متمايزة إحصائياً.

المشكلة الجوهرية: كيف يمكن بناء ترتيبات آمنة لاتخاذ القرار للنماذج اللغوية الكبيرة تكون مشروطة بمحفزات إدخال محددة وتوفر ضمانات عدم يقين إحصائية صالحة (مجموعات الثقة) بدلاً من مجرد التقديرات النقطية. الهدف هو تجنب سوء التخصيص وخسارة الرفاهية في الأنظمة النهائية (التوجيه، المشتريات، الاختيار) الناتج عن العمل بناءً على ترتيبات زائفة.

2. المنهجية

يقترح المؤلفون إطار عمل يعتمد على نموذج برادلي-تيري-لويس (BTL) السياقي مقترناً بـ فترات الثقة المتزامنة.

أ. النموذج

• نموذج BTL السياقي: بدلاً من المنفعة الكامنة الثابتة $\theta_m$، تكون منفعة النموذج $m$ دالة لمتغيرات المحفز $x$:
  $$\theta_m(x) = \beta_{0m} + x^\top \beta_m$$
  هنا، تمثل $\beta_{0m}$ الأداء الجوهري، بينما تلتقط $\beta_m$ كيفية تغير الأداء مع خصائص المحفز (مثل الطول، الفئة).
• احتمالية التفضيل: احتمال تفضيل النموذج $j$ على النموذج $i$ بوجود المحفز $x$ هو:
  $$P(y=1 | x, (i,j)) = \frac{e^{\theta_j(x)}}{e^{\theta_j(x)} + e^{\theta_i(x)}}$$

ب. التقدير

• تقدير الإمكان الأعظم المقيد (MLE): يقدر المؤلفون المعلمات $\beta$ عن طريق تعظيم إمكانية التفضيلات الثنائية المرصودة.
• التحديد (Identification): بما أن فروق المنفعة فقط هي القابلة للتحديد، فقد فرضوا قيوداً معيارية ($\sum \beta_{0i} = 0, \sum \beta_i = 0$) لتثبيت المستوى المرجعي دون التأثير على الترتيبات.

ج. الاستدلال ومجموعات الثقة

يكمن الابتكار الأساسي في الانتقال من تقدير المنفعة إلى استدلال الترتيب.

1. فترات الثقة المتزامنة لفروق المنفعة:
   • بدلاً من إنشاء فترات لليقين الفردي، يقومون بإنشاء مجموعات ثقة متزامنة مستطيلة لمتجه فروق المنفعة الثنائية $\Delta_{ij}(x) = \theta_j(x) - \theta_i(x)$.
   • يستخدمون إحصاءات من النوع الأقصى (max-type statistics) والتمهيد البارامتري (parametric bootstrapping) لتحديد القيم الحرجة التي تضمن التغطية المتزامنة عبر جميع الأزواج $(i, j)$.
2. من الفروق إلى الترتيبات:
   • يكون الترتيب الثنائي "محسوماً إحصائياً" إذا كانت فترة الثقة لفرق المنفعة تستبعد الصفر.
   • إذا كانت الفترة تحتوي على الصفر، فإن الترتيب النسبي يكون "غير محسوم إحصائياً".
   • مجموعات ثقة الترتيب الهامشية والمتزامنة: من خلال تجميع المقارنات الثنائية المحسومة وغير المحسومة، تبني الطريقة مجموعات $R_L(x)$ تمثل الرتب الممكنة التي يمكن أن يشغلها النموذج.
   • التحديد الجزئي: إذا كانت البيانات غير كافية للتمييز بين النماذج، فإن المخرجات تكون عبارة عن مجموعة (على سبيل المثال: "الرتبة بين 2 و 5") بدلاً من فرض تقدير نقطي. وهذا يؤدي طبيعياً إلى ترتيبات جزئية.

3. المساهمات الرئيسية

1. صياغة رسمية للترتيب المعتمد على المحفز: التعامل مع الترتيبات ككائنات عشوائية تعتمد على المتغيرات ضمن إطار عمل BTL سياقي، مما ينقل التقييم من لوحات المتصدرين الثابتة إلى استدلال ديناميكي واعٍ بالسياق.
2. تكميم كمي صالح لعدم اليقين في الترتيبات: تطوير إجراء إحصائي صارم لبناء مجموعات ثقة هامشية ومتزامنة للترتيبات. يضمن هذا التغطية التقاربية الصحيحة، معالجة الطبيعة غير السلسة لدوال الترتيب (حيث تسبب التغيرات الصغيرة في المنفعة قفزات منفصلة في الرتب).
3. إطار عمل نظري لاتخاذ القرار: توفير طريقة مبدئية لاتخاذ القرارات تحت ظروف عدم اليقين. يسمح إطار العمل لصناع القرار باستغلال الهيمنة عندما تدعمها البيانات وتجنب الخيارات المفرطة في الثقة عندما تكون الترتيبات غامضة.

4. النتائج التجريبية

طبق المؤلفون إطار عملهم على مجموعة بيانات Arena Human Preference 140k التي تضم 10 نماذج لغوية كبيرة رئيسية.

• الحساسية لطول المحفز:
  • بالنسبة للمحفزات القصيرة، غالباً ما تكون الترتيبات محددة جيداً (على سبيل المثال: نماذج GPT-4 تتصدر بوضوح).
  • مع زيادة طول المحفز (تجاوز ~1127 رمزاً/token)، يزداد عدم اليقين. تتسع مجموعات الثقة حتى تصبح جميع النماذج غير متمايزة إحصائياً (تنهار مجموعات الترتيب إلى $[1, M]$). يشير هذا إلى أنه بالنسبة للسياقات الطويلة جداً، تؤدي النماذج الحالية أداءً متشابهاً، وأن التقديرات النقطية مضللة.
• تخصص المهام (تحليل الفئات):
  • النماذج العامة: تظهر نماذج مثل ChatGPT-4o و DeepSeek-R1 ترتيبات عالية وقوية عبر فئات متنوعة مع فترات ثقة ضيقة.
  • النماذج المتخصصة:
    • Grok-4: يهيمن في "الإبداع"، "المعرفة بالمجال"، و"الخصوصية" (فترة ثقة مفردة في الرتبة 1)، لكنه يؤدي بشكل سيئ في مهام البرمجة.
    • Qwen-Max: يتفوق في "البرمجة" و"الرياضيات"، لكنه يتراجع بشكل كبير في المهام الإبداعية.
  • الجوهري مقابل السياقي: الترتيبات العالمية غالباً ما تخفي هذه التخصصات. عند التقييد بفئات محددة، يتغير الترتيب وعدم اليقين بشكل جذري.
• الوعي بعدم اليقين: تبين أن العديد من فروق الرتب الظاهرة في لوحات المتصدرين القياسية (على سبيل المثال: النموذج A في الرتبة 2، النموذج B في الرتبة 3) هي غير محسومة إحصائياً (تتداخل فترات الثقة)، مما يعني أن البيانات لا تدعم ترتيباً صارماً.

5. الأهمية والآثار المترتبة

• القرار الاقتصادي والحسابي: تجادل الورقة بأن العمل بناءً على ترتيبات التقدير النقطي يؤدي إلى سوء تخصيص (على سبيل المثال: توجيه استعلام إلى نموذج ليس أفضل فعلياً لهذه المهمة المحددة) وخسارة في الرفاهية.
• تصميم الآليات القوي: من خلال دمج عدم اليقين، يمكن للأنظمة تنفيذ قواعد اختيار قوية. إذا لم يكن النموذج مهيمناً إحصائياً، يمكن للنظام التبديل افتراضياً إلى التكلفة، أو زمن الاستجابة، أو مقاييس أخرى غير متعلقة بالأداء بدلاً من فرض خيار دون المستوى بناءً على الضجيج.
• ما وراء لوحات المتصدرين: تتحدى هذه الدراسة صلاحية لوحات المتصدرين الثابتة للنماذج اللغوية الكبيرة، وتقترح استبدالها أو تعزيزها بـ لوحات معلومات ديناميكية واعية بعدم اليقين تعكس السياق المحدد لاستعلام المستخدم.
• التقدم النظري: تسد الورقة الفجوة بين تعلم التفضيلات السياقية واستدلال الترتيب الإحصائي، مما يوفر حلاً لمشكلة "الدالة غير السلسة" في إحصاءات الترتيب.

باختصار، توفر الورقة إطاراً صارماً رياضياً للانتقال بتقييم النماذج اللغوية الكبيرة من سؤال "من هو النموذج الأفضل؟" إلى "أي نموذج هو الأفضل لهذا المحفز المحدد، وما مدى ثقتنا في ذلك؟"