💬 NLP

SCOPE: Selective Conformal Optimized Pairwise LLM Judging

تقدم الورقة البحثية إطار عمل SCOPE، الذي يجمع بين التنبؤ المطابق الانتقائي ومقياس "إنتروبيا التفضيل ثنائي الاتجاه" المبتكر لمعايرة أحكام النماذج اللغوية الكبيرة، مما يضمن معدلات خطأ مضمونة إحصائياً مع زيادة حجم التقييمات الزوجية الموثوقة بشكل كبير مقارنة بالنماذج المرجعية القياسية.

المؤلفون الأصليون: Sher Badshah, Ali Emami, Hassan Sajjad

نُشر 2026-08-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sher Badshah, Ali Emami, Hassan Sajjad

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم الذكاء الاصطناعي المتطور بسرعة، ظهر نوع جديد من الحكام لتقييم جودة النصوص التي ينشئها الكمبيوتر. فبدلاً من الاعتماد على مراجعين بشريين مكلفين وبطيئين، يلجأ المطورون بشكل متزايد إلى طلب مقارنة إجابتين مختلفتين من نماذج اللغات الكبيرة وتحديد أيهما أفضل. هذه الطريقة، التي تُسمى غالباً "النموذج كحكم"، تسمح بالتقييم السريع لآلاف الاستجابات الاصطناعية، مما يدعم كل شيء بدءاً من تدريب الأنظمة الجديدة وصولاً إلى ترتيب أفضل روبوتات الدردشة في لوحات الصدارة العامة. ومع ذلك، فإن هؤلاء الحكام الرقميين ليسوا مثاليين؛ إذ يمكن تضليلهم بسهولة بسبب ترتيب تقديم الإجابات، أو تفضيل الإجابات الطويلة على القصيرة، أو ببساطة تكرار تفضيلاتهم الأسلوبية الخاصة. وعندما ترتكب هذه النماذج أخطاءً في أحكامها، فإن العواقب تمتد لتشمل منظومة الذكاء الاصطناعي بأكملها، مما قد يؤدي إلى تدريب النماذج المستقبلية على أن تكون مسرفة أو منحازة بدلاً من أن تكون مفيدة. ويتمثل التحدي المركزي للباحثين ليس فقط في جعل النموذج يتخذ قراراً، بل في معرفة متى يكون هذا القرار جديرًا بالثقة لاستخدامه.

لقد طور فريق من الباحثين إطار عمل جديداً يسمى SCOPE لحل مشكلة الموثوقية هذه. ويعالج عملهم فجوة حرجة: فبينما يمكن للأنظمة الحالية أن تخبرك بالإجابة التي يفضلها النموذج، إلا أنها لا تستطيع ضمان عدد المرات التي يكون فيها تفضيلها خاطئاً. لقد ابتكر الباحثون نظاماً يعمل كصمام أمان، يسمح للحكم بقول "لا أعرف" عندما يكون غير متأكد، بدلاً من إجباره على اتخاذ قرار قد يكون غير صحيح. يضمن هذا النهج أنه من بين جميع الأحكام التي يقبلها النظام، يظل معدل الأخطاء تحت حد معين يحدده المستخدم. فعلى سبيل المثال، إذا وضع المستخدم حداً أمانياً بنسبة عشرة بالمائة، فإن النظام يضمن ألا يتجاوز عدد الأحكام الخاطئة من بين الأحكام المقبولة واحداً من كل عشرة، بغض النظر عن مدى صعوبة المهمة.

ولجعل هذا الضمان يعمل، كان على الباحثين أولاً إصلاح خلل في كيفية قياس الذكاء الاصطناعي لعدم اليقين الخاص به. فالطرق القياسية غالباً ما تفشل لأن النماذج تكون منحازة لموقع الإجابات؛ فقد يختار النموذج بثقة الإجابة الأولى لمجرد أنها ظهرت أولاً، حتى لو كانت الإجابة الثانية هي الأفضل. ولمواجهة ذلك، قدم الفريق تقنية تسمى "إنتروبيا التفضيل ثنائية الاتجاه" (Bidirectional Preference Entropy). ومن الناحية العملية، يعني هذا أن النظام يطلب من الحكم تقييم نفس زوج الإجابات مرتين: مرة مع وضع الإجابة الأولى في المقدمة، ومرة أخرى مع تبديل الإجابات. ومن خلال مقارنة نتائج هاتين المرّتين، يمكن للنظام تجريد التحيز الناتج عن ترتيب التقديم. ثم يقوم بحساب درجة بناءً على مدى تغير تفضيل النموذج بين المحاولتين؛ فإذا كان النموذج واثقاً حقاً، فسيختار الفائز نفسه في كلتا المرتين، أما إذا كان مرتبكاً أو منحازاً، فستتغير النتيجة أو تتذبذب، مما يؤدي إلى درجة عالية من عدم اليقين.

ومع الحصول على هذه الإشارة الأكثر نقاءً لعدم اليقين، طبق الباحثون طريقة إحصائية لتحديد نقطة قطع دقيقة. لقد استخدموا عملية معايرة حيث يحلل النظام مجموعة من الأمثلة ذات الإجابات الصحيحة المعروفة لتحديد أعلى مستوى من عدم اليقين يمكن تحمله مع البقاء ضمن حد الخطأ الذي وضعه المستخدم. وهذا يخلق عتبة ديناميكية تتكيف مع النموذج المحدد وصعوبة المهمة. وعندما يواجه النظام زوجاً جديداً من الإجابات، فإنه يحسب درجة عدم اليقين؛ فإذا كانت الدرجة منخفضة بما يكفي لتكون تحت العتبة، يتم قبول الحكم. أما إذا كانت الدرجة مرتفعة جداً، مما يشير إلى أن النموذج على الأرجح يخمن أو منحاز، فإن النظام يمتنع عن اتخاذ قرار ويرفض القيام به. يضمن هذا النه्य الانتقائي أن تكون المجموعة النهائية من الأحكام المقبولة موثوقة إحصائياً.

كانت نتائج اختبار هذا الإطار عبر مختلف المعايير وأحجام نماذج الذكاء الاصطنا المختلفة مذهلة. فقد وجد الباحثون أن طريقتهم نجحت في إبقاء معدل الخطأ ضمن الحدود المستهدفة في معظم السيناريوهات. فعندما وضعوا هدفاً لإبقاء الأخطاء دون عشرة بالمائة، حقق النظام باستمرار معدل خطأ فعلي يتراوح بين 9.7 و9.9 بالمائة. والأهم من ذلك، أن شبكة الأمان الصارمة هذه لم تأتِ على حساب الحذر غير المجدي؛ فمقارنة بالطرق القديمة التي كانت إما تقبل كل شيء وترتكب الكثير من الأخطاء، أو كانت متحفظة للغاية لدرجة رفض جميع الإجابات تقريباً، قبل النظام الجديد ما يصل إلى 2.4 ضعف عدد الأحكام مع الحفاظ على نفس مستوى السلامة. وهذا يعني أنه بالنسبة لنفس خطر الخطأ، يمكن للنظام تقييم كمية أكبر بكثير من البيانات، مما يجعله أداة عملية لتطوير الذكاء الاصطناعي واسع النطاق.

كما سلطت الدراسة الضوء على أن درجة عدم اليقين الجديدة كانت أفضل بكثير في التمييز بين الأحكام الصحيحة والخاطئة مقارنة بالطرق السابقة. فمن خلال تحييد التحيز الناتج عن ترتيب الإجابات، استطاع النظام تحديد الارتباك الحقيقي بدلاً من الخلط بينه وبين الثقة. وقد ظل هذا التحسن ثابتاً عبر أنواع مختلفة من المهام، من المحادثات العامة إلى الاستنتاج المعقد، وعبر نماذج ذات أحجام متفاوتة. كما أظهر الباحثون أن إطار عملهم يعمل كطبقة إضافية (Plug-in) يمكن إضافتها إلى أي حكم موجود دون الحاجة إلى إعادة تدريب النموذج الأساسي. وهذا يجعل التكنولوجيا متاحة فوراً، مما يوفر وسيلة لتحويل السلوك الغامض والمضطرب أحياناً لأحكام الذكاء الاصطناعي إلى نظام مُعاير وشفاف حيث تكون موثوقية كل قرار معروفة ومسيطر عليها.

=== ملخص تقني: SCOPE (التقييم المزدوج المحسن والمنتقى لنموذج اللغة الكبير)

بيان المشكلة

تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد كحكام قابلين للتوسع للتقييم الزوجي في سير عمل الذكاء الاصطناوي، لتحل محل تسميات التفضيل البشرية المكلفة. ومع ذلك، تعاني هذه النماذج من تحيزات منهجية (مثل تحيز الموضع، وتحيز الإسهاب)، مما يؤدي إلى أحكام غير موثوقة يمكن أن تشوه تصنيفات النماذج وإشارات التدريب.

تواجه الأساليب الحالية للتدقيق الانتقائي — حيث يمتنع الحكم عن إصدار حكم في الحالات غير المؤكدة — عقبتين أساسيتين:

الافتقار إلى الضمانات الإحصائية: لا يوفر تحديد عتبة الثقة القائم على الاستدلال (Heuristic) أي ضمان في العينات المحدودة بأن معدل الخطأ بين الأحكام المقبولة سيبقى تحت المستوى الذي يحدده المستخدم ( $\alpha$ ) عند النشر.
إشارات عدم اليقين الملوثة: غالبًا ما تكون مؤشرات عدم اليقين القياسية (مثل أقصى احتمالية لـ softmax) فاسدة بسبب الاختلافات المزعجة مثل تحيز الموضع. قد يكون الحكم واثقًا للغاية ولكنه غير صحيح بسبب ترتيب العرض، مما يؤدي إلى فشل التحديد الساذج في اللحظة التي ينبغي له فيها الامتناع.

الأساليب الحالية التي توفر ضمانات إحصائية (على سبيل المثال، باستخدام حدود Clopper-Pearson) غالبًا ما تكون متحفظة للغاية، مما يؤدي إلى رفض عدد كبير من الاستعلامات والتضحية بالتغطية.

المنهجية

يقترح المؤلفون SCOPE (التقييم الزوجي المحسن والمنتقى عبر التحكم في المخاطر التشكلي)، وهو إطار عمل يجمع بين التحكم في المخاطر التشكلي (Conformal Risk Control) ومقدر عدم يقين جديد محايد للتحيز.

1. إنتروبيا التفضيل ثنائية الاتجاه (BPE)

لمعالجة مسألة تلوث إشارات عدم اليقين بتحيز الموضع، قدم المؤلفون إنتروبيا التفضيل ثنائية الاتجاه (BPE).

الآلية: لكل استعلام $q$ وزوج من الاستجابات $(r_A, r_B)$ ، يتم استجواب الحكم مرتين: مرة بالترتيب الأمامي ( $r_A$ مقابل $r_B$ ) ومرة بالترتيب العكسي ( $r_B$ مقابل $r_A$ ).
التجميع: يتم استخراج احتمالات تفضيل النموذج لـ "الاستجابة الأولى" في كل ترتيب. ليكن $p_{fwd} = P(r_A \succ r_B | \text{forward})$ و $p_{rev} = P(r_A \succ r_B | \text{reverse})$ . لاحظ أنه في الترتيب العكسي، تفضيل $r_A$ يقابل التسمية $B$ . يتم حساب متوسط هذه القيم لإنشاء احتمالية محايدة للتحيز: $\bar{p} = \frac{1}{2}(p_{fwd} + p_{rev})$ .
الدرجة (Scoring): تُعرف درجة عدم اليقين $s(x)$ بأنها الإنتروبيا الثنائية لـ $\bar{p}$ :
$s(x) = -[\bar{p} \ln \bar{p} + (1 - \bar{p}) \ln(1 - \bar{p})]$
تصل هذه الدرجة إلى ذروتها (عدم يقين عالٍ) عندما ينقسم الحكم بين الاستجابتين ( $\bar{p} \approx 0.5$ ) وتصل إلى أدنى مستوياتها (عدم يقين منخفض) عندما يكون التفضيل قويًا ومتسقًا عبر الترتيبات. هذا النهج يعاقب تحيز الموضع من خلال تجميع الاحتمالات بدلاً من الأصوات المنفصلة.

2. التحكم في المخاطر التشكلي (معايرة SCOPE)

يستخدم SCOPE درجات BPE لمعايرة عتبة القبول $\hat{\lambda}$ التي تضمن أن معدل الاكتشاف الخاطئ (FDR) بين الأحكام المقبولة لا يتجاوز الهدف $\alpha$ .

الخسارة الخطية: للتعامل مع قيد النسبة لـ FDR في العينات المحدودة، تستخدم الطريقة دالة خسارة خطية $L(x, \lambda) = S(x, \lambda) \cdot (E(x) - \alpha)$ ، حيث $S$ هو مؤشر الاختيار و $E$ هو مؤشر الخطأ.
ضمان العينة المحدودة: يتم اختيار العتبة $\hat{\lambda}$ كأكبر قيمة بحيث تحقق الخسارة الخطية التراكمية على مجموعة المعايرة:
$\sum_{i=1}^n S(x_i, \lambda) \cdot (E(x_i) - \alpha) \leq -1$
يعمل مصطلح "$-1$" كـ ميزانية لاستيعاب أسوأ مساهمة لنقطة اختبار واحدة غير مرئية، مما يضمن الصلاحية تحت افتراض التبادلية (exchangeability) بين بيانات المعايرة وبيانات الاختبار.
قاعدة الاختيار: في وقت الاختبار، يتم قبول الحكم إذا كان $s(x) \leq \hat{\lambda}$ ؛ وإلا، يمتنع الحكم عن إصدار حكم.

المساهمات الرئيسية

إطار عمل SCOE: طريقة قائمة على التشكيل (conformal) للتقييم الزوجي الانتقائي لنماذج اللغة الكبيرة توفر ضمانًا في العينة المحدودة: تحت فرض التبادلية، يكون معدل الخطأ بين الأحكام المقبولة بحد أقصى $\alpha$ .
مقدر BPE: مقدر لعدم اليقين ثنائي الاتجاه وغير متغير للتبديل، يخفف من آثار الموضع. يقوم بتجميع احتمالات التفضيل من كلا ترتيبي الاستجابة لإنتاج إشارة عدم يقين أكثر موثوقية من المؤشرات القياسية للثقة.
التحقق التجريبي: عروض عبر عدة معايير (MT-Bench، RewardBench، Chatbot Arena) ومقاييس نماذج مختلفة (من Qwen-7B إلى Llama-3.1-70B) تظهر أن SCOPE يحقق حدود المخاطر مع التفوق بشكل كبير على النماذج المرجعية في التغطية.

النتائج

جودة عدم اليقين: يتفوق BPE على مؤشرات الثقة القياسية (الاحتمالية التنبؤية، الثقة اللفظية) وعلى خط الأساس "التبديل والتجميع" (Swap-and-Aggregate) في كل من خطأ المعايرة المتوقع (ECE)، وAUROC، وAUPRC. كما يحقق تمييزًا أفضل بين الأحكام الصحيحة والخاطئة ومعايرة أفضل.
التحكم في المخاطر: يحافظ SCOPE باستمرار على معدل الاكتشاف الخاطئ التجريبي (FDR) دون الهدف $\alpha$ (على سبيل المثال، يحقق $\approx 0.097\text{--}0.099$ عند $\alpha = 0.10$ ) عبر جميع النماذج ومجموعات البيانات المختبرة.
التغطية: مقارنة بالنماذج المرجعية التقليدية (التي ليس لها تحكم في المخاطر) والضبط الاستدلالي (الذي غالبًا ما ينتهك قيود المخاطر)، يقبل SCOPE عددًا أكبر بكثير من الأحكام. على سبيل المثال، في MT-Bench مع $\alpha=0.10$ ، يحقق SCOPE ما يصل إلى 2.4 ضعف التغطية مقارنة بنموذج معايرة قياسي مع الالتزام الصارم بحد المخاطر.
المتانة: يظل إطار العمل صالحًا حتى مع وجود ضوضاء في التسميات في مجموعة المعايرة (يصبح أكثر تحفظًا مع زيادة الضوضاء) ويتطلب أحجام بيانات معايرة متواضعة ( $n \approx 200\text{--}500$ ) للتقارب نحو التغطية التقاربية.

الأهمية والادعاءات

يدعي البحث أن SCO_PE يوفر طبقة جاهزة للاستخدام (drop-in layer) لأطر عمل حكام LLM الموجودة، والتي تحول التقييم الزوجي من عملية استدلالية غامضة إلى نظام مُعاير بـ خصائص موثوقية معروفة وقابلة للضبط من قبل المستخدم.

الأول من نوعه: يذكر المؤلفون أن SCOPE هو أول إطار عمل يوفر التحكم في معدل الاكتشاف الخاطئ في العينة المحدودة للتقييم الزوجي لنموذج لغة واحد دون الحاجة إلى إعادة تدريب النموذج أو الوصول إلى أوزانه الداخلية بخلاف احتمالات توكن التفضيل.
الموثوقية: من خلال الانتقال من درجات الثقة الاستدلالية إلى التحكم في المخاطر الرسمي، يُمكّن الإطار الباحثين من نشر مقيمات قابلة للتوسع ومنخفضة التكلفة دون التضحية بالموثوقية.
تخفيف التحيز: يعمل مقياس BPE على تخفيف تحيز الموضع بفعالية، مما يعزز المقارنات الأكثر عدلاً بين النماذج.
القيود: يشير المؤلفون بتواضع إلى أن الضمانات تعتمد على افتراض التبادلية (الذي قد يضعف بسبب تغير التوزيع) وأن BPE يتطلب تقييمًا ثنائي الاتجاه (مرتين من التمرير الأمامي)، مما يترتب عليه عبء حسابي طفيف. الصيغة الحالية مخصصة للتقييم الزوجي، رغم أن المؤلفين يقترحون توسيعها لتشمل مهام التقييم النقطي أو الترتيب كعمل مستقبلي.