ملخص تقني: التصنيف المتغاير المدرك لطبيعة الحكام مع مراعاة الحساسية، والتباين، والثقة

بيان المشكلة

يعتمد تقييم النماذج اللغوية الكبيرة (LLM) بشكل متزايد على المقارنات الثنائية من لجان تضم عدة حكام (مقيمون بشريون، أو نماذج تعتمد على نماذج أخرى، أو بروتوكولات متنوعة). تقوم مسارات التصنيف القياسية عادةً بتجميع هذه الأحكام في متجه درجات كامن واحد، مع معاملة التباين المنهجي بين الحكام كضجيج قابل للتبادل. ومع ذلك، تشير الأدلة الحديثة إلى أن التباين بين الحكام غالبًا ما يكون مهيكلًا، حيث يختلف بشكل كبير عبر نماذج الحكام، واللغات، والمهام، والبروتوكولات. هذا التغاير له عواقب وخيمة خاصة في التقييمات الذاتية وفي المقارنات "شبه المتساوية" (near-tie)، حيث يمكن للاضطرابات الطفيفة أن تغير لوحات الصدارة النهائية بشكل جذري.

تتمثل المشكلة الجوهرية في أن الانتقال من حكم واحد إلى لجنة لا يعني مجرد زيادة حجم العينة لمشكلة تصنيف كلاسيكية؛ بل يغير جوهريًا موضوع الاستدلال. يتحول الهدف من استعادة ترتيب مجمع واحد إلى فهم مشكلة تصنيف متعددة الحكام مهيكلة تأخذ في الاعتبار الإجماع، وحساسية كل حكم، والتباين المتبقي المنهجي.

المنهجية: التصنيف المتغاير المدرك لطبيعة الحكام (HJA)

يقترح المؤلفون إطار عمل التصنيف المتغاير المدرك لطبيعة الحكام (HJA)، والذي يفكك الدرجات الكامنة الخاصة بكل حكم إلى ثلاثة مكونات متميزة وقابلة للتحديد:

1. صياغة النموذج

يصيغ إطار العمل مصفوفة الدرجات الكامنة $S \in \mathbb{R}^{K \times N}$ (حيث $K$ هو عدد الحكام و $N$ هو عدد العناصر) باستخدام تفكيك مهيكل:
$$S = \gamma\mu^\top + UV^\top$$

• تصنيف الإجماع ($\mu$): اتجاه إجماع يمثل متوسط الصفوف، وهو هدف التصنيف على مستوى المجتمع.
• حساسية الإجماع ($\gamma$): متجه من المعلمات الخاصة بكل حكم ($\gamma_k$) يقيس مدى قوة تتبع الحكم $k$ لإشارة الإجماع المشتركة. وبخلاف مقاييس الجودة العالمية، يقيس $\gamma_k$ تحديدًا المحاذاة مع اتجاه الإجماع.
• التباين المهيكل ($UV^\top$): مكون متبقٍ منخفض الرتبة يلتقط الانحرافات المنهجية عن الإجماع التي لا يمكن تفسيرها بمجرد إعادة القياس القياسي. هذا المصطلح مقيد بأن يكون متعامدًا مع اتجاه الإجماع.

تتبع احتمالات التفضيل الثنائية نموذج برادلي-تيري-لوتش (BTL):
$$\text{logit}(p_{kij}) = \gamma_k(\mu_i - \mu_j) + U_{k,:}(V_{i,:} - V_{j,:})^\top$$

2. القابلية للتحديد والقيود

لضمان أن يكون التفكيك محددًا إحصائيًا، يفرض المؤلفون شروط تطبيع ورتبة محددة (الشرط 1):

• التمركز: $\mu$ وأعمدة $V$ متمركزة؛ وصفوف $U$ مجموعها صفر.
• القياس: $\gamma$ مجموعها $K$؛ و $U$ و $V$ يتم قياسهما بمعايير الوحدة.
• التعامد: اتجاه الإجماع $\mu$ متعامد مع الفضاء المتغاير $V$.
• تثبيت الفضاء الجزئي: القيم المفردة للمكون المتبقي متميزة ومرتبة.

بموجب هذه الشروط وافتراض أن الدرجة الإجمالية المجمعة للحكام غير صفرية، يثبت المؤلفون (الفرضية 1) أن اتجاه الإجماع، ومعلمات الحساسية، وفضاء التباين المتبقي المهيكل هي عناصر قابلة للتحديد من بيانات المقارنة الثنائية، وهي فريدة حتى تغيير الإشارة لكل عمود.

3. خوارزمية التقدير

يطور المؤلفون مقدر الاحتمال الأقصى المقيد (MLE). نظرًا للطبيعة غير المحدبة للتفكيك ثنائي الخطية وقيود التثبيت غير الخطية، يقترحون خوارزمية تقريبية متناوبة مثبتة (الخوارزمية 1):

• تحديثات الكتل: تقليل متبادل عبر معلمات الحكم ($\gamma, U$) ومعلمات العناصر ($\mu, V$) مع حدود تقريبية لضمان الاستقرار.
• إعادة التثبيت: خطوة حاسمة (الخوارزمية C.2) تستعيد قيود التحديد غير الخطية بعد كل تحديث للكتلة، مما يحافظ على الهندسة المحددة للتفكيك.
• التقارب: ثبت أن الخوارزمية تتمتع بتقارب خطي محلي (النظرية 2) تحت الافتراضات المنتظمة القياسية.

4. تقدير عدم اليقين

يدعم إطار العمل الاستدلال الإحصائي في نظام المقارنة المتكررة للجنة ثابتة، حيث قد يظل عدد الحكام $K$ ثابتًا بينما تزداد المعلومات من خلال المقارنات المتكررة.

• التوزيع الطبيعي التقاربي: أُثبت أن مقدر MLE المقيد يتبع التوزيع الطبيعي التقاربي (النظرية 3).
• فترات الثقة: باستخدام مصفوفة معلومات فيشر المستمدة من بنية الرسم البياني للمقارنات، توفر الطريقة فترات ثقة لتباينات درجات الإجماع، وتباينات الحكام، ومعلمات الحساسية، والاحتمالات الثنائية. وهذا يسمح بتقدير عدم اليقين حتى عندما تكون لجنة الحكام صغيرة أو ثابتة.

النتائج الرئيسية

التجارب الاصطناعية

• الاستعادة: ينجح HJA في استعادة تصنيفات الإجماع، وسلوكيات الحكام، والتباين المهيكل مع زيادة معلومات المقارنة.
• المتانة: النماذج الأساسية التي يساء تحديدها (نماذج BTL المجمعة والنماذج التي تعتمد على الحساسية فقط مثل JA-Ranking) تتدهور بشكل كبير تحت ظروف التغاير القوي، وتتركز حول مصفوفات درجات منحازة.
• معايرة عدم اليقين: يوفر HJA بيانات عدم يقين معايرة جيدًا، بينما تفشل النماذج الأساسية في التقاط التباين الحقيقي في التباين المهيكل.

اختبارات البيانات الحقيقية

تم التقييم على أربع مجموعات بيانات (Chatbot Arena، وMT-Bench، وUltraFeedback، ومجموعة بيانات داخلية)، وأظهر HJA ما يلي:

• تحسين المتانة: استقرار أعلى في التصنيفات عند حقن حكام مشوشين.
• تنبؤ أفضل: دقة فائقة في التنبؤ بالثنائيات المحجوبة.
• أداء "شبه المتساوي": مكاسب كبيرة في الدقة للأزواج الغامضة تجريبيًا (near-tie pairs)، حيث تكون الطرق القياسية هشة.
• الفائدة التشخيصية: يحدد النموذج الملائم الحكام ذوي التأثير العالي (أولئك الذين لديهم حساسية عالية ولكن أيضًا تباين متبقٍ عالٍ) ويكشف عن أنماط الألفة المهيكلة بين الحكم والنموذج (مثل تأثيرات التفضيل الذاتي القائمة على العائلة) دون اعتبارها نتائج عالمية.

الأهمية والادعاءات

يزعم البحث تقديم إطار عمل قائم على أسس إحصائية للتصنيف تحت أحكام مقارنة متغايرة. وتتمثل مساهماته الرئيسية في:

1. تفكيك الأهداف: يفصل بين تصنيف الإجماع، وحساسية الحكم، والتباين المهيكل في أهداف استدلالية منفصلة، بدلاً من دمجها في درجة واحدة أو معاملة التباين كضجيج.
2. القابلية للتحديد: يضع الشروط التي تكون بموجبها هذه المكونات قابلة للاستعادة بشكل فريد من البيانات الثنائية، متجاوزًا مجرد التفكيكات الفراغية الكامنة التعسفية.
3. الاستدلال للجنة ثابتة: يتيح تقدير عدم اليقين الصارم (فترات الثقة) لأهداف التصنيف حتى عندما لا ينمو عدد الحكام، وهو قيد شائع في تقييم النماذج اللغوية الكبيرة.
4. القوة التشخيصية: يعمل إطار العمل كأداة تشخيصية للكشف عن الحكام غير الموثوقين، وقياس الحساسية تجاه الإجماع، وتحديد أنماط الألفة المنهجية (مثل انحياز التفضيل الذاتي) ضمن حد التباين المتبقي.

يشير المؤلفون بتواضع إلى أن إطار العمل ليس مخصصًا لاعتماد التصنيفات تحت لجان حكم عدائية حيث قد يؤثر الانحياز المنسق الشديد على تقدير الإجماع، كما أنه لا يضمن المثالية العالمية بسبب الطبيعة غير المحدبة للتحسين. بدلاً من ذلك، يتم وضعه كطبقة تشخيصية للتقييم المتغاير لتحسين متانة وتفسير استنتاجات التصنيف.