ملخص تقني: تقييم جودة الحجج باستخدام النماذج اللغوية الكبيرة: نهج برادلي-تيري الزوجي

بيان المشكلة

يعد التقييم التلقائي لجودة الحجج أمراً بالغ الأهمية للإقناع الفعال، واتخاذ القرار، وتحليل الخطاب في مجالات تتراوح من القانون إلى العلوم. ومع ذلك، لا يزال التقييم اليدوي لجودة الحجج على نطاق واسع يشكل عقبة بسبب التكاليف المرتف og وعدم اتساق التدوين. وبينما أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات في الاستدلال والحكم، لا يزال من المسائل المفتوحة ما إذا كان بإمكانها محاكاة أحكام الخبراء بشكل موثوق في تقييم جودة الحجج. تقدم الأبحاث الحالية نتائج مختلطة فيما يتعلق بقدرة النماذج اللغوية الكبيرة على تقييم جوانب نوعية محددة أو ترتيب الحجج، وغالباً ما تعتمد على مجموعات نماذج محدودة أو تقييمات أحادية البعد (مثل القدرة على الإقناع) بدلاً من الأطر متعددة الأبعاد.

تعالج هذه الدراسة السؤال البحثي التالي: إلى أي مدى يمكن للمقارنات الزوجية للنماذج اللغوية الكبيرة إعادة إنتاج ترتيبات الخبراء لجودة الحجج؟ وهي تبحث تحديداً في أداء النماذج اللغوية الكبيرة عبر أحجام وعائلات واستراتيجيات توجيه (prompting) مختلفة مقابل التدوينات البشرية من قبل الخبراء.

المنهجية

تستخدم الدراسة مجموعة بيانات Webis-ArgQuality-20، وهي مجموعة بيانات معيارية ذهبية تضم 1,610 نصاً عبر 20 موضوعاً للمناظرة. تتضمن مجموعة البيانات 13,952 مقارنة زوجية تم تدوينها من قبل خبراء (عبر التعهيد الجماعي) عبر ثلاثة أبعاد متميزة لجودة الحجة كما حددها Wachsmuth وآخرون (2017b):

1. الجودة المنطقية (Logical Quality): تركز على التماسك، بما في ذلك القبول المحلي، والصلة، وكفاية المقدمات.
2. الجودة البلاغية (Rhetorical Quality): تقيس الفعالية والإقناع، وتغطي المصداقية، والاستمالة العاطفية، والوضوح، والملاءمة، والتنظيم.
3. الجودة الجدلية (Dialectical Quality): تقيم المعقولية والقدرة على حل الخلاف، بما في ذلك القبول، والصلة، والكفاية (الرد/التفنيد).

الإعداد التجريبي

قيم المؤلفون 12 نموذجاً لغوياً كبيراً مفتوح الأوزان من خمس عائلات نماذج (Mistral، وLlama 3، وQwen2.5، وOlmo2، وCommand-R)، تغطي نطاقات بارامترية من 7 مليار إلى 104 مليار بارامتر. اتبع التقييم بروتوكول مقارنة زوجي صارم حيث طُلب من النماذج اختيار الحجة الأفضل (أ، ب، أو تعادل) لجانب نوعي محدد.

تم استخدام ثلاث استراتيجيات توجيه:

• الصفرية (Zero-shot): إدخال البعد وزوج الحجج.
• سلسلة الأفكار (Chain-of-Thought - CoT): توجيه النموذج للاستدلال داخلياً على الأبعاد الفرعية (على سبيل المثال، تقييم الصلة المحلية قبل تحديد الجودة المنطقية) قبل إخراج الملصق النهائي.
• متعددة الأمثلة (Few-shot): تقديم ثلاثة أمثلة مدونة لكل موضوع (واحد لـ "أ"، واحد لـ "ب"، وواحد لـ "التعادل") تم اختيارها بناءً على فروق الدرجات في الحقيقة الأرضية لضمان الوضوح.

التجميع والمقاييس

لاستخلاص درجات الجودة المستمرة من الأحكام الزوجية المنفصلة، طبقت الدراسة نموذج برادلي-تيري (Bradley-Terry - BT). يعمل هذا النهج الإحصائي على تقدير احتمال تفضيل حجة على أخرى ($P(d_i \succ d_j) = \frac{\gamma_i}{\gamma_i + \gamma_j}$) لتوليد درجات قوة كامنة وترتيب نهائي.

تم تقييم الأداء باستخدام:

• مقاييس الارتباط (Correlation Metrics): معاملات بيرسون، وسبيرمان، وكيندال لمقارنة ترتيبات BT المستمدة من النماذج اللغوية الكبيرة مقابل ترتيبات BT المستمدة من الخبراء.
• مقاييس الخطأ (Error Metrics): متوسط الخطأ المطلق (MAE) وجذر متوسط مربع الخطأ (RMSE).
• مقاييس الاتفاق (Agreement Metrics): معامل كوهين كابا ($\kappa$) ونسبة الاتفاق للمقارنة المباشرة للملصقات الزوجية.
• الاستقرار (Stability): معامل كريبندورف ألفا ($\alpha$) وتحليل التباين عبر ثلاث تجارب مستقلة لقياس اتساق التنبؤ.

النتائج الرئيسية

1. أداء النماذج مقابل الخبراء البشر

وجدت الدراسة أن النماذج اللغوية الكبيرة تحقق ارتباطاً متوسطاً مع أحكام الخبراء البشر، حيث لم يصل أي نموذج إلى المحاذاة الكاملة.

• أفضل أداء: حقق نموذج Llama-70B مع التوجيه متعدد الأمثلة (few-shot) أعلى مستوى من المحاذاة. فقد وصل إلى معامل كوهين كابا $\kappa$ قدره 0.493 وارتباطات مع درجات BT الخاصة بالخبراء بلغت 0.473 (بيرسون)، و0.477 (سبيرمان)، و0.327 (كيندال).
• المركز الثاني: جاء نموذج Qwen2.5-72B (zero-shot) قريباً جداً بارتباطات تتراوح بين 0.463 و0.466.
• اتجاهات حجم النموذج: بشكل عام، تفوقت النماذج الأكبر (70B+) على النسخ الأصغر (7B–32B) في الارتباط مع الخبراء. ومع ذلك، كانت عائلة Mistral استثناءً، حيث تفوق متغير 7B على متغير 22B في الارتباط، رغم أن متغير 22B أظهر اتفاقاً أعلى بين المدوّنين (IAA).
• استراتيجيات التوجيه: لم يكن هناك تفضيل عالمي لاستراتيجية واحدة. استفاد التوجيه متعدد الأمثلة بشكل كبير من النماذج الكبيرة (Llama-70B، Command-R-104B)، ولكنه كان غالباً ضاراً أو محايداً للنماذج متوسطة الحجم. أما سلسلة الأفكار (CoT) فلم تحسن الأداء باستمرار، بل قللت أحياناً من درجات الارتباط مقارنة بالنموذج الصفرى.

2. المحاذاة عبر النماذج اللغوية الكبيرة

عند مقارنة النماذج الأخرى مقابل أفضل تكوين (Llama-70B مع التوجيه متعدد الأمثلة):

• أظهر كل من Qwen2.5-72B وOlmo2-32B محاذاة قوية مع Llama-70B.
• أظهر Qwen2.5-7B (النسخة الصغيرة) بشكل مفاجئ محاذاة جيدة مع نظيره الأكبر ومع أفضل تكوين.
• أظهر Mistral-22B ارتباطاً يقترب من الصفر مع Llama-70B، مما يشير إلى فهم متباين لأبعاد الجودة رغم تحقيق كلا النموذجين لاتفاق متوسط مع الخبراء البشر. يشير هذا إلى أن النماذج المختلفة قد تلتقط منظورات متكاملة حول جودة الحجة.

3. الاستقرار والتباين

كانت تنبؤات النماذج اللغوية الكبيرة مستقرة عموماً عبر ثلاث تجارب مستقلة.

• النماذج الصغيرة: أظهرت استقراراً عالياً (غالباً 100% اتفاق عبر التجارب) ولكن دقة أقل بالنسبة للخبراء.
• النماذج الكبيرة: أظهرت تبايناً أعلى قليلاً ولكنها استفادت من التوجيه متعدد الأمثلة، مما قلل من حدوث الملصقات "غير المتساوية جميعها" (المتضاربة).
• الحالة الأسوأ: أنتج نموذج Mistral-22B مع التوجيه متعدد الأمثلة أعلى قدر من التباين، حيث أدت 7.75% من الحالات إلى ملصقات مختلفة عبر التجارب الثلاث.
• الاستنتاج: تعتبر استراتيجيات التجميع مثل التصويت بالأغلبية فعالة للتعامل مع التباين المتبقي.

الأهمية والمساهمات

تدعي الورقة ثلاث مساهمات رئيسية:

1. التقييم المنهجي: توفر أول تقييم واسع النطاق لـ 12 نموذجاً لغوياً كبيراً مفتوح الأوزان عبر خمس عائلات وثلاث استراتيجيات توجيه لتقييم جودة الحجما متعدد الأبعاد.
2. تطبيق برادلي-تيري: هو، حسب علم المؤلفين، أول تطبيق لنموذج برادلي-تيري لتجميع الأحكام المقارنة القائمة على النماذج اللغوية الكبيرة في استخراج الحجج، متجاوزاً تقييمات مقياس ليكرت البسيطة.
3. رؤى حول سلوك النماذج: توضح الدراسة أنه بينما لا تزال النماذج اللغوية الكبيرة لا تضاهي أداء الخبراء، إلا أنها تقدم تقريباً "واعداً ولكن متوسطاً". والأهم من ذلك، أنها تسلط الضوء على أن النماذج المختلفة تظهر فهماً جزئياً ولكن متكاملاً لأبعاد الجودة. يشير هذا إلى أن تجميع النماذج المتنوعة يمكن أن يتفوق على الاعتماد على نموذج واحد هو الأفضل أداءً.

يتبنى المؤلفون موقفاً متواضعاً، معترفين بأن النماذج اللغوية الكبيرة ليست بديلاً للخبراء البشر بعد، بل تعمل كأداة قابلة للتوسع لتقريب ترتيبات الخبراء. ويؤكدون أن الارتباط المتوسط (يصل إلى $\kappa \approx 0.49$) يسلط الضوء على كل من الإمكانات والقيود الحالية للنماذج اللغوية الكبيرة كمقيمين.

القيود

تشير الدراسة إلى بعض القيود المتعلقة بالصلاحية:

• الصلاحية الداخلية: تم اختبار الاستقرار عند درجة حرارة 1؛ ولم يتم اختبار درجات الحرارة المنخفضة. قد تؤثر الاختلافات في صياغة التوجيه عبر عائلات النماذج على التفسير.
• الصلاحية الخارجية: تستند النتائج إلى حجج مناظرة قصيرة عبر الإنترنت، وقد لا تعمم على النصوص المعقدة مثل المقالات. الحقيقة الأرضية محدودة بمجموعة المدونين المحددة لـ Webis-ArgQuality-20. لم تتضمن الدراسة الضبط الدقيق (fine-tuning)، والذي قد يؤدي إلى خصائص أداء مختلفة.
• صلاحية البناء: هناك خطر من أن النماذج اللغوية الكبيرة تقيم بناءً على السمات السطحية (مثل الصياغة الواثقة) بدلاً من الصحة المنطقية العميقة. قد لا يمنع فصل الأبعاد في التوجيه تماماً التلوث عبر الأبعاد في استدلال النموذج.
• صلاحية الاستنتاج: حجم مجموعة البيانات (13,952 مقارنة) أصغر من بعض الأعمال السابقة، مما قد يحد من المتانة الإحصائية لترتيبات برادلي-تيري.