ConCISE: A Reference-Free Conciseness Evaluation Metric for LLM-Generated Answers

إليك ملخص تقني مفصل لورقة البحث بعنوان: "ConCISE: مقياس مرجعي خالي من المراجع لتقييم الإيجاز في الإجابات المولدة بواسطة النماذج اللغوية الكبيرة (LLMs)."

1. بيان المشكلة

كثيراً ما تولد النماذج اللغوية الكبيرة (LLMs) استجابات مفرطة في الإطالة، تحتوي على تفاصيل زائدة أو غير ضرورية. تؤدي هذه الإطالة إلى:

• انخفاض رضا المستخدم: الإجابات الطويلة والمملة قد ترهق المستخدمين وتحجب الوضوح.
• زيادة التكاليف: غالباً ما تفرض النماذج المملوكة رسوماً بناءً على عدد الرموز (tokens) الناتجة؛ والإطالة غير الضرورية تزيد مباشرة من التكاليف التشغيلية.
• فجوات التقييم: تعتمد المقاييس التقليدية (مثل BLEU وROUGE) على مراجع ذهبية وتركز على التداخل المعجمي، مما يجعلها عاجزة عن رصد الإطالة. كما تفتقر المقاييس الحالية الخالية من المراجع إلى آليات محددة لقياس المحتوى "غير الأساسي" دون الحاجة إلى تعليقات بشرية.

يتمثل التحدي الجوهري في تطوير مقياس آلي، خالٍ من المراجع، يمكنه قياس إيجاز مخرجات النماذج اللغوية الكبيرة بدقة عبر اكتشاف ومعاقبة التكرار دون الحاجة إلى إجابات بشرية نموذجية.

2. المنهجية: مقياس ConCISE

يقترح المؤلفون ConCISE، وهو مقياس مبتكر يستفيد من القدرات التوليدية للنماذج اللغوية الكبيرة لمحاكاة الأحكام البشرية بشأن الاختصار. يعمل المقياس عن طريق حساب متوسط ثلاثة نسب ضغط مختلفة مستمدة من استدعاء واحد للنموذج اللغوي الكبير.

الآلية الجوهرية

بناءً على سؤال $q$ وإجابة مولدة من النموذج $a(q)$، يقوم النظام بتوجيه أمر (prompt) لنموذج لغوي كبير لتوليد ثلاث نسخ مشتقة من الإجابة:

1. الملخص التجريدي ($S_a$): ملخص يعيد الصياغة لالتقاط الأفكار الرئيسية باستخدام عبارات جديدة.
2. الملخص الاستخراجي ($S_e$): اختيار الجمل الأكثر صلة مباشرة من النص الأصلي.
3. النص المنقح ($W_r$): نسخة تبسيطية حيث تُزال جميع الكلمات غير الأساسية مع الحفاظ على المعنى الجوهري والكيانات المسماة.

خطوة التحقق:
قبل الحساب، يُطلب من النموذج اللغوي الكبير التحقق من أن هذه النصوص الثلاثة المشتقة تحافظ على التكافؤ الدلالي والحفاظ على الكيانات المسماة (التواريخ، المواقع، إلخ) بالنسبة للإجابة الأصلية. إذا تغير المعنى، يعتبر الضغط غير صالح.

صيغة الحساب

درجة ConCISE النهائية هي متوسط ثلاث نسب ضغط:

$$\text{ConCISE} = \frac{1}{3} \left[ \left(1 - \frac{|A| - |S_a|}{|A|}\right) + \left(1 - \frac{|A| - |S_e|}{|A|}\right) + \left(1 - \frac{|A| - |W_r|}{|A|}\right) \right]$$

حيث أن:

• $|A|$ هو طول الكلمات في الإجابة الأصلية.
• $|S_a|$ و $|S_e|$ و $|W_r|$ تمثل أطوال الكلمات للملخص التجريدي، والملخص الاستخراجي، والنص المنقح، على التوالي.
• ملاحظة: إذا كان النص المشتق أطول من الأصل (ضغط سلبي)، تُعامل قيمته كصفر.

التفسير: تشير درجة ConCISE الأعلى إلى أن النموذج اللغوي الكبير قد أزال المزيد من المحتوى غير الأساسي مع الحفاظ على المعنى، مما يدل على إيجاز أعلى.

ക്ക് 3. التصميم التجريبي

• مجموعة البيانات: مجموعة بيانات WikiEval، التي تحتوي على ثلاثيات (سؤال-سياق-إجابة) مصنفة بشرياً من ويكيبيديا.
• تعزيز البيانات: لإنشاء بيئة اختبار للإطالة، استخدم المؤلفون GPT-4o لإعادة كتابة الإجابات الأصلية إلى نسخ "مفرطة في الإطالة" عبر إضافة التكرار والحشو مع الحفاظ على الحقائق سليمة.
• الحقيقة الأرضية البشرية: قدم ثلاثة معلقين بشريين:
  1. تصنيفات مقياس ليكرت: من 1 (مفرط جداً في الإطالة) إلى 5 (موجز جداً).
  2. المقارنات الزوجية: ترتيب أي من إجابتين كان أكثر إيجازاً.
• المقاييس المرجعية (Baselines):
  1. درجة GPT: نموذج لغوي يخصص درجة رقمية من 0 إلى 10 للإيجاز.
  2. ترتيب GPT: نموذج لغوي يختار الإجابة الأكثر إيجازاً في المقارنة الزوجية.
• الأحكام: استُخدمت نماذج لغوية متعددة (GPT-4o, Claude-4, Gemini-2.0, Mistral-Large-2) كأحكام لضمان المتانة ضد الانحياز الخاص بالنماذج.

4. النتائج الرئيسية

قيمت الدراسة ConCISE مقابل الأحكام البشرية باستخدام ارتباط سبيرمان ($r_s$) وتاو كيندال ($\tau$)، بالإضافة إلى دقة المقارنة الزوجية.

• الارتباط مع التقييمات البشرية:

  • ConCISE (حكم GPT-4o): حقق أقوى ارتباط مع تصنيفات ليكرت البشرية ($r_s = 0.628$، $\tau = 0.523$)، وكلاهما ذو دلالة إحصائية ($p < 0.001$).
  • الأحكام الأخرى للنماذج اللغوية: ظل ConCISE فعالاً عبر نماذج الحكم المختلفة (Claude-4, Gemini-2.0, Mistral)، حيث تراوح $r_s$ بين 0.47 و 0.54.
  • فشل المرجع (Baseline): أظهر مرجع "درجة GPT" ارتباطاً ضعيفاً/سلبياً ($r_s = -0.108$)، مما يشير إلى أن أوامر التقييم الرقمي المباشر غير موثوقة للإيجاز.

• دقة المقارنة الزوجية:

  • ConCISE: حقق دقة بنسبة 94% في التوافق مع التفضيلات البشرية عند اختيار الإجابة الأكثر إيجازاً بين خيارين.
  • مرجع ترتيب GPT: حقق دقة بنسبة 39% فقط، وهو أداء يكاد لا يتجاوز الصدفة العشوائية.

5. المساهمات الرئيسية

1. مقياس مبتكر خالٍ من المراجع: تقديم ConCISE، وهو أول آلية لتقييم طول مخرجات النماذج اللغوية الكبيرة والتكرار دون الحاجة إلى إجابات مرجعية نموذجية.
2. نهج ضغط ثلاثي الجوانب: منهجية فريدة تجمع بين التلخيص التجريدي، والتلخيص الاستخراجي، وتنقيح الكلمات لقياس المحتوى غير الأساسي.
3. التحقق التجريبي: إثبات تفوق ConCISE بشكل كبير على التقييم المباشر والترتيب المرجعي، مما يظهر توافقاً عالياً مع الحكم البشري في كل من مهام التقييم والترتيب.

6. الأهمية والقيود

الأهمية:

• التكلفة والكفاءة: يوفر أداة عملية للمطورين لاكتشاف ومعاقبة المخرجات المفرطة في الإطالة تلقائياً، مما قد يقلل تكاليف الرموز (tokens) ويحسن تجربة المستخدم في الذكاء الاصطناعي التفاعلي.
• القابلية للتوسع: يلغي الحاجة إلى التعليقات البشرية المرجعية المكلفة والمستهلكة للوقت، مما يجعله مناسباً للتقييم واسع النطى.
• الموثوقية: يثبت أن النماذج اللغوية الكبيرة يمكن استخدامها بفعالية كـ "أحكام" للإيجاز إذا تم بناء التقييم حول الضغط بدلاً من التقييم الرقمي المباشر.

القيود:

• الاعتماد على السياق: يختلف تعريف "غير الأساسي" باختلاف المجال (على سبيل المثال، التفاصيل التنظيمية في التمويل قد تكون مفرطة في الإطالة لكنها ضرورية). قد يواجه المقياس الحالي صعوبة في التعامل مع الفروق الدقيقة الخاصة بالمجالات.
• انحياز الأوامر (Prompt Bias): استخدام أمر واحد لتوليد الأنواع الثلاثة من الضغط قد يؤدي إلى انحياز ناتج عن التقنية المستخدمة. تقترح الأعمال المستقبلية استخدام أوامر منفصلة لكل تقنية.
• القدرة على التعميم: رغم فعاليته على WikiEval، فإن التحقق الأوسع عبر مجموعات بيانات وصناعات متنوعة مطلوب لإثبات المتانة العالمية.