Beyond Precision: Importance-Aware Recall for Factuality Evaluation in Long-Form LLM Generation

إليك ملخص تقني مفصل للورقة البحثية بعنوان "ما وراء الدقة: الاستدعاء المدرك للأهمية لتقييم الواقعية في التوليد طويل التنسيق للنماذج اللغوية الكبيرة (LLMs)."

1. بيان المشكلة

لا يزال تقييم واقعية مخرجات النماذج اللغوية الكبيرة (LLMs) ذات التنسيق الطويل يمثل تحديًا كبيرًا. تعتمد نماذج التقييم الحالية بشكل أساسي على الدقة الواقعية (Factual Precision):

• المنهجية: تفكيك الاستجابات المولدة إلى ادعاءات ذرية والتحقق منها مقابل مصادر معرفية خارجية (مثل ويكيبيديا، أو محركات البحث).
• المقياس: حساب نسبة الادعاءات المدعومة إلى إجمالي الادعاءات المولدة.
• القصور: يتجاهل هذا النهج بطبيعته الاستدعاء الواقعي (Factual Recall)؛ فهو يفشل في قياس ما إذا كان النموذج قد أغفل معلومات حاسمة وذات صلة كان ينبغي تضمينها. يمكن أن تكون الاستجابة دقيقة بنسبة 100% (لا توجد هلوسات) ولكنها تفتقر إلى الاكتمال بنسبة 0% (فقدت حقائق رئيسية)، ومع ذلك ستصنفها المقاييس التقليدية بتقييم مرتفع. علاوة على ذلك، تعتمد تقريبات الاستدعاء الحالية غالبًا على استدلالات هشة (مثل عدد ثابت من الحقائق المستهدفة) بدلاً من الوحدات الواقعية الدقيقة.

2. المنهجية

يقترح المؤلفون إطار عمل موحد يقيس بشكل مشترك الدقة الواقعية والاستدعاء الواقعي، مع دمج مخطط أوزان مدرك للأهمية.

أ. بناء مجموعة الحقائق المرجعية ($F$)

بدلاً من الاعتماد على سلوك النموذج لتحديد عدد الحقائق التي يجب أن تكون موجودة، يقوم إطار العمل ببناء مجموعة مرجعية للحقيقة باستخدام التوليد المعزز بالاسترجاع (RAG):

1. الاسترجاع: بالنسبة لاستعلام $q$ معين، يتم استرجاع أفضل $k$ من الوثائق من مصدر معرفي خارجي ($S$).
2. استخراج الحقائق: يقوم نموذج لغوي كبير (LLM) باستخراج عبارات واقعية ذرية وغير متكررة من النصوص المسترجعة.
3. تسجيل الأهمية: إدراكًا بأن ليس كل الحقائق متساوية في الأهمية، يخصص إطار العمل درجة أهمية لكل حقيقة $f_k$ بناءً على بُعدين:
   • الصلة ($r_k$): مدى مباشرة الإجابة التي تقدمها الحقيقة على الاستعلام المحدد.
   • البروز ($s_k$): مدى مركزية الحقيقة للموضوع/الكيان الرئيسي، بشكل مستقل عن صياغة الاستعلام.
   • الدرجة المركبة: $imp(f_k; q) = \alpha \tilde{r}_k + \beta \tilde{s}_k$.
4. المجموعة المرجعية ($F^*$): يتم ترتيب الحقائق حسب هذه الدرجة المركبة. وتتشكل مجموعة مرجعية "يجب تضمينها" إما من خلال ميزانية ثابتة ($K^*$) أو عبر عتبة أهمية.

ب. استخراج الادعاءات ($C$)

يتم تفكيك المخرج المولد للنموذج ($G_o$) إلى مجموعة من الادعاءات الذرية ($C$) باستخدام عملية استخراج مماثلة لضمان الدقة والاستقلالية.

ج. مقاييس التقييم

يحدد إطار العمل مقييسين أساسيين:

1. الدقة الواقعية ($Prec_F$): نسبة الادعاءات المولدة ($C$) المدعومة بالأدلة المسترجعة.
   • المقاييس الفرعية: معدلات الادعاءات "المدعومة"، و"غير المدعومة"، و"المتناقضة".
2. الاستدعاء الواقعي ($Rec_F$): نسبة الحقائق في المجموعة المرجعية ($F^*$) التي يغطيها المخرج المولد (الاستدلال بها).
   • الاستدعاء الموزون بالأهمية ($Rec^w_F$): نسخة موزونة تعطي الأولوية لتغطية الحقائق عالية الأهمية (التفاصيل الجوهرية) على المعلومات الهامشية.

3. المساهمات الرئيسية

1. إطار عمل موحد للدقة والاستدعاء: آلية آلية بالكامل لتقييم كل من الصحة (الدقة) والاكتمال (الاستدعاء) للتوليد طويل التنسيق باستخدام حقائق مرجعية مستندة إلى الاسترجاع.
2. تسجيل مدرك للأهمية: تقديم مخطط أوزان مبتكر يميز بين الصلة الخاصة بالاستعلام والبروز على مستوى الموضوع، مما يسمح بتقييم أكثر دقة لـ أي الحقائق مفقودة.
3. تحليل تجريبي شامل: تجارب واسعة النطاق عبر ثلاثة مجالات متنوعة طويلة التنسيق (السير الذاتية، LongFact، وLongForm) كشفت عن فجوات منهجية في قدرات النماذج اللغوية الكبيرة الحالية.

4. النتائج التجريبية

قام المؤلفون بتقييم 6 نماذج لغوية كبيرة (بما في ذلك Llama-3.1، Qwen2.5، Mistral، GPT-4o-mini، وGemini-2.5-flash-lite) عبر ثلاثة مجموعات بيانات.

• الفجوة بين الدقة والاستدعاء: تؤدي النماذج اللغوية الكبيرة الحالية أداءً أفضل بكثير في الدقة مقارنة بالاستدعاء. النماذج جيدة عمومًا في تجنب الهلوسة ولكنها تعاني في توليد إجابات شاملة تغطي المجموعة الكاملة من الحقائق ذات الصلة.
• الاعتماد على المجال: تختلف الواقعية بشكل كبير حسب المجال. على سبيل المثال، في توليد السير الذاتية، أظهرت النماذج معدلات تناقض (أخطاء واقعية صريحة) أعلى مقارنة بالمجالات الأخرى.
• مقايضة "الإسهاب" (Verbosity):
  • التوليدات الأطول لا تضمن دقة واقعية أفضل.
  • بعض النماذج (مثل Gemini-2.5-flash-lite) حققت استدعاءً أعلى من خلال توليد عدد أكبر بكثير من الادعاءات (نسبة $\rho$ أعلى، وهي نسبة الادعاءات المولدة إلى الحقائق المرجعية)، ولكن هذا جاء غالبًا على حساب انخفاض الدقة.
  • أظهر GPT-4o-mini كفاءة عالية، حيث حقق استدعاءً قريبًا من الحد الأقصى مع نسبة أقل من الادعاءات إلى الحقائق وأعلى دقة، مما يشير إلى توافق أفضل مع الأدلة.
• رؤى الوزن بالأهمية:
  • النماذج فعالة نسبيًا في تغطية الحقائق الأكثر أهمية (البروز/الصلة العالية).
  • ينخفض الأداء بشكل كبير عند تقييم تغطية المجموعة الكاملة من الحقائق ذات الصلة.
  • أثبتت درجة الأهمية المركبة (الصلة + البروز) أنها الأكثر قوة لبناء المجموعات المرجعية، مما يوازن بين الحاجة إلى إجابات محددة وتغطية الموضوع الأساسي.
• أنواع الأخطاء: نمط الفشل الأكثر شيوعًا هو الادعاءات "غير المدعومة" (هلوسات بدون تناقض مباشر)، وليس التناقضات المباشرة. ومع ذلك، كانت معدلات التناقض أعلى بشكل ملحوظ في مهام السير الذاتية.

5. الأهمية والخاتمة

تنقل هذه الورقة البحثية نموذج تقييم واقعية النماذج اللغوية الكبيرة من التركيز على "الدقة فقط" إلى رؤية شاملة تتضمن "الاكتمال".

• الأثر العملي: تسلط الضوء على أن "عدم الاكتمال الواقعي" هو قصور رئيسي في التوليد طويل التنسيق الحالي، وهو أمر متميز عن الهلوسة.
• معيار التقييم: يوفر إطار العمل المقترح تقييمًا أكثر صدقًا لجودة النموذج، خاصة في التطبيقات التي يكون فيها فقدان المعلومات الرئيسية بنفس خطورة تقديم معلومات خاطئة.
• الاتجاهات المستقبلية: يقترح المؤلفون تحسين جودة مصادر المعرفة الخارجية (تصفية الضوضاء) وتحسين مسارات الاستخراج الآلي لتعزيز موثوقية هذه المقاييس.

باخت်صار، تجادل هذه الدراسة بأنه لكي يكون التوليد طويل التنسيق مفيدًا حقًا، يجب ألا تكون النماذج صحيحة فحسب (دقة عالية)، بل يجب أن تكون شاملة أيضًا (استدعاء عالٍ)، مع تركيز خاص على التقاط الحقائق الأكثر أهمية.