Attribution, Citation, and Quotation: A Survey of Evidence-based Text Generation with Large Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان: "الإسناد، والاقتباس، والاستشهاد: مسح لتوليد النصوص القائم على الأدلة باستخدام النماذج اللغوية الكبيرة."

1. بيان المشكلة

أثار الاعتماد السريع للنماذج اللغوية الكبيرة (LLMs) مخاوف كبيرة تتعلق بموثوقيتها، وتحديداً ميلها إلى توليد "الهلوسة" (الأخطاء الواقعية) واعتمادها على بيانات تدريب ثابتة. ولمعالجة ذلك، يعمل الباحثون على تطوير توليد النصوص القائم على الأدلة، حيث يتم ربط مخرجات النماذج اللغوية الكبيرة بمصادر داعمة لضمان إمكانية التتبع والتحقق.

ومع ذلك، يعاني هذا المجال من تشرذم شديد:

• عدم اتساق المصطلحات: يستخدم الباحثون مصطلحات متنوعة (مثل الاستشهاد، والإسناد، والاقتباس، والتأسيس/Grounding) لوصف مفاهيم متشابهة أو متمايزة، مما يؤدي إلى الارتباك.
• التقييم المنعزل: لا يوجد معيار موحد أو إطار تقييم قياسي، مما يجعل من الصعب مقارنة النهج المختلفة.
• الافتقار إلى تصنيف موحد: تركز المسوحات الحالية على موضوعات فرعية محددة (مثل التوليد المعزز بالاسترجاع RAG أو الهلوسة) بدلاً من النموذج الشامل للتوليد القائم على الأدلة.

2. المنهجية

أجرى المؤلفون دراسة مسح منهجي باتباع بروتوكول PRISMA لتحليل المشهد البحثي الحالي.

• جمع البيانات: قاموا بالاستعلام في تسعة قواعد بيانات أدبية رئيسية (بما في ذلك ACL Anthology، وarXiv، وIEEE Xplore) باستخدام سلسلة بحث محددة: ("large language model" OR "llm") AND ("citation" OR "attribution" OR "quote").
• الفحص: من أصل مجموعة أولية تضم 1,040 سجلاً، قاموا بإزالة المكررات وتطبيق معايير الاشتمال (اللغة الإنجليزية، النص الكامل متاح، التركيز على توليد النصوص بالنماذج اللغوية الكبيرة مع مراجع أدلة صريحة).
• مجموعة البيانات النهائية: تم اختيار 134 ورقة بحثية ذات صلة نُشرت بشكل أساسي بين عامي 2021 وأوائل عام 2025 لإجراء تحليل عميق.
• الترميز (Annotation): قام المؤلفون بترميز هذه الأوراق يدوياً عبر أبعاد متعددة، واستخراج 300 مقياس تقييم متميز، و19 إطار عمل، و231 مجموعة بيانات، و11 معياراً مرجعياً (Benchmark).
• بناء التصنيف: طوروا تصنيفاً متعدد الأبعاد ومتعدد الوجوه لتصنيف الأدبيات، مما يسمح بتعيينات متعددة الملصقات لالتقاط تعقيد النهج الهجينة.

3. المساهمات الرئيسية

تقدم الورقة ثلاث مساهمات رئيسية للمجال:

أ. تصنيف موحد

يقدم المؤلفون أول تصنيف شامل لتوليد النصوص القائم على الأدلة، حيث يصنف الأوراق على طول ثلاثة أبعاد مستقلة:

1. نهج الإسناد (Attribution Approach):
   • المعلمي (Parametric): يعتمد على المعرفة المشفرة داخل معاملات النموذج (نموذج لغوي كبير خالص، مركز على النموذج، مركز على البيانات).
   • غير المعلمي (Non-Parametric): يعتمد على أدلة خارجية يتم استرجاعها وقت الاستدلال (ما بعد الاسترجاع، ما بعد التوليد، أثناء التوليد، داخل السياق).
2. خصائص الاستشهاد (Citation Characteristics):
   • النمط (Modality): نصوص (96% من الدراسات)، رسوم بيانية، جداول، صور.
   • مستوى الدليل (Evidence Level): درجة التفصيل من مستوى الرموز (tokens) إلى المستندات الكاملة.
   • الأسلوب (Style): استشهادات ضمنية، تقارير استشهاد، فقرات، استشهادات سردية، تدرجات التظليل، واقتباسات.
   • الظهور والتكرار (Visibility & Frequency): ما إذا كانت الاستشهادات تُعرض للمستخدمين وما إذا كان يُستخدم استشهاد واحد أو استشهادات متعددة لكل ادعاء.
3. المهمة (Task): الإجابة على الأسئلة (QA)، توليد النصوص المرتكزة على أدلة، التلخيص، التحقق من الحقائق، توليد نصوص الاستشهاد، وتوليد الأعمال ذات الصلة.

ب. تحليل التقييم الشامل

يحلل المسح 300 مقياس تقييم عبر سبعة أبعاد:

• الأبعاد الجوهرية: الإسناد، والاستشهاد، والصحة (ضرورية لجميع الأنظمة).
• الأبعاد السياقية: الجودة اللغوية، والحفاظ على المحتوى، والصلة، والاسترجاع (تعتمد على مهام محددة).
• النتائج: يفتقر المجال إلى التوحيد؛ حيث يتم إعادة استخدام إطارين فقط (ALCE و G-Eval) واثنين من المعايير المرجعية بشكل متكرر. تعتمد معظم الدراسات على المقاييس القائمة على الاستدلال (نماذج NLI) والتداخل اللفظي، بينما تظهر نهج "النموذج اللغوي كحكم" (LLM-as-a-judge) ولكنها لم تصبح مهيمنة بعد.

ج. تحديد الاتجاهات والفجوات

يجمع المؤلفون النتائج لتسليط الضوء على تطور المجال وتحديد التحديات المفتوحة الحرجة.

4. النتائج الرئيسية

• النمو البحثي: انفجر هذا المجال مؤخراً، حيث أن 75% من الدراسات نُشرت بعد عام 2023. ارتفع عدد الأوراق من 28 في عام 2023 إلى 96 في عام 2024.
• هيمنة النهج غير المعلمية: تهيمن نهج "ما بعد الاسترجاع" (على طراز RAG) على الأدبيات (58% من الطرق غير المعلمية)، تليها نهج "داخل السياق" (20%) و"ما بعد التوليد" (18%). لا يزال الإسناد المعلمي غير مستكشف بشكل كافٍ (25 ورقة فقط)، حيث يركز معظمها على تقييم النماذج اللغوية الكبيرة الصرفة بدلاً من تحسينها.
• التحيز للنمط (Modality Bias): المجال مرتكز بشكل مفرط على النصوص (96% من الدراسات). وتعتبر الأدلة المستمدة من الرسوم البيانية والجداول والصور غير مستكشفة إلى حد كبير، مما يمثل فرصة كبيرة للأبحاث متعددة الوسائط.
• اتجاهات درجة التفصيل (Granularity): تستشهد معظم الدراسات بالأدلة على مستوى المستند أو الفقرة. أما الإسناد دقيق التفاصيل (على مستوى الجملة أو الرمز) فهو في نمو ولكنه لا يزال نادراً.
• محدودية التقييم:
  • غالباً ما تفشل المقاييس الآلية الحالية في التقاط الأخطاء الواقعية الدقيقة.
  • هناك مقايضة بين القابلية للتوسع (المقاييس الآلية) والتغطية الدلالية (التقييم البشري).
  • غالباً ما يتم تقييم "الصحة" عبر الحكم البشري أو "النموذج اللغوي كحكم"، لكن مقاييس الصحة الآلية القياسية لا تزال في مرحلة النضج.

5. الأهمية والتوجهات المستقبلية

يعمل هذا المسح كمورد تأسيسي للملاحة في مجال توليد النصوص القائم على الأدلة المتشرذم. وتكمن أهميته في:

• التوحيد القياسي: توفير مفردات وتصنيف موحد لمواءمة الأبحاث المستقبلية.
• وضع المعايير المرجعية: تسليط الضوء على الحاجة الملحة لأطر تقييم معيارية لتمكين المقارنات العادلة.
• خارطة طريق للعمل المستقبلي: يحدد المؤلفون أربعة اتجاهات حرجة:
  1. الإسناد المعلمي والهجين: تجاوز مجرد RAG الصرف لدمج معرفة النموذج الداخلية مع الاسترجاع الخارجي لتحسين القابلية للتفسير وتقليل الاعتماد على الاسترجاع.
  2. التقييم القياسي: تطوير أطر عمل قابلة للتكيف تغطي جميع أبعاد التقييم السبعة.
  3. الاستشهادات القابلة للتفسير: التحقيق في لماذا يختار النموذج اللغوي مصدراً معيناً لتحسين الثقة وتحديد التحيزات.
  4. الأدلة متعددة الوسائط: التوسع لما وراء النصوص لدمج والاستشهاد بالأدلة المرئية والجدولية والرسوم البيانية.

في الختام، تجادل الورقة بأنه بينما يعد توليد النصوص القائم على الأدلة مجالاً واعداً وسريع النمو، فإنه يتطلب الانتقال من التجارب المعزولة والمحددة بمهمات معينة نحو نهج موحد، ومعياري، ومتعدد الوسائط لتعزيز موثوقية وجدارة النماذج اللغوية الكبيرة حقاً.