IUQ: Interrogative Uncertainty Quantification for Long-Form Large Language Model Generation

إليك ملخص تقني مفصل للورقة البحثية بعنوان "IUQ: التقييم الاستجوابي لعدم اليقين في توليد النصوص الطويلة بواسطة النماذج اللغوية الكبيرة."

1. بيان المشكلة

بينما حققت النماذج اللغوية الكبيرة (LLMs) تقدماً كبيراً، لا يزال تقدير عدم اليقين (Uncertainty Quantification - UQ) يمثل تحدياً حرجاً، لا سيما في توليد النصوص الطويلة وحرة الصيغة.

• المشكلة الجوهرية: تعتمد طرق تقدير عدم اليقين الحالية غالباً على الاتساق بين العينات (التحقق مما إذا كانت الاستجابات المتعددة المتولدة تتفق فيما بينها) أو احتمالات الرموز (tokens). ومع ذلك، في توليد النصوص الطويلة، غالباً ما تنتج النماذج اللتمية استجابات تكون متسقة دلالياً ولكنها غير دقيقة واقعياً.
• "فخ التلفيق" (The Fabrication Trap): بسبب آلية التكيّف مع الرمز التالي (next-token conditioning)، قد يقوم النموذج بتلفيق فرضية خاطئة (على سبيل المثال، تحديد مهنة شخص بشكل خاطئ) ثم يولد سيرة ذاتية متسقة منطقياً بناءً على تلك الفرضية الخاطئة. ولأن النص اللاحق يكون متسقاً داخلياً، تفشل فحوصات الاتساق القياسية في اكتشاف هذا التلفيق. يبدو النموذج واثقاً ومتسقاً، رغم أن المعرفة الأساسية وراء ذلك خاطئة.
• قصور الطرق الحالية: تجد الأساليب الحالية صعوبة في التمييز بين نموذج يعاني من عدم يقين حقيقي، ونموذج يقوم بتلفيق سردية متسقة بثقة عالية. فهي غالباً ما تفشل في الفصل بين السياق التوليدي (القصة التي يتم سردها) وبين معرفة النموذج الأساسية.

2. المنهجية: التقييم الاستجوابي لعدم اليقين (IUQ)

يقترح المؤلفون إطار عمل IUQ، وهو إطار مبتكر يستفيد من نموذج "الاستجواب ثم الاستجابة" لتقدير عدم اليقين عبر اختبار معرفة النموذج الفعلية مقابل ادعاءاته المولدة. يتكون الإطار من أربع مراحل رئيسية:

أ. توليد الاستجابة واستخراج الادعاءات

1. أخذ العينات (Sampling): يقوم النموذج بتوليد $N$ من الاستجابات الطويلة والمتنوعة لمطالبة (prompt) معينة.
2. التفكيك (Decomposition): يتم تفكيك كل استجابة إلى ادعاءات واقعية ذرية ومستقلة ($C_R$) باستخدام النموذج اللغوي نفسه.

ب. الاستجواب (الإجابة على الأسئلة على مستوى الادعاء)

لكسر "الاعتماد السياقي" الذي يؤدي إلى التلفيقات المتسقة:

1. توليد الأسئلة: لكل ادعاء ذري، يقوم النموذج اللغوي بتوليد أسئلة قصيرة ومحددة ($Q_c$) تستهدف المعلومات الواردة في ذلك الادعاء.
2. الإجابة المستقلة: يجيب النموذج على هذه الأسئلة في جلسة منفصلة دون السياق الأصلي للنص الطويل. هذا يجبر النموذج على الاعتماد على معرفته البارامترية الداخلية بدلاً من السياق الملفق للقصة الأصلية.

ج. قياس الموثوقية (الاتساق داخل العينة الواحدة)

يقوم إطار العمل بحساب الموثوقية على مستوى الادعاء ($F(c_i)$):

• تتم مقارنة الإجابات المولدة في الجلسة المستقلة مع الادعاءات الأصلية.
• إذا تعارضت إجابات النموذج المستقلة مع الادعاء الأصلي، فإن ذلك يشير إلى أن الادعاء كان على الأرجح ملفقاً ليتناسب مع السياق.
• الصيغة: $F(c_i) = 1 - \text{معدل التناقض}$. تعني الدرجة 1 أن الادعاء موثوق بمعرفة النموذج؛ والدرجة الأقل تشير إلى وجود تلفيق.

د. حساب عدم اليقين (بين العينات + داخل العينة)

يجمع مقياس عدم اليقين النهائي بين عاملين:

1. الاتساق بين العينات ($S(c_i)$): المقياس القياسي لمدى دعم الاستجابات المتعددة لادعاء معين.
2. وزن عدم الموثوقية ($W(c_i)$): آلية لنقل تأثير الادعاءات غير الموثوقة إلى الادعاءات اللاحقة.
   • بما أن توليد النصوص الطويلة عملية متسلسلة، فإن الفرضية الخاطئة في بداية النص غالباً ما تفسد بقية عملية التوليد.
   • يستخدم IUQ نواة اضمحلال أسي (exponential decay kernel) لوزن تأثير الادعاءات غير الموثوقة على الادعاءات اللاحقة.
   • درجة عدم اليقين النهائية: $U(c_i) = S(c_i) \cdot W(c_i)$.

3. المساهمات الرئيسية

• إطار عمل مبتكر (IUQ): أول طريقة لتقدير عدم اليقين مصممة خصيصاً لتوليد النصوص الطويلة، والتي تفصل صراحةً بين السياق التوليدي والتحقق من المعرفة عبر حلقة استجواب.
• تحديد ظاهرة حرجة: تسلط الورقة الضوء وتحدد كمياً ميل النماذج اللغوية الكبيرة إلى تلفيق المعلومات للحفاظ على الاتساق المنطقي، وهو نمط فشل تغفله طرق تقدير عدم اليقين القائمة على الاتساق.
• الاتساق داخل العينة الواحدة: يقدم آلية لقياس الموثوقية داخل العينة (هل يعرف النموذج ما قاله للتو؟) بدلاً من مجرد الاتساق بين العينات (هل تتفق القصص المختلفة؟).
• تقييم شامل: تجارب واسعة النطاق عبر عائلات نماذج متنوعة (GPT-4o, LLaMA-3.3, Qwen2, Gemma-3, Mistral) وبأحجام مختلفة (24B–72B).

4. النتائج التجريبية

قام المؤلفون بتقييم IUQ على مجموعتي بيانات: FActScore (سير ذاتية لأفراد أقل شهرة) و LongFact (مواضيع عامة).

• الأداء: تفوق IUQ باستمرار على أفضل الطرق المرجعية (بما في ذلك Claim Entailment، و Closeness Centrality، وطرق احتمالية الرموز مثل Perplexity و Max Token Entropy).
  • في FActScore، حقق IUQ متوسط AUROC قدره 0.864، متفوقاً على أفضل طريقة تالية (Closeness Centrality عند 0.841) بنسبة +2.3%.
  • في LongFact، حقق IUQ متوسط AUROC قدره 0.740، متفوقاً على أفضل طريقة تالية بنسبة +1.7%.
• دراسات الاستبعاد (Ablation Studies):
  • الاتجاهية (Directionality): أثبتت أن التحقق من التناقضات مقابل الادعاءات السابقة (السياق) أمر بالغ الأهمية؛ حيث أن التحقق مقابل الادعاءات اللاحقة يعطي أداءً أقل.
  • اختيار النواة (Kernel Choice): وُجد أن نواة الاضمحلال الأسي لنشر عدم الموثوقية هي الأكثر فعالية.
  • حجم العينة: يتحسن الأداء مع زيادة عدد الاستجابات المتولدة، لكن IUQ يظل قوياً حتى مع عدد عينات أقل مقارنة بالنماذج المرجعية.
• دراسة حالة: في حالة محددة تتعلق بـ "روري بيرن" (Rory Byrne)، أعطت الطرق القياسية درجة دعم عالية (0.60) لأن عمليات توليد متعددة لفتقت نفس القصة الخاطئة. حدد IUQ بشكل صحيح انخفاض الموثوقية (0.17) لأن إجابات النموذج المستقلة تناقضت مع المهنة الملفقة، مما أدى إلى درجة عدم يقين أعلى (أكثر دقة).

5. الأهمية والآثار المترتبة

• الموثوقية في التطبيقات الواقعية: توليد النصوص الطويلة أمر ضروري لتطبيقات مثل التقارير المؤتمتة، والملخصات الطبية، والمحتوى التعليمي. يوفر IUQ آلية سلامة أكثر موثوقية للكشف عن الحالات التي يكون فيها النموذج "واثقاً ولكنه مخطئ".
• ما وراء احتمالات الرموز: تثبت الورقة أن احتمالات الرم tokens والاتساق الدلالي البسيط غير كافيين للنصوص الطويلة. يوفر نهج "الاستجواب" نموذجاً جديداً لسبر أغوار معرفة النموذج.
• المقايضات: تتكبد الطريقة تكاليف حوسبة أعلى (حوالي 47% أكثر من الرموز مقارنة بالطرق القائمة على الرسوم البيانية) بسبب مراحل الاستدلال المتعددة (التوليد، الاستخراج، طرح الأسئلة، الإجابة، والتقييم). ومع ذلك، يرى المؤلفون أن هذه التكلفة مبررة للتطبيقات عالية المخاطر التي تتطلب دقة واقعية.

باختصار، يعالج IUQ نقطة الضعف في التقييم الحالي للنماذج اللغوية الكبيرة، حيث تولد النماذج سرديات تبدو منطقية ومتسقة ولكنها زائفة. ومن خلال إجبار النموذج على "الدفاع" عن ادعاءاته عبر استجواب خالٍ من السياق، يوفر IUQ مقياساً قوياً للكشف عن التلفيقات في توليد النصوص الطويلة.