Predictable Confabulations: Factual Recall by LLMs Scales with Model Size and Topic Frequency

ملخص تقني: الهلوسات المتوقعة

بيان المشكلة
لا تزال أخطاء الاستدعاء الحقائقي، أو ما يُعرف بالهلوسة (confabulations)، تمثل نمط فشل حرج في النماذج اللغوية الكبيرة (LLMs). وبينما أثبتت الأبحاث السابقة أن الأداء الإجمالي للنموذج يتبع قوانين التوسع (scaling laws) المتعلقة بحجم النموذج، وحجم مجموعة البيانات، والحوسبة، إلا أنه لا يوجد إطار عمل واحد يربط جودة الاستدعاء الحقائقي بكل من حجم النموذج وتكوين بيانات التدريب (تحديداً تكرار الموضوع). تعامل الأعمال الحالية حجم النموذج وتكرار المعرفة كدوافع مستقلة، لكنها تفتقر إلى صيغة وظيفية تنبؤية توحد بينهما.

المنهجية
قام المؤلفون بتقييم 38 نموذجاً لغوياً كبيراً (تتراوح أحجامها من 1 مليار إلى 1.6 تريليون معلمة، تشمل النماذج الكثيفة، ونماذج خليط الخبراء MoE، والنماذج مغلقة المصدر) عبر 24 موضوعاً علمياً. تم اختيار المواضيع لتغطي خمس رتب مقدارية في تمثيل بيانات التدريب، مقاسة بعدد الأعمال العلمية في OpenAlex ($S$).

• توليد البيانات: طُلب من كل نموذج توليد 10 مراجع علمية لكل موضوع باستخدام مطالبة (prompt) معيارية.
• مسار التحقق: قام نظام مؤتمت، يُسمى SourceVerify، بالتحقق من المراجع المولدة مقابل OpenAlex وGoogle Scholar وسجلات DOI. أنتج النظام درجة أصالة مستمرة بناءً على المطابقات على مستوى المجال (العنوان، المؤلفون، السنة، الجهة الناشرة، والمعرّف).
• مقياس الجودة: عُرِّفت جودة الاستدعاء النهائية بأنها حاصل ضرب "الأصالة" (التي تم التحقق منها بواسطة SourceVerify) و"الصلة" (التي قيمها وكيل مؤتمت وتم التحقق منها بواسطة مقيمين بشريين).
• التحليل الإحصائي: قام المؤلفون بملاءمة دالة سيجمويد (sigmoid function) للبيانات، حيث تُنمذج الجودة كدالة للتركيب اللوغاريتمي الخطي لعدد معلمات النموذج ($P$) وتكرار تمثيل الموضوع ($S$).

الإطار النظري
تقترح الدراسة نموذج نسبة الإشارة إلى الضجيج (SNR) المستوحى من نظرية "التراكب" (superposition).

• الإشارة: تقوى قوة تمثيل المفهوم مع تكراره في بيانات التدريب ($S$).
• الضجيج: يتم تحديد أرضية التداخل بواسطة سعة النموذج ($P$). وفقاً لنظرية التراكب، حيث تقوم النماذج بترميز ميزات أكثر من الأبعاد المتاحة، فإن استرجاع مفهوم ما يتضمن تداخلاً من تمثيلات أخرى متداخلة. ومع زيادة سعة النموذج، تنخفض أرضية التداخل هذه.
• دالة السيجمويد: يحدث الاستدعاء عندما تتجاوز الإشارة أرضية الضجيج. يفترض المؤلفون أن جودة الاستدعاء تتبع دالة سيجمويد للجمع اللوغاريتمي لهذين العاملين:
  $$\text{quality} = \sigma(\alpha \log_{10} P + \beta \log_{10} S + \gamma)$$
  حيث $\sigma$ هي الدالة اللوجستية.

النتائج الرئيسية

1. توسع السيجمويد: تتوافق دالة السيجمويد المقترحة مع البيانات عبر 16 نموذجاً كثيفاً من أربع عائلات مستقلة (Llama, Gemma, Mistral, Qwen) بمعامل تحديد $R^2$ قدره 0.599. وعند تحليلها ضمن عائلات فردية، يتحسن التوافق بشكل ملحوظ (تتراوح قيم $R^2$ بين 0.74 و0.94).
2. الدوافع المستقلة: يساهم كل من حجم النموذج ($P$) وتكرار الموضوع ($S$) بشكل مستقل في جودة الاستدعاء. يفسر حجم النموذج وحده 42.1% من التباين، بينما يضيف تكرار الموضوع 17.8% إضافية.
3. ثلاثة أنظمة تشغيل: يكشف منحنى السيجمويد عن ثلاثة أنظمة تشغيل متميزة:
   • الأرضية (Floor): تؤدي النماذج الصغيرة أو المواضيع النادرة إلى "تزييف نمطي"، حيث تعيد النماذج تدوير أسماء عائلات عالية التكرار أو قوالب عامة بدلاً من استدعاء حقائق محددة.
   • المنحدر (Ramp): منطقة تحسن لوغاريتمي خطي، حيث يؤدي زيادة السعة أو التكرار إلى مكاسب متناسبة في الاستدعاء.
   • السقف (Ceiling): يحدث التشبع عندما تتجاوز السعة مخزون المفاهيم، وتستقر الجودة عند هذا الحد.
4. تدرج الاستشهاد: تسترجع النماذج الأكبر مراجع ذات أعداد استشهاد أقل (معرفة الذيل الطويل) مقارنة بالنماذج الأصغر، والتي تقتصر على الأوراق البحثية عالية الاستشهاد (عالية التكرار). وهذا يدعم الفرضية القائلة بأن النماذج الأكبر تخفض أرضية الضجيج بما يكفي لاسترجاع الإشارات الأضعف.
5. إزاحات العائلات: توجد إزاحات منهجية بين عائلات النماذج (على سبيل المثال، نماذج Llama تتفوق عموماً على Gemma وQwen عند نفس عدد المعلمات)، مما يشير إلى أن إجراءات التدريب وتنسيق البيانات تُزيح القيمة المقطعية ($\gamma$) دون تغيير ميل التوسع.

الأهمية والادعاءات
يدعي البحث تقديم أول قانون توسع تنبؤي موحد للاستدعاء الحقائقي يدمج بين حجم النموذج وتكوين بيانات التدريب. ومن خلال إعادة صياغة الهلوسات ليس كأخطاء عشوائية، بل كنتيجة متوقعة لضغط المعرفة غير الموزعة بانتظام في سعة تمثيلية محدودة، يقدم المؤلفون إطاراً كمياً لتقدير الموثوقية.

يؤكد المؤلفون أن الاختبارات المعيارية الإجمالية غالباً ما تخفي تفاوتات منهجية؛ فقد يؤدي النموذج أداءً جيداً في المواضيع عالية التكرار بينما يفشل في مفاهيم "الذيل الطويل". ويشير الإطار إلى أن توسيع نطاق الاستدعاء الموثوق ليشمل المواضيع منخفضة التكرار يتطلب زيادات غير متناسبة في سعة النموذج، في حين قد يكون تنسيق البيانات والتدريب المسبق المستهدف أكثر كفاءة للمفاهيم القريبة من عتبة الاستدعاء. وتخلص الدراسة إلى أنه بالنسبة للمفاهيم منخفضة التكرار جداً، يظل "الاسترجاع المعزز" (Retrieated Augmentation) هو البديل الضروري للاستدعاء البارامتري.

المحددات
يشير المؤلفون إلى عدة قيود؛ فالدراسة وصفية (ارتباطية) وليست سببية، كما أن متغير بيانات التدريب ($S$) هو متغير غير مباشر، والتحليل محدود باللغة الإنجليزية والمراجع العلمية، وقد لا تعمم معاملات التوسع المحددة على مجالات حقائقية أخرى مثل المعرفة العامة أو الإجرائية.