Large Language Models Are Bad Dice Players: LLMs Struggle to Generate Random Numbers from Statistical Distributions

إليك ملخص تقني مفصل لورقة البحث بعنوان: "النماذج اللغوية الكبيرة لاعبون سيئون في النرد: تعاني النماذج اللغوية الكبيرة في توليد الأرقام العشوائية من التوزيعات الإحصائية."

1. بيان المشكلة

مع انتقال النماذج اللغوية الكبيرة (LLMs) من كونها وكلاء محادثة إلى مكونات أساسية في مسارات العمل العشوائية (مثل توليد البيانات الاصطناعية، والمحاكاة الوكيلية، والتقييم الآلي)، أصبح القدرة على أخذ عينات بدقة من توزيعات احتمالية محددة متطلباً وظيفياً حرجاً.

تعالج الورقة فجوة جوهرية: بينما يمكن للنماذج اللغوية الكبيرة وصف العشوائية لغوياً، فمن غير المعروف ما إذا كانت تمتلك عينة داخلية وظيفية قادرة على توليد أرقام عشوائية صالحة إحصائياً دون الاعتماد على كود خارجي (مثل numpy.random). كانت الدراسات السابقة محدودة بحجم عينات صغير ($N=100$)، وتوزيعات بسيطة، وتصاميم تجريبية لا تستطيع التمييز بين التصحيح الذاتي المعتمد على السياق وبين أخذ العينات المستقل الحقيقي.

2. المنهجية

أجرى المؤلفون أول تدقيق واسع النطاق ومدعوم إحصائياً للعينات الاحتمالية الأصلية في النماذج اللغوية الكبيرة الرائدة.

التصميم التجريبي

• النماذج: 11 نموذجاً من أحدث النماذج (بما في ذلك GPT-4o، وGPT-5.2، وGemini-3، وDeepSeek-V3.2، وLlama-3.3/4، وQwen3، إلخ).
• التوزيعات: 15 توزيعاً احتمالياً مصنفة إلى ثلاث مستويات من التعقيد:
  • المستوى الأول (أساسي): التوزيع المنتظم (Uniform)، والتوزيع الطبيعي (Gaussian)، وتوزيع بيرنولي (Bernoulli).
  • المستوى الثاني (محدود/منفصل): توزيع بيتا (Beta)، وثنائي الحدين (Binomial)، وتوزيع بواسون (Poisson)، والتوزيع الأسي (Exponential).
  • المستوى الثالث (معقد/ذي ذيول ثقيلة): توزيع كوشي (Cauchy)، وتوزيع ستودنت (Student's t)، وتوزيع كي تربيع (Chi-Square)، وتوزيع F، وتوزيع غاما (Gamma)، وتوزيع ويبول (Weibull)، وتوزيع لابلاس (Laplace)، وتوزيع لوجستي (Logistic).
• نهج البروتوكول المزدوج: لفك تشابك أوضاع الفشل، تم استخدام بروتوكولين:
  1. توليد الدفعات (البروتوكول A): يقوم النموذج بتوليد $N=1000$ عينة في استجابة واحدة. يختبر هذا قدرة النموذج على الحفاظ على دقة التوزيع عبر نافذة سياق طويلة (الاشتراط التلقائي).
  2. الطلبات المستقلة (البروتوكول B): يقوم النموذج بإجراء $N=1000$ استدعاء عديم الحالة، حيث يولد عينة واحدة لكل استدعاء. يعزل هذا التحيزات المسبقة الجوهرية للنموذج دون دعم سياقي.
• المقاييس:
  • الصلاحية الإحصائية: اختبار كولموغوروف-سميرنوف (KS) للتوزيعات المستمرة واختبار مربع كاي ($\chi^2$) لجودة المطابقة للتوزيعات المنفصلة (مستوى المعنوية $\alpha = 0.01$).
  • الدقة (Fidelity): مسافة واسرتاين-1 ($W_1$) وتباعد KL لقياس المسافة الهندسية عن التوزيع المستهدف.
• المهام اللاحقة:
  • توليد الأسئلة متعددة الخيارات (MCQ): اختبار ما إذا كان بإمكان النماذج فرض قيود موضع الإجابة المنتظمة (A, B, C, D).
  • توليد مطالبات النص إلى صورة: اختبار ما إذا كان بإمكان النماذج توليد مطالبات بخصائص وديموغرافيا محكومة (الجنس، العرق، الطول، لون المعطف).

3. المساهمات الرئيسية

1. التدقيق المنهجي: قدم أول اختبار معيار واسع النطاق ($N=1000$ لكل توزيع) عبر 15 توزيعاً و11 نموذجاً، كاشفاً أن النماذج اللغوية الكبيرة الحالية تفتقر إلى عينة داخلية وظيفية.
2. اكتشاف عدم التماثل في البروتوكول: أظهر عدم تماثل حاد حيث يحقق توليد الدفعات دقة متوسطة (عبر التصحيح الذاتي القائم على السياق)، بينما تؤدي الطلبات المستقلة إلى فشل شبه تام.
3. تحليل التعقيد والتحجيم: كشف أن دقة أخذ العينات تتدهور طردياً مع تعقيد التوزيع، وبشكل مثير للجدل، تتدهور مع زيادة أفق أخذ العينات ($N$) (التحجيم العكسي).
4. انتشار التحيز في المهام اللاحقة: أظهر أن فشل أخذ العينات الأصلي يؤدي إلى تحيزات منهجية في التطبيقات الواقعية، وتحديداً في موضع إجابات الأسئلة متعددة الخيارات والتمثيل الديموغرافي في البيانات الاصطناعية.

4. النتائج الرئيسية

أ. عدم التماثل في البروتوكول

• توليد الدفعات: حققت النماذج معدل نجاح وسيط قدره 7% فقط عبر التوزيعات. أفضل نموذج (GPT-4o) اجتاز 40% من التوزيعات. يشير هذا إلى أن "أخذ العينات" في وضع الدفعات هو خاصية ناشئة عن الاشتراط التلقائي (التصحيح الذاتي) وليس عشوائية حقيقية.
• الطلبات المستقلة: كان الفشل كارثياً. 10 من أصل 11 نموذجاً فشلت بنسبة 0% في التوزيعات. حتى التوزيع المنتظم البسيط فشل، حيث قفزت مسافات واسرتاين من $\approx 0.01$ (في الدفعات) إلى $\approx 0.15$ (في الطلبات المستقلة).

ب. التصنيف حسب التعقيد

• ترتبط دقة أخذ العينات عكسياً مع تعقيد التوزيع.
• المستوى الأول: أظهرت بعض النماذج نجاحاً هامشياً.
• المستوى الثالث (الذيول الثقيلة/المعقد): انهار الأداء تماماً. لم يجتز أي نموذج الاختبارات الإحصائية لتوزيعات كوشي أو كي تربيع.
• التحجيم العكسي: مع زيادة حجم العينة $N$ (من 50 إلى 2000)، ارتفعت مسافة واسرتاين ($W_1$) وتباعد KL بدلاً من التقارب إلى الصفر. كشفت أحجام العينات الأكبر عن اختلافات ذات دلالة إحصائية كانت كامنة في العينات الأصغر.

ج. فشل التطبيقات اللاحقة

• توليد الأسئلة متعددة الخيارات (MCQ): رغم التعليمات الصريحة لتوزيع الإجابات الصحيحة بانتظام (25% لكل منها)، أظهرت جميع النماذج تحيزاً موضعياً شديداً. على سبيل المثال، وضع GPT-OSS-120B نسبة 54.6% من الإجابات في الموضع C و4.5% فقط في الموضع A.
• التوليد المقيد بالسمات: في توليد مطالبات النص إلى صورة:
  • الديموغرافيا: انتهكت النماذج بشكل منهجي التوزيعات المستهدفة (على سبيل المثال، أنتج GPT-4o نسبة 75% ذكور مقابل 49.5% كهدف؛ وأنتج Llama-4 نسبة 97.2% إناث).
  • السمات المستمرة: فشلت النماذج في التقاط التباين. بالنسبة للطول ($N(169, 10)$)، قلصت النماذج الانحراف المعياري إلى $\sigma \approx 1\text{--}6$ سم (الهدف 10 سم).
  • السمات الفئوية: أظهرت النماذج "انهيار النمط" (Mode Collapse)، حيث ولدت 96% من المعاطف باللون الأخضر (Llama-3.3) أو 54% باللون الأحمر (GPT-OSS) رغم وجود هدف منتظم مكون من 7 ألوان.

5. الأهمية والآثار المترتبة

• الافتقار إلى الكفاءة الوظيفية: تشير النتائج إلى أن النماذج اللغوية الكبيرة تعلمت إنتاج أوصاف لغوية للعشوائية ولكنها تفتقر إلى الكفاءة الوظيفية لمحاكاة العمليات العشوائية داخلياً. إنها تحاكي الإحصاءات السطحية لبيانات التدريب دون فهم البنية الرياضية الأساسية.
• ضرورة الأدوات الخارجية: بالنسبة للتطبيقات التي تتطلب ضمانات إحصائية (مثل المحاكاة العلمية، والذكاء الاصكل العادل، والتجارب العشوائية المحكومة)، فإن الاعتماد على أخذ العينات الأصلي للنماذج اللغوية الكبيرة أمر غير آمن. تظل الأدوات الخارجية (مفسرات الكود، مولدات الأرقام العشوائية) إلزامية.
• انتشار التحيز في البيانات الاصطناعية: يعني انتقال أخطاء أخذ العينات إلى المهام اللاحقة أن مجموعات البيانات الاصطناعية التي تولدها النماذج اللغوية الكبيرة قد تحتوي على تحيزات منهجية غير مصححة، مما قد يعزز الصور النمطية أو يبطل النتائج التجريبية في مجالات التعليم والعلوم الاجتماعية.
• القصور الهيكلي: توحي "معضلة دقة السياق" بأن زيادة طول السياق لا يحل المشكلة؛ بل إن التلقائية طويلة الأمد تؤدي إلى الانحراف، بينما تكشف الاستدعاءات عديمة الحالة عن التحيزات الجوهرية.

الخلاصة: النماذج اللغوية الكبيرة الرائدة حالياً عاجزة تماماً عن العمل كمولدات أرقام عشوائية موثوقة. وهي تتطلب أدوات احتمالية خارجية لضمان الصلاحية الإحصائية في أي تطبيق يتضمن أخذ عينات عشوائية.