📊 statistics

LLMs as Implicit Imputers: Uncertainty Should Scale with Missing Information

تجادل هذه الورقة بأن نماذج اللغات الكبيرة التي تعمل كمُستكملات ضمنية يجب أن تُظهر تدرجاً في عدم اليقين مع نقص المعلومات، حيث وجدت أن الثقة القائمة على أخذ العينات تفشل في عكس تدهور السياق المتزايد، بينما يتتبع اعتلاج الاستجابة (response entropy) نقص البيانات بفعالية ويتنبأ بالدقة بشكل أفضل.

المؤلفون الأصليون: Stef van Buuren

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Stef van Buuren

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق يحاول حل لغز ما. عادةً، يكون لديك ملف كامل من الأدلة (السياق) لمساعدتك في العثين على الجاني. لكن أحياناً، يتم تمزيق الملف ولا يتبقى لك سوى بضع قصاصات من الورق.

هذه الورقة تطرح سؤالاً بسيطاً ولكنه جوهري: عندما يعمل المحقق الخاص بك (نموذج لغوي ذكاء اصطناعي) مع أدلة مفقودة، هل يعرف مدى عدم تأكده؟

يجادل المؤلفون بأن الذكاء الاصطناعي يجب أن يتصرف كـ "محقق إحصائي" يعترف قائلاً: "أنا أخمن هنا لأنني لا أملك ما يكفي من القرائن". بدلاً من ذلك، وجدوا أن نماذج الذكاء الاصطناعي الحالية غالباً ما تتصرف كمحققين مفرطي الثقة، يخمنون بجنون ولكنهم يصرون على أنهم متأكدون بنسبة 100%.

إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:

1. الفكرة الجوهرية: اختبار "القرينة المفقودة"

عامل الباحثون الذكاء الاصطناعي كـ "مُعدد متعدد" (Multiple Imputer). في الإحصاء، عندما تكون البيانات مفقودة، لا يكتفي الخبراء بتخمين إجابة واحدة؛ بل يولدون سيناريوهات عديدة لمعرفة مدى تباين الإجابة.

الاختبار: أخذوا أسئلة وقاموا بتمزيق المعلومات الخلفية (السياق) تدريجياً حتى لم يتبقَ للذكاء الاصطناعي سوى السؤال نفسه ليقرأه.
القاعدة: مع اختفاء القرائن، يجب أن يرتفع "عدم التأكد" لدى الذكاء الاصطناعي. إذا لم يكن لديه أي قرائن، يجب أن يكون غير متأكد جداً. إذا كان لديه كل القرائن، يجب أن يكون متأكداً جداً.

2. طريقتان لقياس "عدم التأكد"

نظر الباحثون في طريقتين لقياس مدى عدم تأكد الذكاء الاصطناعي عندما سألوه نفس السؤال 10 مرات متتالية:

"الصوت العالي" (الثقة): يقيس عدد المرات التي يعطي فيها الذكاء الاصطناعي نفس الإجابة في كل مرة. إذا قال "دنفر برونكوز" 10 مرات من أصل 10، فإنه يبدو واثقاً جداً.
"ثرثرة الحشد" (الاعتلاج/الإنتروبي - Entropy): يقيس مدى اختلاف الإجابات. إذا قال الذكاء الاصطناعي "دنفر برونكوز" مرة واحدة، و"نيو إنجلاند" مرة، و"باتريوتس" مرة، و"لا أعرف" سبع مرات، فهناك الكثير من "الثرثرة" أو التنوع. هذا هو الاعتلاج العالي.

3. الاكتشاف الكبير: "الصوت العالي" كاذب

وجدت الدراسة مشكلة كبيرة في "الصوت العالي" (الثقة):

ماذا حدث: حتى عندما لم يكن لدى الذكاء الاصطناعي أي سياق (لا توجد قرائن)، فإنه غالباً ما أعطى نفس الإجابة الخاطئة 10 مرات متتالية. لقد بدا واثقاً للغاية، رغم أنه كان يخمن تماماً بناءً على ما حفظه من تدريبه.
التشبيه: تخيل طالباً يؤدي امتحاناً وقد نسي الكتاب المدرسي. إنه يخمن "ج" لكل الأسئلة. إنه ثابت (ثقة عالية) في كل مرة، لكنه خاطئ بنسبة 100%. كان الذكاء الاصطناعي يفعل هذا بالضبط.

4. الفائز: "ثرثرة الحشد" (الاعتلاج/الإنتروبي)

تصرفت "ثرثرة الحشد" (الاعتلاج) بشكل أفضل بكثير:

ماذا حدث: مع إزالة السياق من قبل الباحثين، بدأت إجابات الذكاء الاصطناعي في التشتت. بدلاً من قول "دنفر برونكوز" 10 مرات، بدأ يقول "دنفر"، "برونكوز"، "الفريق"، "لا أعرف"، إلخ.
التشبيه: هذا يشبه مجموعة من المحققين في غرفة. عندما يمتلكون كل الأدلة، يشيرون جميعاً إلى نفس المشتبه به. وعندما تسلب منهم الأدلة، يبدأون في الإشارة إلى اتجاهات مختلفة. كلما زاد ارتباكهم، زاد إشارتهم في اتجاهات مختلفة.
النتيجة: ارتفع مقياس "ثرثرة الحشد" (الاعتلاج) تماماً كما انخفضت دقة الذكاء الاصطناعي. لقد كان إشارة حقيقية للارتباك.

5. "نسبة الدقة" (كم ساعدت القرائن؟)

أنشأ المؤلفون درجة بسيطة تسمى "نسبة الدقة" (Resolution Ratio).

فكر في الأمر كمفتاح خافت للإضاءة (Dimmer switch).
بلا سياق (مطفأ): الغرفة مظلمة (عدم تأكد عالٍ).
سياق كامل (مضاء): الغرفة مشرقة (عدم تأكد منخفض).
الدرجة: تقيس مقدار ما فعله "الضوء" (السياق) لإطفاء "الظلام" (عدم التأكد). وجدوا أن وجود السياق الكامل قد حل حوالي 80% من عدم التأكد، وهو أمر منطقي.

ملخص ادعاءات الورقة

المشكلة: نماذج الذكاء الاصطناعي الحالية هي غالباً "مُعددات غير سليمة". عندما تفتقر إلى المعلومات، فإنها تقمع عدم التأكد لديها وتعطي إجابة واحدة واثقة ولكنها خاطئة غالباً.
الحل: يجب أن ننظر إلى مدى تباين إجابات الذكاء الاصطناعي (الاعتلاج/الإنتروبي) بدلاً من عدد المرات التي يكرر فيها نفس الإجابة (الثقة).
الدليل: عندما تمت إزالة السياق، انخفضت دقة الذكاء الاصطناعي، لكن "ثقته" ظلت مرتفعة (يكذب علينا). بينما ارتفع "الاعتلاج" لديه (تنوع الإجابات)، مما أشار بشكل صحيح إلى أنه تائه.
الخلاصة: إذا كنت تريد معرفة ما إذا كان الذكاء الاصطناعي يخمن لأنه يفتقر إلى المعلومات، فلا تسأل عن مدى ثقته في صوته. اسأل: "إذا سألتك 10 مرات، هل ستعطيني 10 إجابات مختلفة؟" إذا كانت الإجابة نعم، فهو يعرف أنه غير متأكد. أما إذا أعطاك نفس الإجابة الخاطعة 10 مرات، فهو مفرط في الثقة.

تخلص الورقة إلى أن الاعتلاج (Entropy) هو أداة "الصندوق الأسود" الأفضل بكثير لإخبارنا متى يكون الذكاء الاصطناعي يعمل دون رؤية واضحة، مقارنة بمقاييس "الثقة" القياسية التي نراها عادةً.

ملخص تقني: النماذج اللغوية الكبيرة كأدوات استكمال ضمني (Implicit Imputers)

بيان المشكلة

يتم نشر النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في سيناريوهات يكون فيها سياق المدخلات غير مكتمل، أو مبتورًا، أو متدهورًا (على سبيل المثال، الاسترجاع الجزئي في أنظمة RAG). ورغم العمل تحت وطأة عجز في المعلومات، فإن هذه النماذج تولد عادةً إجابات منفردة بيقين ظاهري عالٍ. وهذا يثير تساؤلاً جوهرياً: هل تعكس تقديرات عدم اليقين في النماذج اللغوية الكبيرة حجم المعلومات المفقودة بشكل مناسب؟

تركز التقييمات الحالية غالبًا على المعايرة الساكنة (مطابقة الثقة مع الدقة تحت مدخلات ثابتة). ومع ذلك، هناك نقص في الفهم حول ما إذا كانت تقديرات عدم اليقين تتغير ديناميكيًا مع انخفاض المعلومات المتاحة. تجادل الورقة بأن النظام التنبئي السليم يجب أن يُظهر عدم يقين يزداد مع زيادة نسبة المعلومات المفقودة، وهو مبدأ يستند إلى التعلم العميق البايزي ونظرية البيانات المفقودة.

المنهجية

الإطار النظري: الاستكمال المتعدد الضمني (Implicit Multiple Imputation)

يقوم المؤلفون بعملية تقييم عدم اليقين في النماذج اللغوية الكبيرة من خلال إجراء تشبيه مع الاستكمال المتعدد (Multiple Imputation - MI) [Rubin, 1987]. في عملية الاستكمال المتعدد، ينشأ عدم اليقين من المتغيرات غير المرصودة ويتم قياسه من خلال التباين عبر مجموعات بيانات متعددة مكتملة.

التشبيه: يُنظر إلى أخذ العينات المتكرر من نموذج لغوي كبير تحت سياق غير مكتمل على أنه توليد لـ "استكمالات ضمنية" للمعلومات المفقودة.
المعيار: يجب أن يُظهر المستكمل السليم (وبالتالي النموذج اللغوي السليم) عدم يقين يتناسب مع كمية المعلومات المفقودة. إذا تمت إزالة السياق، فيجب أن يزداد التباين (عدم اليقين) في الإجابات المولدة.

الإعداد التجريبي

مجموعة البيانات: SQuAD (فهم القراءة)، باستخدام مقاطع الإجابات القصيرة المستخرجة من فقرات السياق.
حالات الأدلة: إطار عمل محكوم حيث يتم تغيير توفر السياق عبر معامل $\alpha \in [0, 1]$ $α \in [0, 1]$ . يتم بناء السياق $C(\alpha)$ $C (α)$ عن طريق الاحتفاظ بأول $100 \cdot \alpha$ $100 \cdot α$ بالمائة من أحرف السياق الأصلية.
- $\alpha = 1$ : سياق كامل.
- $\alpha = 0$ : لا يوجد سياق.
أخذ العينات: استخدام gpt-4o-mini مع درجة حرارة $T=0.7$ ، حيث يتم توليد $m=10$ استجابات عشوائية لكل مدخل $(q, C)$ . لتقليل الارتباط، يتم الحصول على كل عينة عبر استدعاء منفصل لواجهة برمجة التطبيقات (API).
التطبيع (Normalization): يتم تطبيع الاستجابات للتعامل مع الاختلافات اللغوية الطفيفة (مثل حذف أدوات التعريف) ولكن ليس التعميم الدلالي.

مقاييس عدم اليقين

يتم تقدير مقييزين "الصندوق الأسود" من التوزيع التجريبي لـ $m$ من الإجابات التي تم أخذ عينات منها:

الثقة القائمة على العينات ( $c$ ): التكرار التجريبي للإجابة الأكثر شيوعًا ( $c = \max_k p_k$ ). هذا يقيس التركيز المنوالي (modal concentration).
إنتروبيا الاستجابة ( $H$ ): إنتروبيا شانون لتوزيع الإجابات المطبع (Shannon entropy) ( $H = -\sum p_k \log p_k$ ). هذا يقيس التشتت عبر الإجابات المتنافسة.
نسبة الحل (Resolution Ratio) $\rho_R(\alpha)$ : مقياس تشخيصي يقدر نسبة عدم اليقين الأساسي الذي تم حله بواسطة مستوى السياق $\alpha$ .
$\rho_R(\alpha) = \frac{[H_0 - H(\alpha)]_+}{H_0}$
حيث $H_0$ هي الإنتروبيا في حالة عدم وجود سياق. $\rho_R = 0$ يعني أن السياق لا يوفر أي تقليل لعدم اليقين؛ $\rho_R = 1$ يعني أن عدم اليقين قد تم حله بالكامل.

مؤشر اعتماد المعلومات (Information Dependence Index - IDI)

يُعرف بـ $\Delta = Acc_1 - Acc_0$ ، ويقيس هذا المؤشر مدى اعتماد الدقة التنبؤية على وجود السياق.

المساهمات الرئيسية

إطار التقييم: إطار عمل مبدئي لتقييم عدم اليقين في النماذج اللغوية الكبيرة تحت الملاحظة الجزئية، مستند إلى شرط وجوب زيادة عدم اليقين مع نقصان المعلومات.
تشبيه الاستكمال المتعدد: الربط الصريح بين أخذ العينات المتكرر من النماذج اللغوية الكبيرة وبين الاستكمال المتعدد، مما يبرر استخدام الإنتروبيا كبديل (proxy) للصندوق الأسود لعدم اليقين التنبئي الناتج عن المعلومات المفقودة.
أداة تشخيصية: تقديم نسبة الحل $\rho_R(\alpha)$ ، وهي وسيلة استدلالية تقيس كسر عدم اليقين الأساسي الذي تم حله بواسطة السياق، والتي يمكن تقديرها فقط من خلال أخذ عينات الصندوق الأسود.
التحقق التجريبي: تقديم أدلة كمية تثبت أن الإنتروبيا تتبع عدم اليقين الناتج عن المعلومات المفقودة بأمانة أكبر من الثقة، مع ميزة كبيرة في تفسير التباين (فجوة $R^2$ تربيعية تصل إلى 0.057).

النتالئج

تصنيف سلوك النموذج

كشف تحليل 400 سياق عن ثلاثة أنظمة متميزة تحت تأثير إزالة السياق:

المحفوظ (Memorized): دقة عالية مع وبدون سياق؛ إنتروبيا تقترب من الصفر ( $H_0 \approx 0$ ). يعتمد النموذج هنا على المعرفة البارامترية.
المتحيز (Biased): دقة عالية مع وجود السياق، ولكن دقة عالية أيضاً مع إجابات خاطئة عند غياب السياق؛ إنتروبيا تقترب من الصفر ( $H_0 \approx 0$ ). يكون النموذج حتمي الخطأ عندما يكون السياق مفقوداً.
غير المتيقن (Uncertain): دقة عالية مع وجود السياق، ولكن دقة منخفضة وإنتروبيا عالية عند غياب السياق. يعكس هذا النظام حالة عدم اليقين الحقيقي الناتج عن نقص المعلومات.

التوزيع: كان نظام "غير المتيقن" هو الأكبر (43.8%)، مما يشير إلى أن معظم الأسئلة تتطلب سياقاً وتسمح باستجابات متنوعة عند فقدانه.

أداء مقاييس عدم اليقين

الإنتروبيا مقابل الثقة: مع إزالة السياق ( $\alpha$ $α$ تنخفض)، تنخفض الدقة بشكل رتيب.
- الإنتروبيا ( $H$ ): تزداد بشكل رتيب مع إزالة السياح، وتتبع بدقة فقدان الدقة.
- الثقة ( $c$ ): تنخفض ببطء شديد وتظل مرتفعة حتى مع انهيار الدقة. في المجموعة الحساسة للسياق، انخفضت الدقة إلى 0.05 بينما ظلت الثقة عند 0.52.
القوة التنبؤية: أظهر تحليل الانحدار أن الإنتروبيا تفسر باستمرار تباين الدقة أكثر من الثقة عبر جميع مستويات الأدلة.
- عند $\alpha = 0.5$ (العينة الكاملة)، فسرت الإنتروبيا 24.3% من التباين مقابل 18.6% للثقة ( $\Delta R^2 = 0.057$ ).
- فسرت الإنتروبيا حوالي 31% من التباين أكثر من الثقة عند هذا المستوى.
المعايرة: أظهر مخطط المعايرة (الدقة مقابل الثقة) ثقة مفرطة كبيرة تزداد سوءاً مع إزالة السياق. وعلى العكس من ذلك، تصرفت الإنتروبيا باتساق مع معيار الاستكمال المتعدد.

نسبة الحل

أظهرت نسبة الحل $\rho_R(\alpha)$ أن السياق الكامل يحل حوالي 80% من عدم اليقين الأساسي في العينة الكاملة. وفي المجموعة الحساسة للسياق، تنبأت $\rho_R(\alpha)$ بالدقة بشكل رتيب، بينما أظهرت الثقة أنماطاً غير رتيبة مدفوعة بنظام "المتحيز".

الأهمية والادعاءات

تدعي الورقة أن إنتروبيا الاستجابة هي مقياس أكثر استجابة لعدم اليقين في الصندوق الأسود مقارنة بالثقة القائمة على العينات تحت ظروف السياق غير المكتمل.

التوافق النظري: تتصرف الإنتروبيا وفقاً للمتطلبات البايزية التي تقضي بوجوب تناسب عدم اليقين مع المعلومات المفقودة. أما الثقة فتفشل بشكل منهجي في تحقيق هذا المتطلب، حيث تظل مرتفعة غالباً حتى عندما يكون التوزيع الأساسي مشتتاً (وهي حالة يجب أن تشير فيها عملية الاستكمال السليمة إلى ارتفاع عدم اليقين).
الفائدة العملية: لا تتطلب المقاييس المقترحة (الإنتروبيا و $\rho_R$ ) الوصول إلى المكونات الداخلية للنموذج (الأوزان، أو الـ logits) أو مصنفات الاستلزام. وهي قابلة للتطبيق على أي نموذج لغوي كبير يمكن الوصول إليه عبر واجهة برمجة التطبيقات (API).
الآثار المترتبة على تصميم النماذج اللغوية: يقترح المؤلفون أن "الثقة المفرطة" الملحوظة في النظام "المتحيز" قد تنبع من عملية الـ softmax التي تركز الكتلة الاحتمالية على الاستجابة المنوالية. ويقترحون أن مطابقة المتوسط التنبئي (Predictive Mean Matching - PMM) —أي أخذ العينات من مجموعة مانحة ضمنية بدلاً من المرور عبر الـ softmax— قد تؤدي إلى عدم يقين أكثر معايرة، مما يجعل سلوك النماذج اللغوية متوافقاً مع نظرية الاستكمال السليمة.

تخلص الورقة إلى أن استيراد معايير الاستكمال المتعدد إلى سياق النماذج اللغوية الكبيرة يوفر معياراً مستنداً إلى النظرية لتقييم عدم اليقين، بشكل مستقل عن المهام أو النماذج المحددة، ويفتح قناة اتصال بين أدبيات البيانات المفقودة الإحصائية وأبحاث عدم اليقين في النماذج اللغوية الكبيرة.