📊 statistics

Finite-Sample Bias Correction for Plug-in Estimators of Extropy, Rényi Extropy, and Tsallis Extropy

تستنتج هذه الورقة صيغاً صريحة لانحياز العينة المحدودة من الدرجة الأولى لمقدرات الإقحام (plug-in estimators) لإنتروبيا شانون، وإنتروبيا ريني، وإنتروبيا تساليس، وتقترح نسخاً مصححة الانحياز تُظهر أداءً فائقاً في العينات المحدودة مع بقائها مكافئة تقاربياً للمقدرات غير المصححة.

المؤلفون الأصليون: Amadou Diadie Ba

نُشر 2026-08-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Amadou Diadie Ba

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم المعلومات والاحتمالات، اعتمد العلماء لفترة طويلة على مفهوم يسمى "الإنتروبيا" (Entropy) لقياس مقدار عدم اليقين الموجود في نظام ما. فكر في الأمر كأداة لقياس مدى عدم القدرة على التنبؤ بمجموعة من الأحداث؛ فإذا كنت تقلب عملة معدنية تهبط دائمًا على الوجه "صورة"، فلا يوجد عدم يقين، ولكن إذا كانت تهبط بشكل عشوائي، فإن عدم اليقين يكون مرتفعًا. لعقود من الزمن، ظل هذا المقياس لعدم القدرة على التنبؤ هو الأداة القياسية لمجالات تتراوح من التشفير إلى علم الأحياء. ومع ذلك، هناك طريقة تكميلية للنظر في عدم اليقين لا تركز على ما يحدث، بل على ما لا يحدث. هذا المقياس البديل، المعروف باسم "الإكستروپي" (Extropy)، يحدد كمية عدم اليقين المرتبطة بعدم وقوع الأحداث. وبينما تنظر الإنتروبيا إلى احتمالية وقوع حدث ما، ينظر الإكستروپي إلى احتمالية فشل وقوعه. هذا التمييز يجعل الإكستروپي حساسًا بشكل خاص للأحداث النادرة وأطراف التوزيع، مما يوفر عدسة أكثر حدة لتحليل المخاطر، أو الانهيارات المالية، أو تعطل الآلات. وبسبب هذه الحساسية، بدأ الباحثون في مجالات التمويل، وهندسة الموثوقية، وتعلم الآلة في استخدام الإكستروپي لفهم النتائج الكارثية النادرة بشكل أفضل.

وعلى الرغم من فائدة الإكستروپي، فإن قياسه من بيانات العالم الحقيقي أمر صعب. فعندما يحاول الباحثون تقدير الإكستروپي من مجموعة محدودة من الملاحظات — مثل عينة من مائة سعر أسهم أو مائة سجل طبي — فإن الطريقة القياسية التي يستخدمونها، والمعروفة باسم "المقدر بالتعويض" (Plug-in estimator)، تميل إلى أن تكون غير دقيقة تمامًا. هذا ليس خطأً عشوائيًا يتلاشى بالمتوسط بشكل مثالي؛ بل هو انحياز منهجي يدفع التقدير باستمرار في اتجاه واحد. تخيل أنك تحاول وزن جسم ثقيل على ميزان لم يتم ضبط صِفره بشكل صحيح؛ فكل قياس تأخذه سيكون أخف قليلاً من الواقع، بغض النظر عن عدد المرات التي تكرر فيها التجربة. وفي حالة الإكستروپي، يمكن أن يكون هذا الانحياز كبيرًا عندما يكون حجم العينة متوسطًا، مما يؤدي إلى استنتاجات غير دقيقة حول المستوى الحقيقي لعدم اليقين في نظام ما. وتصبح المشكلة أكثر وضوحًا عندما تتضمن البيانات أحداثًا نادرة أو عندما يتم ضبط المعلمات الرياضية المستخدمة لضبط القياس على قيم محددة.

تتناول دراسة حديثة أجراها أمادو ديادي با في جامعة غاستون بيرجر في السنغال هذه المشكلة المحددة من خلال تطوير طريقة لتصحيح هذه الأخطاء المنهجية. ركز الباحث على ثلاثة أنواع رئيسية من الإكستروپي: نسخة شانون القياسية، ونوعين من التعميمات المعروفة باسم إكستروپي ريني (Rényi) وإكستروپي تساليس (Tsallis). تسمح هذه الاختلافات للعلماء بتعديل الوزن المعطى للأحداث النادرة مقابل الأحداث الشائعة. بدأت الدراسة بتحليل السلوك الرياضي للحسابات الوسيطة المستخدمة لإيجاء هذه القيم. ومن خلال النظر بدقة في كيفية تغير التقديرات مع نمو حجم العينة، استنتج المؤلف صيغًا دقيقة تصف بالضبط مقدار الخطأ في التقديرات القياسية. وقد وُجد أن الخطأ ليس عشوائيًا بل يتبع نمطًا يمكن التنبؤ به يتقلص مع زيادة حجم العينة، وتحديدًا بمعدل مرتبط بقلب حجم العينة.

باستخدام هذه الصيغ، صاغ الباحث مقدرات جديدة مصححة. تأخذ هذه الأدوات الجديدة الجديدة الحساب القياسي وتضيف إليه حدًا تعديليًا صغيرًا يلغي الخطأ المنهجي. أظهرت الدراسة أنه بالنسبة لأحجام العينات المتوسطة، فإن هذه النسخ المصححة أكثر دقة بك برمًا من النسخ التقليدية. وفي سلسلة من المحاكاة الحاسوبية، أنشأ الباحث آلاف مجموعات البيانات الاصطناعية لاختبار أداء كل من الطرق القد والجديدة. وأظهرت النتائج أنه بينما كانت التقديرات غير المصححة تقلل باستمرار من القيمة الحقيقية، فإن التقديرات المصححة كانت أقرب بكثير إلى الحقيقة، مما أدى فعليًا إلى إزالة الانحياز. وكان هذا التحسن أكثر وضوحًا عندما تضمنت البيانات أحداثًا نادرة أو عندما تم ضبط المعلمات الرياضية على قيم تؤكد على تلك الأحداث النادرة.

والأهم من ذلك، أثبتت الدراسة أنه مع زيادة حجم العينة بشكل كبير، يختفي الفرق بين النسختين المصححة وغير المصححة. إذ تتقارب الطريقتان لتصلا إلى نفس النتيجة، مما يعني أنه بالنسبة لمجموعات البيانات الضخمة، فإن الطريقة البسيطة غير المصححة جيدة تمامًا للاستخدام. توفر هذه النتيجة إرشادات واضحة للممارسين: إذا كنت تعمل مع كمية كبيرة من البيانات، فإن الطريقة البسيطة كافية وفعالة. ومع ذلك، إذا كنت تعمل مع كمية متوسطة من البيانات، وهو أمر شائع في العديد من تطبيقات العالم الحقيقي مثل تحليل المخاطر المالية أو الدراسات الطبية، فإن الطريقة المصححة هي الأفضل بكثير. ويؤكد البحث أنه بينما تعتبر الأدوات البسيطة سليمة رياضيًا على المدى الطويل، إلا أنها تتطلب تعديلًا حسابيًا صغيرًا لتكون موثوقة في المدى القصير. يضمن هذا العمل أنه عندما يستخدم العلماء الإكستروپي لقياس عدم اليقين في الأحداث النادرة والحاسمة، فإن قياساتهم ستكون دقيقة قدر الإمكان، مما يمنع التقليل المنهجي من المخاطر الذي قد يؤدي بخلاف ذلك إلى قرارات سيئة.

ملخص تقني: تصحيح تحيز العينة المحدودة لمقدرات "الاستقراء" (Plug-in) لمقاييس الـ "إكستروپي" (Extropy)

بيان المشكلة
تتناول هذه الورقة مشكلة التحيز في العينات المحدودة المتأصلة في مقدرات الاستقراء (plug-in estimators) لمقاييس "إكستروپي" شانون (Shannon)، وريني (Rényi)، وتساليس (Tsallis) عند تطبيقها على متغيرات عشوائية منفصلة ذات دعم محدود. وبينما يعمل "الإكستروپي" كمقياس مكمل للإنتروبيا (entropy)—حيث يقيس عدم اليقين المرتبط بعدم حدوث الأحداث ويظهر حساسية تجاه أطراف التوزيع—فمن المعروف أن مقدرات الاستقراء القياسية لهذه المقاييس تكون متحيزة في العينات المحدودة. يمكن لهذا التحيز أن يؤدي إلى تدهور كبير في دقة التقدير، لا سيما عندما يكون حجم العينة $n$ متوسطاً، أو حجم الدعم $r$ متوسطاً، أو عندما يبتعد المعامل $\alpha$ (في إكستروپي ريني وتساليس) عن القيمة 1. تعاني الطرق الحالية لتخفيف هذا التحيز، مثل الأساليب القائمة على النواة (kernel-based)، والتقنيات البايزية (Bayesian)، وإعادة أخذ العينات بطريقة البوتستراب (bootstrap)، من كثافة حوسبية، أو حساسية لمعاملات الضبط، أو صعوبة في التطبيق على البيانات المنفصلة.

المنهجية
يتبنى المؤلف نهجاً تحليلياً لتصحيح التحيز. وتتضمن المنههجية الجوهرية ما يلي:

التحليل الوظيفي الوسيط: تركز الدراسة على الدالة الوسيطة $S_\alpha(p) = \sum_{i=1}^r (1-p_i)^\alpha$ ، والتي تعد مركزية في تعريف إكستروپي ريني وتساليس.
توسيع تايلور (Taylor Expansion): من خلال تطبيق توسيع تايلور من الدرجة الثانية على الدالة $\phi(t) = (1-t)^\alpha$ حول الاحتمالات الحقيقية $p_i$ ، يستنتج المؤلف صيغة تحيز صريحة من الدرجة الأولى للمقدر التجريبي $\hat{S}_\alpha$ .
انتشار التحيز: باستخدام التحيز المستنتج لـ $\hat{S}_\alpha$ ، يستنتج المؤلف تحليلياً التحيز من الدرجة الأولى ( $O(1/n)$ ) لمقدرات الاستقراء لشانون، وريني، وتساليس.
بناء التصحيح: يتم بناء مقدرات محددة مصححة للتحيز عن طريق طرح حد التحيز المقدر من مقدرات الاستقراء الأصلية.
التحليل التقاربي (Asymptotic Analysis): تثبت الورقة أن الفرق بين المقدرات غير المصححة والمصححة هو من رتبة $O(1/n)$ ، مما يثبت تكافؤهما التقاربي.

المساهمات الرئيسية
تقدم الورقة المساهمات النظرية والعملية المحددة التالية:

صيغ تحيز صريحة: اشتقاق تعبيرات تحيز مغلقة الصياغة من الدرجة الأولى ( $O(1/n)$ $O (1/ n)$ ) لكل من:
- إكستروپي شانون: وُجد أن التحيز هو $-1/(2n)$ ، وهو مستقل عن توزيع الاحتمالات المحدد $p$ .
- إكستروپي تساليس: يعتمد التحيز على $\alpha$ والاحتمالات، وتحديداً $-\frac{\alpha}{2n} \sum p_i(1-p_i)^{\alpha-1}$ .
- إكستروپي ريني: حد تحيز معقد يتضمن العزوم الأولى والثانية للاحتمالات المحولة والدالة $S_\alpha$ .
المقدرات المصححة للتحيز: اقتراح مقدرات محددة تدمج حدود التحيز هذه لتحسين دقة العينة المحدودة.
টি
إثبات التكافؤ التقاربي: تقديم برهان صارم على أن المقدرات المصححة وغير المصححة تختلف فقط بمقدار حدود من رتبة $O(1/n)$ ، مما يعني أنها تشترك في نفس الخصائص التقاربية (التقارب والتقارب الطبيعي التقاربي).
التحقق عبر المحاكاة: تؤكد دراسة محاكاة شاملة ( $M=1000$ تكرار) عبر أحجام عينات مختلفة ( $n=10$ إلى $2000 $) ومعاملات ($ \alpha=0.5, 3$) صحة صيغ التحيز النظرية وتؤكد أن المقدرات المصححة تتفوق بشكل كبير على غير المصححة في أحجام العينات المتوسطة.

النتائج

أداء العينة المحدودة: تؤكد نتائج المحاكاة أن مقدرات الاستقراء غير المصححة تقلل بشكل منهجي من قيم الإكستروپي الحقيقية (تحيز سلبي) للقيم المحدودة لـ $n$ . وتعمل المقدرات المصححة للتحيز على إزالة حد التحيز الرئيسي هذا بفعالية، مما يؤدي إلى تحيز ضئيل حتى في أحجام العينات الصغيرة إلى المتوسطة.
السلوك التقاربي: عندما تؤول $n \to \infty$ ، يتلاشى تحيز المقدرات غير المصححة بمعدل $1/n$ ، وتضمحل الانحرافات المعيارية لكل من المقدرات المصححة وغير المصححة بمعدل $1/\sqrt{n}$ . وبناءً على ذلك، فإن جذر متوسط مربع الخطأ (RMSE) وحد المقدرات متطابقان لكلا النسختين في النظام التقاربي.
حساسية المعامل: يُظهر أن مقدار تحيز العينة المحدودة يعتمد على $\alpha$ . فالمقدرات ذات $\alpha = 0.5$ (التي تركز على الأحداث النادرة) تظهر تحيزات أكبر من تلك ذات $\alpha = 3$ (التي تركز على الأحداث المهيمنة)، ومع ذلك يظل التصحيح فعالاً في كلتا الحالتين.

الأهمية والادعاءات
تزعم الورقة أن أهميتها الأساسية تكمكمن في توفير تبرير نظري لاستخدام مقدرات الاستقراء الأبسط وغير المصححة في الإعدادات التقاربية (مثل تلك التي تتضمن التقارب شبه المؤكد والتقارب الطبيعي التقاربي)، كما هو موضح في الورقة المصاحبة [1]. ويجادل المؤلف بأنه نظرًا لأن النسختين المصححة وغير المصححة متكافئتان تقاربيًا، فإن المقدرات غير المصححة الأبسط كافية للتحليل النظري في العينات الكبيرة.

ومع ذلك، بالنسبة للتطبيقات العملية التي تتضمن أحجام عينات متوسطة، تدعو الورقة إلى استخدام مقدرات الاستقراء المقترحة والمصححة للتحيز لضمان دقة أعلى. وتؤكد الدراسة أن النهج التحليلي يوفر بديلاً أكثر كفاءة من الناحية الحوسبية، وأكثر قابلية للتفسير، وخالٍ من المعاملات مقارنة بتقنيات تقليل التحيز الأكثر تعقيداً مثل البوتستراب أو الطرق البايزية. وتختتم العمل بالإشارة إلى أن الاتجاهات البحثية المستقبلية تشمل توسيع هذه النتائج لتشمل أبجديات (alphabets) لانهائية قابلة للعد وتطوير مقدرات تباين قائمة على البوتستراب.

أبحاث مشابهة