📊 statistics

gcor: A Python Implementation of Categorical Gini Correlation and Its Inference

تقدم هذه الورقة البحثية **gcor**، وهي حزمة برمجية فعالة بلغة بايثون تطبق معامل ارتباط جيني الفئوي (CGC) لقياس التبعية بين المتغيرات العددية والفئوية، وتوفر خوارزميات محسنة للحوسبة، وبناء فترات الثقة، واختبار الاستقلال.

المؤلفون الأصليون: Sameera Hewage

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sameera Hewage

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق يحاول حل لغز: هل يؤثر شيئان مختلفان بالفعل على بعضهما البعض، أم أنهما مجرد صدفة لوجودهما في نفس الغرفة؟

في عالم البيانات، يكون أحد الأشياء عادةً عبارة عن رقم (مثل طول الشخص أو سعر السهم)، والآخر هو فئة (مثل مسمى الوظيفة أو لون القميص). لفترة طويلة، امتلك الإحصائيون بعض الأدوات للتحقق مما إذا كان هذان الشيئان مرتبطين، لكن تلك الأدوات كانت غالباً بطيئة، أو معقدة، أو تعطي إجابات مربكة عندما تكون البيانات غير منظمة.

تقدم هذه الورقة أداة جديدة فائقة الكفاءة تسمى gcor. فكر في gcor كأنه "كاشف علاقات" عالي التقنية وسريع كالبرق، مصمم خصيصاً للغة بايثون (وهي لغة شهيرة لعلماء البيانات).

إليك تفصيل ما تدور حوله هذه الورقة، باستخدام تشبيهات بسيطة:

1. المشكلة: "الجهد الشاق" للبيانات

تخيل أن لديك صندوقاً ضخماً من الألعاب المختلطة. بعضها أحمر، وبعضها أزرق، وبعضها أخضر (الفئات). داخل كل مجموعة لون، للألعاب أوزان مختلفة (الأرقام).

الطريقة القديمة: لمعرفة ما إذا كان اللون يؤثر على الوزن، كان عليك وزن كل لعبة مقابل كل لعبة أخرى، واحدة تلو الأخرى. إذا كان لديك 1000 لعبة، فهذا يعني ما يقرب من مليون مقارنة. كان الأمر بطيئاً، مثل محاولة عد حبات الرمل بملعقة صغيرة.
الطريقة الجديدة (gcor): بنى المؤلفون آلة يمكنها وزن كل تلك العلاقات دفعة واحدة، باستخدام اختصار ذكي. الأمر يشبه امتلاك حزام ناقل يقوم بفرز ووزن كل شيء في تمريرة واحدة.

2. ما هو "ارتباط جيني الفئوي" (Categorical Gini Correlation)؟

تصف الورقة صيغة رياضية محددة (ارتباط جيني الفئوي) تقيس هذه العلاقة.

التشبيه: تخيل أنك تقارن "متوسط المسافة" بين الأشخاص في حشد ما.
- إذا اخترت شخصين عشوائيين من الحشد بأكمله، فما مدى بعدهما عن بعضهما البعض؟
- إذا اخترت شخصين يرتديان نفس لون القميص، فما مدى بعدهما عن بعضهما البعض؟
- إذا كان الأشخاص الذين يرتدون نفس القميص أقرب إلى بعضهم البعض بكثير من الأشخاص العشوائيين في الحشد، فهذا يعني أن لون القميض هو مؤشر قوي لمن يقف أين. هذا ارتباط قوي.
قاعدة "الصفر": تسلط الورقة الضوء على ميزة خاصة: إذا قالت هذه الأداة إن الاتصال صفر، فهذا يعني أن الشيئين غير مرتبطين تماماً. إنها إشارة "عدم وجود اتصال" صارمة وموثوقة للغاية.

3. القوى الثلاث الخارقة للأداة

تقدم الورقة ثلاث وظائف رئيسية في حزمة بايثون هذه، والتي تعمل مثل ثلاث أدوات في سكين سويسري:

الحاسبة (gcor): هي ببساطة تخبرك مدى قوة العلاقة. وهي تعطيك درجة بين 0 و1.
- 0 = لا توجد علاقة (مثل لون جواربك وسعر الشاي).
- 1 = علاقة مثالية (مثل لون جواربك ولون جواربك).
باني الثقة (gcorCI): هذه الأداة لا تعطيك مجرد رقم؛ بل تعطيك شبكة أمان. فهي تقول: "نحن متأكدون بنسبة 95% أن الاتصال الحقيقي يقع بين هذا الرقم وذلك الرقم". إنها مثل توقعات الطقس التي تقول: "ستمطر، ونحن متأكدون من أنها ستتراوح بين 1 و2 بوصة".
مختبر الحقيقة (independence_test): هذا هو القاضي. يسأل: "هل هذا الاتصال حقيقي، أم أننا حالفنا الحظ فقط مع بياناتنا؟" وهو يستخدم طريقة تسمى "التبديل" (shuffling) (أي خلط البيانات حول بعضها مثل ورق اللعب) ليرى ما إذا كان النمط سيصمد. إذا اختفى النمط عند خلط البيانات، فقد كان الاتصال زائفاً.

4. لماذا تعد هذه الأداة أفضل من الأدوات القديمة؟

قارن المؤلفون أداة بايثون الجديدة هذه بأداة موجودة في لغة R (وهي لغة بيانات أخرى).

السرعة: الأداة الجديدة تشبه السيارة الرياضية مقارنة بالدراجة الهوائية. في اختباراتهم، كانت أسرع بما يصل إلى 7 مرات لمجموعات البيانات الصغيرة، ولا تزال أسرع بشكل ملحوظ للمجموعات الضخمة.
التعامل مع البيانات غير المنظمة: إنها تتعامل جيداً مع البيانات "غير المتوازنة". تخيل لو كان لديك 100 شخص في المجموعة "الزرقاء" ولكن شخصان فقط في المجموعة "الحمراء". الأدوات القديمة غالباً ما ترتبك أمام هذا؛ أما الأداة الجديدة فتظل هادئة ودقيقة.
المتانة: تمتلك "درعاً" ضد القيم المتطرفة. إذا كان هناك شخص واحد في بياناتك عملاق (قيمة متطرفة)، فإن الأداة لا تسمح لتلك النقطة الواحدة الغريبة بإفساد الحساب بأكمله.

5. عرض تجريبي من الواقع

لإثبات نجاحها، اختبر المؤلفون الأداة على مجموعة بيانات Iris الشهيرة للأزهار.

سألوا: "هل طول بتلة الزهرة يخبرنا بنوع الزهرة؟"
قالت الأداة: "نعم، هناك اتصال قوي (حوالي 0.40)."
كما اختبروا بيانات وهمية حيث كانت المجموعات عشوائية تماماً. فقالت الأداة بشكل صحيح: "لا يوجد اتصال هنا."

6. الخلاصة

هذه الورقة ليست مجرد رياضيات؛ إنها تتعلق بـ سهولة الوصول.

الأداة مكتوبة بلغة بايثون، وهي اللغة الأكثر شعبية في علوم البيانات الحديثة.
إنها مفتوحة المصدر، مما يعني أن أي شخص يمكنه تحميلها، واستخدامها، وحتى المساهمة في تحسينها.
إنها سريعة، مما يسم يسمح للباحثين بتحليل مجموعات البيانات الضخمة دون انتظار ساعات للحصول على النتائج.

باختاً، بنى المؤلفون محركاً سريعاً، موثوقاً، وسهل الاستخدام يساعد أي شخص في معرفة ما إذا كان الرقم والفئة صديقين مقربين سراً أم غرباء تماماً.

ملخص تقني: gcor – تنفيذ بلغة بايثون لارتباط جيني الفئوي (Categorical Gini Correlation)

بيان المشكلة
تتناول الورقة البحثية الحاجة إلى أداة حوسبية قوية وفعالة لقياس الاعتماد بين متجه عشوائي مستمر ومتغير فئوي. وبينما تم اقتراح ارتباط جيني الفئوي (CGC)، المعروف أيضًا باسم ارتباط مسافة جيني (Gini distance correlation)، من قبل دانغ وآخرون [6]، وأُثبت امتلاكه لخصائص متفوقة على مقاييس الاعتماد الحالية (مثل الارتباط الصفري الذي يعني الاستقلال، والمتانة تجاه البيانات غير المتوازنة)، إلا أن تنفيذًا مخصصًا بلغة بايثون كان يفتقر إليه. كانت الأدوات الموجودة تقتصر على حزمة R المسماة GiniDistance [7]. ونظرًا لهيمنة بايثون على تحليل البيانات والحوسبة الإحصائية، حدد المؤلفون فجوة في إمكانية الوصول للباحثين والممارسين الذين يتطلب عملهم تقنية CGC لمهام مثل فحص الميزات واختبار الاستقلال.

المنهجية
تقدم الورقة البحثية حزمة gcor التي تنفذ ثلاثة إجراءات إحصائية أساسية بناءً على الإطار النظري الذي وضعه دانغ وآخرون [6]:

تقدير CGC (gcor): تقوم الحزمة بحساب المقدر غير المتحيز لـ CGC باستخدام إحصاءات U (U-statistics). وهي تقوم بتفكيك العينة إلى $K$ من الفئات وتحسب نسبة التباين بين المجموعات إلى التباين الإجمالي. يدعم التنفيذ نسخة معممة من الارتباط باستخدام المعلمة $\alpha \in (0, 2)$ ، مما يسمح للمستخدمين بتعديل مقياس المسافة. وبينما يُوصى باستخدام $\alpha=1$ (المسافة الإقليدية) للحالات القياسية، فإن القيم الأصغر مدعومة لزيادة المتانة ضد القيم المتطرفة.
بناء فترات الثقة (gcorCI): لبناء فترات الثقة، يستخدم المؤلفون التوزيع الطبيعي التقاربي لمقدر CGC. وبما أن التباين التقاربي ( $\sigma^2_g$ ) معقد تحليليًا، تستخدم الحزمة طريقة "جاكنايف" (jackknife) لتقدير التباين. ويتضمن ذلك حساب القيم الزائفة عن طريق استبعاد ملاحظة واحدة في كل مرة.
اختبار الاستقلال (independence_test): تقوم الحزمة بإجراء اختبار الفرضيات ( $H_0: \rho_g = 0$ مقابل $H_1: \rho_g > 0$ ). ونظرًا لتعقيد توزيع إحصائية الاختبار تحت الفرضية الصفرية، قام المؤلفون بتنفيذ إجراء التبديل (permutation procedure) لتقدير القيم الحرجة والقيم الاحتمالية (p-values).

التحسين الحوسبي
يركز جزء كبير من المنهجية على كفاءة الخوارزميات:

المتجهات (Vectorization): يعتمد التنفيذ على مكتبة NumPy للحسابات المتجهة.
التوازي (Parallelization): تم تنفيذ اختبارات التبديل وتقديرات تباين جاكنايف بشكل متوازٍ للاستفادة من تعدد نوى المعالج (CPU cores).
تحسين مصفوفة المسافة: بالنسبة لاختبارات التبديل، يتم حساب مصفوفة المسافة الزوجية مرة واحدة فقط، حيث أن عمليات التبديل تقوم فقط بخلط التسميات (labels) وليس نقاط البيانات الأساسية.
التحسين أحادي المتغير: بالنسبة للحالة أحادية المتغير ( $d=1$ ) مع $\alpha=1$ ، يستخدم الكود خوارزمية تعتمد على إحصاءات الترتيب (order statistics) ذات التعقيد $O(n \log n)$ ، متجنبًا بناء مصفوفة المسافة الزوجية الكاملة ذات التعقيد $O(n^2)$ .

المساهمات الرئيسية

أول تنفيذ بلغة بايثون: توفر الورقة أول تنفيذ بلغة بايثون لـ CGC وإجراءات الاستدلال المرتبطة به، مما يسد فجوة في المنظومة الإحصائية مفتوحة المصدر.
تحسينات الكفاءة: تم تحسين الحزمة من حيث السرعة من خلال المتجهات والتوازي، مما يجعلها مناسبة لمجموعات البيانات الكبيرة والبيانات عالية الأبعاد.
أدوات شاملة: توفر إطارًا موحدًا لحساب الارتباط، وبناء فترات الثقة، وإجراء اختبارات الاستقلال، وكل ذلك مع دعم لمقاييس المسافة المعممة.
قابلية إعادة الإنتاج: جميع الأكواد متاحة للجمهور على GitHub.

النتائج
قام المؤلفون بمقارنة أداء تنفيذ بايثون gcor مقابل حزمة R GiniDistance عبر مختلف أحجام العينات ( $n \in \{100, \dots, 3000\}$ ) والأبعاد ( $d \in \{1, \dots, 20\}$ ).

الأداء أحادي المتغير ( $d=1$ ): أظهر تنفيذ بايثون تسارعًا ملحوظًا في السرعة، تراوح ما بين 6.3× إلى 7.4× أسرع من R. ويُعزى ذلك إلى خوارزمية $O(n \log n)$ الفعالة.
الأداء متعدد المتغيرات ( $d \ge 2$ ): حتى عندما اعتمد كلا التنفيذين على حساب المسافة الزوجية العام $O(n^2)$ ، ظلت بايثون أسرع، حيث تراوحت نسب التسريع بين 1.3× و 4.8×. واتسعت فجوة الأداء مع زيادة الأبعاد، مما يشير إلى قدرة أفضل على التوسع في بايثون.
الحساسية لعدد الفئات: وُجد أن وقت التشغيل مستقر نسبيًا بغض النظر عن عدد الفئات ( $K$ )، مما يؤكد أن التكلفة الحوسبية تهيمن عليها حسابات المسافة الزوجية بدلاً من تجميع الفئات.
أمثلة توضيحية: تم عرض الحزمة باستخدام مجموعة بيانات IRIS لحساب الارتباط، وتقدير فترات الثقة، واختبار الاستقلال على بيانات محاكاة، مما أكد صحة الوظائف.

الأهمية والادعاءات
تضع الورقة البحثية حزمة gcor كأداة عملية لجعل تحليل الاعتماد المتقدم أكثر سهولة في الوصول إليه. ويدعي المؤلفون أن التنفيذ يدعم التبني المتزايد لـ CGC في مجالات مثل المعلوماتية الحيوية، والعلوم الاجتماعية، والتعلم الآلي التطبيقي، لا سيما لاختيار الميزات في مهام التصنيف. ومن خلال تحسين الكفاءة الحوسبية عبر المتجهات والتوازي، تمكن الحزمة من تطبيق CGC في السيناريوهات التي تتضمن بيانات كبيرة أو عالية الأبعاد حيث قد تكون الأدوات السابقة بطيئة جدًا. يحافظ المؤلفون على نبرة متواضعة، مشيرين إلى أن العمل يهدف إلى "جعل هذه الأدوات أكثر سهولة في الوصول إليها" ودعم مهام مثل اختيار الميزات، مع الاعتراف بأن العمل المستقبلي سيركز على توسيع الوظائف والتوثيق. لا تدعي الورقة تقديم نظرية إحصائية جديدة، بل تهدف إلى توفير تحقيق فعال ومفتوح المصدر للنظرية القائمة.