Does Graph Attention Improve Weighted-Polling Classification on the Pima Indians Diabetes Dataset? A Nested Cross-Validation Comparison with Standard Models
تُظهر دراسة التحقق المتقاطع المتداخل على مجموعة بيانات مرض السكري لدى الهنود من قبيلة بيما أن مصنف GATv2 الموزون والمضبوط لا يتفوق على نماذج التعلم الآلي القياسية أو التصويت الموزون بالسمات الخام، مما يشير إلى أن انتباه الرسم البياني لا يقدم أي فائدة معنوية في الدقة لهذا النوع المحدد من البيانات السريرية الجدولية الصغيرة.
في عالم البيانات الطبية، غالبًا ما يبحث الأطباء والباحثون عن أنماط في الأرقام للتنبؤ بمن قد يصاب بمرض ما. أحد أشهر مجموعات هذه الأرقام هو سجل للقياسات الصحية لمئات النساء، استُخدم لعقود لاختبار مدى قدرة الحواسيب على رصد العلامات المبكرة لمرض السكري. لفترة طويلة، كانت الطريقة القياسية لاستخدام هذه الأرقام هي تغذيتها مباشرة في برنامج حاسوبي يبحث عن علاقات بسيطة. ولكن مؤخرًا، اكتسبت فكرة جديدة شعبية: وهي معاملة البيانات كخريطة. فبدلاً من مجرد النظر إلى الأرقام بمعزل عن بعضها البعض، يقوم هذا النهج بربط المرضى المتشابهين ببعضهم البعض، مما يشكل شبكة حيث يمكن للحاسوب أن يتعلم من جيران كل شخص. وتسمح هذه الطريقة، المعروفة باسم "انتباه الرسم البياني" (graph attention)، للنظام بتحديد أي الجيران هم الأكثر أهمية وأيهم الأقل صلة، تمامًا كما قد يستمع الشخص بتركيز أكبر إلى صديق يشاركه تاريخه المحدد بدلاً من الاستماع إلى غريب. والسؤال الذي طرحه الباحثون هو ما إذا كان هذا الأسلوب الأكثر تعقيدًا القائم على الخرائط سيساعد حقًا عندما تكون البيانات صغيرة، وغير منتظمة، وتأتي من عيادة واقعية.
وضع باحث يدعى فريد مورسيدي نصب عينيه الإجابة على هذا السؤال باستخدام مجموعة بيانات السكري الكلاسيكية، والتي تحتوي على سجلات لـ 768 امرأة وثمانية قياسات صحية مختلفة. ركزت الدراسة على نوع محدد من الأنظمة القائمة على الخرائط وهو "شبكة انتباه الرسم البياني"، والتي أظهرت سابقًا وعودًا في مجموعة بيانات أكبر بكثير تتعلق بأصناف النباتات الزراعية. وكان الهدف هو معرفة ما إذا كانت هذه الأداة المتطورة يمكن أن تحسن نظام تصويت بسيط يُستخدم لتصنيف المرضى. في نظام التصويت هذا، ينظر الحاسوب إلى جيران المريض في خريطة البيانات ويأخذ صوتًا بشأن ما إذا كان مصابًا بالسكري أم لا. وكانت المفاجأة في هذه الدراسة الجديدة هي صرامة الاختبار؛ ففي محاولات سابقة عديدة، سمح الباحثون عن غير قصد للحاسوب بإلقاء نظرة خاطفة على الإجابات التي كان من المفترض أن يتنبأ بها، مما جعل النتائج تبدو أفضل مما هي عليه في الواقع. ولإصلاح ذلك، صمم مورسيدي عملية اختبار صارمة حيث أُجبر الحاسوب على التعلم واتخاذ القرارات دون رؤية الإجابات النهائية مطلقًا حتى النهاية. وقد ضمن ذلك أن يكون أي تحسن حقيقيًا وليس مجرد نتاج لطريقة الاختبار.
كانت النتائج واضحة ومفاجئة. فعلى الرغم من التعقيد الإضافي والقدرة على تعلم أي الجيران يهم أكثر، لم يتفوق النظام القائم على الرسم البياني على الطرق الأبسط. فعندما استخدم الحاسوب نهج الخريطة الجديد، حدد حالة المرض بدقة تبلغ حوالي 75.2 في المائة من المرات. وعندما استخدم الطريقة القديمة والمباشرة المتمثلة في النظر إلى الأرقام الخام دون بناء خريطة، كان أداؤه جيدًا بنفس القدر، حيث أصاب بنسبة 75.4 في المائة. وكان الفرق بين الاثنين ضئيلاً جدًا بحيث يمكن أن يكون ناتجًا عن الصدفة. علاوة على ذلك، عندما تمت مقارنة النظام الجديد بخمسة برامج حاسوبية معيارية أخرى تُستخدم عادة في الطب، لم يفز بالمركز الأول. فقد حقق البرنامج المعياري الأكثر نجاحًا، وهو طريقة إحصائية معروفة تسمى "الانحدار اللوجستي"، دقة بلغت 76.7 في المائة، متفوقًا بذلك على نظام الرسم البياني الجديد. كما وجدت الدراسة أن النظام الجديد لم يكن أفضل في رصد المرض لدى الأشخاص المصابين به فعليًا؛ بل في الواقع، أخطأت جميع الطرق المختبرة في تحديد ما يقرب من ثلث إلى نصف حالات السكري، وهو قصور يشير إلى أن البيانات نفسها صعبة التفسير بدلاً من أن يكون العيب في طريقة الحاسوب.
كشف البحث أيضًا عن سبب كون التقارير الأكثر تفاؤلًا في السابق قد تكون مضللة. فعندما تم اختبار نفس النظام باستخدام الطريقة القديمة الأقل صرامة، حيث سُمح للحاسوب بالتعلم من الإجابات التي كان من المفترض أن يتنبأ بها، بدا وكأنه يصل إلى دقة تقارب 79 في المائة. وتوضح هذه الفجوة التي تبلغ نحو أربعة نقاط مئوية مدى سهولة المبالغة في الأداء عندما تكون قواعد الاختبار فضفاضة للغاية. ومن خلال تشديد القواعد، كشفت الدراسة أن الجهد الإضافي لبناء خريطة معقدة لعلاقات المرضى لم يقدم أي فائدة لهذه المجموعة الصغيرة من البيانات. وتشير النتائج إلى أنه بالنسبة للسجلات السريرية الصغيرة ذات البيانات المشوشة، فإن النهج البسيط المتمثل في النظر مباشرة إلى الأرقام لا يقل فعالية عن التقنيات المتطورة القائمة على الرسوم البيانية. ولم يفشل الأسلوب الجديد، لكنه لم ينجح حيث كان مأمولًا؛ إذ لم يقدم ببساطة ميزة على الأدوات المتاحة بالفعل. وتخلص الدراسة إلى أنه بينما قد تساعد طرق الرسم البياني المتقدمة هذه في أنواع أخرى من البيانات، إلا أنها لا تحسن حاليًا تشخيص السكري في هذه المجموعة المحددة من البيانات، ويجب على الباحثين توخي الحذر من الخلط بين إعداد اختبار ذكي وبين اختراق حقيقي.
ملخص تقني: هل يحسن انتباه الرسم البياني (Graph Attention) من تصنيف الاستطلاع الموزون على مجموعة بيانات "بيما إنديانز" لمرض السكري؟
بيان المشكلة تتناول هذه الدراسة التساؤل حول ما إذا كانت مشفرات شبكة الانتباه للرسوم البيانية (GATv2) تحسن من عملية تصنيف الاستطلاع الموزون (weighted-polling classification) على مجموعات البيانات السريرية الجدولية الصغيرة والهيكلية. وبينما أظهرت البنى القائمة على GATv2 إمكانات واعدة في بيانات مورفولوجيا المحاصيل الزراعية (تحديداً مجموعة بيانات الفاصوليا الجافة)، فمن غير المعروف ما إذا كانت قادرة على التعميم في المجالات السريرية التي تتميز بعدد عينات أقل، وعدم توازن الفئات، ومشكلات جودة البيانات مثل القيم المفقودة الممثلة بالأصفار. وتتمثل المشكلة المنهجية الحرجة التي حددتها الدراسة في "تسرب التقييم" (evaluation leakage) في مسارات الرسم البياني الانتقالية (transductive graph pipelines)؛ فإذا تم تدريب المشفر على تسميات العقد التي سيتم تقييمها لاحقاً، فإن الأداء يرتفع بشكل مصطنع. علاوة على ذلك، فإن اختيار المعلمات الفائقة (hyperparameters) باستخدام نفس الطيات (folds) المستخدمة في التقييم يؤدي إلى تفاؤل مفرط. تسعى هذه الورقة إلى تحديد ما إذا كان تعزيز GATv2 يقدم فائدة حقيقية في الأداء مقارنة بالاستطلاع الموزون للميزات الخام والمصنفات القياسية عند تقييمه بموجب بروتوكول التحقق المتقاطع المتداخل (nested cross-validation) الصارم والخالي من التسرب.
المنهجية تستخدم الأبحاث خط معالجة يتكون من مرحلتين: مشفر GATv2 يقوم بتوليد تضمينات علاقاتية من رسم بياني للجار الأقرب (k-NN)، يليه مصنف استطلاع موزون (متغيرات KNN/Naive Bayes) يقوم بتجميع الأصوات من أقرب الجيران في الفضاء الكامن.
مجموعة البيانات: مجموعة بيانات "بيما إنديانز" لمرض السكري (768 حالة، 8 ميزات، نتيجة ثنائية). تظهر البيانات عدم توازن في الفئات (65% سلبي، 35% إيجابي) ومشكلات معروفة في جودة البيانات حيث تُسجل القيم المفقودة في خمس ميزات كأصفار.
المعالجة المسبقة: تم استكمال القيم المفقودة (الأصفار) باستخدام الوسيط (median) الخاص بطية التدريب فقط. كما تم تطبيع الميزات عبر حساب الدرجة المعيارية (z-score).
بناء الرسم البياني: تم بناء رسم بياني k-NN باستخدام المسافة الإقليدية على ناقلات الميزات. وتم تقييم وزن الحواف (عكس المسافة) كمعلمة فائقة.
التحقق المتقاطع المتداخل (Nested Cross-Validation): لمنع التسرب والإفراط في التخصيص (overfitting)، تم استخدام بروتوكول تحقق متقاطع طبقي متداخل:
الحلقة الخارجية: تحقق متقاطع 10-طي (10-fold)، مكرر ثلاث مرات ببذور (seeds) مختلفة.
الحلقة الداخلية: تحقق متقاطع 5-طي يُستخدم حصرياً لضبط المعلمات الفائقة. شمل ذلك ضبط المشفر (حجم الرسم البياني، وزن الحواف، عرض الطبقة الخفية، رؤوس الانتباه، الإسقاط Dropout، معدل التعلم، اضمحلال الوزن، وعدد العصور/epochs)، وضبط تكوين الاستطلاع (عدد الجيران، مخطط التصويت).
المقارنات: تمت مقارنة مصنف GATv2 المضبوط ضد:
الاستطلاع الموزون للميزات الخام (بدون مشفر).
GATv2 مع المشفر الأصلي (غير المضبوط).
خمسة مصنفات قياسية: الانحدار اللوجستي (Logistic Regression)، وآلة ناقلات الدعم ذات النواة الشعاعية (RBF SVM)، والغابة العشوائية (Random Forest)، وتعزيز التدرج (Gradient Boosting)، وخوارزمية أقرب جار (k-NN).
المقاييس: الدقة (Accuracy)، وF1-macro، والحساسية (Sensitivity/Recall للفئة المصابة بالسكري)، والنوعية (Specificity)، والمساحة تحت منحنى خصائص التشغيل (AUROC). تم تقييم الأهمية الإحصائية باستخدام فترات ثقة بوتستراب (bootstrap confidence intervals) بنسبة 95% للفروق المزدوجة.
المساهمات الرئيسية
بروتوكول تقييم صارم: تنفذ الدراسة إطار عمل للتحقق المتقاطع المتداخل حيث يتم ضبط كل من المشفر، وهيكل الرسم البياني، وتكوين الاستطلاع بدقة داخل الحلقة الداخلية فقط، مما يلغي تسرب البيانات الشائع في تقييمات الرسوم البيانية الانتقالية.
مقارنة مباشرة داخل البنية الواحدة: تقدم مقارنة مزدوجة للاستطلاع الموزون المعزز بـ GATv2 مقابل الاستطلاع الموزون للميزات الخام على نفس الطيات، مما يعزل المساهمة المحددة لآلية انتباه الرسم البياني.
تكميم انحياز التقييم: توضح الورقة مقدار تضخم الأداء الناتج عن البروتوكول الأصلي (الذي قام بتقييم العقد المستخدمة لتدريب المشفر)، مما يظهر فجوة كبيرة بين التقديرات المتفائلة والواقعية.
قابلية إعادة الإنتاج المفتوحة: تم إصدار كود البروتوكول المتداخل، والتقييم الأصلي، وضوابط خلط التسميات (label-shuffle) للعموم.
النتائج
الأداء: حقق مصنف GATv2 المضبوط دقة بنسبة 75.22% وAUROC قدره 0.808.
المقارنة بالميزات الخام: لم يتفوق GATv2 المضبوط على الاستطلاع الموزون للميزات الخام (75.35% دقة). بلغت الفروق المزدوجة في الدقة -0.13 نقطة (95% CI: -2.13 إلى +1.87). وبينما لا يمكن استبعاد فائدة تصل إلى ~1.9 نقطة، إلا أن الفروق التي تزيد عن ~2 نقطة في كلا الاتجاهين قد تم استبعادها.
المقارنة بالمصنفات القياسية: كان أداء GATv2 المضبوط أقل من المصنفات القياسية. حقق الانحدار اللوجستي أعلى دقة (76.74%). وكان AUROC الخاص بـ GATv2 أقل بشكل ملحوظ (بمقدار 1.4 إلى 2.5 نقطة) من الانحدار اللوجستي، وSVM، والغابة العشوائية، وk-NN، حيث استبعدت فترات الثقة الصفر في هذه المقارنات.
الحساسية مقابل النوعية: أظهرت متغيرات GATV2 حساسية أعلى (58.58%–62.56%) ولكن نوعية أقل مقارنة ببعض المصنفات القياسية، مما يشير إلى تحول في نقطة التشغيل وليس تحسناً في القدرة على التمييز.
تأثير الضبط (Tuning): لم يؤدِ ضبط المشفر إلى تحسين الدقة مقارنة بتكوين المشفر الأصلي (الفرق كان -0.04 نقطة).
تحليل التسرب: حقق البروتوكول الأصلي، الذي قام بتقييم العقد المستخدمة لتدريب المشفر، دقة بنسبة 79.01%. وهذا أعلى بنحو 3.8 نقطة مئوية من تقدير التحقق المتقاطع المتداخل، مما يؤكد أن التقييم السابق بالغ في تقدير الأداء.
الأهمية والادعاءات تخلص الورقة إلى أن، في مجموعة بيانات "بيما إنديانز" لمرض السكري، إن ضبط مشفر GATv2 تحت التحقق المتقاطع المتداخل لا يجعل تصنيف الاستطلاع الموزون أكثر دقة من الاستطلاع الموزون للميزات الخام أو المصنفات القياسية.
ويصرح المؤلف صراحةً بأن هذه النتائج تقتصر على هذه المجموعة الوحيدة من البيانات، ولا تثبت أن انتباه الرسم البياني لا يمكن أن يساعد في بيانات سريرية أخرى. وتوضح الدراسة أنه بالنسبة للبيانات الجدولية الصغيرة والمشوشة ذات التداخل الكبير في الفئات، فإن رسم الـ k-NN البياني المستمد من الميزات الخام قد لا يحتوي على معلومات إضافية كافية لتبرير تعقيد مشفر انتباه الرسم البياني. وتكمثل الأهمية الأساسية لهذا العمل في إثبات ضرورة التحقق الصارم (التحقق المتقاطع المتداخل) لتجنب المبالغة في تقدير فائدة الطرق القائمة على الرسوم البيانية، حيث يمكن لـ "التفاؤل" الناتج عن التسرب أن يحجب غياب التحسن الحقيقي.