Censoring-Aware Rank Aggregation of Federated Top-k Explanation Prefixes: A Seed-Blocked Empirical Characterization against Weighted Borda Baselines
تقيم هذه الدراسة طريقة "بلاكيت-لوس" (Plackett–Luce) المدركة للرقابة مقابل خط أساس "بوردا" (Borda) الموزون لتجميع التفسيرات من نوع (top-k) في بيئة تعلم اتحادي على مجموعة بيانات "UCI Heart Disease"، حيث وجدت عدم وجود تحسن معنوي في اتفاق "كيندال" (Kendall agreement) ولاحظت أن طريقة "بوردا" تحقق باستمرار درجات أعلى في مقياس (NDCG@10) عبر كتل بذور متعددة.
في عالم الذكاء الاصطناعي المعاصر، تتخذ الآلات قرارات متزايدة تؤثر على حياة البشر، بدءاً من تشخيص الأمراض وصولاً إلى الموافقة على القروض. ولكي نثق في هذه الآلات، نحتاج إلى فهم الأسباب التي تدفعها لاتخاذ تلك القرارات. هذا المجال، المعروف باسم "الذكاء الاصطناعي القابل للتفسير"، يحاول ترجمة المنطق الداخلي المعقد للكمبيوتر إلى قائمة بسيطة لأهم العوامل الكامنة وراء القرار. تخيل طبيباً يحاول معرفة سبب مرض مريض ما؛ قد ينظر إلى عشرات الأعراض المختلفة، لكن قلة قليلة منها هي التي تكون حاسمة حقاً. وبالمثل، قد يأخذ نموذج الذكاء الاصطناعي في الاعتبار مئات من نقاط البيانات، لكن قراره يعتمد بشكل كبير على حفنة قليلة فقط منها.
ومع ذلك، في العديد من السيناريوهات الواقعية، تكون البيانات اللازمة لتدريب هذه الآلات مبعثرة عبر مستشفيات أو مؤسسات مختلفة لا يمكنها مشاركة سجلاتها الخاصة مع بعضها البعض. وهنا يأتي دور تقنية تسمى "التعلم الاتحادي" (Federated Learning). فبدلاً من جمع كل البيانات في مكان مركزي واحد، يحدث التعلم محلياً على كل جهاز، وتُرسل فقط الرؤى المستخلصة — مثل قائمة بالعوامل الأكثر أهمية — إلى خادم مركزي ليتم دمجها. وهذا يخلق لغزاً جديداً: إذا أرسل كل مستشفى فقط قائمة قصيرة تضم العوامل القليلة الأكثر أهمية، مع الحفاظ على خصوصية بقية المعلومات، فكيف يمكن للخادم المركزي إعادة بناء الصورة الكاملة لما هو مهم حقاً؟ التحدي يكمن في دمج هذه القوائم الجزئية وغير المكتملة في تصنيف واحد دقيق وموحد دون فقدان التفاصيل الدقيقة المخفية في الأجزاء التي تم استبعادها.
شرع أحد الباحثين في حل هذا اللغز تحديداً عبر اختبار طريقتين مختلفتين لدمج هذه القوما الجزئية. إحدى الطريقتين هي نهج مباشر ومعروف ببساطته، يقوم ببساطة بعدّ عدد المرات التي يظهر فيها كل عامل في المراكز الأولى عبر جميع القوائم. أما الطريقة الأخرى فهي أكثر تعقيداً؛ إذ تستخدم نموذجاً إحصائياً مصمماً لتخمين ترتيب العناصر المفقودة بناءً على الأنماط التي كُشف عنها. أراد الباحث معرفة ما إذا كان هذا النهج الأكثر تعقيداً واعتماداً على التخمين يمكن أن ينتج في الواقع تصنيفاً أفضل من طريقة العد البسيطة، خاصة عندما تكون القوائم المرسلة من المستشفيات المختلفة قصيرة وغير مكتملة.
ولإيجاد الإجابة، أنشأ الباحث بيئة محاكية باستخدام مجموعة بيانات طبية معروفة تتعلق بأمراض القلب. وقام بإعداد خمس مستشفيات افتراضية، لكل منها بيانات مختلفة قليلاً، وطلب منها تدريب نماذجها المحلية الخاصة. ثم قام كل مستشفى بتوليد قائمة بأهم الميزات للتنبؤ بأمراض القلب، لكنها شاركت فقط العناصر القليلة الأولى من تلك القائمة، مع حجب البقية. بعد ذلك، قام الباحث بتغذية هذه القوائم الجزئية بكل من طريقة العد البسيطة والنموذج الإحصائي المعقد ليرى أيهما سينتج تصنيفاً يطابق مرجع "المعيار الذهبي". وقد تم إنشاء هذا المرجع بواسطة نموذج مركزي اطلع على جميع البيانات دفعة واحدة، ليكون بمثابة المعيار لما يجب أن يكون عليه الجواب المثالي.
كانت النتائج في هذه المقارنة واضحة بشكل مفاجئ. فعلى الرغم من الميزة النظرية للنموذج الإحصائي المعقد في التعامل مع المعلومات المفقودة، إلا أنه لم يتفوق على طريقة العد البسيطة. وعندما قاس الباحث مدى قرب كل طريقة من المعيار الذهبي في تصنيفها النهائي، كان الفرق صغيراً جداً لدرجة أنه لا يمكن تمييزه إحصائياً عن الصفر. وفي الواقع، في مقيء محدد لمدى جودة ترتيب العناصر العشرة الأولى، كان أداء طريقة العد البسيطة أفضل قليلاً من النموذج المعقد. لم يفشل النموذج المعقد، لكنه لم ينجح أيضاً في تحسين النهج الأبسط. وتشير الدراسة إلى أن الجهد الإضافي والافتراضات المطلوبة من قبل النموذج الإحصائي المعقد لا تؤتي ثمارها في هذا السياق المحدد.
كما بحث الباحث في مقدار المعلومات التي فُقدت بالفعل عندما شاركت المستشفيات قوائم قصيرة. ووجد أنه عندما تمت مشاركة العناصر الثلاثة الأولى فقط، كان أقل من نصف العلاقات الممكنة بين العوامل المختلفة قابلاً للملاحظة. وحتى عند مشاركة العناصر العشرة الأولى، ظل جزء كبير من العلاقات مخفياً. وهذا النقص في المعلومات يساعد في تفسير سبب تعثر النموذج المعقد في اكتساب ميزة؛ فلم يكن لديه ببساطة ما يكفي من البيانات لتقديم تخمينات أفضل حول الأجزاء المخفية من القائمة. وتخلص الدراسة إلى أنه بالنسبة لهذا النوع من المشكلات، حيث يتم مشاركة البيانات في قوائم قصيرة وجزئية، فإن الطريقة المباشرة المتمثلة في العد والترجيح هي بنفس فعالية التخمين الإحصائي الأكثر تطوراً. فالنهج المعقد لا يقدم أي فائدة واضحة في الدقة، مما يشير إلى أنه في عالم التعلم الاتحادي العملي، قد تكون البساطة هي المسار الأكثر موثوقية للفهم.
ملخص تقني: تجميع الرتب الواعي بالرقابة لسابقة أهمية الميزات في التعلم الاتحادي (Top-k)
تعريف المشكلة في التعلم الاتحادي (Federated Learning) المطبق في مجال الرعاية الصحية، غالبًا ما يرغب العملاء في مشاركة تفسيرات أهمية الميزات (مثل قيم SHAP) دون الكشف عن البيانات الخام أو ناقلات العزو الكاملة. وللحفاظ على الخصوصية، قد يفصح العملاء فقط عن "سابقة" (prefix) مرتبة من أعلى k ميزة، مما يترك الميزات المتبقية (F−k) غير مرتبة ومعروفة فقط بأنها "أقل" من السابقة المفصح عنها. وهذا يخلق مشكلة "رتبة جزئية خاضعة للرقابة" (censored partial ranking). السؤال العلمي المركزي هو ما إذا كان نمذجة هذا "الذيل" غير المحلول صراحةً باستخدام إطار احتمالي (Plackett–Luce) يحسن استعادة الترتيب العالمي مقارنة بأساس موضعي قياسي (Weighted Borda)، أم أن التعقيد المضاف لا يقدم مكاسب تذكر نظرًا للمعلومات المحدودة في السوابق المفصح عنها.
المنهجية تقترح الدراسة، التي تسمى Fed-CENSOR، مقارنة تجريبية بين استراتيجيتي تجميع تعملان على نفس حمولات العملاء المفصح عنها:
نموذج بلاكت-لوس (PL) الخاضع للرقابة مع خوارزمية التصغير-التعظيم (MM):
النموذج: يعامل السابقة (top-k) المفصح عنها كترتيب جزئي تحت احتمالية بلاكت-لوس. تأخذ دالة الاحتمالية في الاعتبار أن الميزات غير المفصح عنها تظل في المقام عند حساب الاحتمالية في كل خطوة اختيار، ولكنها ليست مرتبة داخليًا.
التقدير: يستخدم خوارزمية التصغير-التعظيم (MM) لملاءمة معاملات القيمة (θ). تعتمد قاعدة التحديث على تكرار الفوز الموزون ومصطلحات التعرض.
الافتراضات: يفترض وجود ناقل قيمة مشترك غير سالب عبر العملاء بعد التوزين. لا يقوم بنمذجة الموثوقية الخاصة بكل عميل أو التحيز المنهجي. إذا لم يتم الإفصاح عن ميزة ما أبدًا، فسيتم تقدير قوتها عند الحد الأدنى (صفر فوز).
أساس بوردا الموزون (Weighted Borda Baseline):
النموذج: أساس حتمي غير معلمي (non-parametric).
الآلية: يحول السابقة المفصح عنها إلى درجات موضعية. يتم تعيين رتبة قطع مشتركة للميزات غير المفصح عنها (رتبة صفرية-بناءً على الرتبة k) قبل حساب الدرجات. يتم توزين درجات العملاء حسب حجم العينة وتجميعها.
الحساسية: تختبر الدراسة اتفاقيات درجات الذيل المختلفة (مثل استخدام آخر رتبة مفصح عنها، أو متوسط رتبة الذيل، أو الرتبة الدنيا) لتقييم تأثير هذا الربط التعسفي.
البروتوكول التجريبي
مجموعة البيانات: معيار UCI لمرض القلب (920 سجلًا و28 ميزة محولة) تم تقسيمها إلى عملاء محاكات باستخدام توزيع ديريكليه مقيد لضمان توازن الفئات.
النماذج: أربع عائلات من النماذج (الانحدار اللوجستي، الشبكات العصبية متعددة الطبقات MLP، الغابة العشوائية، وXGBoost) تم تدريبها عبر التجميع الاتحادي المتوسط (FedAvg) أو المجموعات الموزونة بحجم العينة.
توليد التفسير: يتم حساب قيم SHAP (عبر KernelSHAP، وLinearExplainer، وTreeExplifer) محليًا، ثم تحويلها إلى قيم مطلقة، وترتيبها.
التقييم: تتم مقارنة الترتيبات المجمعة مقابل ترتيب مرجعي مركزي (مشتق من نموذج مدرب على البيانات المجمعة، يعمل كمرجع ولكن ليس كحقيقة مطلقة).
المقاييس: المقياس الأساسي هو معامل كيندال (Kendall's τ) عند k=10. المقاييس الثانوية هي سبيرمان (Spearman's ρ)، وتداخل Top-k، وجاكارد (Jaccard)، وFootrule الموحد، وNDCG@10.
التصميم: تستخدم الدراسة تصميمًا قائمًا على كتل البذور (10 بذور مستقلة) مع استدلال مزدوج، حيث يتم حساب متوسط الفروق عبر عائلات النماذج الأربع ضمن كل بذرة.
النتائج الرئيسية
المقياس الأساسي (Kendall's τ عند k=10):
متوسط الفرق (Censored PL ناقص Weighted Borda) هو −0.0052.
الاستنتاج: لا يوجد دليل على أن طريقة (Censored PL) تحسن الاتفاق مع المرجع المركزي مقارنة بأساس (Weighted Borda). فضلت خمس كتل من البذور كل طريقة على الأخرى.
المقاييس الثانوية (NDCG@10):
مال مقياس NDCG@10 لصالح Weighted Borda في جميع كتل البذور العشر.
بعد تصحيح Holm عبر 11 اختبارًا ثانويًا، تظل النتيجة ذات دلالة إحصائية (padj=0.0215).
تنبيه: هذه نتيجة استكشافية لم تُسجل مسبقًا. يشير المؤلف إلى أن هذا يوحي بأن Borda قد يكون أفضل في استعادة الميزات العليا، لكنه لا يلغي النتيجة الأساسية.
حتى عند k=10، تم حل (ترتيب) 87.2% فقط من أزواج الميزات من خلال اتحاد إفصاحات العملاء. عند k=3، تنخفض التغطية إلى 45.9%.
إن نقص المعلومات في "الذيل" (وجود العديد من الميزات التي لم يتم الإفصاح عنها أبدًا) يحد من قدرة أي نموذج احتمالي على التمييز بينها، مما يفسر سبب عدم تفوق نموذج PL الأكثر تعقيدًا على أساس Borda الأبسط.
التقارب والاستقرار:
نجحت معظم عمليات ملاءمة MM ضمن 100 تكرار. أظهرت تحليلات الحساسية مع 1,000 تكرار استقرار متجه الرتب للحالات التي لم تتقارب.
تشير الدراسة إلى أنه بدون عمليات تدقيق للاتصال أو مقارنات شبه كاملة، فإن تقديرات الاحتمالية القصوى (MLE) النهائية ليست مضمونة لجميع مجموعات البيانات، رغم أن هذا لم يمنع المقارنة التجريبية.
الادعاءات والأهمية الورقة لا تدعي صراحةً أي ابتكار لنموذج Plackett–Luce، أو تقدير MM، أو تجميع Borda، أو احتمالية الترتيب الجزئي لـ top-k، حيث إن هذه طرق مستقرة في الأدبيات.
بدلاً من ذلك، تكمن المساهمة في التوصيف التجريبي لهذه الطرق المستقرة في السياق المحدد لمشاركة التفسيرات الاتحادية. تكمن أهمية الدراسة في:
إثبات التكافؤ: إظهار أنه في ظل ميزانيات الإفصاح الواقعية (k=3,10) وتغاير العملاء، لا يتفوق نموذج الرقابة الاحتمالي المعقد بشكل كبير على الأساس الموضعي البسيط.
تحديد حدود المعلومات: تسليط الضوء على أن "الذيل غير المحلول" غالبًا ما يحتوي على معلومات غير كافية للتمييز بين الميزات، مما يجعل النمذجة الاحتمالية لترتيب الذيل الداخلي غير فعالة لاستعادة الترتيب العالمي.
تحديد الحدود: النتائج مقيدة بالعملاء المحاكات وحمولات الترتجين المحتفظ بها. ينص المؤلف صراحةً على أن التفسيرات ذات الميزانية الأعلى، والأسس الأقوى، وإعادة الإنتاج الكاملة تظل مجالات عمل مستقبلية قائمة.
تخلص الورقة إلى أنه على الرغم من أن Fed-CENSOR يوفر إطارًا صارمًا إحصائيًا للترتيبات الجزئية، إلا أنه لا يبرر حاليًا التعقيد الحسابي والنمذجي الإضافي فوق Weighted Borda للمهمة المحددة المتمثلة في تجميع أهمية الميزات في البيئة الاتحادية.