Data Auditing and Quality Assurance in a Federated Learning Consortium; Getting the Best of Both Worlds from Cross-Institutional and In-House Data Quality Inspection
تُثبت هذه الورقة أن الجمع بين لوحات تحكم التعلم الداخلي والتعلم الاتحادي يخلق نموذجاً مثالياً لضمان جودة البيانات في الأبحاث العابرة للمؤسسات، مما يوازن بفعالية بين دقة التحقق المحلي وبين الكشف عن الأنماط على نطاق المنظومة المتكاملة من خلال الإشراف التعاوني.
المؤلفون الأصليون:Hogenboom, J., Perez, N., Filori, Q., Sans, A., Lobo Gomes, A., Dekker, A., van der Graaf, W., Husson, O., Crochet, H., Wee, L., Gouthamchand, V.
المؤلفون الأصليون: Hogenboom, J., Perez, N., Filori, Q., Sans, A., Lobo Gomes, A., Dekker, A., van der Graaf, W., Husson, O., Crochet, H., Wee, L., Gouthamchand, V.
في عالم الأبحاث الطبية، تتعلق بعض أهم الأسئلة بالأمراض النادرة. ولأن هذه الحالات تصيب عدداً قليلاً جداً من الناس، نادراً ما يشهد مستشفى واحد عدداً كافياً من الحالات للوصول إلى إجابة واضحة. ولحل هذه المعضلة، يحتاج العلماء إلى دمج السجلات من العديد من المستشفيات المختلفة حول العالم. ومع ذلك، يقف حاجز صارم في الطريق: خصوصية المريض. فالقوانين والقواعد الأخلاقية تمنع المستشفيات من إرسال ملفات صحية شخصية مفصلة إلى موقع مركزي، لأن القيام بذلك قد يكشف عن معلومات حساسة. ولتجاوز هذا الأمر، طور الباحثون طريقة تسمى "التعلم الاتحادي" (federated learning). فبدلاً من نقل البيانات، يقومون بإرسال البرنامج الحاسوبي إلى البيانات؛ حيث يزور البرنامج كل مستشفى، ويتعلم من السجلات المحلية، ويعود فقط بالدروس الرياضية، تاركاً الملفات الخاصة خلفه. يسمح هذا النهج بتعاون قوي دون انتهاك الخصوصية، ولكنه يخلق مشكلة جديدة: إذا لم يكن بإمكانك النظر في الملفات الخام، فكيف تعرف ما إذا كانت البيانات الموجودة بداخلها دقيقة؟ لا يمكن للبرنامج أن يتعلم بشكل صحيح إذا كانت الأرقام التي يتغذى عليها خاطئة، ومع ذلك، فإن التحقق من الأخطاء يتطلب عادةً رؤية السجلات الفردية التي صُمم النظام لإخفائها.
وضع فريق من الباحثين هدفاً لحل هذه المعضلة تحديداً داخل شبكة واسعة ومتط تطور تُدعى STRONG-AYA، والتي تدرس السرطان لدى المراهقين والشباب. وقد بنوا أداتين مختلفتين، أو لوحتَي تحكم، لفحص جودة البيانات. صُممت إحدى الأداتين للاستخدام داخل مستشفى واحد، حيث يمكن للباحثين رؤية كل سجل فردي. أما الأداة الأخرى فقد بُنيت للشبكة الاتحادية، حيث لا يمكنها سوى رؤية الملخصات والإحصائيات المرسلة من المستشفيات الأخرى. ولاختبار مدى فعالية هاتين الأداتين، أخذ الباحثون مجموعة بيانات حقيقية لسجلات سرطان الثدي من مركز لسرطان في مدينة ليون بفرنسا، وصنعوا نسختين منها. ثم أدخلوا أخطاءً متعمدة في البيانات، مثل تسجيل عمر مريض أصغر من تاريخ تشخيصه، أو تعيين نوع ورم غير موجود لجنس معين. كما قاموا بمحاكاة سيناريو تستخدم فيه مستشفيتان مختلفتان أنظمة ترميز مختلفة لوصف نفس المرض، وهو أمر شائع في التعاون الواقعي.
أظهرت النتائج أن الأداتين قدمتا منظورين مختلفين للغاية، ومع ذلك كانا ضروريين لنفس الموقف. فقد عملت لوحة التحكم الداخلية، التي تمتلك وصولاً كاملاً إلى السجلات الخام، مثل المجهر؛ إذ استطاعت تحديد المريض الذي لديه خطأ بدقة، مثل حساب مؤشر كتلة جسم مستحيل فيزيائياً، وإخبار طاقم المستشفى بدقة بالسجل الذي يحتاج إلى إصلاح. كما وجدت أن 9.2 بالمئة من نقاط البيانات الخاصة بمعيار معين لتصنيف مراحل السرطان كانت مفقودة، واستطاعت تتبع كل نقطة من تلك النقاط المفقودة وصولاً إلى شخص بعينه. وفي المقابل، عملت لوحة التحكم الاتحادية مثل عدسة واسعة الزاوية؛ فبسبب عدم قدرتها على رؤية الأسماء أو السجلات الفردية، لم تستطع الإشارة إلى مريض محدد. وبدلاً من ذلك، نظرت إلى الأنماط عبر الشبكة بأكملها، حيث نجحت في اكتشاف أن أحد المستشفيات يستخدم نظام ترميز مختلفاً عن الآخر، وهو تباين كان سيظل غير مرئي لو تم النظر في موقع واحد فقط. كما رصدت أيضاً أن توزيع بعض نقاط البيانات كان مختلفاً بين المركزين المحاكيين، مما كشف عن اختلاف منهجي في كيفية تسجيل البيانات.
خلصت الدراسة إلى أن أياً من الأداتين لم تكن مثالية بمفردها، وأن الاعتماد على واحدة فقط من شأنه أن يترك فجوات في البحث. فقد وفرت الأداة الداخلية العمق اللازم لتنظيف البيانات، لكنها لم تستطع رؤية الصورة الكبيرة لكيفية مقارنة المستشفيات ببعضها البعض. بينما استطاعت الأداة الاتحادية رؤية الاتجاهات والاختلافات العامة بين المؤسسات، لكنها افتقرت إلى التفاصيل اللازمة لإصلاح الأخطاء المحددة. وخلص الباحثون إلى أن أفضل نهج هو استخدام كليهما معاً؛ حيث يمكن للنظام الاتحادي تنبيه الشبكة إلى المشكلات الواسعة أو التناقضات بين المواقع، بينما تسمح الأداة الداخلية لكل مستشفى بالتعمق وتصحيح الأخطاء المحددة. يسمح هذا الاستراتيجية المشتركة للباحثين بالحفاظ على خصوصية مرضاهم مع ضمان أن تكون البيانات التي يستخدمونها لتحقيق اكتشافات منقذة للحياة دقيقة وموثوقة قدر الإمكان.
ملخص تقني: تدقيق البيانات وضمان الجودة في اتحاد التعلم الاتحادي
بيان المشكلة تتطلب الأبحاث المتعلقة بالأمراض النادرة والمتنوعة، مثل تلك التي تصيب مرضى السرطان من المراهقين والشباب (AYA)، تجميع مجموعات بيانات كبيرة وموزعة جغرافياً. ومع ذلك، فإن لوائح حماية البيانات الصارمة وضرورات الخصوصية تمنع مركزية بيانات السجلات الصحية الإلكترونية (EHR) على مستوى الفرد. ويقدم التعلم الاتحادي (Federated Learning - FL) بديلاً يعزز الخصوصية من خلال تمكين التحليل دون نقل البيانات. ومع ذلك، فإن نهج "الخصوصية بالتصميم" هذا يخلق عقبة كبيرة أمام ضمان جودة البيانات (DQA). إذ إن أطر ضمان الجودة التقليدية، التي تعتمد على الوصول المباشر إلى السجلات الفردية للكشف عن القيم الشاذة أو القيم غير المعقولة أو التناقضات الدلالية، لا تتناسب مع بيئات التعلم الاتحادي حيث يتم فقط مشاركة الإحصاءات التجميعية أو تحديثات النماذج. علاوة على ذلك، فإن غياب نماذج البيانات الموحدة عبر المؤسسات (ما يشبه "الفسيفساء المحطمة" من نماذج البيانات) يعيق قدرة أدوات الجودة الحالية على التوسع، والتي غالباً ما تظل محصورة داخل صوامع معزولة.
المنهجية قام الباحثون بتنفيذ وتقييم نهج لوحة التحكم المزدوجة ضمن بنية STRONG-AYA للتعلم الاتحادي، باستخدام بيانات سرطان الثدي من مركز "ليون بيلار" (CLB) في ليون، فرنسا. وقد كيّف الباحثون إطار "كان وآخرون" لجودة البيانات (الذي يركز على الاكتمال، والاتساق، والاتساق الدلالي) ليصبح أداتين متمايزتين:
لوحة التحكم الداخلية (داخل العيادة): تم بناؤها باستخدام Microsoft Power BI وSQL، وتعمل على البيانات الخام المحلية. وهي تقوم بإجراء فحوصات دقيقة على مستوى الفرد، بما في ذلك الاتساق الزمني (مثل: التشخيص قبل العلاج)، والاتساق المنطقي غير الزمني (مثل: معقولية مؤشر كتلة الجسم)، والصلاحية الدلالية (مثل: توافق الجنس مع موقع الورم).
لوحة التحكم الاتحادية (بين العيادات): تم بناؤها باستخدام Plotly Dash وهي متكاملة مع إطار عمل Vantage6 للتعلم الاتحادي، وتعمل على البيانات المجمعة. وهي تستعلم من قواعد بيانات رسومية موزعة (تم تحويلها إلى RDF عبر أداة Flyover) لتقييم توافر البيانات، ومعدلات الفقد، والتوافق الدلالي عبر المؤسسات دون الوصول إلى سجلات المرضى الفردية.
وللتحقق من قدرات الكشف، أدخل الباحثون تناقضات اصطناعية محكومة في مجموعات البيانات. وشمل ذلك أخطاءً داخل العيادة (تناقضات زمنية، وتناقضات دلالية مثل مريضات إناث مصابات بأورام ذكورية حصرياً) وأخطاءً بين العيادات (تباينات المخططات، مثل اختلاف أنظمة ترميز الأورام مثل ICD-10 مقابل ICD-O-3). كما أجرت الدراسة تقييماً لجدوى حالتين لاستخدامات STRONG-AYA: تحليل معدل البقاء على قيد الحياة، وتقييم العلاجات عالية التكلفة.
المساهمات الرئيسية
إطار عمل مزدوج الطبقات لضمان جودة البيانات: توضح الورقة تنفيذاً فعالاً لطبقات مكملة لضمان الجودة: أداة داخلية دقيقة للتحقق المحلي، وأداة اتحادية للإشراف عبر المؤسسات.
الفحص الاتحادي المستقل عن المخطط: تستخدم لوحة التحكم الاتحادية البيانات الوصفية (JSON-LD) وقواعد البيانات الرسومية لتقييم جودة البيانات عبر مخططات متباينة دون الحاجة إلى توحيد صارم لنماذج البيانات الأساسية.
المقارنة التجريبية للقدرات: تقدم الدراسة خريطة تفصيلية لما يمكن لكل نهج اكتشافه وما لا يمكنه اكتشافه. فعلى سبيل المثال، يمكن للوحة التحكم الداخلية تتبع الأخطاء وصولاً إلى معرفات المرضى (IDs) المحددة، بينما يمكن للوحة التحكم الاتحادية تحديد الانحيازات المنهجية (التوزيعات غير المتماثلة IID) وتناقضات الترميز عبر المنظمات التي قد تغفل عنها أدوات الموقع الواحد.
النتائج
نقاط القوة المتكاملة: نجحت لوحة التحكم الداخلية في تحديد الشذوذات على مستوى الفرد (مثل: 4 قيم غير معقولة لمؤشر كتلة الجسم، و4 مريضات إناث مصابات بسرطان البربخ) ووفرت طوابع زمنية مفصلة لتحديثات الجودة. ونجحت لوحة التحكم الاتحادية في اكتشاف الأنماط على مستوى النظام البيئي، مثل استخدام أنظمة ترميز مختلفة (ICD-10 مقابل ICD-O-3) عبر المواقع، والتباين المنهجي في تسجيل البيانات (مثل توزيعات جانبية الجسم/Laterality).
القيود: لم تستطع لوحة التحكم الاتحادية توفير تتبع على مستوى الفرد أو إجراء فحوصات اتساق زمني مفصلة تتجاوز الفروق الزمنية المجمعة. وعلى العكس من ذلك، لم تستطع لوحة التحكم الداخلية الكشف عن الانحيازات عبر المؤسسات أو فجوات توافر البيانات عبر الكونسورتيوم.
جدوى حالات الاستخدام: قيمت كلتا اللوحتين بفعالية جدوى تحليلات STRONG-AYA المقترحة. أكدت الأداة الداخلية اكتمال بيانات مستوى المريض لتحليل البقاء على قيد الحياة، بينما وفرت الأداة الاتحادية نظرة عامة رفيعة المستوى لأنماط توزيع العلاج عبر المؤسسات.
الأهمية والادعاءات تدعي الورقة أنه لا يوجد نهج بمفرده كافٍ لضمان جودة قوية في بيئات التعلم الاتحادي المتطورة والمتعددة المؤسسات. ويجادل المؤلفون بضرورة وجود نموذج تكميلي حيث:
توفر لوحات التحكم الاتحادية إشرافاً تعاونياً قابلاً للتوسع لاكتشاف الاتجاهات على مستوى النظام البيئي، والتوزيعات غير المتماثلة (non-IID)، ومشكلات التوافق الدلالي.
تضمن لوحات التحكم الداخلية الدقة، مما يسمح للمؤسسات بتصحيح أخطاء بيانات محددة والتحقق من المعقولية المحلية.
وتخلص الدراسة إلى أنه بينما تسهل نماذج البيانات المشتركة (مثل OSIRIS-RWD أو OMOP) التقييم داخل العيادة، فإن النهج الاتحادي المستقل عن المخطط ضروري للتعاون بين العيادات. والحل الأمثل للاتحادات مثل STRONG-AYA هو إطار عمل متكامل يستفيد من قابلية التوسع في فحوصات الجودة الاتحادية جنباً إلى جنب مع دقة التحقق المحلي، مما يوازن بين قيود الخصوصية والحاجة إلى بيانات بحثية موثوقة وقابلة للتعميم. ويشير المؤلفون إلى أن هذا النهج يتماشى مع المتطلبات التنظيمية الناشئة (مثل الفضاء الأوروبي للبيانات الصحية) فيما يتعلق بالبيانات الوصفية الموحدة وتقارير الجودة.