Toward Federated Large Language Models in Medicine: A Parameter-Efficient Framework for Privacy-Preserving, Multi-Institutional Adaptation
تقدم الورقة البحثية Fed-MedLoRA و +Fed-MedLoRA، وهو إطار عمل اتحادي فعال في استخدام المعلمات يتيح التكيف التعاوني والحفاظ على الخصوصية للنماذج اللغوية الكبيرة عبر مؤسسات رعاية صحية متعددة، مما يظهر قدرة فائقة على التعميم والأداء في مهام استخراج المعلومات السريرية مقارنة بالطرق الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً حيث يمكن لعقول حاسوبية فائقة الذكاء، تُعرف باسم النماذج اللغوية الكبيرة (LLMs)، أن تقرأ سجلاتك الطبية وتساعد الأطباء في تشخيص الأمراض أو رصد الأنماط في التاريخ المرضي. هذه النماذج تشبه الطلاب العباقرة الذين قرأوا كل شيء تقريباً على الإنترنت، لكنهم عالقون حالياً في موقف محرج للغاية. لكي يصبحوا بارعين حقاً في الطب، يحتاجون إلى قراءة ملاحظات من المستشفيات في جميع أنحاء العالم. ولكن تكمن المشكلة في أن السجلات الطبية تشبه المذكرات السرية؛ فلا يمكن للمستشفيات مشاركتها بسبب قوانين الخصوصية الصارمة وقضايا الثقة. الأمر كما لو أن كل مستشفى يمتلك مكتبة من الكتب السرية، لكن يُمنع عليهم السماح لأي شخص آخر بقراءتها.
بسبب هذا، يتم تدريب معظم نماذج الذكاء الاصدي الطبي على بيانات من مستشفى واحد فقط. هذا يشبه طالباً يدرس لاختبار ما باستخدام ملاحظات من فصل دراسي واحد فقط؛ قد يبلي بلاءً حسناً في تلك الغرفة، لكنه سيصاب بالارتباك عندما يدخل مدرسة أخرى ذات معلمين وكتب مدرسية مختلفة. يُسمى هذا "التعميم"، وهي مشكلة كبيرة. إذا تعلم النموذج من بيانات نيويورك، فقد يفشل فشلاً ذريعاً في لندن. لقد حاول العلماء حل ذلك باستخدام طريقة تسمى "التعلم الاتحادي" (Federated Learning). فكر في هذا كأنه مشروع جماعي حيث لا يتبادل الطلاب دفاتر ملاحظاتهم (البيانات الخاصة)، بل يكتبون إجابات واجباتهم المنزلية (تحديثات النموذج) ويرسلون تلك الإجابات إلى معلم يقوم بدمجها في دليل رئيسي. تبقى الدفاتر مغلقة في مكاتب كل طالب، ولكن الجميع يتعلم من الحكمة المجمعة. ومع ذلك، فإن العقبة الكبيرة هي أن هذه النماذج الطبية ضخمة جداً بحيث يستغرق إرسال حتى "إجابة" واحدة وقتاً طويلاً ويتطلب أجهزة كمبيوتر خارقة لا تمتلكها معظم المستشفيات.
يقدم هذا البحث طريقة ذكية جديدة لحل تلك المعضلة، تسمى Fed-MedLoRA و Fed-MedLoRA+. فبدلاً من محاولة إرسال النموذج الضخم بالكامل ذهاباً وإياباً، توصل الباحثون إلى طريقة لإرسال "محولات" (adapters) صغيرة وخفيفة الوزن فقط. تخيل أن النموذج الضخم هو درع ثقيل وعملاق؛ بدلاً من إرسال الدرع بالكامل عبر البريد، توصل الباحثون إلى إرسال الرقع الصغيرة المصممة خصيصاً والتي تُعلم الدرع كيفية التعامل مع المهام الطبية المحددة. هذه الرقع صغيرة جداً لدرجة أنها أخف بنسبة 98.5% من الدرع الكامل، مما يجعل من الممكن للحواسيب العادية إرسالها واستقبالها بسرعة.
اختبر الباحثون هذه الفكرة من خلال تعليم هذه النماذج لعب دور "المحقق الطبي". كانت المهمة هي قراءة الملاحظات السريرية والعثور على أشياء محددة، مثل أسماء الأدوية، والأمراض، وكيفية ارتباطها ببعضها البعض. قاموا بإعداد محاكاة حيث عملت خمسة "مستشفيات" مختلفة (باستخدام مجموعات بيانات من العالم الحقيقي مثل MIMIC-III وMTSamples) معاً دون مشاركة ملاحظات مرضاهم الفعلية. وقارنوا طريقتهم الجديدة بالطرق القديمة: النماذج التي تعلمت من مستشفى واحد فقط، والنماذج التي حاولت التخمين دون أي تدريب (zero-shot)، وحتى السيناريو "المثالي" حيث يتم دمج جميع البيانات معاً (وهو أمر غير قانوني في الواقع ولكنه استُخدم هنا كمعيار مرجعي).
كانت النتائج واعدة. سمحت طريقة "إرسال الرقع" الجديدة لهذه النماذج بالتعلم من جميع المستشفيات الخمسة والأداء بشكل أفضل بكثير من النماذج التي تدربت على مستشفى واحد فقط. في الواقع، اقتربت الطريقة الجديدة من مستوى السيناريو "المثالي" غير القانوني حيث يتم دمج جميع البيانات. وعندما اختبروا النموذج على مستشفى جديد تماماً وغير مرئي (تمت محاكاته ببيانات من جامعة ييل نيفن هيلث)، كان النموذج الاتحادي أكثر دقة بكثير من نماذج المستشفى الواحد، مما يشير إلى أنه يمكنه حقاً مساعدة عيادة جديدة على البدء بسرعة دون الحاجة لسنوات من جمع البيانات المحلية.
كما بحثت الورقة في الجانب العملي. وجدوا أنه نظراً لأنهم كانوا يرسلون فقط تلك الرقع الصغيرة، فقد انخفضت تكلفة الاتصال بمقدار هائل، ويمكن تدريب النماذج على بطاقة رسوميات واحدة قياسية (مثل NVIDIA RTX 4090) بدلاً من الحاجة إلى كمبيوتر خارق. كما اختبروا نسخة تحتوي على "درع خصوصية"، حيث أضافوا القليل من الضجيج الرياضي إلى الرقع لجعل التخمين لما تبدو عليه البيانات الأصلية أمراً أكثر صعوبة. وبينما جعل هذا الضجيج النموذج أقل دقة قليلاً، إلا أنه أشار إلى طريقة للحفاظ على الخصوصية دون كسر النظام.
ومع ذلك، يوضح المؤلفون بحذر أن هذا ليس حلاً سحرياً يحل كل شيء. فقد وجدوا أنه بينما تحسنت النماذج كثيراً، إلا أنها لا تزال تعاني قليلاً في إيجاد العلاقات بين الأشياء (مثل "الدواء X يعالج المرض Y") مقارلة بمجرد تسمية الأشياء نفسها. كما أظهروا أن إضافة المزيد من المستشفيات لم يجعل النموذج مثالياً دائماً؛ فأحياناً، إذا كانت المستشفيات مختلفة جداً عن بعضها البعض، فقد يؤدي ذلك إلى جعل الأمور أكثر فوضوية، رغم أن النسخة "الذكية" الجديدة (Fed-MedLoRA+) تعاملت مع هذا بشكل أفضل من النسخة الأساسية.
في النهاية، تشير هذه الورقة إلى أنه يمكننا بناء ذكاء اصطناعي طبي أكثر ذكاءً وعموماً دون كسر خصوصية المرضى أبداً أو الحاجة إلى أجهزة باهظة الثمن. إنها إثبات لمفهوم يقول: "نعم، يمكننا القيام بذلك معاً". يقترح المؤلفون أن هذا النهج يمكن أن يكون خطوة عملية للتعاون بين المستشفيات، مما يساعد العيادات الجديدة على مواكبة المستوى بسرعة، ويجعل الذكاء الاصطدي الطبي أكثر قوة عبر مختلف أنواع المرضى وأنظمة الرعاية الصحية. ورغم أنهم لم ينشروا هذا في مستشفى حي بعد، إلا أن عمليات المحاكاة والاختبارات على بيانات العالم الحقيقي تشير بقوة إلى أن هذه الطريقة قابلة للتطبيق، وقابلة للتوسع، وجاهزة للخطوة التالية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.