Lightweight Retrieval-Augmented Generation and Large Language Model-Based Modeling for Scalable Patient-Trial Matching

ملخص تقني: نظام RAG خفيف الوزن ونمذجة قائمة على النماذج اللغوية الكبيرة (LLM) لمطابقة المرضى مع التجارب السريرية القابلة للتوسع

1. بيان المشكلة

تعد عملية مطابقة المرضى مع التجارب السريرية عملية بالغة الأهمية ولكنها تتطلب جهداً مكثفاً. وتشمل التحديات الرئيسية ما يلي:

• تعقيد البيانات: السجلات الصحية الإلكترونية (EHRs) طويلة، وغير متجانسة، وتحتوي على بيانات مهيكلة (الديموغرافيا، الفحوصات المخبرية) وبيانات غير مهيكلة (الملاحظات السريرية للأطباء).
• القابلية للتوسع والكفاءة: إن معالجة السجلات الصحية الإلكترونية الطولية الكاملة باستخدام النماذج اللغوية الكبيرة (LLMs) أمر مكلف حاسوبياً وغالباً ما يتجاوز حدود نافذة السياق (context window).
• التعميم والخصوصية: تعاني الطرق الحالية غالباً من صعوبة التعميم عبر بروتوكولات التجارب المختلفة، أو تعتمد على نماذج لغوية تجارية "صندوق أسود" (مثل GPT-4)، مما يشكل مخاطر كبيرة على خصوصية البيانات وأمنها في البيئات السريرية.
• عدم التوافق المنهجي: تفشل التعلم الآلي التقليدي غالباً في التقاط دقة النصوص غير المهيكلة، بينما تكون نهج النماذج اللغوية الكبيرة (LLMs) التي تعمل من البداية إلى النهاية (end-to-end) ثقيلة جداً من حيث الموارد للانتشار واسع النطاق.

2. المنهجية

يقترح المؤلفون إطار عمل خفيف الوزن ومكون من مرحلتين مصمم لفصل اختيار المعلومات عن تعلم التمثيل والتنبؤ.

المرحلة الأولى: التوليد المعزز بالاسترجاع (RAG) لاختيار المعلومات
بدلاً من تغذية السجلات الصحية الإلكترونية الكاملة في نموذج لغوي كبير، يستخدم إطار العمل وحدة RAG لتحديد الأجزاء ذات الصلة سريرياً.

• التضمين والاسترجاع (Embedding & Retrieval): يتم تقسيم السجلات الصحية الإلكترونية إلى أجزاء نصية. ويتم رسم كل من هذه الأجزاء ومعايير الأهلية للتجارب في فضاء متجهي باستخدام نموذج تضمين (مثل BioBERT).
• ترتيب التشابه (Similarity Ranking): يحسب النظام تشابه جيب التمام (cosine similarity) بين تضمينات الأجزاء وتضمينات المعايير، ويختار أعلى ($k$) الأجزاء الأكثر صلة لبناء "مطالبة" (prompt) مدمجة ومخصصة للمهمة.

المرحلة الثانية: التمثيل القائم على النماذج اللغوية الكبيرة (LLM) والتنبؤ خفيف الوزن
تتم معالجة المطالبات المسترجعة والمكثفة بواسطة نماذج لغوية كبيرة مفتوحة المصدر وقابلة للنشر محلياً (مثل Mistral-7B، Llama3-8B، Falcon-7B).

• تعلم التمثيل (Representation Learning): يقوم النموذج اللغوي الكبير بتوليد تضمينات عالية الأبعاد من "المطالبة". ويستكشف المؤلفون استراتيجيات تجميع مختلفة، مثل متوسط تضمينات الرموز (token embeddings) أو استخدام رمز [CLS] الخاص.
• تقليل الأبعاد (DimRed): لتعزيز الكفاءة والاستقرار، يستخدم إطار العمل وحدة تقليل الأبعاد (DimRed). تم اختبار استراتيجيتين: التقليل على طول بُعد طول التسلسل (يعمل كآلية تجميع) والتقليل على طول بُعد الحالة الخفية (ضغط على مستوى الميزات).
• التصنيف اللاحق (Downstream Classification): تُغذى التمثيلات المدمجة في متنبئات خفيفة الوزن، مثل الإدراك متعدد الطبقات (MLP)، أو آلات ناقلات الدعم (SVM)، أو أشجار القرار (DT)، للقيام بتصنيف ثنائي (مستوفٍ للمعايير مقابل غير مستوفٍ).

3. المساهمات الرئيسية

1. إطار عمل خفيف الوزن: يقترح مسار عمل قابل للتوسع يجمع بين RAG والنماذج اللغوية الكبيرة المحلية، مما يقلل من العبء الحسابي مع الحفاظ على أداء عالٍ.
2. تحليل تجريبي منهجي: يجري دراسة استئصال (ablation study) صارمة حول كيفية تأثير تقليل الأبعاد، واختيار هيكل النموذج اللغوي الكبير، والضبط الدقيق (fine-tuning) على الأداء عبر مختلف أنماط البيانات (مهيكلة، غير مهيكلة، ومختلطة).
3. التحقق من الواقع العملي: يتحقق من النموذج باستخدام كل من الاختبارات المرجعية العامة (n2c2، SIGIR، TREC) ومجموعة بيانات خاصة، متعددة الوسائط، من العالم الحقيقي من مايو كلينك (MCPMD).
4. تصميم يحافظ على الخصوصية: يثبت إمكانية تحقيق مطابقة عالية الأداء بين المرضى والتجارب باستخدام نماذج مفتوحة المصدر ومنتشرة محلياً، مما يتجنب مخاطر الخصوصية المرتبطة بواجهات برمجة التطبيقات التجارية.

4. النتائج الرئيسية

• استراتيجية التصنيف اللاحق: تفوقت المسارات التي تتضمن تقليل الأبعاد متبوعاً بـ MLP باستمرار على التغذية المباشرة عالية الأبعاد، خاصة في حالات البيانات غير المهيكلة والمختلطة.
• أداء الهيكل الأساسي (Backbone): بينما أدت مختلف النماذج اللغوية الكبيرة أداءً جيداً، أظهر نموذج Mistral-7B استقراراً فائقاً ودرجات أعلى في مقياس Macro-F1 في حالات البيانات متعددة الوسائط.
• الضبط الدقيق مقابل التجميد (Fine-Tuning vs. Frozen): في حين أن النماذج اللغوية الكبيرة "المجمدة" كافية للبيانات المهيكلة، فإن الضبط الدقيق ضروري لاستخراج الإشارات التنبؤية من الملاحظات السريرية غير المهيكلة.
• المقارنة المرجعية: حقق مسار العمل القائم على RAG أداءً تنافسياً أو متفوقاً مقارنة بطرق "الصفر محاولة" (zero-shot) والنماذج المتخصصة مثل TrialGPT في مجموعات البيانات مفتوحة المص المصدر.
• التعميم عبر التجارب: كشفت التجارب عن انخفاض في الأداء عندما يتم استبعاد تجربة ما تماماً من التدريب، مما يسلط الضضوء على أن كل تجربة تمثل توزيع بيانات فريد ويؤكد على الحاجة إلى بيانات تدريب متنوعة.

5. الأهمية

يوفر هذا العمل مخططاً عملياً لنشر الذكاء الاصطناعي في الأبحاث السريرية. ومن خلال الانتقال من معالجة المستندات الكاملة "بالقوة الغاشمة" عبر النماذج اللغوية الكبيرة نحو الاسترجاد المستهدف والتمثيل المدمج، يثبت المؤلفون أن مطابقة المرضค้า مع التجارب بدقة عالية ممكنة بتكاليف حاسوبية أقل بكثير. وهذا يجعل التكنولوجيا أكثر قابلية للتوسع لأنظمة المستشفيات الكبيرة وأكثر أماناً للتعامل مع بيانات المرضى الحساسة من خلال النشر المحلي.