ELM: A Hybrid Ensemble of Language Models for Automated Tumor Group Classification in Population-Based Cancer Registries
يُعد نظام ELM نظاماً هجيناً مبتكراً من المجموعات، يجمع بين نماذج المشفرات فقط (encoder-only models) التي تم ضبطها بدقة ونموذج مُحكّم من النماذج اللغوية الكبيرة، مما يحسن بشكل كبير من دقة التصنيف الآلي لمجموعات الأورام في سجلات السرطان القائمة على السكان، ويقلل متطلبات المراجعة اليدوية بنسبة 60-70% مع الحفاظ على معايير جودة البيانات العالية.
المؤلفون الأصليون:Lovedeep Gondara, Jonathan Simkin, Shebnum Devji, Gregory Arbour, Raymond Ng
تخيل مكتبة ضخمة حيث كل كتاب فيها عبارة عن تقرير طبي يصف حالة مريض مصاب بالسرطان. هذه التقارير مكتوبة من قبل أطباء بلغة تقنية معقدة، وهي فوضوية؛ فبعضها قصير، وبعضها طويل، والمعلومات الأكثر أهمية قد تكون مخبأة في الفقرة الأولى أو مدفونة في نهاية التقرير تماماً.
إن مهمة سجل السرطان هي فرز هذه الآلاف من الكتب ووضعها في "الأرفف" الصحيحة (فئات مثل "سرطان الرئة"، أو "سرطان الجلد"، أو "سرطان الدم") لكي يتمكن الباحثون والأطباء من دراستها.
المشكلة: أمين المكتبة المرهق
لسنوات طويلة، كان على أمناء المكتبة البشر (الذين يُطلق عليهم مسجلو البيانات) قراءة كل تقرير يدوياً.
المعاناة: هناك حوالي 90,000 تقرير سنوياً. وقراءة جميع هذه التقارير تستغفق حوالي 900 ساعة من العمل البشري كل عام.
الروبوت القديم: حاولوا استخدام برنامج كمبيوتر بسيط (يُسمى eMaRC) للقيام بعملية الفرز. فكر في هذا الروبوت القديم كأنه شخص لا يعرف سوى البحث عن كلمات مفتاحية محددة. إذا رأى كلمة "ثدي"، فإنه يفترض تلقائياً أنه سرطان الثدي. ولكن إذا قال التقرير "سرطان جلد على الثدي"، فإن الروبوت يرتبك ويصنف الحالة بشكل خاطئ. إنه يفشل بنسبة 40% من الوقت، لذا كان على البشر التحقق من كل شيء على أي حال.
الحل: تعرفوا على ELM (الفريق الخارق)
ابتكر المؤلفون نظاماً جديداً يسمى ELM (مجموعة من النماذج اللغوية). بدلاً من روبوت واحد، قاموا ببناء فريق من المتخصصين يعملون معاً مثل هيئة محلفين في قضية رفيعة المستوى.
الاستراتيجية: لأن التقارب الطبية قد تكون طويلة، لا يمكن لأي قارئ بمفرده استيعاب التقرير كاملاً في ذاكرته مرة واحدة. لذا، يقوم الفريق بتقسيم العمل:
ثلاثة قراء يقرؤون فقط النصف العلوي من التقرير (حيث يوجد التشخيص النهائي عادةً).
ثلاثة قراء يقرؤون فقط النصف السفلي (حيث توجد تفاصيل وتفسيرات الطبيب).
التصويت: يخمن كل قارٍ فئة السرطان. إذا اتفق 5 من أصل 6 قراء على الإجابة (مثلاً: "إنه سرطان الجلد")، يقبل الفريق تلك الإجابة فوراً. هذا الأسلوب سريع وغير مكلف.
2. "القاضي الخبير" (النموذج اللغوي الكبير - LLM)
أحياناً، يختلف القراء الستة، أو تكون الحالة معقدة (مثل التمييز بين نوعين متشابهين جداً من سرطان الدم).
التسليم: بدلاً من التخمين، يقوم النظام بإرسال هذه الحالات الصعبة إلى خبير خارق (نموذج لغوي كبير، أو LLM).
الحيلة: لا يُطلب من الخبير الخبير التخمين من بين جميع أنواع السرطان الـ 19 الممكنة (لأن ذلك سيكون مرهقاً وعرضة للأخطاء). بدلاً من ذلك، يخبر النظام الخبير: "القرّاء الستة يعتقدون أنه إما سرطان جلد أو ميلانوما. أنت القاضي: أيهما هو؟"
النتيجة: يستخدم الخبير فهمه العميق للغة لاتخاذ القرار النهائي، مع شرح لماذا اختار تلك الإجابة.
لماذا يعتبر هذا الفريق تغييراً جذرياً في قواعد اللعبة؟
السرعة والتكلفة: القراء الستة "السريعون" هم سريعات وغير مكلفين. إنهم يتعاملون مع حوالي 80-85% من العمل في أقل من ثانية. أما "الخبير الخارق" المكلف، فلا يتدخل إلا في الـ 15-20% من الحالات الصعبة.
الدقة: من خلال الجمع بين سرعة القراء الصغار والقدرة التحليلية العميقة للخبير، يصبح النظام أذكى بكثير من أي جزء بمفرده.
تشبيه: الأمر يشبه امتلاك فريق من المحققين الذين يمسحون مسرح الجريمة بسرعة، وعندما يجدون دليلاً مربكاً، يستدعون متخصصاً في الأدلة الجنائية لحل القضية.
التأثير في العالم الحقيقي: في سجل سرطان كولومبيا البريطانية، ساهم هذا النظام في تقليل عبء العمل البشري بنسبة 60-70%. لم يعد على أمناء المكتبة البشر قراءة كل تقرير؛ بل يراجعون فقط الحالات المعقدة التي حددها الكمبيوتر. هذا يوفر حوالي 900 ساعة من العمل سنوياً، مما يسمح للبشر بالتركيز على المهام المعقدة التي تتطلب فعلياً التعاطف والتقدير البشري.
الخلاصة
إن ELM هو فريق هجين يجمع بين سرعة الأدوات الصغيرة المتخصصة وبين القدرة الذهنية لذكاء اصطناعي عملاق. إنه يحل مشكلة "النصوص الكثيرة والكلمات المربكة" عبر استراتيجية تقسيم العمل والسيطرة عليه. إنه يثبت أنك لست بحاجة إلى عقل واحد عملاق ومكلف للقيام بكل شيء؛ فأحياناً، يكون وجود فريق منظم من العقول الأصغر مع حكم ذكي هو الحل الأفضل.
إليك ملخص تقني مفصل لورقة البحث بعنوان: "ELM: نموذج هجين من مجموعات اللغات للتصنيف الآلي لمجموعات الأورام في سجلات السرطان القائمة على السكان."
1. بيان المشكلة
تعتمد سجلات السرطان القائمة على السكان (PBCRs) على استخراج البيانات المهيكلة من التقارير المرضية غير المهيكلة لمراقبة اتجاهات السرطان. وتعد خطوة تصنيف مجموعة الورم (Tumor Group Classification) خطوة حاسمة في سير العمل هذا، حيث تصنف السرطانات إلى مجموعات تشريحية ونسيجية واسعة (مثل سرطان الثدي، الرئة، اللوكيميا).
العائق الحالي: تعتمد هذه العملية تقليديًا على الجهد اليدوي، مما يتطلب مسجلين مدربين تدريبًا عاليًا. بالنسبة لسجل متوسط الحجم يعالج حوالي 100,000 تقرير سنويًا، فإن هذا يستهلك ما يقرب من 900 ساعة عمل بشرية.
قصور الأتمتة الحالية: تفشل الأنظمة القائمة على القواعد (مثل eMaRC) في التعامل مع التعقيد اللغوي للنصوص السريرية؛ فهي تعتمد على مطابقة الأنماط، وتواجه صعوبة في التعامل مع التبعيات طويلة المدى، ولا تستطيع تمييز السياق (على سبيل المثال، التمييز بين خزعة جلدية من أنسجة الثدي وبين سرطان الثدي نفسه). في سجل سرطان كولومبيا البريطانية (BCCR)، يفشل نظام eMaRC في تعيين مجموعة ورم لحوالي 40% من الحالات، ويسجل معدلات خطأ عالية، مما يستدعي مراجعة يدوية كاملة بغض النظر عن مخرجاته.
2. المنهجية: بنية ELM
يقترح المؤلفون ELM (مجموعة نماذج اللغات - Ensemble of Language Models)، وهي بنية هجينة تدمج استراتيجيًا الكفاءة الحسابية للنماذج الصغيرة (المشفرة فقط - encoder-only) مع قدرات الاستنتاج للنماذج اللغوية الكبيرة (LLMs).
أ. المجموعة الأولية (النماذج الصغيرة)
البنية: يستخدم النظام ستة نماذج لغوية مشفرة فقط (encoder-only) خضعت لضبط دقيق (مبنية على GatorTron وBCCRTron وClinicalBERT).
استراتيجية تقسيم الرموز (Tokens): للتغلب على حد الـ 512 رمزًا لمدخلات نماذج BERT مع ضمان تغطية كاملة للتقرير، يتم تقسيم التقارير المرضية إلى جزأين:
أول 512 رمزًا: يحتوي على "التشخيص النهائي" أو معلومات الورم الصريحة.
آخر 512 رمزًا: يحتوي على تفسيرات أطباء المسالك، والتعليقات، والانطباعات.
تعالج ثلاثة نماذج الجزء العلوي، وثلاثة نماذج الجزء السفلي.
آلية التصويت: تولد النماذج تنبؤات مستقلة. ويتم التوصل إلى إجماع إذا اتفقت 5 من أصل 6 نماذج على الأقل على مجموعة الورم.
ب. التحكيم بواسطة النماذج اللغوية الكبيرة (LLM Arbitration)
شروط التفعيل: تُحال الحالات إلى النموذج اللغوي الكبير (LLM) في حالتين:
انخفاض اتفاق المجموعة (أقل من 5 أصوات).
انتماء المجموعة المتوقعة إلى مجموعة محددة مسبقًا من الفئات "الصعبة التصنيف" (مثل الجلد، عنق الرحم، ليمفوما هودجكن، أو الأورام مجهولة المصدر الأولي).
إعدادات الـ LLM: يستخدم النظام نموذج Mistral Nemo Instruct-2407 (بـ 12 مليار معلمة)، ويتم نشره محليًا للامتثال لخصوصية البيانات.
هندسة الأوامر (Prompt Engineering): لا يُطلب من الـ LLM الاختيار من بين جميع المجموعات الـ 19 الممكنة، بل يقوم بـ:
حصر المخرجات في مجموعة صغيرة (2-4 خيارات) مستمدة من أفضل تنبؤات المجموعة (Ensemble) والمعرفة المتخصصة.
تقديم توجيهات محددة بشأن التمايزات الصعبة (مثل التمييز بين اللوكيميا والليمفوما، أو الميلانوما وسرطان الجلد غير الميلانيني).
يتطلب مخرجًا بتنسيق JSON يحتوي على التنبؤ والتعليل.
ج. خوارزمية سير العمل
الاستدلال (Inference): تعالج ستة نماذج صغيرة أجزاء التقرير.
التجميع (Aggregation): تُجمع الأصوات.
القرار:
إذا كان الوثوق عاليًا (≥5 أصوات) وَ الفئة سهلة: يتم إخراج صوت الأغلبية.
إذا كان الوثوق منخفضًا أَوْ الفئة صعبة: يتم توجيه الحالة إلى الـ LLM مع أمر (Prompt) مقيد.
المخرج النهائي: يُقبل قرار الـ LLM كتصنيف نهائي.
3. المساهمات الرئيسية
بنية هجينة مبتكرة: يعد هذا أول نشر ناجح لبنية هجينة (نموذج صغير-LLM) لتصنيف مجموعات الأورام في بيئة واقعية لسجلات السرطان (PBCR).
التوجيه الاستراتيجي: يعمل النظام على تحسين التكلفة وزمن الاستجابة عبر توجيه ~15-20% فقط من الحالات (الحالات الغامضة) إلى الـ LLM المكلف، بينما يتم حل الغالبية العظمى (80-85%) فورًا بواسطة المجموعة (Ensemble).
الأوامر المتخصصة في المجال: يوضح البحث كيف أن حصر مساحات مخرجات الـ LLM بناءً على تنبؤات المجموعة والقواعد الخبيرة يقلل بشكل كبير من الهلوسة (Hallucinations) ويحسن الدقة مقارنة بنهج الـ LLM "صفر المحاولات" (Zero-shot).
التحقق التشغيلي: على خلاف العديد من الأوراق الأكاديمية، يتضمن هذا العمل نشرًا إنتاجيًا كاملاً في سجل سرطان كولومبيا البريطانية (BCCR) مع مقاييس تشغيلية موثقة.
4. النتائج
تم تقييم النموذج على مجموعة اختبار مستقلة مكونة من 2,058 تقريرًا مرضيًا تغطي 19 مجموعة ورمية.
الأداء العام: حقق ELM درجة F1 موزونة قدرها 0.94 (الدقة: 0.94، الاستدعاء: 0.94).
التحليل المقارن:
مقابل النظام القائم على القواعد (eMaRC): تفوق ELM بشكل كبير على eMaRC (درجة F1 هي 0.94 مقابل 0.64). فشل eMaRC في التنبؤ بـ 40% من الحالات.
مقابل مجموعة النماذج المشفرة فقط: حسنت البنية الهجينة درجة F1 من 0.91 (للمجموعة فقط) إلى 0.94 (لـ ELM)، وهي زيادة ذات دلالة إحصائية (p<0.001).
مقابل الـ LLM المنفرد: سجل نهج الـ LLM الصرف (الاختيار من بين 19 مجموعة دون توجيه) درجة F1 قدرها 0.88، مما يثبت ضرورة توجيه المجموعة (Ensemble).
المكاسب النوعية في الفئات الصعبة:
اللوكيميا: تحسنت درجة F1 من 0.76 إلى 0.88.
الليمفوما: تحسنت درجة F1 من 0.76 إلى 0.89.
سرطان الجلد: تحسنت درجة F1 من 0.44 إلى 0.58 (مع التوجيه الاستراتيجي، تحسن سرطان الجلد غير الميلانيني من 0.58 إلى 0.74).
الكفاءة:
زمن الاستجابة (Latency): تعالج المجموعة التقارير في حوالي 600 مللي ثانية. ومع تدخل الـ LLM لـ 15-20% من الحالات، يبلغ متوسط وقت المعالجة ~850 مللي ثانية.
التكلفة: قد يستغرق نهج الـ LLM الصرف 2-3 ثوانٍ لكل تقرير (أي أبطأ بـ 3-4 مرات وأكثر تكلفة).
5. الأهمية والأثر
الكفاءة التشغيلية: تم نشر ELM في BCCR، مما قلل متطلبات المراجعة اليدوية بنسبة 60-70%، مما وفر ما يقدر بـ 900 ساعة عمل سنويًا. وهذا يسمح للمسجلين بالتركيز على المهام الإدراكية المعقدة (مثل تحديد المرحلة، ومطابقة الأورام متعددة المصادر) بدلاً من التصنيف الروتيني.
جودة البيانات: أكدت عمليات التدقيق بعد النشر أن النظام المؤتمت حافظ على معايير جودة البيانات المماثلة للعمليات اليدوية الكاملة.
القابلية للتوسع: تم تصميم البنية لتكون قابلة للتكرار في سجلات أخرى تعالج ما بين 50,000 إلى 200,000 تقرير، مما قد يوفر آلاف ساعات العمل عبر منظومة مراقبة السرطان العالمية.
الاتجاهات المستقبلية: يقترح المؤلفون توسيع النظام ليشمل التصنيف متعدد الملصقات (Multi-label) للأورام متعددة المصادر، وتطبيق التعلم النشط (Active Learning) لأنواع الأورام النادرة، واستكشاف نماذج لغوية أصغر (3B–7B بارامتر) لمزيد من تحسين التكلفة.
في الختام، يثبت ELM أن النهج الهجين المصمم بعناية، والذي يستفيد من سرعة النماذج الصغيرة وقدرة النماذج الكبيرة على الاستنتاج، يمكنه حل مهام معالجة اللغات الطبيعية السريرية المعقدة بدقة عالية وجدوى تشغيلية.