Large Language Models for Biomedical Article Classification

إليك ملخص تقني مفصل لورقة البحث بعنوان "النماذج اللغوية الكبيرة لتصنيف المقالات الطبية الحيوية" للباحثين Jakub Proboszcz و Paweł Cichosz.

1. بيان المشكلة

تتناول الورقة تحدي تصنيف المقالات الطبية الحيوية للمراجعات المنهجية للأدبيات، مع التركيز بشكل خاص على مراجعات فئات الأدوية (DCR). في هذا المجال، يجب على الخبراء اتخاذ قرار بشأن تضمين أو استبعاد المقالات بناءً على الملخصات والنصوص الكاملة.

• التحدي: تتطلب مصنفات تعلم الآلة (ML) التقليدية كميات كبيرة من البيانات التدريبية المصنفة، وهو أمر مكلف ويستغرق وقتاً طويلاً في الإنتاج في المجالات الطبية المتخصصة.
• الحل المقترح: استقصاء مدى فائدة النماذج اللغوية الكبيرة (LLMs) كمصنفات للنصوص. توفر هذه النماذج إمكانية إجراء التصنيف باستخدام التلقين صفري العينات (zero-shot - بدون أمثلة) أو قليل العينات (few-shot - أمثلة قليلة)، وذلك بالاستفادة من معرفتها المسبقة بدلاً من الحاجة إلى إعادة تدريب واسعة النطاق.
• الفجوة المحددة: ركزت الأبحاث السابقة غالباً على دقة/درجة F1 الأساسية فقط باستخدام تلقينات بسيطة ومخرجات نصية مباشرة. تجادل هذه الورقة بأن مثل هذه التقييمات غير كافية لأنها تتجاهل ثقة التنبؤ (الاحتمالات)، وهو أمر بالغ الأهمية للتعامل مع عدم توازن الفئات وضبط عتبات القرار في التطبيقات الطبية عالية المخاطر.

2. المنهجية

أجرى البحث استقصاءً تجريبياً نظامياً متعدد الأوجه باستخدام 15 مجموعة بيانات للتصنيف الثنائي مستمدة من ملخصات PubMed المتعلقة بمجموعات دوائية مختلفة (مثل مثبطات ACE، والستاتينات، والأفيونات). تتميز مجموعات البيانات هذه بعدم توازن حاد في الفئات (تتراوح نسب الفئة الإيجابية من 2.2% إلى 34.5%).

2.1 النماذج التي تم تقييمها

• المصادر المفتوحة: Llama 3.1 (8B و 70B)، و Mistral 7B v0.3، و Gemma 2 9B.
• المصادر المغلقة: OpenAI GPT-4.1 mini و GPT-4.1 nano.
• النماذج المرجعية (Baselines): Naïve Bayes، و Random Forest (مع وبدون ضبط المعلمات الفائقة)، و Transformer encoders التي تم ضبطها بدقة (DeBERTa، و SciDeBERTa-v2).

2.2 الأبعاد التجريبية

قام المؤلفون بتغيير أربعة أبعاد رئيسية بشكل منهجي لتحديد التكوينات المثلى:

1. تصميم التلقين (Prompt Design): تم اختبار 6 تلقينات تختلف في التعقيد (بسيط، متوسط، معقد) وفي البنية (وجود رسائل النظام، الأسئلة المباشرة، وصف المهمة).
2. معالجة المخرجات: تمت مقارنة طرق استخراج تنبؤات الفئة ودرجات الثقة:
   • الكلمة/JSON: مخرجات نصية مباشرة (مثل "yes"/"no" أو JSON).
   • الدرجة (Score): مطالبة النموذج بإخراج درجة رقمية (0–5).
   • احتمالات الرموز (Token Probabilities): حساب احتمالات الفئة بناءً على توزيع احتمالية الرمز الأول المُولد.
3. استراتيجيات قلة العينات (Few-Shot Strategies):
   • العدد: تم اختبار من 0 (zero-shot) إلى 4 أمثلة.
   • الاختيار: تمت مقارنة الاختيار العشوائي مقابل الاختيار القائم على التشابه الدلالي (باستخدام تضمينات من MiniLM، و DistilRoBERTa، و MPNet) والاختيار المتوازن للفئات.
4. التقنيات المتقدمة: تم تقييم سلسلة الأفكال (Chain of Thought - CoT)، وشجرة الأفكار (Tree of Thoughts - ToT)، وتقطيع النصوص (Chunking).

2.3 مقاييس التقييم

تم قياس الأداء باستخدام التحقق المتقاطع ذو الخمس طيات الطبقي (stratified 5-fold cross-validation) مع التركيز على:

• AUPRC (المساحة تحت منحنى الدقة والاستدعاء): المقياس الأساسي، والذي تم اختياره لكونه قوياً تجاه عدم توازن الفئات ويتطلب درجات احتمالية عددية.
• MCC (معامل ارتباط ماتيوس): للتنبؤات بالفئات المنفصلة.
• المقاييس القياسية: الدقة (Accuracy)، الدقة المحددة (Precision)، الاستدعاء (Recall)، و F1.

3. المساهمات الرئيسية

1. التحليل المنهجي لمعالجة المخرجات: تعد هذه الورقة من أوائل الأوراق التي تقارن بصرامة بين تقدير الثقة القائم على احتمالات الرموز (token probability) وبين التلقين النصي المباشر. وتثبت أن احتمالات الرموز تحقق درجات AUPRC أفضل بكثير من مطالبة النموذج بإنتاج درجة رقمية أو تسمية نصية.
2. التحقيق الشامل في قلة العينات: تقدم الورقة بيانات تجريبية حول تناقص العوائد عند إضافة أكثر من 3-4 أمثلة، وتؤكد أن الاختيار القائم على التشابه الدلالي يتفوق على الاختيار العشوائي، بينما لا يقدم إعادة توازن الفئات أثناء الاختيار أي فائدة.
3. تقييم التقنيات المتقدمة: اختبرت الورقة تجريبياً تقنيات الاستدلال المتقدمة (CoT، ToT) والتقطيع (Chunking)، ووجدت أنها غير فعالة لهذه المهمة المحددة مقارنة بإعدادات قلة العينات الأبسط، رغم ارتفاع تكلفتها الحسابية.
4. المقارنة المرجعية (Benchmarking): توفر مقارنة مباشرة بين النماذج اللغوية الكبيرة (LLMs) والخوارزميات التقليدية/نماذج Transformer المرجعية على مجموعة بيانات طبية حيوية واقعية وصعبة.

4. النتائج الرئيسية

• الأداء مقابل النماذج المرجعية:
  • حققت الخوارزميات التقليدية (Random Forest مع الضبط، و Naïve Bayes) ونماذج SciDeBERTa التي تم ضبطها بدقة أعلى درجات AUPRC (حوالي 0.50–0.55) بشكل عام.
  • اقتربت النماذج اللغوية الكبيرة (LLMs) من ذلك: حققت أفضل تكوينات LLM في وضع قلة العينات متوسط AUPRC يبلغ ~0.47–0.49، مما يجعلها تقترب من أداء النماذج التقليدية.
  • أداء Zero-shot: حتى بدون أمثلة، حققت LLMs متوسط AUPRC أعلى من 0.40، مما يظهر فائدة غير ضئيلة.
• معالجة المخرجات:
  • كانت احتمالات الرموز (Token Probabilities) هي الطريقة المتفوقة للحصول على احتمالات الفئة، حيث تفوقت بشكل كبير على طريقة التلقين بـ "الدرجة" (Score) والمخرجات النصية المباشرة.
• التلقين والأمثلة:
  • قلة العينات (Few-shot) أمر حاسم: أدى إضافة مثال واحد فقط إلى تحسين الأداء بشكل كبير مقارنة بوضع zero-shot.
  • تناقص العوائد: أدت زيادة الأمثلة من 1 إلى 4 إلى مكاسب هامشية؛ حيث كان وجود 3 أمثلة كافياً في كثير من الأحيان.
  • بنية التلقين: كان تضمين سؤال مباشر عن الفئة في رسالة المستخدم (مثل "هل يجب تضمين هذا؟") أكثر فعالية من تعقيد التلقين وحده.
• حجم ونوع النموذج:
  • لم يتم العث find ارتباط ثابت بين حجم النموذج والأداء. ومن المثير للدهشة أن Llama 3.1 8B تفوق قليلاً على نسخة 70B في مقياس AUPRC.
  • أدت النماذج مفتوحة المصدر أداءً مقارباً للنماذج التجارية (GPT-4.1 mini/nano).
• التقنيات المتقدمة: فشلت تقنيات سلسلة الأفكار (CoT)، وشجرة الأفكار (ToT)، والتقطيع (Chunking) في تحسين درجات AUPRC وزادت من الأعباء الحسابية.

5. الأهمية والتوصيات

تؤكد الدراسة أن النماذج اللغوية الكبيرة (LLMs) هي بدائل قابلة للتطبيق للمصنفات التقليدية لتصنيف النصوص الطبية الحيوية، خاصة في السيناريوهات التي تندر فيها البيانات المصنفة.

التوصيات العملية المستمدة من الدراسة:

1. استخدم التلقين بقلة العينات (Few-Shot Prompting): إضافة مثال واحد فقط يعزز الأداء بشكل كبير.
2. اختر الأمثلة حسب التشابه: استخدم التشابه الدلالي (التضمينات/Embeddings) لاختيار أمثلة قلة العينات بدلاً من الاختيار العشوائي.
3. استفد من احتمالات الرموز (Token Probabilities): لا تعتمد على النص الذي يولده النموذج للثقة؛ بل احسب الاحتمالات بناءً على احتمالية الرمز الأول لتمكين ضبط العتبة.
4. حافظ على بساطة التلقين: تقنيات الاستدلال المعقدة (CoT/ToT) ليست ضرورية لهذه المهمة؛ فالسؤال المباشر في التلقين كافٍ.
5. فعالية التكلفة: يمكن للنماذج مفتوحة المصدر الأصغر حجماً (مثل 8B بارامتر) أن تضاهي أداء النماذج التجارية الأكبر في هذه المهمة المحددة، مما يوفر حلاً فعالاً من حيث التكلفة.

الخلاصة: على الرغم من أن النماذج اللغوية الكبيرة لم تتفوق تقنياً على نماذج Transformer التي تم ضبطها أو نماذج Random Forest المضبوطة في هذه الدراسة، إلا أنها حققت نتائج مماثلة مع جهد أقل بكثير في إعداد البيانات. إن القدرة على توليد تقديرات موثوقة للاحتمالات عبر معالجة الرموز تجعلها أداة قوية لفحص الأدبيات الطبية، خاصة عندما تكون البيانات التدريبية المصنفة محدودة.