MADE: A Living Benchmark for Multi-Label Text Classification with Uncertainty Quantification of Medical Device Adverse Events

إليك ملخص تقني مفصل لورقة البحث بعنوان: "MADE: معيار حي لتصنيف النصوص متعدد الملصقات مع التكميم النوعي لعدم اليقين في الأحداث الضائرة للأجهزة الطبية."

1. بيان المشكلة

تتناول الورقة تحديات حرجة في تطبيق تعلم الآلة (ML) في المجالات الرعاية الصحية عالية المخاطر، وتحديداً تصنيف النصوص متعدد الملصقات (MLTC) لتقارير الأحداث الضائرة للأجهزة الطبية.

• تعقيد تصنيف النصوص متعدد الملصقات (MLTC): تتضمن المهمة اختيار ملصقات متعددة من مجموعة كبيرة، هرمية، ومترابطة. تظهر البيانات في العالم الحقيقي اختلالاً شديداً في توازن الفئات (توزيع ذيل طويل) واعتماديات بين الملصقات، مما ينتهك افتراضات الاستقلالية القياسية.
• تشبع المعايير والتلوث: غالباً ما تكون معايير MLTC الحالية ثابتة، أو مشبعة، أو ملوثة بالبيانات الموجودة في مجموعات البيانات المستخدمة في التدريب المسبق للنماذج اللغوية الكبيرة (LLMs). وهذا يجعل من الصخم التمييز بين الاستنتاج الحقيقي وبين مجرد الحفظ.
• الافتقار إلى التكميم النوعي لعدم اليقين (UQ): في البيئات عالية المخاطر مثل الرعاية الصحية، لا تكفي دقة التنبؤ وحدها. تتطلب الأنظمة تكميماً نوعياً موثوقاً لعدم اليقين (UQ) لتحديد الحالات الغامضة للمراجعة البشرية. ومع ذلك، نادراً ما تقيم المعايير الحالية الـ UQ عبر البنى المختلفة (المشفر مقابل فك التشفير) ونماذج التعلم (الضبط الدقيق مقابل التلقين).
• فجوة "الاستنتاج": ليس من الواضح ما إذا كانت النماذج الصغيرة المتخصصة أم نماذج التأسيس الكبيرة القائمة على "الاستنتاج" هي الأنسب لهذه المهام، كما أنه من غير المعروف مدى موثوقية درجات الثقة لهذه النماذج.

2. المنهجية

أ. معيار MADE (البيانات)

يقدم المؤلفون MADE، وهو معيار "حي" مستمد من تقارير الأحداث الضائرة للأجهزة الطبية من إدارة الغذاء والدواء الأمريكية (FDA).

• مصدر البيانات: تقارير من عام 2015 إلى منتصف عام 2025، مصنفة وفق أكواد IMDRF (المنتدى الدولي لتنظيم الأجهزة الطبية) الهرمية.
• الهيكل:
  • الملصقات: 1,154 ملصقاً فريداً عبر 3 مستويات هرمية (مشكلات المنتج ومشكلات المريض).
  • التوزيع: توزيع ذيل طويل مع اختلال شديد في التوازن (الرأس: >1%، المتوسط: 0.1–1%، الذيل: 0.01–0.1%، الذيل الشديد: <0.01%).
  • التقسيم الزمني: فصل زمني صارم لمنع تسرب البيانات. التدريب (2015–2023)، التحقق (أوائل 2024)، والاختبار (منتصف 2024 إلى منتصف 2025).
  • الطبيعة الحية: يتم تحديث مجموعة البيانات باستمرار بتقارير جديدة من FDA، مما يضمن اختبار النماذج المستقبلية على بيانات تلي تاريخ تدريبها، مما يمنع التلوث.
• المعالجة المسبقة: إزالة التكرار، وتقليل العينات عبر HDDTBSCAN للحفاظ على الملصقات النادرة، ونشر الملصقات للأعلى لتشمل جميع الأسلاف في الهيكل الهرمي.

ب. الإعداد التجريبي

تقيم الدراسة أكثر من 20 نموذجاً عبر أربعة نماذج للتعلم:

1. الضبط الدقيق التمييزي (Discriminative Fine-Tuning): نماذج تعتمد على المشفر فقط (عائلة Ettin) ونماذج تعتمد على فك التشفير فقط (Llama base) مع رأس تصنيف.
2. الضبط الدقيق التوليدي (Generative Fine-Tuning): نماذج تعتمد على فك التشفير فقط مدربة على توليد الملصقات كرموز (tokens).
3. التلقين في سياق التعلم (Few-Shot Prompting): باستخدام نماذج موجهة للتعليمات ونماذج "استنتاجية" (تفكير) (مثل GPT-4.1، GPT-5، DeepSeek-R1، Qwen3) مع 10 أمثلة.
4. النماذج المختبرة: تتراوح من 150 مليون معلمة (Ettin) إلى 235 مليار+ معلمة (Qwen، GPT-5)، بما في ذلك النماذج المحلية والمتاحة عبر واجهة برمجة التطبيقات (API).

ج. طرق التكميم النوعي لعدم اليقين (UQ)

تقيم الورقة بشكل منهجي ثلاث فئات من الـ UQ:

1. القائم على المعلومات ($U_{info}$): مقاييس مستوى الرمز (token) بما في ذلك الإنتروبيا (Entropy)، والارتباك (Perplexity)، ومتوسط/أقصى احتمالية اللوغاريتم، وعدم الاحتمالية.
2. القائم على الاتساق ($U_{cons}$): يقيس تباين المخرجات عبر عمليات التمرير الأمامي العشوائية باستخدام مجموع القيم الذاتية لمخطط لابلاس (graph Laplacian).
3. القائم على التعبير الذاتي ($U_{self}$): توجيه النموذج لإخراج درجة ثقة مباشرة.

• مقاييس التقييم:
  • معدل رفض التنبؤ (PRR): يقيس مدى فعالية درجات عدم اليقين العالية في تحديد وترك المجال لرفض التنبؤات الخاطئة.
  • ارتباط سبيرمان ($\rho$): الارتباط بين عدم اليقين والصحة (السالب هو المرغوب فيه).
  • خطأ المعايرة المتوقع للفئة الإيجابية ($ECE^+$): يقيس تحديداً نقص الثقة في حالات الإيجاب الحقيقي، لمعالجة مشكلات ECE القياسي في سياق تعدد الملصقات غير المتوازن.

3. المساهمات الرئيسية

1. معيار MADE: معيار قابل لإعادة الإنتاج، خالٍ من التلوث، وحي لتصنيف النصوص متعدد الملصقات في الرعاية الصحية مع تقسيمات زمنية صارمة وملصقات هرمية وذات ذيل طويل.
2. خطوط الأساس الشاملة: وضع خطوط أساس للأداء لأكثر من 20 نموذجاً عبر نماذج التمييز، والتوليد، والتلقين.
3. تحليل UQ: يوفر أول مقارنة منهجية لطرق UQ (المعلومات، الاتساق، التعبير الذاتي) خصيصاً لتصنيف النصوص متعدد الملصقات في السياق الطبي.
4. اكتشاف المقايضة الحرجة: يكشف أن النماذج الاستنتاجية الكبيرة، رغم تفوقها، تفشل بشكل كبير في التكميم النوعي لعدم اليقين.

4. النتائج الرئيسية

الأداء التنبؤي

• الضبط الدقيق مقابل التلقين: حقق الضبط الدقيق التمييزي لنماذج فك التشفير (تحديداً Llama-3.1-8B-Base) أعلى F1 كلي (0.54) وأفضل دقة للرأس والذيل. وقد تفوق باستمرار على الضبط الدقيق التوليدي للنماذج ذات الحجم المماثل.
• نماذج الاستنتاج: برعت نماذج الاستنتاج الكبيرة (مثل GPT-5، Qwen3-235B-Thinking) في فئات الذيل الشديد (ET) (F1 ~0.34) لكنها تراجعت خلف النماذج المضبوطة بدقة في الفئات الشائعة (الرأس).
• التلقين: أدى التلقين بلقطات قليلة (few-shot) عموماً إلى أداء أقل مقارنة بالضبط الدقيق، مع تباين عالٍ بين النماذج.

التكميم النوعي لعدم اليقين (UQ)

• الضبط الدقيق التوليدي: من المثير للدهشة أن الضبط الدقيق التوليدي قدم أكثر UQ موثوقية (أعلى PRR، وأفضل $\rho$، وأقل $ECE^+$)، متفوقاً على الضبط الدقيق التمييزي والتلقين.
• الضبط الدقيق التمييزي: وفر UQ مستقراً وتنافسياً، خاصة للنماذج الأصغر (مثل Llama-3.2-1B).
• نماذج الاستنتاج: رغم دقتها التنبؤية العالية في الملصقات النادرة، أظهرت نماذج الاستنتاج ضعفاً مفاجئاً في UQ. كانت درجات عدم اليقين لديها قريبة من العشوائية (PRR ~0.23)، مما يجعلها غير موثوقة للتنبؤ الانتقائي أو التنسيق البشري في الحلقة (human-in-the-loop).
• الثقة المعبّر عنها ذاتياً: ثبت أنها وكيل سيء لعدم اليقين الفعلي ويجب تجنبها.
• أفضل طريقة لـ UQ: كانت مقاييس الرموز القائمة على الإنتروبيا ($U_{info}$) هي الأفضل. وتقديمها مع مقاييس الاتساق ($U_{cons}$) قدم مكاسب هامشية بتكلفة حوسبية عالية.

المقايضات

• الرأس مقابل الذيل: توجد مقايضة مستمرة: النماذج المحسنة للملصقات النادرة (الاستنتاج/التلقين) تضحي بالأداء في الملصقات الشائعة، بينما توازن النماذج التمييزية المضبوطة بدقة بين الاثنين لكنها تعاني قليلاً أكثر من نماذج الاستنتاج في الوصول للذيل الشديد.
• الأداء مقابل UQ: الأداء التنبئي العالي لا يضمن تقديرات موثوقة لعدم اليقين. جاء أفضل UQ من الضبط الدقيق التوليدي، بينما امتلكت أفضل نماذج الاستنتاج أسوأ UQ.

5. الأهمية والخلاصة

• الإرشاد العملي: بالنسبة لتطبيقات الرعاية الصحية التي تتطلب الدقة والسلامة (عبر UQ)، فإن النماذج المضبوطة بدقة (خاصة الضبط الدقيق التوليدي) هي الخيار الأفضل مقارنة بالتلقين أو استخدام نماذج الاستنتاج الخام.
• موثوقية نماذج "التفكير": تسلط الدراسة الضوء على خلل حرج في نماذج "الاستنتاج" الحالية: يمكنها حل مهام التصنيف الصعبة ولكن لا يمكنها الإشارة بموثوقية إلى متى تكون مخطئة، مما يشكل خطراً على النشر الآلي.
• البحث المستقبلي: تحدد الورقة الحاجة إلى:
  • استقصاء سبب تحسين الضبط الدقيق التوليدي لـ UQ.
  • تطوير طرق لمعايرة نماذج الاستنتاج.
  • تدريب نماذج مشفر أصغر باستخدام التعلم المعزز لتحقيق "أفضل ما في العالمين" (دقة عالية + UQ موثوق + تكلفة منخفضة).
• مورد للمجتمع: من خلال إطلاق MADE، يوفر المؤلفون أساساً لمنع تشبع المعايير وتمكين التقييم المستمر لنماذج LLM المستقبلية على بيانات طبية حقيقية وجديدة.

باختصار، تجادل الورقة بأنه بينما تظهر نماذج LLM الرائدة وعوداً في التعامل مع الأحداث الطبية المعقدة والنادرة، فإن الضبط الدقيق لمهام محددة يظل النهج الأكثر قوة لبناء أنظمة تعلم آلي موثوقة، آمنة، وواعية لعدم اليقين في الرعاية الصحية.