Clinical named entity recognition in the Portuguese language: a benchmark of modern BERT models and LLMs
تقوم هذه الدراسة بقياس أداء نماذج متنوعة من فئة BERT والنماذج اللغوية الكبيرة في مجال التعرف على الكيانات السريرية باللغة البرتغالية، حيث تُظهر أن نموذج mmBERT-base يحقق أعلى أداء (micro F1 = 0.76) على مجموعات البيانات العامة والخاصة، لا سيما عند دمجه مع التدرج التكراري لمعالجة عدم توازن الفئات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة ضخمة من الملاحظات الطبية المكتوبة بخط اليد. هذه الملاحظات مليئة بالمعلومات المنقذة للحياة — مثل الأدوية التي يتناولها المريض، أو نوع السرطان الذي يعاني منه، أو ما إذا كان قد خضع لعملية جراحية — ولكن المعلومات مدفونة في فقرات فوضوية وغير منظمة. الأمر يشبه البحث عن إبرة في كومة قش، لكن كومة القش هذه مكونة من آلاف الصفحات من المصطلحات الطبية المعقدة.
هذه الورقة البحثية تتحدث عن بناء أمين مكتبة فائق الذكاء يمكنه قراءة هذه الملاحظات الطبية باللغة البرتغالية، وفهمها، واستخراج المعلومات الهامة (مثل أسماء الأدوية أو أنواع الأمراض) منها فوراً وتنظيمها بشكل مرتب.
إليك قصة كيف قاموا ببناء واختبار هذا الروبوت، مشروحة ببساطة:
١. الهدف: تعليم روبوت قراءة الملاحظات الطبية باللغة البرتغالية
أراد الباحثون معرفة ما إذا كانت نماذج الذكاء الاصطناعي الحديثة يمكنها قراءة الملاحظات الطبية باللغة البرتغالية بشكل أفضل من أي وقت مضى. كان لديهم مكتبتان للاختبار:
- المكتبة العامة: مجموعة ضخمة ومفتوحة من الملاحظات من ١٢ تخصصاً طبياً مختلفاً (مثل مكتبة عامة يمكن لأي شخص زيارتها).
- الخزنة الخاصة: مجموعة سرية من الملاحظات المتعلقة بمرضى سرطان الثدي من عيادة خاصة في البرازيل. هذا يشفر قسم "VIP" حيث الخصوصية صارمة للغاية.
٢. المتنافسون: "الطلاب" في الامتحان
وضعوا نوعين من الذكاء الاصطناعي في مواجهة بعضهما البعض ليروا من يستطيع قراءة الملاحظات بشكل أفضل:
- العلماء المتخصصون (نماذج BERT): هؤلاء يشبهون الطلاب الذين درسوا في كلية الطب؛ فقد تم تدريبهم خصيصاً على اللغة والنصوص الطبية.
- BioBERTpt: عالم درس فقط الملاحظات الطبية البرازيلية.
- ModernBERT & mmBERT: "الطلاب المتفوقون". هم أحدث وأسرع، ودرسوا مزيجاً من لغات عديدة وكميات هائلة من النصوص.
- العباقرة العامون (نماذج LLM مثل GPT-5 وGemini): هؤلاء يشبهون الموسوعيين الذين يعرفون كل شيء عن العالم، لكنهم لم يدرسوا الطب بالضرورة. هم أقوياء ولكن يمكن أن يكونوا بطيئين ومكلفين في الاستخدام.
٣. المشكلة الكبرى: لغز "الفئة غير المتوازنة"
واجه الباحثون مشكلة معقدة. في الملاحظات الطبية، تظهر بعض الأشياء طوال الوقت (مثل "الألم" أو "الحمى")، بينما تظهر أشياء حرجة أخرى نادراً جداً (مثل طفرة جينية محددة).
تخيل معلماً يصحح اختباراً حيث ٩٠٪ من الأسئلة عن "التفاح" و١٠٪ فقط عن "البرتقال". إذا درس الطالب التفاح فقط، سيحصل على درجة عالية ولكنه سيفشل في فهم البرتقال. في عالم الذكاء الاصطناعي، يصبح النموذج "كسولاً" ويتجاهل التفاصيل الطبية النادرة والمهمة.
جرب الفريق ثلاث طرق لإصلاح ذلك:
١. التقسيم الطبقي التكراري (الخلط العادل): بدلاً من خلط أوراق الاختبار عشوائياً، قاموا بترتيبها بعناً بحيث تحتوي كل مجموعة اختبار على مزيج عادل من "التفاح" و"البرتقال". هذا ضمن أن الروبوت يتعلم من الحالات النادرة أيضاً.
٢. الخسارة الموزونة (الدرجات الإضافية): أخبروا الروبوت: "إذا أخطأت في 'البرتقال'، فسيُحسب ذلك كـ ١٠ أخطاء. أما إذا أخطأت في 'التفاح'، فسيُحسب خطأ واحداً فقط". هذا أجبر الروبوت على الانتباه للعناصر النادرة.
٣. الإفراط في أخذ العينات (آلة التصوير): قاموا بعمل نسخ إضافية من الملاحظات النادرة في بيانات التدريب حتى يراها الروبوت بشكل متكرر أكثر.
٤. النتائج: من الفائز؟
- الفائز: mmBERT (الطالب المتفوق) حصد الميدالية الذهبية. لقد كان الأفضل في إيجاد الإبر في كومة القش، حيث سجل ٠.٧٦ (على مقياس حيث ١.٠ هو المثالي). لقد تفوق على العلماء الطبيين المتخصصين والعباقرة العامين.
- المفاجأة: "العباقرة العامون" (GPT-5، Gemini) كانوا جيدين، لكنهم كانوا أبطأ، وتكلفتهم في التشغيل عالية، وفي الواقع لم يؤدوا بشكل أفضل من النماذج المتخصصة. اتضح أنه بالنسبة لهذه المهمة تحديداً، الأداة المتخصصة أفضل من "السكين السويسري" متعدد الاستخدامات.
- السر الخفي: "الخلط العادل" (التقسيم الطبقي التكراري) كان أهم خدعة. لقد رفع الدرجات بشكل كبير، مما يثبت أن كيفية تنظيم مواد الدراسة لا تقل أهمية عن ذكاء الطالب نفسه.
٥. لماذا يهم هذا؟
- إنه محلي وخاص: النموذج الأفضل (mmBERT) صغير بما يكفي ليعمل على جهاز كمبيوتر مكتبي عادي. هذا يعني أن المستشفيات يمكنها استخدامه دون إرسال بيانات المرضى الخاصة إلى شركات التكنولوجيا الكبرى في السحابة. هذا يحافظ على سرية البيانات.
- إنه يعمل على البيانات الخاصة: لم ينجح النموذج في المكتبة العامة فحسب، بل عمل بشكل رائع أيضاً في "خزنة سرطان الثدي الخاصة". هذا يثبت أن التكنولوجيا جاهزة للاستخدام في المستشفيات الحقيقية.
- إنه ميسور التكلفة: لا تحتاج إلى ميزانية تقدر بمليون دولار لبناء نظام ذكاء اصطناعي طبي؛ أنت فقط بحاجة إلى النموذج الصحيح والطريقة الصحيحة لتنظيم بياناتك.
الخلاصة
هذه الورقة البحثية تشبه كتاب وصفات لبناء ذكاء اصطناعي طبي. إنها تخبرنا: "لا تكتفِ بشراء أكثر أنظمة الذكاء الاصطناعي قوة وغلاءً. بدلاً من ذلك، استخدم نموذجاً متخصصاً (mmBERT)، ونظم بياناتك بشكل عادل (التقسيم الطبقي التكراري)، ويمكنك بناء نظام يوفر الوقت، ويحمي الخصوصية، ويجد المعلومات الطبية الحرجة في الملاحظات المكتوبة باللغة البرتغالية."
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.