Relation Extraction Capabilities of LLMs on Clinical Text: A Bilingual Evaluation for English and Turkish
تقدم هذه الدراسة أول مجموعة بيانات ثنائية اللغة (الإنجليزية-التركية) لاستخراج العلاقات السريرية، وتُثبت أن النماذج اللغوية الكبيرة القائمة على التلقين، لا سيما عند تعزيزها باستراتيجية "الاسترجاع المدرك للعلاقة" المبتكرة، تتفوق على النماذج المرجعية التقليدية المضبوطة بدقة، مع الكشف عن فجوة في الأداء بين التقييمات باللغتين الإنجليزية والتركية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك طبيب يحاول قراءة الملف الطبي لمريض ما. الملف عبارة عن كومة فوضوية من الملاحظات المكتوبة بخط اليد والمصطلحات الطبية المعقدة. هدفك ليس مجرد قراءة الكلمات؛ بل هو ربط النقاط ببعضها البعض. أنت بحاجة لمعرفة: هل هذا الدواء يعالج هذا المرض؟ هل كشف هذا الاختبار عن ذلك المرض؟ هل هذا المرض يجعل حالة المريض تسوء؟
تسمى هذه العملية استخراج العلاقات (Relation Extraction). إنها تشبه كونك محققاً يتعين عليه اكتشاف العلاقة المحددة بين مشتبه بهما (كيانين) في قصة ما.
تتحدث هذه الورقة البحثية عن تعليم عقول حاسوبية فائقة الذكاء (تسمى النماذج اللغوية الكبيرة أو LLMs) القيام بعمل المحقق هذا، ليس باللغة الإنجليزية فحسب، بل وأيضاً باللغة التركية.
إليك قصة ما فعلوه، مشروحة ببساة:
1. المشكلة: "الفجوة اللغوية"
معظم هذه الحواسيب فائقة الذكاء تم تدريبها بشكل أساسي على اللغة الإنجليزية. إنها مثل طلاب عباقرة درسوا فقط في مكتبة إنجليزية. إذا سألتهم عن حل لغز طبي باللغة التركية، فغالباً ما يتعثرون لأن هناك عددًا قليلاً جداً من "كتب التدريب" (مجموعات البيانات) المتاحة باللغة التركية.
أراد الباحثون معرفة ما إذا كانت هذه الحواسيب قادرة على التعامل مع الملاحظات الطبية التركية بنفس كفاءة الملاحظات الإنجليزية، وما إذا كان بإمكانها فعل ذلك دون الحاجة إلى إعادة تدريبها من الصفر (وهو أمر مكلف وصعب).
2. الأداة الجديدة: "كتاب تدريب" ثنائي اللغة
لاختبار ذلك، أنشأ الفريق شيئاً لم يكن موجوداً من قبل: مجموعة بيانات متوازية ثنائية اللغة.
- المصدر: أخذوا مجموعة شهيرة من الملاحظات الطبية الإنجليزية (مجموعة i2b2/VA لعام 2010) التي يستخدمها الجميع للتدريب.
- الترجمة: لم يستخدموا مترجماً آلياً فحسب، بل قام خبراء طبيون ولغويون بترجمة هذه الملاحظات بعناية إلى التركية، لضمان بقاء المعنى الطبي دقيقاً تماماً.
- النتيجة: الآن، أصبح لديهم "كتاب تدريب" حيث لكل جملة إنجليزية توأم تركي مثالي. سمح هذا لهم باختبار الحواسيب بشكل عادل بكلتا اللغتين.
3. الاستراتيجية: كيف تُعلّم الحاسوب
جرب الباحثون طريقتين رئيسيتين لجعل الحاسوب يحل اللغز:
الطريقة (أ): نهج "الحشو" (Fine-Tuning)
هذا يشبه أخذ طالب وإجباره على حفظ 1500 سؤال تدريبي محدد حتى يحفظ الإجابات عن ظهر قلب. جرب الباحثون هذا مع نماذج أصغر وأقدم (مثل BERT).- النتيجة: كانت جيدة، لكن الطالب عانى لأن 1500 سؤال لم تكن كافية لحفظ كل شيء بشكل مثالي.
الطريقة (ب): نهج "التلميح" (Prompting)
بدلاً من الحفظ، يشبه هذا الأمر إعطاء الطالب بعض الأمثلة الجيدة حقاً قبل الاختبار مباشرة وقول: "انظر كيف حللتُ هذه الأمثلة، والآن جرب أنت". وهذا ما يسمى التعلم داخل السياق (In-Context Learning).- التحول: أدرك الباحثون أن نوع الأمثلة التي تعرضها على الطالب يفرق كثيراً. إذا عرضت أمثلة عشوائية، فسيصاب الطالب بالارتباك.
- الابتكار (RAR): اخترعوا طريقة جديدة لاختيار الأمثلة تسمى الاسترجاع المدرك للعلاقات (Relation-Aware Retrieval - RAR). بدلاً من اختيار أمثلة تبدو متشابهة على السطح فقط، يقوم نظام RAR باختيار أمثلة تحتوي على نفس نوع العلاقة.
- تشبيه: إذا كان سؤال الاختبار حول "الدواء (أ) يعالج المرض (ب)"، فإن نظام RAR يبحث عن مثال تدريبي حيث "الدواء (ج) عالج المرض (د)". هو لا يختار مجرد مثال يتحدث عن الدواء، بل يختار مثالاً يطابق منطق العلاج.
4. النتائج: من الفائز؟
اختبر الباحثون عدة "عقول فائقة" مختلفة (LLMs) مثل Gemini وDeepSeek وGPT.
- فازت طريقة "التلميح": كانت الحواسيب التي أُعطيت أمثلة جيدة (الطريقة ب) أذكى بكثير من تلك التي حاولت الحفظ (الطريقة أ).
- طريقة "أفضل تلميح": كانت طريقة RAR (اختيار الأمثلة الأكثر منطقية) هي الفائزة بوضوح. لقد ساعدت الحواسيب على تحقيق أعلى الدرجات.
- الإنجليزية مقابل التركية: كما هو متوقع، كانت الحواسيب أفضل قليلاً في الإنجليزية (اللغة التي تعرفها جيداً)، لكنها قدمت أداءً مبهراً في التركية.
- البطل: إن الجمع بين طريقة RAR (الاختيار الذكي للأمثلة) وطريقة معينة لطلب التفكير "خطوة بخطوة" من الحاسوب (تسمى سلسلة الأفكام - Chain-of-Thought) حقق أفضل النتائج.
- في الإنجليزية، وصلوا إلى درجة 0.918 (شبه مثالية).
- في التركية، وصلوا إلى 0.888 (نتيجة مبهرة جداً للغة ذات موارد محدودة).
5. الخلاصة الكبرى
تثبت هذه الورقة أنك لست بحاجة دائماً لإجبار الحاسوب على حفظ آلاف الأمثلة لجعله ذكياً. بدلاً من ذلك، إذا أعطيته أمثلة عالية الجودة وذات صلة (مثل معلم جيد) وطلبت منه شرح منطقه وتفكيره، فيمكنه حل الألغاز الطبية المعقدة في لغات مختلفة بفعالية كبيرة.
وجدوا أيضاً أن التركية أصعب من الإنجليزية بالنسبة لهذه النماذج. فاللغة التركية لغة "إلصاقية" (تصبح الكلمات طويلة ومعقدة جداً بإضافة العديد من النهايات)، مما يجعل من الصعب على الحاسوب رصد العلاقات. ومع ذلك، ساعدت طريقة "التلميح الذكي" الجديدة في سد هذه الفجوة بشكل كبير.
باخت-الاختصار: من خلال إنشاء مجموعة بيانات ثنائية اللغة جديدة وابتكار طريقة أذكى لاختيار أمثلة التدريب، أثبت الباحثون أن الذكاء الاصطناعي يمكن أن يكون محققاً طبياً بارعاً في كل من الإنجليزية والتركية، دون الحاجة إلى كميات هائلة من البيانات الجديدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.