Consensus Measures for Unstructured Biomedical Text Annotations
تتقصى هذه الورقة طرق قياس موثوقية التوافق بين المقيمين في التعليقات التوضيحية للنصوص الطبية الحيوية غير المهيكلة، مبينة أنه في حين أن مقاييس التكافؤ الدلالي مثل التضمينات والنماذج اللغوية الكبيرة لها قيود متميزة، فإن الاستدلال باللغة الطبيعية يقدم حلاً وسطاً واعداً لتقييم هذا التوافق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق تحاول حل لغز من خلال قراءة آلاف الرسائل القديمة المكتوبة بخط اليد. في عالم الطب، يقوم العلماء بشيء مشابه: فهم يقرؤون ملايين الأوراق البحثية للعثور على أدلة خفية حول الأمراض، والأدوية، والعلاجات. ولكن إليك الجزء الصعب؛ أحيانًا لا تكون الأدلة التي يبحثون عنها مدرجة في قائمة مراجعة، بل تكون مخبأة في جمل حرة التدفق، مثل كتابة طبيب: "شعر المريض بالإرهاق والضعف" بدلاً من وضع علامة في خانة مكتوب فيها "تعب".
وللتأكد من أن هذه الأدلة حقيقية وليست مجرد صدفة، غالبًا ما يستعين العلماء بشخصين أو أكثر لقراءة نفس الرسائل وتدوين ما يجدونه. يسمى هذا "الترميز" (annotating). إذا كتب كلا الشخصين نفس الكلمات تمامًا، فمن السهل القول إنهما متفقان. ولكن ماذا لو كتب أحدهما "مرهق" وكتب الآخر "متعب"؟ هل هما الشيء نفسه؟ في الأيام الخوالي، كانت الحواسيب تقول "لا، هاتان كلمتان مختلفتان"، وستكون درجة الاتفاق منخفضة. لكن في عالم الطب الحقيقي، تعني كلمتا "مرهق" و"متعب" الشيء نفسه. يتحدث هذا البحث عن تعليم الحواسيب فهم هذا الفرق الدقيق، حتى نتمكن من الثقة في الأدلة التي نجدها في الأدبيات الطبية.
سعى الباحثون في هذا البحث، بقيادة باسكال وولشليجر وفريقه، لحل صداع محدد: كيف نقيس مدى اتفاق شخصين عندما يكتبان ملاحظات حرة بدلاً من الاختيار من قائمة؟ يطلقون على ذلك اسم "الموثوقية اللينة بين المقيمين" (soft inter-rater reliability). فكر في الأمر كتقييم واجب كتابة إبداعية؛ إذا طلبت من معلمين تقييم مقال، فقد يستخدمان كلمات مختلفة لوصف نفس النقطة الجيدة. نظام "قاسٍ" سيعتبرهما راسبين لعدم استخدامهما نفس الكلمات تمامًا. أما النظام "اللين" فيدرك أن "رائع" و"ممتاز" قريبتان بما يكفي لاعتبار ذلك اتفاقًا.
لم يكتفِ الفريق بالتخمين لكيفية إصلاح ذلك، بل بنوا ساحة لعب رقمية ضخمة لاختباره. لقد أنشأوا آلاف السيناريوهات الطبية الوهمية حيث يعرفون "الإجابة الصحيحة" مسبقًا. ثم وضعوا أدوات حاسوبية مختلفة في مواجهة بعضها البعض ليروا أي منها يمكنه تحديد ما إذا كان وصفان مختلفان يعنيان الشيء نفسه بأفضل طريقة. كانت بعض الأدوات تشبه مدققي الإملاء، حيث تحصي عدد الحروف المختلفة (مسافة التحرير/edit distance). وكانت أدوات أخرى مثل القواميس الذكية التي تبحث في معنى الكلمات (التضمينات/embeddings). أما الأدوات الأحدث فكانت مثل عقول ذكاء اصطناعي عملاقة وفائقة الذكاء (نماذج اللغات الكبيرة/Large Language Models) يمكنها قراءة جملة وتقرير ما إذا كانت تعني نفس معنى جملة أخرى.
إليكم ما وجدوه، وهي ضربة حماسية في الحبكة. كانت أدوات "مدقق الإملاء" جيدة للأشياء البسيطة، لكنها فشلت فشلًا ذريعًا عندما كانت الكلمات معقدة. أما أدوات "القاموس الذكي" فقد كانت سريعة وجيدة في رصد التشابهات العامة، لكن كان لديها نقطة ضعف: لم تستطع التمييز بين شيئين متشابهين ولكن غير متطابقين. على سبيل المثال، قد تظن أن "الصداع" و"الشقيقة" هما نفس الشيء لأنهما يبدوان متشابهين، رغم أن الشقيقة هي نوع محدد وأقوى من الصداع. وهذه مشكلة كبيرة في الطب حيث الدقة أمر بالغ الأهمية.
أما عقول الذكاء الاصطناعي العملاقة فكانت الأكثر دقة في فهم المعنى الحقيقي، لكن كان لديها مشكلة أخرى: كانت بطيئة ومكلفة للغاية لتشغيل العدد الهائل من الاختبارات اللازمة لإثبات أنها تعمل بشكل صحيح. الأمر يشبه امتلاك محقق عبقري يحل القضية ببراعة ولكنه يستغرق شهرًا لإنجازها، بينما أنت تحتاج إلى إجابة في ثانية واحدة.
إذًا، من هو الفائز؟ يقترح البحث أن الحل الأفضل هو أداة وسطى تعتمد على "الاستدلال اللغوي الطبيعي" (NLI). فكر في NLI كحل للألغاز المنطقية. بدلاً من مجرد عد الحروف أو تخمين التشابه، تسأل الأداة: "إذا كانت هذه الجملة صحيحة، فهل يجب أن تكون تلك الجملة صحيحة أيضًا؟" الأمر يشبه سؤال: "إذا قلت 'لدي سيارة حمراء'، فهل يعني ذلك 'لدي سيارة'؟" نعم. ولكن إذا قلت "لدي سيارة"، فهل يعني ذلك "لدي سيارة حمراء"؟ لا. هذا النهج القائم على المنطق كان الأكثر موثوقية في اختباراتهم. لقد كان سريعًا بما يكفي ليكون عمليًا وذكيًا بما يكفي لتجنب الأخطاء التي وقعت فيها الأدوات الأخرى.
كما أظهر الباحثون أن هذه الطريقة لا تعمل فقط مع الكلمات المفردة، بل مع قوائم الملاحظات أيضًا. تخيل أن طبيبًا كتب قائمة من ثلاثة أعراض وطبيبًا آخر كتب قائمة من أربعة أعراض. لقد توصل البحث إلى كيفية مطابقتها تمامًا، مثل مطابقة الجوارب من كومتين مختلفتين لمعرفة كم منها يتطابق، حتى لو لم تكن الكومتان بنفس الحجم.
في النهاة، لا يدعي هذا البحث أنه حل كل المشكلات في البحث الطبي. بل يشير إلى أنه بالنسبة للوقت الحالي، فإن استخدام أدوات الذكاء الاصطناعي القائمة على المنطق هو الطريقة الأذكى لقياس الاتفاق على الملاحظات الطبية ذات النص الحر. إنها خطوة للأمام لضمان أننا عندما نبحث في جبل الأدبيات الطبية للعثور على علاجات جديدة، فنحن لا نعد الكلمات فحسب، بل نفهم بالفعل المعنى الكامن وراءها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.