A Granularity Blind Spot in the Evaluation of SNOMED CT Concept Normalization

في المشهد الواسع للطب الحديث، يعتمد الأطباء والباحثون على لغة مشتركة لوصف ما يحدث داخل جسم المريض. عندما يكتب الطبيب "تسمك جدار المثانة" في سجل طبي، فإن هذه العبارة هي ملاحظة محددة، ولكن لكي يتمكن الكمبيوتر من تنظيم أو البحث في ملايين السجلات المماثلة أو تحليلها، فإنه يحتاج إلى ترجمة هذا النص المتدفق بحرية إلى رمز معياري دقيق. تُعرف هذه العملية باسم "تطبيع المفاهيم" (concept normalization). وهي تعمل كمترجم عالمي، حيث تربط الطرق المتنوعة وغير المنظمة التي يصف بها البشر الأعراض والحالات بقاموس صارم ومنظم يسمى "SNOMED CT". هذا القاموس ليس مجرد قائمة مسطحة من الكلمات؛ بل هو شجرة معرفة عميقة ومتفرعة، حيث لكل مفهوم مكان محدد، بدءًا من الفئات العريضة مثل "المرض" وصولاً إلى أوصاف شديدة التحديد. والهدف هو ضمان أنه عندما يقرأ الكمبيوتر ملاحظة ما، فإنه يفهم بالضبط مستوى التفصيل الذي قصده الطبيب، مما يسمح بإجراء أبحاث دقيقة وتقديم رعاية أفضل للمرضى.

ومع ذلك، تشير دراسة جديدة إلى أن الطريقة التي يتحقق بها العلماء حاليًا مما إذا كانت هذه المترجمات الحاسوبية تعمل بشكل صحيح قد تكون غافلة عن تفصيل جوهري. لسنوات، قام الباحثون بتقييم هذه الأنظمة من خلال طرح سؤال بسيط: هل اختار الكمبيوتر نفس الرمز الذي حدده خبير بشري تمامًا؟ إذا كانت الإجابة نعم، يحصل النظام على نقطة؛ وإذا كانت لا، يحصل على صفر. تعامل هذه الطريقة جميع الأخطاء على أنها متساوية، حيث تفترض أن تخمين الكمبيوتر لمصطلح أوسع قليلاً هو خطأ تمامًا مثل تخمينه لمصطلح غير مرتبط تمامًا. ولكن في شجرة المعرفة الطبية، يختلف كونك بعيدًا قليلاً عن كونك تائهًا تمامًا. وقد اكتشف الباحثون وراء هذه الدراسة، الذين عملوا على سجلات طبية إسبانية، أن هذا الفحص البسيط القائم على "صح أو خطأ" يخفي نقطة عمياء كبيرة. فقد وجدوا أن أجهزة الكمبيوتر تواجه صعوبة أكبر بكثير في الحصول على الرمز الدقيق عندما يكون الخبير البشري قد كتب وصفًا محددًا للغاية ودقيقًا في الواقع أكثر من الرمز الذي يُفترض بالمنظومة إيجاده.

فحص الفريق ثلاث مجموعات كبيرة من الملاحظات الطبية الإسبانية، كل منها يحتوي على آلاف الأمثلة حيث قام خبراء بشريون بتوسيم النصوص برموز "SNOMED CT". والأهم من ذلك، أن هؤلاء الخبراء قد حددوا أيضًا ملاحظات معينة على أنها "ضيقة" (NARROW)، مما يعني أن النص يصف حالة بشكل أكثر تحديدًا من الرمز المخصص لها. على سبيل المثال، قد تصف ملاحظة نوعًا معينًا من مشاكل المثانة، لكن الرمز المخصص لها كان فئة أوسع من اضطرابات المثانة. اختبر الباحثون خمسة أنظمة حاسوبية مختلفة، تتراوح من أدوات مطابقة النصوص التقليدية إلى نماذج الذكاء الاصطناعي المتقدمة، لمعرفة كيفية أدائها في هذه الملاحظات. ووجدوا نمطًا ثابتًا: عندما كانت الملاحظة البشرية موسومة بأنها "ضيقة"، فشلت الأنظمة الحاسوبية في إعادة إنتاج الرمز المحدد المخصص لها بمعدل أكبر بكثير مما كانت عليه عندما كانت الملاحظة تطابق الرمز تمامًا. في الواقع، عبر جميع الأنظمة ومجموعات البيانات التي اختبروها، كان معدل الخطأ في هذه الملاحظات "الضيقة" المحددة يقرب من ضعف المعدل في الملاحظات الأخرى.

يتحدى هذا الاكتشاف الطريقة القياسية لقياس النجاح في هذا المجال. أظهرت الدراسة أنه بينما تفشل أجهزة الكمبيوتر غالبًا في إصابة الهدف الدقيق لهذه الملاحظات المحددة، إلا أنها ليست بالضرورة تائهة بعيدًا عن المسار الصحيح في الشجرة الطبية. فعندما تخطئ الهدف، غالبًا ما تهبط على مفهوم لا يزال قريبًا منطقيًا، مثل فئة أب أو مصطلح شقيق ذي صلة. قدم الباحثون طريقة لقياس "فجوة الائتمان" (credit gap) هذه، والتي تفصل بين تكرار الأخطاء ومدى قرب الخطأ من الإجابة الصحيحة. ووجدوا أن الفجوة بين درجة "الصح أو الخطأ" البسيطة والدرجة الأكثر دقة التي تأخذ في الاعتبار هيكل الشجرة كانت أكبر بكثير بالنسبة للملاحظات "الضيقة". وهذا يعني أن طريقة التقييم القياسية ليست فقط غير دقيقة نوعًا ما، بل هي تحجب بنشاط فرقًا حقيقيًا في كيفية تعامل هذه الأنظمة مع الأوصاف المحددة مقابل العامة. فالأنظمة لا تفشل بشكل عشوائي، بل تكافح بشكل منهجي لمطابقة أعلى مستوى من التفصيل عندما يكون المدخل البشري دقيقًا للغاية.

ولضمان أن هذا النمط ليس مجرد نزوة في البيانات أو التوسيمات، أجرى الباحثون تدقيقًا دقيقًا. حيث قام ثلاثة خبراء طبيين مستقلين بإعادة ترميز عينة من الملاحظات دون رؤية التوسيمات الأصلية أو تخمينات الكمبيوتر. وقد اتفق الخبراء مع التوسيمات الأصلية بنسبة 87 بالمائة، مما أكد أن التمييز بين الملاحظات "الدقيقة" و"الضيقة" كان حقيقيًا وقابلاً للتكرار. كما اختبروا ما إذا كانت أجهزة الكمبيوتر تفشل ببساطة لأن الرموز المحددة كانت نادرة أو غير مرئية أثناء التدريب. وحتى بعد تعديل هذه العوامل، ظل النمط قائمًا: كانت الأنظمة أكثر عرضة بشكل كبير لتفويت الرمز الدقيق في الملاحظات المحددة. كما بحثت الدراسة في كيفية تعامل أجهزة الكمبيوتر مع الحالات "الجديدة" (novel)—وهي الرموز التي لم يرها النظام من قبل. ووجدوا أن العديد من هذه الرموز الجديدة كانت مرتبطة بالفعل بمفاهيم رآها النظام من قبل، مما يشير إلى أن الأنظمة يمكنها غالبًا التنقل في الشجرة حتى عندما يكون الوجهة الدقيقة جديدة.

إن تداعيات هذا العمل واضحة لأي شخص يبني أو يستخدم أدوات الترجمة الطبية هذه. تجادل الدراسة بأن مجرد الإبلاغ عن نسبة دقة إجمالية لم يعد كافيًا. إذا كان يتم تقييم نظام ما، فيجب تقسيم النتائج لإظهار كيفية أدائه في الملاحظات العامة مقابل الملاحظات شديدة التحديد. ويقترح الباحثون أنه بالنسبة للمعايير التي تتضمن تسميات مستوى التفصيل هذه، يجب أن يكون أول شيء يتم الإبلاغ عنه هو معدلات الخطأ المفصلة حسب مستوى التفصيل هذا. وفقط بعد ذلك ينبغي إضافة الدرجات الأكثر تعقيدًا التي تقيس مدى قرب الإجابة الخاطئة من الإجابة الصحيحة. هذا النهج من شأنه أن يعطي صورة أوضح عن مواطن القوة والضعف في النظام. إنه يكشف أن درجة "النموذج الواحد للجميع" الحالية تشبه الحكم على قارئ الخريطة فقط بناءً على ما إذا كان قد وصل إلى العنوان الدقيق للشارب، متجاهلة حقيقة أنه قد يصل إلى الحي الصحيح في كل مرة، حتى لو أخطأ في رقم المنزل المحدد في الطلبات الأكثر تفصيلًا. ومن خلال التعرف على هذه النقطة العمياء، يمكن للمجال أن ينتقل نحو طرق تقييم أفضل تعكس حقًا تعقيد اللغة الطبية والتحديات المحددة التي تواجهها أجهزة الكمبيوتر عند محاولة فهم أدق تفاصيل الصحة البشرية.