Evaluating Methods for Assessing LLM-Translated Clinical Discharge Instructions: A Comparison of Automated Metrics, MQM-Based Evaluation, and Clinician Review

عندما يغادر المريض المستشفى، لا تكون تعليمات الخروج التي يتلقاها مجرد قائمة من المهام؛ بل هي جسر حيوي بين الرعاية المهنية والحياة اليومية. وإذا لم تُفهم هذه التعليمات، فإن خطر الأخطاء الدوائية، وتفويت مواعيد المتابعة، وتدهور الحالات الصحية يرتفع بشكل حاد. وبالنسبة للمرضى الذين يتحدثون الإسبانية كلغتهم الأم، يجب بناء هذا الجسر بلغتهم الأصلية. ولعقود من الزمن، اعتمدت المستشفيات على المترجمين البشريين لضمان دقة هذه الوثائق، لكن الصعود السريع للذكاء الاصطناعي قدم طريقة جديدة وأسرع لتوليد هذه الترجمات. إن النماذج اللغوية الكبيرة، وهي نفس نوع التكنولوجيا التي يمكنها كتابة المقالات أو الإجابة على الأسئلة المعقدة، يتم اختبارها الآن لمعرفة ما إذا كان بإمكانها ترجمة الوثائق الطبية بنفس العناية والدقة التي يتمتع بها الخبير البشري. والسؤال المركزي ليس فقط ما إذا كان بإمكان الآلة ترجمة الكلمات، بل ما إذا كان بإمكانها ترجمة المعنى، خاصة عندما يمكن لكلمة واحدة خاطئة أن تغير فهم المريض لصحتهم.

وضع فريق من الباحثين في كلية الطب بجامعة كولورادو تجربة للإجابة على هذا السؤال من خلال اختبار مدى جودة ترجمة الذكاء الاصطناعي لتعليمات الخروج من المستشفى من الإنجليزية إلى الإسبانية. لم يكتفوا بمجرد طلب الترجمة من الكمبيوتر؛ بل بنوا تجربة صارمة لمعرفة كيف يمكن للطرق المختلفة في توجيه الأوامر للكمبيوتر أن تغير النتائج. أخذوا مائتي تعليمات خروج حقيقية، تم إخفاء هوية أصحابها، من قاعدة بيانات طبية كبيرة، وأدخلوا هذه التعليمات في ثلاثة نماذج مختلفة من الذكاء الاصطناعي. ولرؤية ما إذا كانت الطريقة التي يتحدث بها البشر مع الآلة تهم، استخدموا طريقتين متمايزتين من التوجيه (prompting). في إحدى الطريقتين، أخبروا الكمبيوتر أن يتقمص دور إكلينيكي خبير في وحدة العناية المركزة، مسؤول عن ترجمة النص. وفي الطريقة الأخرى، أعطوه تعليمات بسيطة وحرفية بمجرد ترجمة الكلمات، دون أي دور أو سياق. كان الهدف هو معرفة ما إذا كان تأطير الآلة كطبيب سيؤدي إلى ترجمات طبية أفضل من معاملتها كأداة بسيطة لتبديل الكلمات.

ولتقييم جودة هذه الترجمات، استخدم الباحثون ثلاثة نهج مختلفة، ينظر كل منها إلى النص من زاوية مختلفة. أولاً، استخدموا مقاييس حاسوبية مؤتمتة، وهي أدوات قياسية في مجال تكنولوجيا اللغة تقوم بعدّ كم الكلمات والعبارات في الترجمة والتي تطابق النص الأصلي. هذه الأدوات سريعة ويمكنها معالجة آلاف الوثائق، لكنها تنظر أساساً إلى التشابهات السطحية. ثانياً، استخدموا إطار عمل مهيكل يسمى "مقياس الجودة متعدد الأبعاد" (MQM). يقسم هذا الأسلوب الترجمة إلى فئات محددة، مثل ما إذا كانت المصطلحات الطبية صحيحة، وما إذا كانت النبرة مناسبة للمريض، وما إذا كانت القواعد اللغوية تتدفق بشكل طبيعي. وقد جعلوا نظام ذكاء اصطناعي يعمل كحكم لتقييم الترجمات عبر هذه الفئات. وأخيراً، والأهم من ذلك، استعانوا بخبراء بشريين. فقد قام طبيبان يتحدثان اللغتين بطلاقة في كل من الإنجليزية والإسبانية بمراجعة عينة عشوائية من الترجمات. وقاما بتقييم الوثائق باستخدام نفس الفئات المهيكلة، ليكونوا بمثابة المعيار الذهبي لما يجب أن تكون عليه الترجمة عالية الجودة والآمنة.

كشفت النتائج عن انفصال مفاجئ بين ما اعتبره الكمبيوتر جيداً وما اعتبره الأطباء البشريون جيداً. فقد فضلت المقاييس المؤتمتة، التي تعد الكلمات المتداخلة، باستمرار الترجمات الناتجة عن التوجيهات الحرفية البسيطة. فعندما أُمر الكمبيوتر بمجرد الترجمة كلمة بكلمة، كانت الدرجات المؤتمتة أعلى، مما يشير إلى أن المخرجات كانت أقرب إلى النص الإنجليزي الأصلي. ومع ذلك، عندما نظر الباحثون في درجات الجودة المهيكلة والمراجعات البشرية، ظهرت صورة مختلفة. فالترجمات الناتجة عن توجيه "الإكلينيكي"، حيث طُلب من الكمبيوتر تقمص دور خبير طبي، كانت تؤدي غالباً بشكل أفضل من حيث الأسلوب والنبرة، حتى لو قيمتها أدوات عد الكلمات المؤتمتة بدرجة أقل. وهذا يشير إلى أن الأدوات المستخدمة لقياس نجاح الترجمة في الماضي قد لا تلتقط الفروق الدقيقة التي تهم أكثر في بيئة المستشفى.

وعندما قارن الباحثون الدرجات التي أعطاها حكام الذكاء الاصطناعي مقابل الدرجات التي أعطاها الأطباء البشريون، كان الاتفاق منخفضاً بشكل مفاجئ. فغالباً ما اختلف الكمبيوتر والخبراء البشريون حول ما إذا كانت الترجمة دقيقة أو ما إذا كانت المصطلحات الطبية صحيحة. ووجد أعلى مستوى من الاتفاق بين الآلة والإنسان في مجالات مثل التنسيق والاصطلاحات المحلية، حيث تكون القواعد واضحة وموضوعية. ومع ذلك، في المجالات الأكثر أهمية — مثل دقة المعنى الطبي وملاءمة اللغة للمريض — رأى الكمبيوتر والإنسان الأمور بشكل مختلف تماماً. وحتى الأطباء البشريان لم يتفقا دائماً مع بعضهما البعض، مما يسلط الضوء على أن الحكم على الترجمة الطبية ينطوي على قدر من التفسير البشري الذي يصعب أتمتته. ووجدت الدراسة أنه بينما أنتجت نماذج الذكاء الاصطناعي ترجمات عالية الجودة بشكل عام، فإن المجالات التي تعثرت فيها أكثر هي ذاتها المجالات التي تتطلب أعمق فهم للسياق الإكلينيكي.

خلص الباحثون إلى أنه لا توجد طريقة واحدة كافية لضمان سلامة الوثائق الطبية المترجمة. فالأدوات المؤتمتة مفيدة للتحقق بسرعة من مجموعات كبيرة من النصوص، وأنظمة التقييم المهيكلة تساعد في تنظيم التقييم، ولكن لا يمكن لأي منهما أن يحل محل حكم الخبير البشري بالكامل. وتقترح الدراسة أن النهج الأفضل هو نهج متعدد الطبقات: استخدام الفحوصات المؤتمتة السريعة لتصفية الأخطاء الواضحة، يليه مراجعات مستهدفة من قبل الأطباء البشريين للأجزاء الأكثر حرجاً من النص. يضمن هذا المزيج توازن كفاءة الذكاء الاصطناعي مع الإشراف البشري الضروري لحماية سلامة المرضى. وتعد هذه النتائج بمثابة تذكير بأنه في البيئات عالية المخاطر مثل الرعاية الصحية، فإن القدرة على ترجمة الكلمات ليست هي نفسها القدرة على نقل الرعاية، وأن الخبرة البشرية تظل جزءاً أساسياً من العملية.