Automating QuAL Scoring of Entrustable Professional Activity Narrative Feedback Across Residency Programs: A Locally Deployed Natural Language Processing Model
تُظهر هذه الدراسة أن نموذج معالجة اللغات الطبيعية DeBERTa-v3 الذي تم نشره محلياً يمكنه أتمتة تسجيل جودة تقييم التعلم (QuAL) لتعليقات السرد الخاصة بالأنشطة المهنية الجديرة بالثقة بدقة وقابلية للتوسع عبر برامج إقامة متعددة، محققاً توافقاً كبيراً مع المقيمين البشريين مع الحفاظ على خصوصية البيانات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم التدريب الطبي، لم يعد التعلم مجرد حفظ للحقائق؛ بل أصبح يتعلق بإثبات قدرتك على أداء الوظيفة. تعتمد البرامج الحديثة على نظام حيث يتم مراقبة الأطباء المتدربين باستمرار وهم يؤدون مهاماً حقيقية، بدءاً من إدارة رعاية المريض وصولاً إلى التعامل مع الأزمات. لا تُسجل هذه الملاحظات برقم فحسب، بل بتعليقات مكتوبة، وهذه الملاحظات هي شريان الحياة لهذه العملية؛ فهي تخبر المتدرب بما فعله بشكل جيد، وما يحتاج إلى إصلاحه، وكيف ترتبط أفعاله بمعايير المهنة. وبدون هذه الملاحظات المحددة وعالية الجودة، قد يحصل المتدرب على درجة، لكنه سيظل غير متأكد من كيفية التحسن. تكمن المشكلة في أن كتابة هذه الملاحظات عمل شاق، وتتفاوت جودة ما يُكتب فيها بشكل كبير؛ فبعض الملاحظات غنية بالتفاصيل والنصائح الواضحة، بينما تكون أخرى غامضة أو تفتقر إلى الجوهر تماماً. ولحل هذه المشكلة، طور التربويون طريقة لقياس جودة هذه التعليقات، من خلال البحث عن ثلاثة أشياء محددة: إثبات لما حدث، واقتراح واضح للتحسين، ورابط بهدف تعليمي. ولكن فحص كل ملاحظة على حدة يدوياً هو أمر بطيء ومرهق، مما يجعل من الصعب ضمان حصول كل متدرب على التغذية الراجعة التي يستحقها.
لقد سعى فريق من الباحثين في جامعة ألبرتا لمعرفة ما إذا كان بإمكان الكمبيوتر المساعدة في هذا العبء الثقيل. أرادوا معرفة ما إذا كان برنامج كمبيوتر متخصص، يفهم اللغة البشرية، يمكنه قراءة آلاف الملاحظات المكتوبة وتقييمها تماماً كما يفعل خبير بشري. لم يكن الهدف استبدال المعلمين، بل بناء أداة يمكنها التعامل مع حجم العمل مع الحفاظ على أمن البيانات داخل أسوار المستشفى والجامعة. ركزوا على نوع محدد من التدريب الطبي يسمى "الأنشطة المهنية القابلة للتوثيق"، حيث يتم تقييم المقيمين بناءً على قدرتهم على أداء مهام محددة. جمع الباحثون أكثر من 5000 تعليق مكتوب من 24 برنامج إقامة مختلف في مؤسسة كندية واحدة. جاءت هذه التعليقات من عام تدريبي بين عامي 2019 و2020. وقبل أن يرى الكمبيوتر البيانات، كانت الملاحظات قد تمت قراءتها وتقييمها بعناية من قبل خبتاء بشريين باستخدام قائمة مراجعة معيارية. وقد كان هذا التقييم البشري بمثابة المعيار الذهبي، أي الإجابة الصحيحة التي ستُقاس عليها كفاءة الكمبيوتر.
بنى الباحثون نموذجاً حاسوبياً قاموا بتشغيله بالكامل على خوادمهم المحلية، مما ضمن عدم خروج أي معلومات حساسة تخص المرضى أو المتدربين من بيئتهم الآمنة. لقد علموا هذا النموذج كيف يبحث عن العناصر الثلاثة الرئيسية في الملاحظات: الدليل، والاقتراحات، والروابط. بالنسبة لجزء الدليل، كان على النموذج أن يقرر مدى جودة وصف الكاتب لما حدث بالفعل، متدرجاً من عدم وجود وصف على الإطلاق إلى حساب مفصل للغاية. وبالنسبة للجزءين الآخرين، كان عليه ببساطة أن يقرر ما إذا كان هناك اقتراح للتحسين وما إذا كانت الملاحظة تربط الملاحظة بهدف تعليمي أوسع. ولضمان أن يكون الاختبار عادلاً وواقعياً، قاموا بتقسيم البيانات بحيث لا تظهر الملاحظات المتعلقة بنفس المتدرب في كل من مجموعة التدريب ومجموعة الاختبار؛ منع ذلك الكمبيوتر من مجرد حفظ أسلوب الكتابة الخاص بمتدرب معين والتظاهر بفهم القواعد.
عندما أطلق الباحثون العنان للنموذج على بيانات الاختبار غير المرئية، كانت النتائج مشجعة. أصبح الكمبيوتر بارعاً جداً في رصد ما إذا كانت الملاحظة تحتوي على اقتراح واضح للتحسين، حيث أصاب في معظم الأحيان. كما قام بعمل قوي في تحديد قسم الدليل، حيث حكم بشكل صحيح على جودة الوصف في أغلب الحالات. كان النموذج أقل كمالاً في إيجاد الرابط بين الملاحظة والهدف التعليمي، لكنه ظل يؤدي بشكل جيد بما يكفي ليكون مفيداً. وعندما نظر الباحثون في الدرجة الإجمالية التي أعطاها النموذج لكل ملاحظة مقارنة بالدرجة البشرية، وجدوا أنه في أكثر من 86 بالمائة من الحالات، كانت درجة الكمبيوتر ضمن نقطة واحدة فقط من درجة الخبير البشري. وكانت الأخطاء التي ارتكبها عادةً بسيطة، مثل إعطاء درجة اثنين بدلاً من ثلاثة، بدلاً من الأخطاء الكبيرة التي قد تشوه جودة التغذية الراجعة تماماً.
تشير الدراسة إلى أن هذا النوع من أدوات الكمبيوتر التي تعمل محلياً يمكن أن يصبح شريكاً عملياً للمربين الطبيين. فهو يوفر وسيلة لمراقبة جودة التغذية الراجعة عبر العديد من البرامج دون التكلفة الهائلة لتوظيف أشخاص لقراءة كل ملاحظة. ولأن النموذج يعمل على أجهزة كمبيوتر محلية، فإنه يحترم خصوصية المتدربين والمؤسسة، ويتجنب مخاطر إرسال البيانات الحساسة إلى شركات خارجية. ويؤكد الباحثون بحذر أن هذه هي نقطة البداية، وليست حلاً نهائياً؛ فلا يزال النموذج بحاجة إلى الاختبار في مستشفيات أخرى وفي مواقف حقيقية لمعرفة ما إذا كان سيساعد المعلمين والمتدربين على المدى الطويل. لكن النتائج تظهر أنه من الممكن بناء نظام يفهم الفروق الدقيقة في التغذية الراجعة الطبية، مما يوفر طريقة قابلة للتوسع لضمان حصول كل متدرب على التوجيه الواضح والقابل للتنفيذ الذي يحتاجه ليصبح طبيباً ماهراً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.