ملخص تقني: التقييم القائم على الذكاء الاصطناًعي للكفاءة من خلال فيديو منظور الشخص الأول في تعليم التمريض القائم على المحاكاة

1. بيان المشكلة

يعتمد تقييم الكفاءة في المحاكاة السريرية، لا سيال في تعليم التمريض، تقليدياً على ملاحظة الخبراء البشريين. هذا النهج يستنزف الكثير من الوقت، ويصعب توسيعه لاستيعاب المجموعات المتزايدة، وعرضة لتباين التقييم بين المقيمين. وبينما توفر مقاطع الفيديو سجلاً غنياً لأداء المتعلم، فإن الأساليب الآلية الحالية غالباً ما تفترض بيئات ذات بيانات غنية وكاميرات ثابتة (مثل جراحة المنظار)، وتركز على المهارات التقنية المعزولة بدلاً من الكفاءة الشاملة.

تعالج هذه الدراسة تحدي تقييم الكفاءة التمريضية الشاملة باستخدام فيديو منظور الشخص الأول (egocentric) من التعلم القائم على المح المحاكاة. المجال المحدد هو إعطاء الأدوية للأطفال، حيث تكون الكفاءة بطبيعتها متسلسلة؛ إذ يمكن أن تنشأ الأخطاء من تنفيذ إجراءات صحيحة ولكن بترتيب خاطئ أو بإغفال خطوات السلامة. يبحث البحث فيما إذا كان الدليل البصري وحده، من خلال تحليله عبر مشفرات بصرية مجمدة والتعلم من أمثلة قليلة (few-shot learning)، يمكن أن يدعم تقييم الكفاءة، وما إذا كانت صعوبة التعرف على هذه الإجراءات تحمل إشارات تربوية.

2. المنهجية

يقترح المؤلفون إطار عمل ثلاثي المراحل تم تطبيقه على 22 جلسة فيديو منظور شخص أول مشروحة بكثافة (بإجمالي 3.8 ساعة و493 مقطعاً للإجراءات السريرية) من طلاب التمريض الذين يؤدون عمليات محاكاة معيارية على نماذج طبية عالية الدقة.

المرحلة 1: التعرف على الإجراءات من أمثلة قليلة

• المدخلات: إطارات فيديو منظور الشخص الأول ($V_i$) ومجموعة دعم ($S$) من النماذج المصنفة من جلسات أخرى (إعداد ترك واحد مستبعد - leave-one-out cross-sample).
• استخراج الميزات: يقوم مشفر خلفي مجمد ($\phi$) باستخراج ميزات كل إطار. تم تقييم ثلاث خلفيات: ResNet-50 (مشرف عليه بواسطة ImageNet)، و DINOv2 ViT-B/14 (ذاتي الإشراف بواسطة ImageNet)، و CLIP ViT-B/16. لم يتم إجراء أي ضبط دقيق (fine-tuning).
• حساب النموذج الأولي (Prototype): يتم حساب النماذج الأولية للفئات باستخدام نموذج شبكة النماذج الأولية. تقارن الدراسة بين استراتيجية النموذج الأولي المتوسط (متوسط المراكز المعيارية) واستراتيجية النموذج الأولي العنقودي (النماذج المركزية الفرعية لـ k-means).
• التنعيم الزمني: يتم تمرير درجات تشابه جيب التمام المستمرة بين إطارات الاستعلام والنماذج الأولية إلى نموذج ماركوف الخفي (HMM) مع فك تشفير فيتيربي (Viterbi decoding). يعمل هذا على فرض تسلسل تسميات متماسك زمنياً من خلال تعلم احتمالات الانتقال من مجموعة الدعم، بدلاً من تصنيف الإطارات بشكل مستقل.
• المخرجات: جدول زمني متوقع للإجراءات ($\hat{y}_i$) لـ 16 فئة من الإجراءات السريرية بالإضافة إلى فئة الخلفية.

المرحلة 2: تحليل التسلسل

• بناء التسلسل: يتم دمج تسميات الإطارات المتوقعة في مقاطع إجراءات مرتبة (ترميز طول التشغيل - run-length encoding)، مع استبعاد الخلفية والمقاطع القصيرة.
• اشتقاق الميزات:
  1. ترددات انتقال الإجراءات: تدفق زوجي بين الإجراءات السريرية لبناء نماذج العمليات.
  2. مقاييس التعرف: يتم الاحتفاظ بمقاييس الفيديو لكل فيديو (دقة متوسط الإطارات [MOF]، ومتوسط تقاطع الاتحاد [mIoU]، و F1 القطاعي) كمقاييس ملخصة لمدى ملاءمة المصنف.

المرحلة 3: تحليل الكفاءة

• الارتباط: نظراً لصغر حجم العينة ($N=22$)، يتم استخدام ارتباط رتب سبيرمان (Spearman rank correlation) لربط ميزات التسلسل ومقاييس التعرف بدرجات الكفاءة التي حددها المدربون (المستمدة من أداة تقييم كفاءة كريتون [C-CEI]، وتحديداً 11 بنداً قابلاً للملاحظة بالفيديو).
• المتانة: يتم حساب الارتباطات الجزئية مع التحكم في ستة متغيرات مربكة محتملة (تغطية التسمية، مدة الفيديو، عدد المقاطع، إلخ).
• نمذجة العمليات: تُستخدم تسلسلات الإجراءات الحقيقية لتصور ومقارنة رسوم تدفق العمل بين المجموعات ذات الأداء العالي والمنخفض.

3. المساهمات الرئيسية

1. جدوى التعرف على الإجراءات السريرية من أمثلة قليلة: تثبت الدراسة أن خلفية DINOv2 المجمدة مع فك تشفير HMM Viterbi تحقق دقة 57.4% (MOF) في التعرف بنموذج (1-shot) في إعداد ترك واحد مستبعد لفيديو محاكاة التمريض من منظور الشخص الأول. يثبت هذا الجدوى في ظل ظروف بيانات منخفضة للغاية دون الحاجة لضبط دقيق. تفوقت DINOv2 باستمرار على ResNet-50 و CLIP، مما يشير إلى أن المحولات البصرية ذات الإشراف الذاتي أفضل ملاءمة للتفاعلات الدقيقة بين اليد والأشياء في هذا المجال.
2. الارتباط السلبي بين دقة التعرف والكفاءة: النتيجة الأساسية هي وجود اتجاه سلبي ذو دلالة إحصائية بين دقة التعرف والكفاءة التي حددها المدرب ($\rho = -0.524, p = 0.012$ لـ mIoU). هذا الارتباط قوي حتى مع التحكم في ستة متغيرات مربكة. يفسر المؤلفون ذلك بأن الطلاب ذوي الكفاءة العالية ينتجون تدفقات عمل أكثر تنوعاً، وسلاسة، واتساقاً مع البروتوكول، مما يجعلها أصعب بطبيعتها للمطابقة مع مصنف يعتمد على النماذج الأولية، بينما يظهر الطلاب ذوو الكفاءة المنخفضة سلوكيات أكثر تكراراً ونمطية، مما يسهل تصنيفها.
3. تحديد الإشارات ذات القيمة التربوية: يكشف التحليل لكل بند أن الاتجاه السلبي ينعكس بقوة أكبر في السلوكيات المتوقعة المتعلقة ببروتوكولات سلامة المرضى (مثل "استخدام معرفات المريض") والتواصل مع الفريق. لم تظهر ميزات التسلسل البسيطة (مثل نسبة وقت الشاشة) أي علاقة ذات دلالة مع الكفاءة، مما يشير إلى أن صعوبة التصنيف نفسها هي الإشارة المعلوماتية.
4. الاختلافات في تدفق العمل الزمني: تظهر مقارنات نماذج العمليات أن الطلاب ذوي الأداء العالي يظهرون انتقالات إجراءات أكثر تنوعاً ويلتزمون بشكل أكثر صرامة بالتقدم المتسق مع البروتوكول (على سبيل المثال، الانتقالات المباشرة في تحضير الدواء)، بينما يظهر الطلاب ذوو الأداء المنخفض تردداً أكثر (على سبيل المثال، المرور غير الضروري عبر فحوصات "الشاشة") ومسارات عمل غير منتظمة.

4. النتائج

• التعرف على الإجراءات: كان الأداء في إعداد (ترك واحد مستبعد) أقل منه في إعداد (داخل العينة)، مما يسلط الضوء على انزياح النطاق الناتج عن الفروق الفردية في المظهر، وزاوية الكاميرا، وترتيب تدفق العمل. ومع ذلك، استقر الأداء عند 10-15 عينة، مما يشير إلى أن العائق هو القدرة على التعميم وليس قدرة التمثيل.
• ارتباط الكفاءة:
  • mIoU: $\rho = -0.524$ ($p=0.012$).
  • MOF: $\rho = -0.439$ ($p=0.041$).
  • F1: $\rho = -0.433$ ($p=0.044$).
  • سجل الطلاب ذوو الأداء المنخفض (بناءً على تقسيم الوسيط) نسباً أعلى بنسبة 9.5% في MOF و 8.3% في mIoU من الطلاب ذوي الأداء العالي.
• التحليل لكل بند: وُجدت أقوى الارتباطات السلبية في "التواصل بفعالية مع الفريق" ($\rho = -0.470$) و "استخدام معرفات المريض" ($\rho = -0.455$). أما البنود الإجرائية التي تمت بطريقة ثابتة ومتكررة فلم تظهر أي ارتباط.
• نماذج العمليات: أظهرت المجموعات الأعلى أداءً تكراراً أعلى للانتقالات المباشرة "تحضير الدواء $\leftarrow$ تطبيق الدواء" (46% مقابل 38% للمؤدين المنخفضين) وانتقالات أكثر اتساقاً في "النظافة $\leftarrow$ الشاشة" (76%)، مما يشيد بالتحكم في العدوى وسلاسة تدفق العمل.

5. الأهمية والادعاءات

تدعي الورقة أن دقة التعرف قد تعمل كإشارة تربوية تكميلية في تقييم الكفاءة الآلي. وخلافاً للافتراض بأن الدقة العالية تعني دائماً أداءً أفضل، تقترح الدراسة أن دقة التعرف المنخفضة يمكن أن تشير إلى كفاءة أعلى لأن المتعلمين الخبراء يظهرون تدفقات عمل متنوعة وتكيفية تختلف عن القوالب الجامدة.

يقترح المؤلفون منظور تقييم ثنائي المستويات:

1. الجداول الزمنية المتوقعة للإجراءات: توفر ملخصاً سلوكياً عاماً لما فعله الطالب.
2. صعوبة التعرف (مثل mIoU/F1): تعمل كإشارة تكميلية لكيفية تنفيذ الطالب للمهمة، مما قد يلتقط الكفاءة الشاملة، والمرونة الإجرائية، والالتزام بالسلامة التي قد تغفل عنها أدوات التقييم القائمة على قوائم التحقق.

تؤكد الدراسة أنه بينما يمكن للتحليل القائم على الرؤية التقاط السلوكيات الملحوظة وتنوع تدفق العمل، إلا أنه محدود جوهرياً في التقاط التفكير السريري ومحتوى التواصل اللفظي. ويظل المؤلفون متواضعين بشأن ادعاءاتهم، مشيرين إلى أنه مع $N=22$، فإن النتائج استكشافية وتتطلب مزيداً من التحقق. ويقترحون أن العمل المستقبلي يجب أن يركز على المراقبة الواعية للبروتوكول باستخدام الأساليب الرسمية وتعدين مسارات الكفاءة الشخصية.