Harnessing Artificial Intelligence (AI) for Surgical Education: Comparing AI- and Surgeon-Generated Feedback in Informed Consent Training
بينما تم تقييم الملاحظات الناتجة عن الذكاء الاصطناعي لتدريب الموافقة المستنيرة بأنها أعلى جودة وأكثر شمولاً من الملاحظات التي يولدها الجراحون، إلا أن الذكاء الاصطناعي منح درجات أداء أكثر إيجابية بشكل منهجي، مما يشير إلى أن جودة الملاحظات العالية لا تضمن الصلاحية التقييمية ويسلط الضرض على الحاجة إلى الإشراف البشري في التقييمات الجراحية الدقيقة.
المؤلفون الأصليون:Catherine Gbekie, Brianna M. Peet, Mary Grace Whelan, Grace B. Simmons, Daniel P. Pacella, Viemma Nwigwe, Angel Rosario
في عالم الجراحة عالي المخاطر، تُعد اللحظة التي يوافق فيها المريض على إجراء عملية جراحية بالغة الأهمية تماماً كالإجراء نفسه. هذا الاتفاق، المعروف باسم "الموافقة المستنيرة"، ليس مجرد توقيع على نموذج، بل هو حوار معقد يجب على الطبيب فيه شرح مخاطر وفوائد وبدائل الجراحة بطريقة يفهمها المريض حقاً. ويتطلب الأمر توازناً دقيقاً بين المعرفة الطبية، والتعاطف، والقدرة على التعامل مع مخاوف المريض، ومعتقداته الثقافية، وقيمه الشخصية. ولعقود من الزمن، اعتمد تعليم الجراحين المستقبليين كيفية إتقان هذا الحوار على معلمين بشريين يراقبون طلابهم وينتقدون أداءهم. ومع ذلك، في المستشفيات المزدحمة، غالباً ما يكافح هؤلاء المعلمون لإيجاد الوقت لتقديم ملاحظات تفصيلية وشخصية لكل متدرب. ومع ازدياد قدرة الذكاء الاصطناعي على فهم اللغة البشرية، برز سؤال جديد: هل يمكن لبرنامج كمبيوتر أن يتعلم تعليم مهارات التواصل الحيوية هذه بشكل جيد مثل الجراح البشري، أو ربما أفضل منه؟
لقد وضع باحثون في جامعة كولومبيا اختباراً لهذه الفكرة من خلال وضع برنامج كمبيوتر متطور في مواجهة خبراء بشريين في تمرين تدريبي محاكى. فقد طلبوا من ستة طلاب طب ممارسة حوار صعب: شرح الحاجة إلى عملية استئصال الزائدة الدودية بالمنظار لمريض افتراضي يتمسك بمعتقدات دينية وقيود ثقافية محددة. تحدث الطلاب مع برنامج كمبيوتر صُمم ليلعب دور المريض، حيث خاضوا سيناريو يتطلب منهم أن يكونوا دقيقين طبياً وحساسين ثقافياً في آن واحد. وبعد انتهاء كل طالب من حواره، أصدر الكمبيوتر تقريراً مفصلاً عن أدائه. وفي الوقت ذات نفسه، قرأ أربعة جراحين بشريين -لم يكونوا حاضرين أثناء المحاكاة- نصوص المحادثات نفسها، وكتبوا تقييماتهم الخاصة باستخدام دليل التقييم ذاته. وكان الهدف هو معرفة ما إذا كانت ملاحظات الكمبيوتر تتطابق مع آراء الخبراء البشريين، وتحديد ما إذا كان بإمكان الكمبيوتر تقديم نصائح عالية الجودة للتحسين.
كشفت النتائج عن تباين صارخ بين جودة الملاحظات ودقة التقييم. فقد أنتج برنامج الكمبيوتر ملاحظات كانت أكثر شمولاً وتوازناً وبناءً من الملاحظات التي كتبها الجراحون البشر. وفي تقييم معياري لتقارير الملاحظات، سجلت مقترحات الكمبيوتر درجات أعلى بكتمثير، حيث قدمت أمثلة محددة لما سار بشكل جيد وما يحتاج إلى عمل، جنباً إلى جنب مع خطوات واضحة وقابلة للتنفيذ للتحسين. وفي المقابل، قدم الجراحون البشر غالباً تعليقات أقصر وأكثر مباشرة، ركزت أحياناً بشكل كبير على الأخطاء دون الاعتراف دائماً بنقاط قوة الطالب. كما استخدم الكمبيوتر باستمرار لغة داعمة وبرر درجاته بتبريرات مفصلة، بينما تفاوتت ملاحظات البشر في عمقها ونبرتها.
ومع ذلك، عندما نظر الباحثون في الدرجات الفعلية التي منحها الكمبيوتر مقابل الدرجات التي منحها الجراحون، ظهرت صورة مختلفة. فقد كان برنامج الكمبيوتر أكثر سخاءً باستمرار، حيث منح درجات أداء أعلى من الخبراء البشريين لنفس المحادثات. وفي عدة مجالات رئيسية، مثل شرح مخاطر الجراحة، ومناقشة البدائل، ومعالجة مشاعر المريض، قيم الكمبيوتر الطلاب بدرجات أعلى بكثير مما فعلهم الجراحون. وكانت الفجوة أوسع في المجالات التي تتطلب حكماً سريرياً عميقاً، مثل تقييم ما إذا كان المريض قد فهم الموقف حقاً أو دمج التفضيلات الشخصية للمريض في الخطة العلاجية. وبينما منح الكمبيوتر غالباً درجات تقترب من المثالية، حدد الجراحون البشहरू أوجه قصور دقيقة في فهم الطلاب وتفاصيلهم التي غفل عنها الجهاز.
تشير هذه الدراسة إلى أنه على الرغم من أن الذكاء الاصطناعي أداة ممتازة لتوليد ملاحظات تفصيلية ومشجعة ومنظمة، إلا أنه ليس جاهزاً بعد ليحل محل الحكم البشري في تقييم الكفاءة الحقيقية للجراح. لقد تفوق الكمبيوتر في تقديم النوع الغني والتعليمي من التعليقات التي تساعد المتعلم على الممارسة والتحسن، لكنه مال إلى التغاضي عن العيوب الأكثر عمقاً ودقة في المحادثة التي قد يلاحظها جراح خبير. وتشير النتائج إلى أن أفضل نهج لتدريب الجراحين المستقبليين هو على الأرج Det غالباً شراكة: استخدام الذكاء الاصطناعي لتوفير جلسات ممارسة متكررة وفورية وعالية الجودة، مع الاعتماد على الخبراء البشريين لتقديم التقييم النهائي الدقيق لما إذا كان الطالب قد أتقن حقاً الفن الصعب للموافقة المستنيرة.
ملخص تقني: تسخير الذكاء الاصطناعي في التعليم الجراحي للتدريب على الموافقة المستنيرة
بيان المشكلة تعد التغذية الراجعة عالية الجودة، وفي الوقت المناسب، والمخصصة أمراً ضرورياً لتطوير الفطنة السريرية ومهارات التواصل لدى المتدربين الجراحيين. ومع ذلك، غالباً ما يعيق تقديم هذه التغذية الراجعة المتطلبات السريرية والبحثية والتعليمية المتنافسة المفروضة على أعضاء هيئة التدريس الجراحين. وبناءً على ذلك، غالباً ما تكون تقييمات المتدربين غير مكتملة أو متأخرة. وبينما تُعد "الموافقة المستنيرة" (Informed Consent) كفاءة حاسمة تتطلب دمج المعرفة الإجرائية، واتخاذ القرارات المتمحورة حول المريض، والتواصل الدقيق بشأن المخاطر والفوائد، إلا أن هناك فجوات كبيرة في أداء المقيمين والطلاب. وتشير الأدبيات الحالية إلى أن المتدربين غالباً ما يفشلون في الإفصاح عن جميع العناصر الأساسية للموافقة المستنيرة، ويفتقرون إلى الممارسة الكافية، ويعانون من ضعف التعليم المعياري. ورغم أن النماذج اللغوية الكبيرة (LLMs) توفر حلاً قابلاً للتوسع للتدريب والمحاكاة وتقديم التغذية الراجعة، إلا أن قدرتها على تقييم أداء المتعلم بدقة تضاهي الخبراء البشريين لم يتم التحقق من صحتها بشكل كافٍ بعد.
المنهجية استخدمت الدراسة تصميماً مقارناً شمل ستة طلاب طب أكملوا تجربة محاكاة لموقف موافقة مستنيرة لعملية استئصال الزائدة الدودية بالمنظار. استخدمت المحاكاة برنامج دردشة يعتمد على نموذج لغوي كبير (ChatGPT, GPT-4) يعمل كمريض اصطناعي، يتضمن سيناريو حساساً ثقافياً يتضمن معتقدات دينية لاختبار التواصل بما يتجاوز المعرفة الإجرائية الأساسية.
بروتوكول التقييم: تم تقييم نص كل مقابلة من قبل كل من النموذج اللغوي الكبير (LLM) وأربعة جراحين بشريين (أطباء مقيمين وأخصائيين) بشكل مستقل.
أداة التقييم: استخدم المقيمون (الذكاء الاصطناعي والبشر) مقياساً معيارياً مكوناً من 17 بنداً للموافقة المستنيرة، مُعدلاً من مقياس نيو مكسيكو للتواصل السريري (NMCCS). تم تسجيل البنود على مقياس من 0 إلى 3، مما يعطي مجموعاً أقصى قدره 51. غطى المقياس مكونات مثل معالجة مشاعر المريض، وشرح المخاطر/البدائل، وتقييم الأهلية، وتجنب الإكراه.
تقييم جودة التغذية الراجعة: تم تقييم التغذية الراجعة السردية الناتجة عن كل من الذكاء الاصطناعي والجراحين باستخدام إطار عمل معدل لتقرير التقييم السريري المكتمل (mCCERR). قيم هذا الإطار المكون من 8 بنود ثلاثة أبعاد: الشمولية والتوازن، والخصوصية والتبرير، والمنفعة التعليمية والبناء. تراوحت الدرجات من 0 إلى 40.
التحليل الإحصائي: تم تحديد توافق التسجيل كفرق بين الدرجة التي منحها الذكاء الاصطناعي ودرجة متوسط الجراحين. وتم تحليل الفروق باستخدام اختبار ويلكوكسون (Wilcoxon rank-sum test). كما تم تجميع درجات جودة التغذية الراجعة ومقارنتها بنفس الطريقة.
النتائج الرئيسية كشفت الدراسة عن تباين واضح بين جودة التغذية الراجعة المولدة وصحة تقييم الأداء.
عدم اتساق درجات الأداء: منح الذكاء الاصطناعي باستمرار درجات أداء أعلى من الجراحين البشر. وُجدت فروق ذات دلالة إحصائية (P=0.03) في خمسة بنود محددة من المقياس: معالجة مشاعر المريض، شرح طبيعة الإجراء، شرح المخاطر، شرح البدائل، وتجنب الإكراه. حدثت أكبر الفروق المطلقة في درجات شرح موانع الاستعمال (1.75 نقطة)، وتقييم الأهلية (1.5 نقطة)، ودمج تفضيلات المريض (1.25 نقطة). وكثيراً ما منح الذكاء الاصطناعي درجات قصوى أو قريبة من القصوى، مما يشير إلى قدرة محدودة على التمييز بين مستويات الأداء المختلفة للمتعلمين.
تفوق جودة التغذية الراجعة: على عكس اتساق التسجيل، حصلت التغذية الراجعة السردية المولدة بواسطة الذكاء الاصطناعي على تقييمات جودة أعلى بكثير من التغذية الراجعة التي قدمها الجراحون. بلغ متوسط درجة mCCERR الإجمالية للذكاء الاصطناعي 38.5 من 40، مقارنة بـ 24.75 للجراحين (P=0.04). سجلت تغذية الذكاء الاصماعي الراجعة درجات أعلى بكثير عبر جميع أبعاد الجودة الثلاثة (P≤0.04). أظهر التحليل النوعي أن تغذية الذكاء الاصطناعي كانت أكثر شمولاً، وقدمت مبررات صريحة للدرجات، وقدمت توصيات قابلة للتنفيذ، واستخدمت لغة داعمة ومتعاطفة. في المقدابل، كانت تغذية الجراحين أكثر إيجازاً، ومتغيرة النطاق، وركزت أحياناً بشكل غير متناسب على الأخطاء دون موازنتها بنقاط القوة.
المساهمات الرئيسية
التحقق من جودة التغذية الراجعة مقابل صلاحية التقييم: تثبت الدراسة أن التغذية الراجعة عالية الجودة والشاملة والبناءة التي يولدها الذكاء الاصطناعي لا ترتبط بالضرورة بتقييم دقيق للأداء. فقد قدم الذكاء الاصطناعي تغذية راجعة سردية متفوقة، لكنه فشل في التوافق مع الخبراء البشريين في تسجيل كفاءة المتعلم.
تحديد التحيز المنهجي: يحدد البحث ميلاً منهجياً للنماذج اللغوية الكبيرة لمنح درجات أداء أكثر إيجابية من الخبراء البشر، لا سيما في المجالات الدقيقة التي تتطلب حكماً سياقياً (مثل تقييم أهلية المريض أو دمج التفضيلات الثقافية).
قابلية التوسع في التغذية الراجعة التكوينية: تشير النتائج إلى أن النماذج اللغوية الكبيرة يمكنها بفعالية توليد تغذية راجعة تكوينية مهيكلة ومفصلة وفورية، مما قد يخفف العبء عن أعضاء هيئة التدريس مع توفير توجيه ثابت للمتعلمين.
الأهمية والادعاءات خلص المؤلفون إلى أنه بينما يعد الذكاء الاصطناعي التوليدي أداة واعدة لتقديم تغذية راجعة تكوينية فردية وقابلة للتوسع في التعليم الجراحي، إلا أنه لا ينبغي النظر إليه حالياً كـ "مقّيم مستقل" لأداء المتعلم. وتفترض الدراسة أن "جودة التغذية الراجعة العالية لا ينبغي اعتبارها بديلاً لصلاحية التقييم الأكبر".
وتدعو الورقة إلى نموذج هجين ومساعد للتدريب المدعوم بالذكاء الاصطناعي. في هذا النموذج، تعد النماذج اللغوية الكبيرة مناسبة بشكل أفضل للممارسة المتكررة منخفضة المخاطر وتقديم تغذية راجعة فورية وبناءة. ومع ذلك، تظل الرقابة من قبل أعضاء هيئة التدريس البشريين ضرورية للتقييم الدقيق لمهارات التواصل وللتقييمات الحاسمة للكفاءة، خاصة حيث يتطلب الأمر حكماً سياقياً وفهماً سريرياً عميقاً. ويحذر المؤلفون من أن الاعتماد فقط على الذكاء الاصطناعي للتقييم قد يؤدي إلى طمأنة كاذبة وتعزيز ممارسات غير مثالية للموافقة المستنيرة.