ملخص تقني: إطار عمل متعدد الوكلاء لنماذج اللغات الكبيرة (LLM) لتقييم جودة التغذية الراجعة الجراحية

بيان المشكلة

تعد التغذية الراجعة اللفظية من الجراحين الاستشاريين إلى المتدربين المقيمين في غرفة العمليات (OR) أمراً حاسماً لاكتساب المهارات والنتائج الجراحية. ومع ذلك، فإن التقييم المنهجي لـ جودة هذه التغذية الراجعة — وتحديداً كيفية تقديمها وليس فقط محتواها — يظل تحدياً كبيراً. لقد ركزت الأبحاث السابقة بشكل كبير على تصنيف محتوى التغذية الراجعة (مثل المراجع التشريحية، أو التعامل مع الأدوات) باستخدام التوسيم اليدوي أو الطرق المؤتمتة مثل تحليل الكلمات المفتاحية ونمذجة المواضيع. تفشل هذه الأساليب الحالية في التقاط سمات التوصيل الدقيقة مثل الوضوح، والاستعجال، والتوقيت، والنبرة العاطفية، وهي عناصر ضرورية لفهم فعالية التغذية الراجعة. علاوة على ذلك، فإن التوسيم اليدوي يتطلب جهداً كبيراً وغير قابل للتوسع، بينما تفتقر الطرق المؤتمتة الحالية إلى الحساسية تجاه اللغة السريرية والقدرة على التمييز بين مهام تعليمية متطابقة تم تقديمها بنبرات أو درجات استعجال مختلفة.

المنهجية

يقترح المؤلفون إطار عمل مكوناً من مرحلتين يعتمد على نماذج اللغات الكبيرة (LLM)، مصمماً لاكتشاف معايير قابلة للتفسير لجودة التغذية الراجعة وتقييم التغذية الراجعة الجراحية تلقائياً. يدمج خط الإنتاج استدعاء الوكلاء المتعددين، وحقن المعرفة بالمجال، ومنهج "النموذج اللغوي الكبير كحكم" (LLM-as-a-judge).

1. مرحلة اكتشاف المعايير

تستخدم عملية الاكتشاف استراتيجية الوكلاء المتعددين لتوليد وتوحيد معايير التقييم:

• البدء الموجه بالمجال: يتم تزويد وكلاء GPT-4o بتعريفات رسمية لنتائج التغذية الراجعة الجراحية (التعديل السلوكي، الإقرار اللفظي، موافقة المدرب) وتعريف للتغذية الراجعة نفسها. كما يتم تزويدهم بمجموعة فرعية صغيرة من أمثلة التغذية الراجعة غير المصنفة (أقل من 1% من مجموعة البيانات) لاستنتاج الأبعاد التقييمية ذات الصلة من خلال الاستدلال بالتماثل.
• توليد الوكلاء المتعددين: يقوم خمسة وكلاء مستقلين من نوع GPT-4o، تم تكوينهم بدرجة حرية عالية ($T=1.0$) لتشجيع التنوع، باقتراح معايير جودة مرشحة بشكل مستقل. يُكلف كل وكيل بتعريف أبعاد تقييمية مجردة وقابلة للتعميم يمكن قياسها على مقياس سلوكي مرساة (BARS) مكون من 5 نقاط بناءً فقط على سطر واحد من التغذية الراجعة المفرغة نصياً.
• توحيد المعايير: يتم تطبيق المعايير المرشحة على كامل مجموعة البيانات. تقوم خوارزمية التجميع الهرمي (الارتباط الفردي، المسافة الإقليدية) بتجميع المعايوهات المتشابهة دلالياً. يتم تحديد العدد الأمثل للمجموعات ($k=6$) عبر معامل السيلويت (silhouette coefficient). ثم يقوم نموذج GPT-4o نهائي (في وضع حتمي، $T=0.0$) بتوليف تعريف موحد ومرتكزات BARS لكل مجموعة، مما يضمن قابلية التكرار وعدم التداخل.

2. توحيد المعايير والتحقق من صحتها

أسفرت العملية عن ستة أبعاد قابلة للتفسير لجودة التغذية الراجعة:

1. المشجع (Encouraging): نبرة داعمة تعزز الثقة.
2. المستعجل (Urgent): تواصل يشير إلى ضرورة اتخاذ إجراء فوري.
3. القابل للتنفيذ (Actionable): خطوات واضحة ومحددة يمكن للمتدرب تنفيذها.
4. في الوقت المناسب (Timely): تغذية راجعة تُقدم أثناء أو فور حدوث الفعل.
5. الواضح (Clear): رسائل مباشرة وغير غامضة.
6. التأملي (Reflective): محفزات للتقييم الذاتي أو الرؤية العميقة.

3. التقييم والدرجات الآلية

• النموذج اللغوي الكبير كحكم: يُستخدم دليل المعايير الستة النهائي لتقييم 4,210 حالة من التغذية الراجعة الجراحية المباشرة باستخدام GPT-4o. يخصص النموذج درجات من 1 إلى 5 لكل بُعد.
• النمذجة التنبؤية: قيم المؤلفون قدرة هذه الدرجات المستخرجة من الذكاء الاصطناعي على التنبؤ بأربعة نتائج سلوكية: تغيير سلوك المتدرب، الاستجابة اللفظية للمتدرب، موافقة المدرب، ومعارضة المدرب. قارنوا نموذجهم بالنماذج السابقة لنمذجة المواضيع وبالفئات المصنفة يدوياً بواسطة البشر باستخدام مصنفات الغابة العشوائية (Random Forest) مع التحقق المتقاطع الطبقي خماسي الطيات.
• التوافق بين الإنسان والذكاء الاصطناعي: قام مقيمان بشريان لديهما معرفة بالمجال بتقييم مجموعة فرعية مكونة من 30 حالة باستخدام المعيار المكتشف بواسطة الذكاء الاصطناعي. تم تقييم موثوقية المقيم بين البشر باستخدام "كابا الموزونة التربيعية" ($\kappa$) لقياس الاتفاق بين البشر، وبين تشغيلات الذكاء الاصطناعي، وبين البشر والذكاء الاصطناعي.

النتائج الرئيسية

الأداء التنبئي

أظهرت معايير الجودة المكتشفة بواسطة الذكاء الاصطناٍ القدرة التنبؤية المتفوقة مقارنة بالطرق السابقة:

• الأداء المستقل: باستخدام درجات الجودة الست فقط، حقق النموذج درجات AUROC بلغت 0.75 لتغيير سلوك المتدرب، و0.71 للاستجابة اللفظية، و0.66 لموافقة المدرب، و0.60 لمعارضة المدرب.
• التحسن المقارن: عند الجمع مع ميزات نمذجة المواضيع السابقة، حسنت درجات الذكاء الاصطناعي التنبؤ بتغيير سلوك المتدرب بنسبة 12% (AUROC 0.77) ومعارضة المدرب بنسبة 11% (AUROC 0.63). وعند الجمع مع الفئات المحددة بشرياً سابقاً، تراوحت التحسينات بين 3% إلى 12% عبر جميع النتائج.
• الأهمية الإحصائية: أكد اختبار DeLong أن إضافة درجات الجودة المستخرجة من الذكاء الاصطناعي أدت إلى تحسينات ذات دلالة إحصائية ($p < 0.05$) على كل من نمذجة المواضيع والفئات المحددة بشرياً لمعظم النتائج.

التوافق بين الإنسان والذكاء الاصطناعي

• الاتساق: أظهرت تشغيلات الذكاء الاصطناعي اتساقاً داخلياً شبه مثالي ($\kappa = 0.92–1.00$).
• التوافق: كان التوافق بين البشر والذكاء الاصطناعي جوهرياً ($\kappa = 0.60–0.79$) لخمسة من المعاي_الستة (التشجيع، الاستعجال، القابلية للتنفيذ، الوضوح، التأمل)، وهو ما يقترب من مستويات الاتفاق بين البشر. وكان التوافق أقل بالنسبة لـ "التوقيت" ($\kappa = 0.54$)، مما يعكس الصعوبة المتأصلة في الحكم على الجوانب الزمنية.

الارتباط بالنتائج

كشف تحليل العلاقة بين أبعاد جودة محددة والنتائج عن أنماط متميزة:

• التعديل السلوكي: ارتبط بقوة بالتغذية الراجعة القابلة للتنفيذ (RR=1.22)، وفي الوقت المناسب (RR=1.24)، والمستعجلة (RR=1.11). وعلى العكس من ذلك، ارتبطت التغذية الراجعة المشجعة والتأملية بانخفاض التعديل السلوكي، ربما لأنها تؤكد السلوك الصحيح أو تحفز الرؤية طويلة المدى بدلاً من التصحيح الفوري.
• الإقرار اللفظي: ارتبط بقوة بالتغذية الراجعة التأملية (RR=1.34) والواضحة (RR=1.13). وارتبطت التغذية الراجعة المشجعة وفي الوقت المناسب بانخفاض الإقرار اللفظي.

الأهمية والادعاءات

يدعي البحث أنه يطور مجال التعليم الجراحي وتحليل التواصل بعدة طرق:

1. آلية اكتشاف مبتكرة: على عكس العمل السابق الذي يعتمد على تصنيفات محددة مسبقاً أو تجميع غير موجه، يستخدم هذا الإطار استراتيجية من مرحلتين موجهة من قبل LLM لـ اكتشاف معايير تسجيل جديدة وقابلة للتفسير بشرياً ومستندة إلى التفاعلات السريرية الواقعية.
2. القابلية للتوسع والتفسير: يوفر الإطار طريقة مؤتمتة وقابلة للتوسع لتقييم جودة تقديم التغذية الراجعة دون الحاجة إلى توسيم يدوي مكثف. ويضمن استخدام BARS أن المعايير قابلة للتفسير من قبل البشر والآلات على حد سواء.
3. الصلة السريرية: المعايير المكتشفة ليست مجرد سمات لغوية بل هي متجذرة سلوكياً، حيث تظهر ارتباطات ذات دلالة إحصائية مع التعديلات السلوكية للمتدرب وردود فعل المدرب.
4. التطبيق العملي: يفترض المؤلفون أن هذا الإطار يمكن أن يدعم لوحات المعلومات عند نقطة الرعاية، وتحليلات المناهج الدراسية الطولية، وعمليات تدقيق ضمان الجودة المؤتمتة. إنه يوفر مساراً لتحسين فعالية التدريس داخل العمليات ويدعم تطوير المدربين.
5. التعميم: على الرغم من تطويره في غرفة العمليات، يشير المؤلفون إلى أن خط الإنتاج يمكن أن يتعمم على بيئات سريرية أخرى تعتمد على التوجيه الشفهي (مثل جولات العناية المركزة، أو الطب عن بعد)، بشرط أن تكون المدخلات نصية.

يتبنى المؤلفون موقفاً متواضعاً فيما يتعلق بالقيود، حيث يقرون بأن التحليل يعتمد فقط على النص (باستهال الخصائص الصوتية أو البصرية)، وأن التقييم كان استرجاعياً، وأن اكتشاف المعيار اعتمد على نموذج ملكية (GPT-4o)، رغم أنهم نشروا المعيار النهائي لتمكين إعادة التنفيذ باستخدام نماذج مفتوحة المصدر.