How sensitive do we want AI to be? Socio-communicative competencies of large language models in healthcare
تقيم هذه الدراسة الكفاءات التواصلية والاجتماعية لثلاثة نماذج لغوية كبيرة (GPT-4o وLlama 3 وCommand R+) في حوارات الرعاية الصحية باستخدام أداة IC-MD، حيث وجدت أنه على الرغم من إظهارها لعدم العدائية، إلا أنها تفتقر إلى الحساسية المتسقة، وعدم التطفل، ومهارات الهيكلة اللازمة للاستخدام الآمن والفعال كمستشارين في مجال الرعاية الصحية.
المؤلفون الأصليون:Dorothee Amelung, Andrew M. Bean, Sabine C. Herpertz, Felix H. Krones, Guy Parsons, Adam Mahdi, Isabella Schneider
تخيل أنك تدخل مكتبة حيث أمين المكتبة هو روبوت ذكي للغاية. هذا الروبوت قد قرأ كل كتاب طبي كُتب على الإطلاق، ويمكنه استرجاع الحقائق حول الأمراض بسرعة تفوق رمشة عينك. لكن هناك عقبة؛ فكون المرء طبيباً جيداً لا يقتصر فقط على معرفة الحقائق، بل يتعلق بكيفية التحدث مع الناس عندما يكونون خائفين، أو مرتبكين، أو يتألمون. يُسمى هذا المجال من الدراسة "الكفاءة التواصلية الاجتماعية". إنها فن الاستماع، وإظهار التعاطف، وتنظيم محادثة فوضوية، وجعل الطرف الآخر يشعر بالأمان. نحن نهتم بهذا الأمر لأننا إذا بدأنا في استخدام هذه الروبوتات فائقة الذكاء لمساعدتنا في صحتنا، فنحن بحاجة إلى معرفة ما إذا كانت تستطيع التعامل مع الجانب الإنساني للطب، وليس الجانب الرياضي فقط. إذا أعطاك الروبوت الإجابة الصحيحة ولكنه جعلك تشعر بالتجاهل أو الذعر، فهل هو حقاً يساعدك؟
هذا بالضبط ما أراد فريق من الباحثين من جامعة هايدلبرغ وجامعة أكسفورد اكتشافه. لقد قرروا إخضاع ثلاثة من برامج الدردشة الآلية الشهيرة (GPT-4o، وLlama 3، وCommand R+) لـ "اختبار مهارات اجتماعية" باستخدام 1,800 محادثة حقيقية طلب فيها الناس المساعدة الطبية. قام الباحثون بدور مدربين صارمين ولكن عادلين، حيث قاموا بتقييم الروبوتات بناءً على أربع سمات محددة: عدم العدائية (أن تكون مهذباً وغير فظ)، والحساسية (إظهار التعاطف وتفهم المشاعر)، وعدم التدخل (ترك المستخدم يتخذ خياراته الخاصة دون أن يكون متسلطاً)، والهيكلة (الحفاظ على تنظيم المحادثة وتوجيه المستخدم خطوة بخطوة).
كانت النتائج مختلطة نوعاً ما، مثل طالب يتفوق في اختبار الرياضيات لكنه ينسى قول "من فضلك". كانت الروبوتات ممتازة في كونها مهذبة؛ فهي نادراً ما كانت فظة أو عدائية، وحصلت على درجات عالية في عدم العدائية. كما كانت جيدة بشكل عام في عدم التدخل، مما يعني أنها عادة ما تترك المستخدم يقود المحادثة. ومع ذلك، فقد تعثرت بشدة عندما تعلق الأمر بـ الحساسية. فبينما كان بإمكانها قول "أنا آسف لأنك مريض"، إلا أنها غالباً ما كانت تغفل عن الإشارات العاطفية التي تتطلب اتصالاً أعمق، مما جعل الدردشات تبدو وكأنها تبادل جاف للحقائق بدلاً من كونها محادثة مليئة بالاهتمام.
لكن المشكلة الأكبر كانت في الهيكلة. تخيل أنك تحاول حل لغز حيث يسلمك الروبوت القطع واحدة تلو الأخرى لكنه لا يخبرك أبداً كيف تتناسب مع بعضها البعض، أو والأسوأ من ذلك، يغير الصورة في منتصف الطريق دون شرح السبب. في الدراسة، فشلت الروبوتات غالباً في طرح الأسئلة الصحيحة للحصول على صورة واضحة للمشكلة. وبدلاً من توجيه المستخدم عبر مسار منطقي لمعرفة ما هو الخطب، قامت الروبوتات بصب المعلومات وترك المستخدم يقوم بكل العمل الشاق في التنظيم. في إحدى الحالات، أخبر الروبوت أحد المستخدمين أن أعراضه "من المرجح أن تكون قصيرة الأمد"، ثم بعد ذلك، ودون شرح التغيير، وصف نفس الأعراض بأنها "سبب للقلق"، مما ترك المستخدم في حالة من الارتباك والقلق.
خلص الباحثون إلى أنه بينما تتحسن هذه الأدوات في الحقائق الطبية، فإنها تفتقر حالياً إلى المهارات الاجتماعية الموثوقة اللازمة لتكون مستشارين صحيين آمنين وفعالين بمفردهم. إنها ليست جاهزة لاستبدال "أسلوب التعامل مع المرضى" لدى الطبيب لأنها تكافح لبناء علاقة قائمة على الثقة أو قيادة محادثة بيد ثابتة. تشير الدراسة إلى أنه إذا أردنا استخدام هذه الروبوتات في الرعاية الصحية، فلا يمكننا فقط تعليمها أن تكون أكثر تهذيباً؛ بل نحتاج إلى تعليمها كيف تكون مستمعة ومنظمة أفضل، وعلينا أن نتذكر أن وظيفة الروبوت تختلف عن وظيفة الطبيب البشري. وإلى أن تتعلم هيكلة المحادثة بنفس جودة هيكلتها للجملة، يجب النظر إليها كأدوات مساعدة، وليس كالشخص الأساسي الذي تتحدث إليه عندما تشعر بوعكة صحية.
ملخص تقني: الكفاءات التواصلية والاجتماعية للنماذج اللغوية الكبيرة في الرعاية الصحية
بيان المشكلة تعتمد الممارسة السريرية الفعالة بشكل كبير على المهارات التواصلية والاجتماعية للمهنيين الطبيين، ولا سيما الحساسية، والتعاطف، والقدرة على هيكلة التفاعلات. وبينما تُقترح النماذج اللغوية الكبيرة (LLMs) بشكل متزايد لمهام الرعاية الصحية مثل فرز الحالات، وصياغة التقارير، وترجمة المصطلحات الطبية، فإن نشرها يتطلب دقة واقعية وكفاءة اجتماعية معاً. وعلى الرغم من إظهار النماذج اللغوية الكبيرة تحسناً ملحوظاً في الدقة الطبية في اختبارات التراخيص، إلا أن اهتماماً أقل قد أُولي لسلوكياتها التواصلية والاجتماعية. غالباً ما يركز البحث الحالي على السيناريوهات التي تحل فيها هذه النماذج محل الأطباء مباشرة، ولكن هناك حاجة لتقييم عمل النماذج اللغوية الكبيرة كأدوات أولية لاسترجاع المعلومات ضمن نظام الرعاية الصحية. تعالج هذه الدراسة الفجوة في فهم مدى تلبية النماذج اللغوية الكبيرة المتاحة للجمهور للتوقعات التواصلية والاجتماعية المفروضة على المستشارين الصحيين.
المنهجية أجرى الباحثون تقييماً نوعياً باستخدام مجموعة فرعية من مجموعة بيانات HELP-Med، والتي تضم 1,800 نص لمحادثات بين مشاركين بشريين وثلاثة نماذج لغوية كبيرة متميزة هي: GPT-4o، وLlama 3 70B، وCommand R+.
اختيار البيانات: من المجموعة الكاملة للبيانات، اختار المؤلفون سيناريوهين طبيين محددين. ولكل زوج (نموذج-سيناريو)، استخرجوا محادثتين: إحداهما حيث حدد المشارك الخطوات التالية بشكل صحيح، والأخرى حيث لم يفعل، مما نتج عنه إجمالي 12 حواراً للتحليل.
أداة التقييم: استخدمت الدراسة نسخة معدلة من أداة الكفاءات التفاعلية - الأطباء (IC-MD). صُممت هذه الأداة أصلاً لتقييم قبول طلاب الطب عبر الفيديو، وهي تقيم أربعة درجات عالمية: الحساسية، الهيكلة، عدم التدخل، وعدم العدائية.
التكيف مع النص: نظراً لأن مجموعة البيانات نصية فقط، فقد تم تعديل معايير التقييم للتركيز على السمات النصية القابلة للملاحظة. تم تطبيق مقياس ثلاثي النقاط مبسط (سلبي/-، محايد/0، إيجابي/) على كل كفاءة.
عملية التصنيف: قام خبيران مستقلان، لم يكن لديهما علم بهوية النموذج اللغوي الكبير أو نتائج المشاركين، بتصنيف الحوارات. كانت موثوقية المصنفين الأولية متوسطة إلى عالية (متوسط معامل كيندال "تاو" rτ=.75). وتمت تسوية الخلافات، خاصة فيما يتعلق بتفسير "العدائية" في النص (مثل عدم الاستجابة)، من خلال المناقشة لوضع معايير مفصلة للسياق النصي.
المساهمات الرئيسية
تطبيق الأطر السريرية على الذكاء الاصطناعي: تكيّف الدراسة أداة تم التحقق من صحتها (IC-MD) تُستخدم للمهنيين الطبيين البشريين لتقييم الأداء التواصلي والاجتماعي للنماذج اللغوية الكبيرة في سياق البحث عن المعلومات الطبية.
التحليل التفصيلي للكفاءة: بدلاً من تحليل المشاعر العام، تقوم الورقة بتفكيك "أسلوب التعامل مع المرضى" إلى أربعة أبعاد محددة وذات صلة سريرياً: الحساسية، الهيكلة، عدم التدخل، وعدم العدائية.
تمييز الأدوار: يسلط العمل الضوء على التمييز بين التوقعات الاجتماعية للطبيب البشري مقابل الأداة الذكية، مما يشير إلى أن السلوكيات المرغوبة قد تختلف بناءً على الدور الوظيفي للوكيل (على سبيل المثال، سلوك "شبكة الأمان" للذكاء الاصطناعي يختلف عن سلوك الطبيب).
النتائج كشف تحليل الحوارات الاثني عشر عن أنماط أداء متميزة عبر الكفاءات الأربع:
عدم العدائية: أظهرت النماذج اللغوية الكبيرة أداءً قوياً في هذه الفئة. فقد حافظت عموماً على لغة مهذبة ومحترمة. وكانت التصنيفات السلبية نادرة ولم تُطبق إلا عندما فشل النموذج في التفاعل مع الأسئلة ذات الصلة أو عندما تهرب بشكل متكرر إلى مصادر أخرى دون تقديم مساعدة فعلية، وهو ما يمكن تفسيره على أنه عدم اكتراث أو عدائية.
عدم التدخل: كانت النتائج مختلطة. حافظت النماذج عموماً على استقلالية المستخدم باستخدام التوصيات بدلاً من الأوامر. ومع ذلك، عانت من نقص في المشاركة النشطة، وهي مكون رئيسي في الرعاية المتمحورة حول المريض حيث يشارك مقدم الخدمة بنشاط مع المريض لبناء فهم مشترك.
الحساسية: كان الأداء مختلطاً. كانت التفاعلات مهذبة وقائمة على الحقائق في الغالب، لكنها افتقرت غالباً إلى المظاهر العاطفية أو التأكيد التعاطفي. وبينما استخدمت النماذج أحياناً عبارات مثل "آسف لسماع ذلك"، إلا أنها فشلت غالباً في تطبيق اللغة التعاطفية في اللحظات الحرجة (مثل تقديم معلومات مؤلمة) أو فشلت في معالجة الأثر العاطفي لتغيير تقييماتها الخاصة.
الهيكلة: كانت هذه هي منطقة العجز الأكبر. نادراً ما أظهرت النماذج اللغوية الكبيرة القدرة على تنظيم التفاعلات بكفاءة. فخلافاً للأطباء البشريين الذين يطرحون أسئلة مستهدفة استباقياً لتقييم الخطورة، وتحديد الأولويات، وبناء فهم مشترك للأعراض والخطوات التالية، قدمت النماذج اللغوية الكبيرة غالباً معلومات مفككة، تاركة المستخدم ينظم المحادثة ويقيم درجة الاستعجال بنفسه. وأظهرت دراسات الحالة حالات فشلت فيها النماذج في متابعة فرضياتها الخاصة أو تجاهلت محاولات المستخدم لهيكلة الحوار.
الأهمية والادعاءات تخلص الورقة إلى أن النماذج اللغوية الكبيرة الحالية تفتقر إلى المهارات التواصلية والاجتماعية المتسقة والموثوقة اللازمة للاستخدام الآمن والفعال كمستشارين في الرعاية الصحية.
خطر الإجهاد: يتمثل الخطر الرئيسي المحدد في أن غياب الهيكلة يجبر الأشخاص غير المتخصصين طبياً، الذين غالباً ما يكونون في حالة ضيق بالفعل، على تنظيم معلومات مفككة وتنظيم حالاتهم العاطفية في آن واحد. وهذا يمكن أن يكون مرهقاً وقد يؤثر سلباً على سلامة المريض والالتزام بالعلاج.
توقعات خاصة بالدور: يرى المؤلفون أنه بينما يمكن للأطر الحالية للكفاءات التفاعلية أن توجه التطوير، إلا أنها يجب أن تُكيف. فالسلوك "المثالي" للنموذج اللغوي الكبير يختلف عن الطبيب البشري؛ فعلى سبيل المثال، رفض النموذج اللغوي الكبير لتقديم نصيحة طبية هو ميزة أمان، بينما قد يُعتبر الرفض من قبل الطبيب البشري سلوكاً عدائياً.
التطوير المستقبلي: تقترح الدراسة أنه بدلاً من تدريب النماذج اللغوية الكبيرة على إنتاج اعتذارات سطحية أو تظاهر بالمشاعر (والذي يراه بعض المستخدمين مهيناً)، يجب أن يركز التطوير على "السلوكيات الحساسة" مثل الجمع المناسب للمعلومات السياقية وتقديمها لتحقيق التوازن مع العبارات ذات الأثر العاطفي. علاوة على ذلك، يجب تدريب النماذج اللغوية الكبيرة على طرح أسئلة توضيحية استباقية لبناء فهم مشترك، وهي مهارة مفقودة حالياً في النماذج المتاحة للجمهور.
يتبنى المؤلفون موقفاً متواضعاً، مشيرين إلى أن دراستهم تستخدم سيناريوهات محاكاة ذات مخاطر أقل من التفاعلات السريرية في العالم الحقيقي، ولا تتضمن مقارنة مباشرة مع الأطباء الممارسين الذين يؤدون المهام نفسها. ومع ذلك، فإنهم يؤكدون أن نقاط الضعف المحددة في الهيكلة والحساسية تشكل عوائق حرجة أمام نشر النماذج اللغوية الكبيرة كأدوات للمعلومات الصحية.