Quality and Readability of Artificial Intelligence Chatbot Responses to Patient Questions About Exocrine Pancreatic Insufficiency: A Comparative Study
وجدت هذه الدراسة المقارنة أنه بينما أنتجت أربعة من روبوتات الدردشة الآلية الرئيسية معلومات جيدة الهيكلة ومفيدة بشكل عام حول قصور البنكرياس الإفرازي، إلا أن استجاباتها افتقرت إلى شفافية المصادر، وأظهرت جودة ضعيفة في المعلومات المتعلقة بالعلاج، وتجاوزت بشكل كبير مستوى القراءة الموصى به للصف السادس، مما يستلزم التحقق المهني قبل الاستخدام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل الإنترنت كمكتبة ضخمة وصاخبة حيث يمكنك طرح أي سؤال والحصول على إجابة فوراً. في السنوات الأخيرة، وصل نوع خاص من أمناء المكتبات: روبوت الدردشة الخاص بالذكاء الاصطناعي (AI). هذه ليست مجرد محركات بحث تسرد روابط؛ بل هي أشبه بروبوتات ذكية جداً ومحبّة للدردشة، يمكنها كتابة قصص كاملة، وشرح أفكار معقدة، وحتى التظاهر بأنها أطباء أو معلمون. لكن هنا تكمن العقبة: مجرد قدرة الروبوت على التحدث بطلاقة لا يعني أنه يقول الحقيقة، أو أنه يتحدث لغة يمكنك فهمها بالفعل.
يغوص هذا البحث في زاوية محددة من العلوم الصحية تسمى "قصور البنكرياس الإفرازي"، أو EPI اختصاراً. فكر في البنكرياس كأنه مصنع صغير داخل بطنك يضخ مواد كيميائية تشبه الصابون (الإنزيمات) لمساعدتك على هضم الطعام. عندما يتعطل هذا المصنع، لا يمكنك امتصاص العناصر الغذائية بشكل صحيح، مما يؤدي إلى مشاكل في البطن وفقدان الوزن. غالباً ما يلجأ المرضى المصابون بهذه الحالة إلى الإنترنت بحثاً عن إجابات، آملين في فهم تشخيصهم وكيفية التعامل معه. السؤال الكبير في هذه الدراسة هو: إذا سأل مريض روبوت ذكاء اصطناعي عن حالة EPI، فهل سيعطي الروبوت نصيحة واضحة، وموثوقة، وسهلة القراءة، أم أنه سيبدو ذكياً فقط بينما يربك الجميع؟
المواجهة الكبرى بين الروبوتات
لمعرفة ذلك، أعد الباحثون مواجهة رقمية. فقد جمعوا 20 سؤالاً ملحاً قد يطرحها المرضى الحقيقيون حول حالة EPI، تتراوح من "ما هذا المرض؟" إلى "ماذا يجب أن آكل؟" و"كيف آخذ دوائي؟". ثم أدخلوا هذه الأسئلة في أربعة من أشهر روبوتات الدردشة المتاحة: ChatGPT، وCopilot، وGemini، وPerplexity. كان الهدف هو معرفة أي روبوت هو المعلم الأفضل.
عمل الفريق كحكام صارمين، مستخدمين أربع بطاقات تقييم مختلفة لتصنيف إجابات الروبوتات. فحصت بطاقة واحدة ما إذا كانت النصيحة آمنة وموثوقة (DISCERN)، وبحثت أخرى في مدى جودة تنظيم المعلومات (EQIP)، وتحققت بطاقة ثالثة مما إذا كانت الروبوتات تعترف بالمصادر التي استقت منها حقائقها (JAMA)، بينما أعطت الرابعة "إبهاماً للأعلى أو للأسفل" عاماً لمدى الفائدة (GQS). كما أجروا "اختبار مستوى القراءة" لمعرفة ما إذا كان بإمكان طالب في الصف السادس فهم الإجابات، وهو المعيار الذهبي لتعليم المرضى.
الحكم: هيكل جيد، مستوى قراءة سيء
هنا تأتي المفاجأة: كانت الروبوتات متشابهة بشكل مثير للدهشة. وجدت الدراسة عدم وجود فرق جوهري بين نماذج الذكاء الاصطنا عشرة الأربعة. سواء سألت ChatGPT أو Copilot أو Gemini أو Perplexity، فقد قدموا جميعاً أداءً متقارباً.
عندما يتعلق الأمر بالتنظيم والفائدة العامة، فقد قامت الروبوتات بعمل جيد. قدمت إجابات تبدو مرتبة، وتنساب بشكل جيد، وتبدو مفيدة في ظاهرها. ومع ذلك، عندما نظر الحكام بعمق أكبر، ظهرت الشقوق. سجلت الروبوتات درجات منخفضة في "جودة معلومات العلاج"، مما يعني أنها لم تشرح دائماً المخاطر أو الفوائد أو حالات عدم اليقين المتعلقة بالعلاجات بوضوح. والأسوأ من ذلك، أنها فشلت تماماً في اختبار "شفافية المصدر". لم تخبر أي من الروبوتات المستخدم من أين حصلت على معلوماتها، أو من كتبها، أو متى تم تحديثها لآخر مرة. كان الأمر يشبه الحصول على وصفة من طاهٍ يرفض إخبارك من أين اشترى مكوناته أو ما إذا كانت الوصفة تعود لعام 1990.
ومع ذلك، كانت المشكلة الأكبر هي اللغة. أراد الباحثون معرفة ما إذا كانت الإجابات بسيطة بما يكفي ليقرأها طالب في الصف السادس. وكانت الإجابة هي "لا" قاطعة. كتب كل روبوت بمستوى معقد للغاية بالنسبة للمريض العادي. كانت درجات القراءة تعادل نصوصاً للمرحلة الثانوية أو حتى الجامعية. ورغم أن Perplexity وCopilts كانا أسهل قليلاً في القراءة من الآخرين، إلا أنهما لم يصلا إلى المعيار الأساسي. استخدمت الروبوتات جملًا طويلة ومعقدة وكلمات طبية كبيرة دون شرحها، مما جعل المعلومات صعبة الهضم للأشخاص الذين هم في أمس الحاجة إليها.
ماذا يعني هذا بالنسبة لك
تخلص الدراسة إلى أنه بينما يجيد هؤلاء الروبوتات التحدث بمهنية وتنظيم المعلومات، إلا أنهم ليسوا جاهزين ليكونوا مصدرك الوحيد للنصيحة الطبية. إنهم يشبهون مرشداً سياحياً أنيق المظهر يعرف الخريطة ولكنه يتحدث بالألغاز ولا يريك أبداً مصدر اتجاهاته.
يقترح المؤلفون أنه يمكن للمرضى استخدام هذه الروبوتات للحصول على فكرة أساسية عما هو المرض أو للتحضير لأسئلة لطبيب حقيقي. ومع ذلك، لا ينبغي لهم أبداً استخدام الروبوتات لاتخاذ قرارات علاجية، أو تغيير أدويتهم، أو تفسير نتائج فحوصاتهم دون مراجعة مهنية أولاً. تحتاج الروبوتات إلى التحسن في ذكر مصادرها، وتحديث معلوماتها، والتحدث بلغة إنجليزية بسيطة. وحتى ذلك الحين، فمن الأفضل استخدامها كمكمل لنصيحة الطبيب البشري الحقيقي، وليس كبديل لها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.