Comparison of ChatGPT and Gemini in Providing Postoperative Information After Tonsillectomy: An Expert-Based Assessment
لم يجد تقييم قائم على الخبراء يقارن بين ChatGPT وGemini في مجال التثقيف لما بعد استئصال اللوزتين باللغة التركية فرقاً ذا دلالة إحصائية في الجودة العامة أو السلامة بين النموذجين، مما يؤكد ضرورة المراجعة السريرية قبل استخدام المعلومات المقدمة للمرضى والمولدة بواسطة الذكاء الاصطناعي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
يخضع ملايين الأشخاص كل عام لعملية استئصال اللوزتين، وهي عملية جراحية شائعة لإزالة اللوزتين الموجودتين في الجزء الخلفي من الحلق. ورغم أن هذا الإجراء روتيني، إلا أن التعافي منه غالبًا ما يكون صعبًا؛ حيث يستيقظ المرضى وهم يعانون من ألم شديد، وصعوبة في البلع، وقلق مستمر بشأن النزيف أو الجفاف. ولأن معظم هذه الفترة من التعافي تحدث في المنزل، تعتمد العائلات على تعليمات واضحة لمعرفة ما هو طبيعي وما يتطلب تدخلًا طبيًا. وفي السنوات الأخيرة، لجأ الكثيرون إلى أدوات الذكاء الاصطناي لتلقي هذه الإجابات بشكل فوري. هذه البرامج الحاسوبية، المعروفة بنماذج اللغات الكبيرة، يمكنها إجراء محادثات وتوليد نصوص تبدو بشرية للغاية، وهي تعد بأن تكون متاحة على مدار أربع وعشرين ساعة لشرح المصطلحات الطبية أو تقديم النصائح. ومع ذلك، نظرًا لأن هذه البرامج تولد الإجابات بناءً على أنماط في البيانات وليس بناءً على فهم عميق للطب، فإن هناك خطرًا من أن تقدم نصائح قد تكون مربكة، أو قديمة، أو حتى خطيرة. والسؤال الذي يواجه الأطباء والمرضى بسيط: هل يمكننا الوثوق بهذه الآلات لإرشاد عائلة خلال فترة تعافٍ صعبة، أم أنها تحتاج إلى خبير بشري لمراجعة عملها؟
للإجابة على ذلك، وضع فريق من الباحثين في تركيا اختبارًا دقيقًا يتضمن اثنين من أكثر أنظمة الذكاء الاصطناعي تقدمًا المتاحة حاليًا: ChatGPT وGemini. لم يطرحوا على الحواسيب أسئلة عشوائية، بل بدأوا بأشخاص حقيقيين. فقد جمع الباحثون أسئلة من أربعين مريضًا خضعوا مؤخرًا لعملية استئصال اللوزتين. كتب هؤلاء المرضى بالضبط ما أرادوا معرفته عن تعافيهم، مغطين مواضيع مثل إدارة الألم، والنظام الغذائي، ومتى يجب طلب المساعدة الطارئة. ثم قام فريق من عشرة أطبب خبراء بتنقيح هذه الأسئلة وتحويلها إلى خمسة عشر سؤالًا واضحًا باللغة التركية. وفي يوم واحد، طلب الباحثون من كل من ChatGPT وGemini الإجابة على هذه الأسئلة الخمسة عشر نفسها. قامت الحواسيب بتوليد ردودها، وحفظها الباحثون تمامًا كما ظهرت، دون تغيير كلمة واحدة.
بعد ذلك، استعان الباحثون بستة عشر متخصصًا مختلفًا في طب الأنف والأذن والحنجرة للقيام بدور الحكام. لم يكن هؤلاء الأطباء يعرفون أي برنامج حاسوبي كتب أي إجابة، بل رأوا ببسا "مجموعتين من الردود"، تم تسميتهما فقط بـ "الاستجابة أ" و"الاستجابة ب". قرأ كل طبيب الإجابات على جميع الأسئلة الخمسة عشر وقيمها بناءً على أربعة معايير محددة: مدى دقة المعلومات من الناحية العلمية، وما إذا كانت النصيحة مناسبة لمريض حقيقي، ومدى سهولة فهمها، والأهم من ذلك، ما إذا كانت الإجابة آمنة أم أنها تحتوي على شيء قد يضلل المريض ويؤدي به إلى الضرر. منح الأطباء درجة من واحد إلى خمسة لكل فئة، حيث تمثل الدرجة خمسة أفضل تقييم ممكن. وفي المجمل، جمع الفريق ما يقرب من ألفي تقييم فردي لمقارنة النظامين جنبًا إلى جنب.
أظهرت النتائج أن كلا برنامجي الذكاء الاصطناعي قد أديا عملهما بشكل جيد للغاية بشكل عام؛ فقد قدما معلومات دقيقة سريريًا ومناسبة بشكل عام، وحصلا على درجات عالية في تقديم الحقائق الطبية الصحيحة. وعندما نظر الباحثون في إجمالي الدرجات، حصل ChatGPT على متوسط تقييم أعلى قليلاً من Gemini، لكن الفرق كان ضئيلاً جدًا بحيث يمكن أن يكون قد حدث بمحض الصدفة. في الواقع، عندما نظر الخبراء في الفئات المحددة، كان البرنامجان متطابقين تقريبًا في قدرتهما على تقديم حقائق طبية صحيحة. ولم يثبت أي من النظامين أنه أفضل بوضوح من الآخر بطريقة يمكن للبيانات تأكيدها بيقين. لم تجد الدراسة دليلًا على أن أحد النموذجين يتفوق على الآخر في هذه المهمة المحددة.
ومع ذلك، كشفت نظرة فاحصة عن قصة أكثر أهمية تتعلق بالسلامة. فقد حصل كلا البرنامجين على أدنى درجاتهما في فئة سلامة المرضى. وهذا يعني أنه بينما كانت الإجابات صحيحة من الناحية الواقعية في كثير من الأحيان، إلا أن الخبراء رصدوا مخاطر محتملة، مثل إغفال التحذيرات بشأن النزيف أو تقديم نصائح غامضة بشأن الأدوية. وعلى الرغم من أن ChatGPT سجل درجة أعلى قليلاً من Gemini في جانب السلامة، إلا أن الفرق لم يكن جوهريًا لإعلانه الخيار الأكثر أمانًا. كما لاحظ الخبراء أن الأطباء لم يتفقوا دائمًا مع بعضهم البعض عند تقييم السلامة، مما يشير إلى أن اكتشاف خطر خفي في فقرة نصية هو أمر صعب حتى بالنسبة للمحترفين. هذا الافتقار إلى الاتفاق التام يسلط الضوء على أن السلامة حكم معقد، وليست مجرد فحص بسيط للحقائق.
تخلص الدراسة إلى أنه على الرغم من أن أدوات الذكاء الاصطناعي هذه مثيرة للإعجاب ويمكنها توليد معلومات مفيدة، إلا أنها ليست جاهزة بعد لتحل محل نصيحة الطبيب. إن حقيقة حصول كلا النظامين على درجات أقل في السلامة تشير إلى ضرتا مراجعة خبير بشري للمعلومات قبل تقديمها للمريض. لا تظهر الأبحاث أن أحد البرنامجين هو الفائز الواضح، كما لا تثبت أنهما آمنان تمامًا للاستخدام بمفردهما. بدلاً من ذلك، تشير الدراسة إلى أن هذه الأدوات تعمل بشكل أفضل كمساعدات توفر مسودة للمعلومات، والتي يقوم متخصص طبي بعد ذلك بمراجعتها وتصحيحها. وإلى أن تتحسن التكنولوجيا لدرجة تمكنها من تحديد وتجنب جميع المخاطر المحتملة باستمرار دون مساعدة بشرية، يظل المسار الأكثر أمانًا للمرضى هو التحدث مع أطبائهم الخاصين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.