Large language models improve physician accuracy but lead to false reliance
بينما أدى نظام النموذج اللغوي الكبير المعزز بالاسترجاع (CORA) إلى تحسين دقة التشخيص لدى الأطباء بشكل ملحوظ، كشفت الدراسة عن خطر سلامة حرج حيث أدت الاستشهادات المرتبطة بالمصدر إلى زيادة الاعتماد بشكل غير متناسب على كل من النصائح الصحيحة والخاطئة، مما قوض قدرة الأطباء على مقاومة التوصيات الخاطئة.
البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق تحاول حل قضية معقدة. لديك مساعد ذكي وسريع للغاية يمكنه قراءة ملايين الكتب في ثانية واحدة واقتراح حل. هذا المساعد هو ذكاء اصطناعي، وتحديداً "نموذج لغوي كبير" (LLM). هذه الأنواع من الذكاء الاصطناعي تشبه الموسوعات التي تعلمت التحدث عبر قراءة الإنترنت بأكمله، لكنها أحياناً تصبح واثقة جداً بشأن أشياء لا تعرفها حقاً، فتؤلف حقائق تبدو مثالية ولكنها خاطئة. ولإصلاح ذلك، اخترع العلماء حيلة تسمى "التوليد المعزز بالاسترجاع" (RAG). فكر في RAG كأنك تعطي مساعدك الذكي بطاقة مكتبة وقاعدة: "يمكنك الإجابة فقط إذا استطعت الإشارة إلى الصفحة المحددة في كتاب يثبت إجابتك". بهذه الطريقة، لا يقوم الذكاء الاصطناعي بمجرد التخمين؛ بل يعرض واجباته المدرسية.
ولكن هنا يكمن السؤال الكبير الذي لا يزال العلماء يتجادلون حوله: هل عرض الواجب المدرسي يساعد المحقق البشري حقاً؟ أم أنه يجعل الإنسان يثق في المساعد أكثر مما ينبغي، حتى عندما يكون المساعد مخطئاً؟ هذه هي قصة دراسة جديدة وضعت هذه الفكرة قيد الاختبار مع أطباء حقيقيين. أرادوا معرفه ما إذا كان إعطاء الأطباء ذكاءً اصطناعياً يستشهد بمصادره سيجعلهم أفضل في تشخيص الأمراض الجلدية، أم أنه سيخدعهم لارتكاب أخطاء خطيرة بجعل الإجابات الخاطئة تبدو مدعومة بالأدلة.
قصة CORA وفخ "الدليل المزيف"
في هذه الدراسة، قام فريق من الباحثين ببناء مساعد ذكاء اصطناعي خاص يسمى CORA (المساعد المستند إلى الاسترجاع والموجه بالاستشهاد). تخيل CORA كمساعد بحث ذكي للغاية، عندما يسأله الطبيب عن حالة جلدية، لا يكتفي بإلقاء إجابة فحسب، بل يذهب إلى مكتبة رقمية من الكتب الطبية، والإرشادات، وتقارير الحالات، ويجد الصفحات ذات الصلة، ثم يقول: "إليك إجابتي، وإليك الصفحات الثلاث التي تثبتها".
أراد الباحثون معرفة كيف سيعمل هذا في العالم الحقيقي. فقد جمعوا 46 طبيباً من 21 دولة مختلفة وأعطوهم سلسلة من الألغاز المتعلقة بالأمراض الجلدية. أولاً، كان على الأطباء حلها بمفردهم. بعد ذلك، عُرضت عليهم إجابة CORA مع "الدليل" (الاستشهادات) وسُئلوا عما إذا كانوا يريدون التمسك بإجابتهم الأصلية أو تغييرها.
الأخبار الجيدة: أصبح الأطباء أكثر ذكاءً
أظهرت النتائج أن CORA كان مساعداً مفيداً. عندما عمل الأطباء بمفردهم، كانت إجاباتهم صحيحة بنسبة 70.8%. ولكن عندما استخدموا CORA، قفزت دقة إجاباتهم إلى 82.6%. لقد ساعدهم الذكاء الاصطناعي في تصحيح أخطائهم، خاصة في الحالات الصعبة أو الأمراض النادرة. كان الأمر يشبه امتلاك عين ثانية تعرف كتاب القواعد تماماً.
الأخبار السيئة: "فخ الاستشهاد"
ومع ذلك، وجدت الدراسة مشكلة خفية. "الدليل" الذي قدمه CORA لم يكن دائماً دليلاً حقيقياً. فأحياناً، يقدم CORA إجابة خاطئة ومع ذلك يظهر استشهاداً يبدو وكأنه يدعم الإجابة، رغم أنه لا يدعمها في الواقع.
وهنا يصبح الأمر معقداً:
- عندما كان CORA محقاً: إذا رأى الأطباء استشهاداً يبدو وكأنه يدعم الإجابة، فمن المرجح جداً أن يغيروا رأيهم ويتفقوا مع الذكاء الاصطناعي. فقد ارتفع معدل نجاحهم في تبني النصيحة الصحيحة من 34% (بدون شعور بالدعم) إلى 76.9% (عندما شعروا أن الاستشهاد يدعمها).
- عندما كان CORA مخطئاً: هذا هو الجزء الخطير. إذا قدم CORA إجابة خاطئة ومع ذلك أظهر استشهاداً يبدو داعماً، فإن الأطباء يتوقفون عن المقاومة. في العادة، يكون الأطباء عنيدين ويتمسكون بإجابتهم الصحيحة بنسبة 92% عندما يكون الذكاء الاصطناعي مخطئاً. ولكن عندما يُعرض استشهاد "داعم"، تنخفض هذه المقاومة إلى 34.8% فقط.
الدرس المستفاد: ثق، ولكن تحقق من الدليل
اكتشفت الدراسة ما يسمى بـ "سوء معايرة التأسيس" (grounding-miscalibration). وهي طريقة منمقة للقول بأن الأطباء قد خُدعوا بمظهر الأدلة. فعندما أظهر الذكاء الاصطناعي استشهاداً، افترض الأطباء أن الإجابة لا بد أن تكون صحيحة، حتى لو لم يكن الاستشهاد يثبت النقطة المحددة بالفعل. إنه يشبه طالباً يسلم اختباراً ومعه صفحة من الكتاب المدرسي؛ إذا كانت الصفحة تتحدث عن الموضوع الصحيح ولكنها لا تجيب على السؤال فعلياً، فقد يظن المعلم: "أوه، لقد قام بالبحث"، ويعطيه الدرجة. ولكن في الطب، قد تكون هذه الدرجة خطأً.
وجدت الدراسة أنه بينما جعل الذكاء الاصطناعي الأطباء أكثر دقة بشكل عام، فإنه خلق أيضاً خطراً جديداً: كان الأطباء أكثر عرضة للتخلي عن حدسهم الصحيح إذا جعل الذكاء الاصطناعي الإجابة الخاطئة تبدو مدعومة جيداً. تشير الدراسة إلى أنه لكي تكون أدوات الذكاء الاصطنا هذه آمنة، لا يمكننا فقط النظر فيما إذا كان الذكاء الاصطناعي مصيباً أم مخطئاً، بل يجب أن نتأكد من أن "الدليل" الذي يظهره يثبت الإجابة فعلياً، وليس مجرد أنه مرتبط بالموضوع. وإلا، فإن الشيء الذي وُجد لمساعدة الأطباء على التحقق من الحقيقة قد ينتهي به الأمر بخداعهم ليدفعهم إلى الثقة في كذبة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.