Contextual Cue Susceptibility in Clinical AI: A Randomized Controlled Clinician-Comparator Study
تكشف هذه الدراسة العشوائية المنضبطة أن النماذج اللغوية الكبيرة أكثر عرضة بشكل ملحوظ من الأطباء البشريين للمؤشرات السياقية التي تؤدي إلى خيارات تشخيصية خاطئة، مما يسلط الضاىء على ثغرة أمنية حرجة في أنظمة الذكاء الاصطناعي السريرية يمكن التخفيف من حدتها من خلال استراتيجيات صياغة أوامر محددة.
المؤلفون الأصليون:Mahmud Omar, Reem Agbareia, Alexander Charney, Raja-Elie Abdulnour, Ankit Sakhuja, Eyal Klang, Girish Nadkarni, Benjamin Glicksberg
تخيل أنك محقق يحاول حل لغز ما. لديك قائمة من الأدلة، ومهمتك هي معرفة من فعل ذلك. في بعض الأحيان، يكون الدليل ضخمًا وواضحًا، مثل أثر حذاء طيني. وفي أحيان أخرى، يكون الدليل صغيرًا وغريبًا، مثل خيط أزرق واحد وُجد على معطف المشتبه به. في عالم الطب، الأطباء هم المحققون، و"أدلتهم" هي الأعراض التي يصفها المرضى. لفترة طويلة، عرفنا أن المحققين البشر يمكن خداعهم. إذا ذكرت قصة تفصيلًا نادرًا ومخيفًا، فقد يتشتت انتباه الطبيب وينسى أن المرض الأكثر شيوعًا لا يزال هو الإجابة الأكثر احتمالًا. يُسمى هذا "انحياز التوافر" (availability bias) — حيث تلتصق عقولنا بالقصة المثيرة بدلاً من الإحصائيات المملة.
الآن، تخيل أننا أعطينا محققنا مساعدًا آليًا ذكيًا للغاية. هذا الروبوت هو نموذج لغوي كبير (LLM)، وهو نوع من الذكاء الاصطناعي الذي يقرأ ملايين الكتب ويتعلم كيف يتحدث ويفكر مثل البشر. هذه الروبوتات أصبحت بارعة في تلخيص السجلات الطبية واقتراح التشخيصات. لكن السؤال الكبير هو: هل الروبوت جيد بقدر البشر في تجاهل الأدلة الصغيرة والمشتتة؟ أم أن الروبوت يسهل خداعه أكثر؟ يشعر العلماء بالقلق لأنه إذا تشتت انتباه الروبوت بسبب تفصيل صغير، فقد يرتكب آلاف الأخطاء بسرعة كبيرة، خاصة إذا بدأ يعمل من تلقاء نفسه في حجز المواعيد أو كتابة الملاحظات دون أن يراجع عمله بشر.
وضعت هذه الورقة البحثية تجربة مضبوطة وعملاقة لمعرفة ذلك. أنشأ الباحثون 100 قصة طبية قصيرة، مثل ألغاز مصغرة. في بعض نسخ القصة، أضافوا تفصيلًا صغيرًا غير ضار — مثل ذكر المريض أنه سافر مؤخرًا إلى بلد معين أو عمل في وظيفة معينة. هذا التفصيل كان يشير نحو تشخيص "فخ" نادر ومثير ولكنه في الواقع غير مرجح. في النسخ الأخرى من القصة، كان هذا التفصيل الصغير مفقودًا. ثم طلبوا من مجموعتين حل الحالات: 47 من المهنيين الطبيين البشر (أطباء، وأطباء مقيمين، وزمالاء، وطلاب طب) و22 نموذجًا مختلفًا من الذكاء الاصطناعي. أرادوا معرفة ما إذا كان هذا التفصيل الصغير سيغير الإجابة، وإذا كان الأمر كذلك، فمن سيتم خداعه أكثر: البشر أم الروبات؟
كانت النتائج صادمة نوعًا ما. عندما أُضيف دليل "السفر" أو "الوظيفة" الصغير، ظل الأطباء البشر متأثرين به، حيث اختاروا تشخيص "الفخ" النادر والخاطئ بنسبة 28% من المرات تقريبًا، رغم أنهم تمسكوا بالتشخيص الصحيح بنسبة 55%. أما نماذج الذكاء الاصطناعي، فقد وقعت في الفخ كأنها في عرض سحر. فعندما كان الدليل موجودًا، اختارت نماذج الذكاء الاصطناعي تشخيص "الفخ" النادر والخاطئ بنسبة هائلة بلغت 85%! هذا يعني أن الذكاء الاصطناعي قد خُدع بتلك الجملة الصغيرة بمقدار 57 نقطة مئوية أكثر من البشر. لم يكتفِ الذكاء الاصطناعي بالارتباك فح جد نفسه مقتنعًا بثقة بأن المرض النادر هو الإجابة، رغم أن الرياضيات تقول عكس ذلك.
اختبر الباحثون أيضًا ما إذا كان بإمكانهم "إصلاح" الروبوت عن طريق تغيير التعليمات التي يعطيها له. عندما أخبروا الذكاء الاصطناعي: "تذكر أن الأشياء الشائعة هي الأكثر شيوعًا"، توقف الذكاء الاصطناعي عن الوقوع في الفخ كثيرًا، وأصبح أداؤه يشبه أداء البشر. ولكن عندما أخبروه: "كن على دراية بالأشياء النادرة والخطيرة"، جن جنون الذكاء الاصطناعي، ووقع في الفخ بشكل أكبر، حيث اختار الإجابة الخاطئة بنسبة 93%! يشير هذا إلى أن الذكاء الاصطناعي لا "يفكر" بطريقة مستقرة؛ بل هو مجرد رد فعل جامح للكلمات الموجودة في الأمر (prompt).
الاستنتاج الرئيسي ليس أن الذكاء الاصطناعي سيء في الطب بشكل عام — إذ يمكن أن يكون دقيقًا للغاية عندما تكون الأدلة واضحة. المشكلة هي أن هذه النماذج حساسة للغاية للسياق. جملة واحدة صغيرة وغير مهمة سريريًا يمكن أن تقلب قرارهم تمامًا، وبشكل أكبر بكثير مما يقلب عقل الطبيب البشري. يحذر المؤلفون من أنه مع بدء هذه الأنظمة الذكية في القيام بمزيد من العمل بمفردها — مثل كتابة الملاحظات أو فرز المرضى دون أن ينظر بشر خلفها — فإن هذه الحساسية للمفاتيح الصغيرة قد تصبح خطرًا جسيمًا على السلامة. إذا غير الروبوت رأيه لمجرد أن المريض ذكر رحلة عطلة، فهذه مشكلة نحتاج إلى حلها قبل أن نسمح للروبوتات بقيادة السيارة.
بيان المشكلة تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في سير العمل السريري لمهام تتراوح بين تلخيص السجلات وتوليد التشخيصات التفريقية والعمل كوكلاء مستقلين. وبينما تُظهر هذه النماذج طلاقة وثقة، فإن مخرجاتها حساسة للغاية للسياق. وخلافًا للأطباء البشر، الذين قد يظهرون تحيزات مثل "تحيز التوافر"، تعمل النماذج اللغوية الكبيرة بمقياس وشفافية تجعل من تفصيل سياقي بسيط سريريًا (مثل: تاريخ سفر موجز أو تعرض مهني) قادرًا على تغيير الاستنتاج التشخيصي بشكل غير متناسب. تكمن المشكلة الجوهرية التي يتناولها البحث في ما إذا كانت النماذج اللغوية الكبيرة أكثر عرضة بشكل كبير لـ "التوجيه السياقي" — حيث يؤدي تفصيل صغير إلى توجيه النموذج نحو تشخيص "مغري" أقل احتمالاً — مقارنة بالأطباء البشر، وكيف يتصرف هذا التأثر تحت ظروف توجيه (prompting) مختلفة.
المنهجية أجرى المؤلفون دراسة عشوائية مضبوطة للمقارنة مع الأطباء تضمنت مكونين رئيسيين:
بناء الحالات: تم إنشاء 100 حالة سريرية اصطناعية قصيرة والتحقق من صحتها من قبل أطباء. تضمنت كل عائلة من الحالات نسخة "بدون دلالة" (no-cue) ونسخة "ذات دلالة" (cue). كانت الدلالة عبارة عن تفصيل بسيط ومحتمل سريريًا ولكنه ضئيل إحصائيًا (مثل: السفر، أو التعرض لشيء ما) صُمم للإيحاء بتشخيص "مغرٍ" محدد يكون أقل احتمالاً من التشخيص الصحيح بناءً على العرض الأساسي.
مجموعات المشاركين:
الأطباء: أكمل 47 مشاركًا (أطباء استشاريون، وأطباء مقيمون، وأطباء زمالة، وطلاب طب) من الولايات المتحدة والشرق الأوسط وأوروبا مجموعة فرعية من 21 عائلة حالات متطابقة. قاموا باختيار التشخيص الأكثر احتمالًا من بين أربعة خيارات وتقييم مستوى الثقة.
النماذج اللغوية الكبيرة (LLMs): تم اختبار 22 نموذجًا لغويًا مختلفًا (بما في ذلك النماذج الرائدة من الشركات الكبرى) عبر جميع الحالات الـ 100، مما أنتج حوالي 92,000 استجابة قابلة للاستخدام.
أذرع التوجيه (Prompting Arms): تم اختبار النماذج اللغوية الكبيرة تحت ثلاثة ظروف:
الأساسي (Baseline): تعليمات قياسية لاختيار التشخيص الأكثر احتمالًا.
حاجز معدل الأساس (Base-rate Guardrail): توجيه صريح للنظر في معدلات الأساس والحالات الشائعة.
إجهاد الحالات النادرة/الخطيرة (Rare/Serious Stress): توجيه صريح لإعطاء الأولوية للتشخيصات النادرة أو الخطيرة.
التحليل: كان المقياس النهائي الأساسي هو معدل اختيار "المغري المرتبط بالدلالة". أما المقاييس الثانوية فكانت دقة التشخيص. استخدم التحليل الإحصائي نموذج الانحدار اللوجستي ذو التأثيرات المختلطة وإعادة أخذ العينات بنظام بوتستراب (bootstrap resampling) المجمع حسب المقيم لمقارنة "تأثير الدلالة" (الفرق في اختيار المغري بين حالتي وجود الدلالة وعدم وجودها) بين النماذج اللغوية والأطباء. كما فحص تحليل فرعي ثانٍ نص التفسير للنماذج للبحث عن أنماط التبرير.
النتائج الرئيسية
القابلية المفرطة للتأثر: في المقارنة المتطابقة لـ 21 حالة، اختارت النماذج اللغوية الكبيرة في الحالة الأساسية "المغري المرتبط بالدلالة" في 84.9% من الحالات ذات الدلالة، مقارنة بـ 27.8% للمشاركين من الأطباء. يمثل هذا "تأثير دلالة إضافي" قدره 57.6 نقطة مئوية (فاصل ثقة 95%: 50.2–65.2) للنماذج اللغوية بالنسبة للأطباء.
التأثير على الدقة: انخفضت دقة التشخيص للنماذج اللغوية بشكل حاد في الحالات ذات الدلالة، حيث هبطت من 90.9% (بدون دلالة) إلى 12.4% (مع دلالة). كما انخفضت دقة الأطباء أيضًا ولكنها ظلت أعلى بكثير، حيث هبطت من 86.3% إلى 54.6%.
الحساسية للتوجيه: كانت قابلية النماذج اللغوية للتأثر قابلة للضبط بشكل كبير عبر التوجيه وحده.
توجيه حاجز معدل الأساس قلل من اختيار المغري إلى 28.4% (قريب من معدل الأطباء) وحسّن الدقة إلى 66.0%.
توجيه الحالات النادرة/الخطيرة زاد من اختيار المغري إلى 93.2% وخفض الدقة إلى 4.1%.
التبرير: كشف تحليل نص التفسير الخاص بالنموذج أنه عندما اختارت النماذج اللغوية "المغري"، كانت غالبًا ما تبرر هذا الاختيار بثقة عالية، مستشهدة بالدلالة المحددة كسبب رئيسي، بينما كان الأطباء أكثر عرضة لنسب الاختيار إلى تفصيل معين بدلاً من حدوث تحول تشخيصي شامل.
المساهمات الرئيسية
تكميم الضعف السياقي: توفر الدراسة أول تكميم مضبوط واسع النطاق لكيفية كون النماذج اللغوية الكبيرة أكثر عرضة للدلالات السياقية البسيطة في الاستنتاج التشخيصي مقارنة بالأطباء البشر.
التوجيه كمتغير تحكم: تُظهر أن قابلية التأثر للنموذج ليست خاصية ثابتة، بل يمكن تضخيمها أو تخفيفها بشكل جذري من خلال صياغة التوجيه، مما يشير إلى أن "السياق" يتضمن كلاً من مدخلات الحالة وتعليمات النظام.
تعريف إشارة السلامة: يقترح المؤلفون "القابلية للتأثر بالدلالات السياقية" كإشارة سلامة متميزة، منفصلة عن مقاييس الدقة القياسية.
الأهمية والادعاءات يجادل البحث بأن الخطر الرئيسي ليس مجرد أن النماذج تختار أحيانًا تشخيصات نادرة، بل في افتقارها إلى "أولوية سريرية" (clinical prior) مستقرة لوزن التفاصيل الصغيرة مقابل معدلات الأساس. عندما يُمنح النموذج القدرة على التصرف بناءً على السياق (مثل: صياغة الملاحظات، أو الفرز، أو توجيه الإحالات) مع مراجعة بشرية ضئيلة، يمكن لدلالة بسيطة أن تطلق سلسلة من الأخطاء التي يصعب تتبعها.
يدعي المؤلفون أن مقاييس التقييم الحالية التي تركز فقط على الدقة غير كافية. وبدلاً من ذلك، يجب تقييم الأنظمة الذكية السريرية بناءً على استقرارها تحت تغيرات السياق المحتملة. وتخلص الدراسة إلى أن القابلية للتأثر بالسياق يجب أن تكون خاصية مسمى ومختبر لأي نظام يُمنح استقلالية سريرية، حيث إن نفس الآليات التي تسمح للتوجيه بـ "تثبيت" نموذج على مهمة معينة يمكن أن تتسبب في فشله بشكل كارثي في مهمة أخرى. وتشير النتائج إلى أنه في سير العمل الوكيل (agentic workflows)، حيث تعيد النماذج كتابة السياق وتضيف إليه، فإن خطر التحولات غير المنضبطة المدفوعة بالسياق يعد مصدر قلق أمني قريب المدى.