Context-Window-Mediated Corruption of Large Multimodal Models in Clinical Medicine: A Systematic Review
تكشف هذه المراجعة المنهجية لعشر دراسات ذات خطر انحياز مرتفع أن النماذج متعددة الوسائط الكبيرة في الطب السريري عرضة للفساد القائم على المدخلات عبر أربع فئات فشل متميزة، وهو تهديد يستمر بغض النظر عن خصائص النموذج أو الدفاعات المختبرة ولا يتطلب مهاجمًا عدائيًا لتقويض سلامة المخرجات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المستشفى الحديث، وصل نوع جديد من المساعدين. إنهم نماذج لغوية وبصرية ضخمة، وهي برامج حاسوبية مدربة على كميات هائلة من النصوص والصور يمكنها قراءة سجلات المرضى، وتفسير الأشعة السينية، واقتراح التشخيصات. تعمل هذه النماذج عبر استقبال تدفق من المعلومات — ما يكتبه الطبيب، أو ما يقوله المريض، أو ما تظهره صورة ما — ومعالجة كل ذلك كتدفق واحد مستمر. لا يدرك النظام بطبيعته أي أجزاء من هذا التدفق هي تعليمات موثوقة وأيها مجرد ضجيج خلفي أو خربشات عرضية. بالنسبة للكمبيوتر، فإن أمراً كتبه طبيب وملاحظة عابرة كتبها مريض يبدوان من نوع البيانات نفسه. وهذا يخلق ثغرة فريدة: إذا تم تعديل المعلومات المغذية للآلة، ولو بشكل طفيف، يمكن لمخرجات الآلة أن تتغير بشكل جذري، بغض النظر عن مدى ذكاء الآلة نفسها.
ليست هذه مشكلة في كون الكمبيوتر معطلاً أو سيئ البناء؛ بل هي مشكلة في كيفية استماعه. تخيل مترجماً ماهراً للغاية لدرجة أنه من شدة حرصه على اتباع التعليمات، إذا همس شخص ما بأمر جديد في أذنه أثناء عمله، فإنه يتوقف فوراً عما كان يفعله ويتبع الهمسة بدلاً من ذلك. في عالم الذكاء الاصطناائي، يُعرف هذا باسم "حقن الأوامر" (prompt injection)، حيث يقوم المدخل نفسه باختطاف سلوك النظام. وبينما ظل خبراء الأمن لفترة طويلة قلقين من استخدام المتسللين الخبثاء لهذه الحيلة، يطرح مراجعة منهجية جديدة سؤالاً أكثر إثارة للقلق في المجال الطبي: هل يتطلب الخطر وجود متسلل على الإطلاق؟ هل يمكن لعلامة بسيطة وعرضية على صورة طبية، أو صياغة ملحة ولكن مرتبكة من مريض، أن تؤدي إلى نفس الفشل؟
وضع فريق من الباحثين من مركز بيث إسرائيل ديكونيس ميديكال سنتر وجامعة ديبريسين هدفهم للإجابة على ذلك من خلال جمع كل الدراسات المتاحة التي اختبرت كيفية تفاعل هذه النماذج الطبية عندما يتم التلاعب بمدخلاتها. لقد نظروا في عشر دراسات محددة نُشرت بين عامي 2025 و2026، تغطي كل شيء من تشخيص السرطان وتحليل آفات الجلد إلى نصائح المرضى وإرشادات الأدوية. كان هدفهم هو معرفة ما إذا كان يمكن إفساد هذه الأدوات القوية ببساطة عن طريق تغيير ما تقرأه أو تراه، دون الحاجة إلى اختراق الكود الداخلي للكمبيوتر أو الوصول إلى بيانات تدريبها السرية.
وجد الباحثون أن النماذج معرضة بالفعل بشدة، وأن الإفساد لا يتطلب شريراً. في الواقع، أظهرت الدراسات حدوث تغييرات كبيرة في المخرجات سواء كان المدخل هجوماً متعمداً صاغه باحث أو محتوى غير ضار مصاغ ليبدو مثل المواد السريرية العادية. ومع ذلك، تشير المراجعة صراحة إلى أنه لا توجد دراسة قارنت بين المحتوى الطبيعي المتكرر والهجوم المتعمد تحت ظروف متطابقة، لذا يظل من غير المثبت ما إذا كانت الحوادث الواقعية تسبب نفس حالات الفشل. وقد نظم الفريق حالات الفشل هذه في أربع فئات رئيسية. الأولى هي فشل تسلسل التعليمات، حيث يتجاوز أمر مخفي الطلب الأصلي للطبيب. والثانية هي فشل سلامة الأدلة، حيث يقبل النموذج معلومات كاذبة أو نتائج مختلقة كحقائق. والثالثة، والخاصة بالنماذج التي ترى الصور، هي التداخل متعدد الوسائط، حيث يتجاوز النص المكتوب على صورة طبية أو داخلها الأدلة البصرية للصورة نفسها. والرابعة هي الحساسية التفاعلية، حيث يغير نبرة الرسالة أو الافتراض الخاطئ قرار النموذج.
كانت النتائج صارخة. في إحدى الدراسات التي تناولت صور سرطان الجلد، تسبب إضافة تسمية واحدة مزيفة إلى صورة في انخفاض دقة تشخيص النموذج من نطاق 58 إلى 62 بالمائة إلى 0.0 إلى 1.9 بالمائة. وفي دراسة أخرى، عندما قام الباحثون بتغيير نبرة رسالة المريض لتبدو أكثر إلحاحاً أو سلطة، قفز معدل توصية النموذج بإرسال المريض إلى غرفة الطوارئ من حوالي 1 14 بالمائة إلى ما يصل إلى 82 بالمائة. ولعل الأمر الأكثر إثارة للقلق هو أن هذه الإخفاقات حدثت عبر أنواع مختلفة من النماذج، من الإصدارات القديمة إلى الأنظمة الأحدث والأكثر قوة. لم يثبت أي نموذج أنه آمن باستمرار؛ فالنظام الذي كان قوياً ضد نوع واحد من الأخطاء كان غالباً الأكثر عرضة لنوع آخر.
اختبر الباحثون أيضاً ما إذا كان أي دفاع حالي يمكنه إيقاف هذه المشكلات. لقد نظروا في استراتيجيات مثل إضافة تعليمات السلامة إلى "المطالبة" (prompt)، أو جعل نموذج ثانٍ يراجع عمل الأول، أو إعادة تدريب النماذج على أمثلة مصححة. لم تنجح أي من هذه الطرق في القضاء على الخطر. قلل بعضها من الأخطاء قليلاً، لكن البعض الآخر لم يكن له أي تأثير على الإطلاق. أحد الدفاعات التي تضمنت إعادة تدريب النموذج حسّن قدرته على رفض المعلومات الكاذبة، لكنه تسبب أيضاً في جعل النموذج يرفض الطلبات المشروعة، مما يعني استبدال نوع من الأخطاء بنوع آخر. والأهم من ذلك، أن أي من الدفاعات المختبرة لم يعمل عبر أنواع الأخطاء المختلفة؛ فالعلاج لمشكلة واحدة لم يحمِ من مشكلة أخرى.
ركز جزء كبير من المراجعة على ما إذا كانت هذه الإخفاقات تتطلب مهاجماً خبيثاً. والإجابة، بناءً على الأدلة المتاحة، هي أن المحتوى الذي صممه الباحثون ليبدو مثل المواد السريرية العادية والعرضية — مثل ملاحظة مكتوبة بخط اليد على شريحة أو صياغة المريض الملحة الخاصة به — كان كافياً لكسر النظام. ومع ذلك، توضح الورقة أن هذه لم تكن مستمدة من الرعاية الروتينية، ولم تختبر أي دراسة المحتوى الطبيعي في عزلة. وهذا يشير إلى أن التهديد ليس مجرد هجوم سيبراني، بل هو ضعف جوهري في كيفية معالجة هذه النماذج للمعلومات. إن سلامة البيانات التي تدخل النظام لا تقل أهمية عن سلامة النموذج نفسه.
يخلص المؤلفون إلى أن النهج الحالي للذكاء الاصطناي الطبي، الذي يركز بشدة على تدريب النموذج ومراقبة مخرجاته، قد يكون يفتقد قطعة حاسمة من اللغز. إذا كان من الممكن إفساد المعلومات التي تُغذى بها المنظومة بوسائل بسيطة وغير ضارة، فإن سلامة القرار السريري بأكمله تعتمد على نقاء ذلك المدخل. وإلى أن نتمكن من ضمان أن البيانات التي تصل إلى هذه النماذج خالية من التلاعب العرضي أو المتعمد، وإلى أن نمتلك دفاعات تعمل عبر جميع أنواع الأخطاء، فإن موثوقية هذه الأدوات في الرعاية الواقعية تظل غير مؤكدة. وتعد هذه النتائج بمثابة تحذير مبكر: إن سلامة هذه الأنظمة لا تعتمد فقط على ذكاء الآلة، بل على موثوقية العالم الذي طُلب منها قراءته.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.