EVADE: Evidence-Verified Agentic Diagnosis with Escape
تُعد EVADE طريقة غير تدريبية تعزز سلامة وموثوقية النماذج الطبية البصرية اللغوية المجمدة من خلال التحقق من الاتساق التشخيصي عبر المشاهد الأصلية ومشاهد الصور المكبرة ذاتية التحديد، مما يحسن بشكل كبير من المعايرة والمخاطر الانتقائية مع الحفاظ على الدقة.
المؤلفون الأصليون:Mohaimenul Azam Khan Raiaan, Nur Mohammad Fahad
في عالم التصوير الطبي، أصبحت الحواسيب ماهرة بشكل ملحوظ في النظر إلى صور جسم الإنسان والإجابة على أسئلة حول ما تراه. هذه الأنظمة، المعروفة باسم نماذج الرؤية واللغة، يمكنها تحديد الأمراض في صور الأشعة السينية أو شرائح الأنسجة المرضية بسرعة مثيرة للإعجاب. ومع ذلك، تظل هناك ثغرة حرجة: هذه الآلات غالباً ما تكون مفرطة في الثقة بشكل خطير. فهي ستذكر إجابة بيقين مطلق حتى عندما تكون مخطئة، وتجد صعوبة في إدراك متى تكون غير متأكدة. وفي السياق السريري، يعد هذا أمراً غير مقبول. يحتاج الطبيب إلى أداة تعرف متى تتوقف وتقول: "لا يمكنني التأكد؛ يرجى استشارة خبير بشري"، بدلاً من تقديم تشخيص خاطئ بثقة قد يؤدي إلى الضرر. التحدي الذي يواجه الباحثين لا يقتصر فقط على جعل هذه النماذج أكثر ذكاءً، بل في جعلها صادقة بشأن حدود قدراتها دون الحاجة إلى إعادة تدريبها من الصالب.
لقد طور فريق من الباحثين نهجاً جديداً يسمى EVADE لحل مشكلة الإفراط في الثقة هذه. فبدلاً من محاولة تعليم الكمبيوتر حقائق جديدة، يعمل EVADE كمشرف حذر يتحقق من عمل الكمبيوتر في الوقت الفعلي. يعمل النظام من خلال مطالبة النموذج بالنظر إلى صورة طبية وتقديم إجابة. إذا شعر النموذج بثقة كبيرة، فإنه يقدم الإجابة ببساه. ولكن إذا كان النموذج غير متأكد، يقوم النظام بتفعيل خطوة ثانية: يطلب من الكمبيوتر العثور على الجزء المحدد من الصورة الذي يهم السؤال أكثر، ثم التكبير على تلك المنطقة، والنظر إليها مجدداً. بعد ذلك، يجيب الكمبيوتر على السؤال مرة ث أخرى، وهذه المرة بناءً على العرض المكبر. ويعتمد القرار النهائي على ما إذا كانت الإجابة الأولى والإجابة الثانية (المكبرة) تتفقان مع بعضهما البعض. إذا تطابقتا، يلتزم النظام بالإجابة. أما إذا اختلفتا، أو إذا ظل الكمبيوتر غير متأكد، فإن النظام يرفض التخمين ويمتنع عن الإجابة، تاركاً القرار للطبيب البشري.
يعالج هذا الأسلوب فشلاً شائعاً في الذكاء الاصطناء حيث يتحقق الكمبيوتر من عمله بمجرد قراءة نصه السابق. في هذا السيناريو، غالباً ما يوافق الكمبيوتر نفسه، حتى لو كانت الإجابة الأصلية خاطئة، لأنه ينظر إلى نفس المعلومات مرتين. يتجنب EVADE هذا الفخ من خلال إجبار الكمبيوتر على النظر إلى أدلة بصرية جديدة. فمن خلال التكبير على منطقة محددة، يتم تقديم تفاصيل جديدة للنموذج كانت صغيرة جداً بحيث لا يمكن رؤيتها بوضوح في الصورة الكاملة. وجد الباحثون أن عملية التحقق هذه "متعددة الرؤى" هي أكثر موثوقية بكثير من مطالبة النموذج بمجرد "التفكير بعمق أكبر" أو تكرار إجابته. لا يحتاج النظام إلى أي تدريب خاص أو أدوات خارجية؛ فهو يعمل بالكامل من خلال تغيير كيفية تفاعل الكمبيوتر مع الصورة أثناء لحظة التشخيص.
تظهر نتائج اختبار هذا النظام على ثلاث مجموعات بيانات طبية مختلفة أنه نجح في جعل الكمبيوتر أكثر موثوقية دون جعله أقل دقة. في الاختبارات القياسية، كان الكمبيوتر غالباً ما يدعي أنه على صواب بينما كان مخطئاً في الواقع، وهي مشكلة تُقاس بمعدل خطأ مرتفع في مستويات ثقته. لقد قلل EVADE من معدل الخطأ هذا بشكل كبير، حيث خفضه بنسبة تصل إلى 45 بالمائة في بعض الحالات. والأهم من ذلك، أنه حقق ذلك مع الحفاظ على دقة عالية في الإجابات. أما الأساليب الأخرى التي جربها الباحثون، مثل مطالبة الكمبيوتر بشرح منطقه خطوة بخطوة أو التحقق من نصه الخاص، فقد فشلت في تحسين الدقة والثقة في آن واحد. بل إن بعض تلك الأساليب جعلت الكمبيوتر أسوأ في الإجابة على الأسئلة، بينما فشلت أساليب أخرى في وقف إفراطه في الثقة.
كان أحد الاكتشافات الرئيسية في الدراسة هو أن قدرة الكمبيوتر على إيجاد المكان الصحيح للتكبير لم تكن السبب الرئيسي للتحسن. وجد الباحثون أن الكمبيوتر يمكنه تحديد الأجزاء ذات الصلة في الصورة بنجاح، مثل إصابة أو حالة غير طبيعية معينة، بشكل أفضل من التخمين العشوائي. ومع ذلك، لم يستطع الكمبيوتر استخدام هذا المنظر الجديد والأكثر وضوح لتغيير رأيه أو تصحيح إجابة خاطئة. الفائدة الحقيقية جاءت من قدرة النظام على مقارنة المنظرين المختلفين والقرار بشأن متى يجب الوثوق بالنتيجة. فعندما اختلف المنظران، عرف النظام أنه يجب أن يتوقف ويمتنع. هذا "الآلية للهروب" منعت الكمبيوتر من تقديم إجابة خاطئة بثقة، وهو الأمر الأكثر خطورة في الطب.
كما سلطت الدراسة الضوء على أن هذا النهج فعال. ولأن النظام يقوم بالتكبير وإعادة فحص الصورة فقط عندما يكون الكمبيوتر غير متأكد، فإنه لا يهدر الوقت في الحالات السهلة. فبالنسبة لمعظم الأسئلة، يقدم الكمبيوتر إجابة واحدة ويمضي قدماً. أما بالنسبة للحالات الصعبة، فيقوم بإجراء بعض الفحوصات الإضافية، لكن هذا أقل بكثير من الناحية الحسابية من الأساليب التي تتطلب من الكمبيوتر توليد العديد من الإجابات المحتملة ومقارنتها جميعاً. وخلص الباحثون إلى أنه بينما تستطيع النماذج الحاسوبية الحالية إيجاد الأدلة في الصور، إلا أنها لا تستطيع بعد استخدام تلك الأدلة لتعديل أفكارها. وحتى يتم سد هذه الفجوة، فإن أفضل طريقة لضمان السلامة هي استخدام نظام يعرف متى يتوقف ويطلب المساعدة. يوفر EVADE طريقة عملية للقيام بذلك بالضبط، محولاً نموذجاً حاسوبياً واحداً ثابتاً إلى مساعد تشخيصي أكثر موثوقية.
ملخص تقني: EVADE (التشخيص الوكيللي الموثق بالأدلة مع الهروب)
بيان المشكلة تواجه النماذج اللغوية البصرية الطبية (VLMs) فجوة حرجة في الموثوقية: فبينما يمكنها تحقيق دقة عالية، إلا أنها تعاني من ثقة مفرطة ومنهجية وضعف في المعايرة. وتفشل الحلول القياسية في معالجة هذا الأمر في السياقات السريرية:
الثقة المفرطة: إن زيادة حجم النموذج أو استخدام استراتيجيات التلقين مثل "سلسلة الأفكار" (Chain-of-Thought - CoT) لا يزيل الثقة المفرطة؛ بل على العكس، يمكن لـ CoT أن يقلل الدقة في مهام السؤال والجواب البصري الطبي (VQA) عبر إضعاف التحليل البصري أو التحفيز على الثقة المفرطة.
التحقق الذاتي غير الفعال: إن مطالبة النموذج بالتحقق من إجابته بنفسه أمر غير موثوق لأن "المُحقِّق" و"الموَلِّد" هما نفس النموذج المرتبط بالقدرة؛ مما يؤدي إلى "وهم التحقق" حيث يوافق النموذج على إجابته النصية دون إعادة فحص الأدلة البصرية، مما يثبّت الأخطاء الأولية.
الافتقار إلى الامتناع: يجب على الأنظمة الطبية القابلة للنشر أن تشير إلى عدم الموثوقية وتلجأ إلى الأطباء. غالبًا ما تعتمد النهج الوكيللية الحالية على أدوات خارجية مدربة أو طرق تعتمد على التدريب (مثل التعلم التعزيزي)، مما يترك تساؤلاً غير مستكشف حول كيفية جعل نموذج (VLM) واحد، مجمد ومسبق التدريب، موثوقًا تمامًا في وقت الاستنتاج فقط.
المنهجية: EVADE إن EVADE هو حلقة وكيللية تعمل في وقت الاستنتاج فقط ولا تتطلب تدريبًا، صُممت لتعزيز سلامة نموذج (VLM) واحد مجمد (تم اختباره تحديدًا على Qwen2.5-VL-7B). وهي تعمل من خلال ثلاث مراحل متتالية:
الإجابة الأولية وتقدير الثقة: يجيب النموذج على السؤال بناءً على الصورة الكاملة (x). يتم اشتقاق الثقة (c0) من خلال دمج إشارتين: احتمالية التسلسل (المتوسط الهندسي لاحتمالات الرموز/Tokens) والدرجة اللفظية للثقة. إذا تجاوزت c0 عتبة عالية (τh)، يقوم النظام بالالتزام بالإجابة فورًا.
الزوم البصري الوكيلي (جمع الأدلة): إذا كان هناك عدم يقين، يتم توجيه النموذج لتحديد المنطقة الأكثر صلة تشخيصيًا للسؤال باستخدام قدراته الأصلية في التوطين (Grounding). يتم قص هذه المنطقة، وإضافة حواف (Padding) للحفاظ على السياق، ثم رفع دقتها (Upsampling) إلى دقة ثابتة (x′). بعد ذلك، يعيد النموذج الإجابة على السؤال بناءً على هذا المنظر المكبر، مولدًا إجابة ثانية (a1) وثقة (c1). تقدم هذه الخطوة أدلة بصرية جديدة بدلاً من إعادة قراءة نفس البكسلات.
بوابة الاتساق عبر الرؤى والامتناع: يتحقق النظام من الإجابة عن طريق فحص الاتفاق بين استجابة الصورة الكاملة (a0) واستجابة المنظر المكبر (a1).
الالتزام (Commit): إذا اتفقت الإجابات وتجاوز الحد الأقصى للثقة في المنظرين عتبة الالتزام (τc)، يتم اعتماد الإجابة.
التوفيق (Reconciliation): إذا اختلفتا، يتم توجيه النموذج للتوفيق بين كلا المنظرين (x و x′) لتوليد إجابة ثالثة (a2). إذا كانت هذه الإجابة الموفقة واثقة، يتم اعتمادها.
الامتناع (Abstain): إذا استمر عدم اليقين (اتفاق منخفض أو ثقة منخفضة بعد التوفيق)، يمتنع النظام عن الإجابة (يخرج الرمز ⊥)، محيلًا الحالة إلى الطبيب.
الأهم من ذلك، أن عملية التحقق تتم عبر "بوابة الاتساق عبر الرؤى" (Cross-view agreement) (المنظر العالمي مقابل المكبر) بدلاً من الاتساق النصي الذاتي. هذا يجبر النموذج على استشارة أدلة بصرية جديدة للتحقق من تنبؤه، مما يكسر حلقة "المُحقِّق غير الموثوق".
المساهمات الرئيسية
إطار عمل EVADE: إجراء لا يتطلب تدريبًا ويعمل في وقت الاستنتاج، يربط بين زوم الأدلة المحفز بعدم اليقين، والتحقق من الاتساق عبر الرؤى، والامتناع المعاير، لتحسين موثوقية نموذج (VLM) طبي واحد مسبق التدريب.
آلية التحقق: تحديد الاتفاق في الأدلة عبر الرؤى كإشارة تحقق قوية تعالج "وهم التحقق" الناتج عن الفحص الذاتي لنموذج واحد، ويتم تنفيذ ذلك دون تدريب إضافي أو أدوات خارجية.
تقييم قابل للتكرار: تقييم شامل على ثلاثة معايير عامة (VQA-RAD، SLKE، PathVQA) باستخدام Qwen2.5-VL-7B، مع قياس الموثوقية عبر خطأ المعايرة المتوقع (ECE)، ومخاطر التنبؤ الانتقائي (AURC)، وتداخل التوطين (Grounding overlap).
النتيجة التجريبية: EVADE هو الطريقة الوحيدة التي تم تقييمها والتي حسنت المعايرة والارتباط الانتقائي في آن واحد مع الحفاظ على الدقة.
النتائج تم التقييم باستخدام Qwen2.5-VL-7B عبر VQA-RAD وSLAKE وPathVQA:
المعايرة: خفض EVADE خطأ المعايرة المتوقع (ECE) بنسبة تصل إلى 45% مقارنة بالنماذج المرجعية (Zero-shot) (على سبيل المثال، من 0.317 إلى 0.173 في PathVQA). في المقابل، حسنت طرق "سلسلة الأفكار" و"الاتساق الذاتي" المعايرة فقط من خلال تقليص الدقة.
المخاطر الانتقائية: حقق EVADE أدنى مساحة تحت منحنى المخاطر والتغطية (AURC) عبر جميع مجموعات البيانات، متفوقًا على Zero-shot، والتحقق الذاتي، والامتناع القائم على عتبة الثقة.
الحفاظ على الدقة: على عكس النماذج المرجعية التي تضحي بالدقة مقابل المعايرة، حافظ EVADE على مستويات دقة مقاربة للـ Zero-shot مع تحسين الموثوقية بشكل كبير.
تحليل التوطين: قامت المناطق المقترحة ذاتيًا (التي ولدها النموذج) بتوطين الهياكل التشخيصية بشكل أفضل من القص المركزي أو القص العشوائي (متوسط IoU بلغ 0.306 مقابل 0.267 للقص المركزي في SLAKE). ومع ذلك، كشفت دراسات الاستئصال (Ablation studies) أن نموذج (VLM) بحجم 7B لا يمكنه استخدام هذا التوطين المحسن لتعديل إجاباته. وتأتي مكاسب الموثوقية أساسًا من بوابة الاتساق والامتناع المعاير، وليس من الأدلة المكبرة نفسها.
الكفاءة: يتطلب EVADE في المتوسط حوالي 2.1 تمريرة أمامية (Forward passes) لكل عنصر، وهو أقل بكثير من طرق توسيع الاختبار القائمة على أخذ العينات (على سبيل المثال، يتطلب الاتساق الذاتي حوالي 5.0 تمريرات).
الأهمية والادعاءات يزعم البحث أن EVADE يعالج القيد الأساسي لنشر نماذج (VLM) الطبية: الموثوقية. ومن خلال إثبات أنه يمكن جعل نموذج واحد مجمد موثوقًا عبر استراتيجيات وقت الاستنتاج فقط، يوفر EVADE مسارًا عمليًا لذكاء اصطناٍ طبي أكثر أمانًا دون تكلفة إعادة التدريب أو دمج أدوات خارجية.
يشير المؤلفون بتواضع إلى أنه بينما نجحت الطريقة في تحسين المعايرة والتنبؤ الانتقائي، فإن النماذج الحالية بحجم 7B لا تستطيع بعد استغلال الأدلة الموضعية لـ تغيير إجاباتها؛ لذا تعتمد آلية السلامة على معرفة النظام لمتى يكون غير متيقن بما يكفي للامتناع. يرسخ هذا العمل حقيقة أن الاتساق عبر الرؤى هو محور صالح للتحقق في المهام المرتبطة بالإدراك، وهو مختلف عن الاتساق الذاتي على المستوى النصي. ويُقترح في العمل المستقبلي سد الفجوة بين التوطين وتعديل الإجابة وتوسيع المنهج ليشمل نماذج (VLMs) أكبر.