Toward Guarantees for Clinical Reasoning in Vision Language Models via Formal Verification
تقدم هذه الورقة إطار عمل للتحقق العصبي الرمزي يستخدم أدوات حل مسائل التبعية (SMT) وقواعد المعرفة السريرية لإجراء تدقيق رسمي وضمان الاتساق المنطقي لتقارير الأشعة المولدة بواسطة نماذج الرؤية واللغة، مما يحدد بفعالية الهلوسات والإخفاقات الاستنتاجية التي تغفل عنها المقاييس التقليدية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك متدرباً طبياً عبقرياً وسريع الكلام يُدعى "AI-Robot". هذا المتدرب بارع للغاية في النظر إلى صور الأشعة السينية ووصف ما يراه بدقة بلغة إنجليزية طليقة ومثالية. يمكنه أن يقول، "أرى ظلاً هنا" أو "القلب يبدو كبيراً هناك" بكل ثقة.
ولكن، هناك عقبة: AI-Robot هو فاشل تماماً في المنطق.
أحياناً، يرى AI-Robot ظلاً، لكنه ينسى أن يستنتج: "هذا يعني وجود سوائل في الرئة". وأحياناً أخرى، يرى رئة سليمة تماماً، لكنه يكتب بثقة: "أنا أشخص بوجود التهاب رئوي"، لمجرد أنه يعتقد أن هذا هو ما يحدث عادةً. الأمر يشبه طالباً حفظ الإجابات لاختبار ما، لكنه لم يتعلم الرياضيات الكامنة وراءها. قد يحصل على الإجابة الصحيحة بالصدفة، أو قد يكتب مقالاً رائعاً لا معنى منطقي له.
في العالم الطبي، هذا أمر خطير. لا يمكن للأطباء مجرد الثقة في تقرير المتدرب "الفصيح"؛ بل يجب عليهم مراجعة كل جملة للتأكد من أن الاستنتاج يتبع بالفعل الأدلة. وهذا أمر مرهق ويبطئ العمل بشكل كبير.
المشكلة: "فخ الفصاحة"
حالياً، نحن نختبر هؤلاء المتدربين الآليين بمقارنة تقاريرهم بتقرير "المعيار الذهبي" الذي كتبه طبيب بشري. ونستخدم مقاييس حاسوبية (مثل عد الكلمات المتطابقة) لتقييمهم.
لكن هذا يشبه تقييم طالب رياضيات بناءً على جمال خط يده فقط. إذا كتب الطالب مقالاً طويلاً ورائعاً يقول فيه "2 + 2 = 5"، ولكنه استخدم كلمات منمقة، فقد يعطيه نظام عد الكلمات درجة جيدة لأن الكلمات تبدو مشابهة لتقرير حقيقي. هذا النظام يفشل في ملاحظة أن المنطق مكسور.
الحل: "شرطة المنطق" (التحقق العصبي الرمزي - Neurosymbolic Verification)
قام الباحثون في هذه الورقة ببناء نظام جديد ليعمل بمثابة "شرطي منطق" لهؤلاء المتدربين الآليين. أطلقوا عليه اسم "إطار التحقق العصبي الرمزي".
إليك كيف يعمل، باستخدام تشبيه بسيط:
1. المترجم (التحويل إلى الصيغة التلقائية - Autoformalization)
أولاً، يتم ترجمة تقرير الذكاء الاصطناعي الفوضوي والمتدفق باللغة الإنجليزية إلى لغة صارمة وجامدة يمكن للحاسوب فهمها بدقة تامة.
- التشبيه: تخيل أن الذكاء الاصطناعي كتب قصة: "السماء مظلمة والأرض مبتلة".
- يقوم المترجم بتحويل هذا إلى كود صارم:
IF (Sky == Dark) AND (Ground == Wet) THEN (It is Raining). - هذا يزيل كل الغموض و"الحشو" من النص.
2. كتاب القواعد (قاعدة المعرفة السريرية - Clinical Knowledge Base)
يمتلك النظام كتاب قواعد ضخم ومثالي كتبه أطباء حقيقيون.
- التشبيه: هذا الكتاب يقول أشياء مثل: "إذا رأيت ظلاً داكناً في أسفل الرئة، فيجب أن يعني ذلك وجود سوائل هناك". إنه قانون الأرض المطلق.
3. القاضي (محلل SMT - The SMT Solver)
الآن، يحضر النظام كود الذكاء الاصطناعي المترجم وكتاب القواعد إلى قاضٍ صارم للغاية (برنامج حاسوبي يسمى Z3). يسأل القاضي سؤالاً بسيطاً: "هل الأدلة تُجبر النتيجة؟"
يتحقق القاضي من المنطق رياضياً، وليس عن طريق التخمين. ويمكنه إيجاد ثلاثة أنواع من الأخطاء التي تفوتها الاختبارات العادية:
- الهلوسة (The Hallucination): يقول الذكاء الاصطناعي: "أرى عظمة مكسورة"، لكن قسم الأدلة لم يذكر العظمة أبداً. يقول القاضي: "خطأ. لقد اختلقت هذا من خيالك".
- الاستنتاج المفقود (The Missed Deduction): يقول الذكاء الاصطناعي: "أرى عظمة مكسورة"، لكنه ينسى أن يكتب: "لذلك، يحتاج المريض إلى جبيرة". يقول القاضي: "خطأ. لقد رأيت الأدلة لكنك فشلت في إجراء العملية الحسابية".
- التقرير المتسق (The Consistent Report): يرى الذكاء الاصطناعي الأدلة، ويطبق القواعد، ويكتب الاستنتاج الصحيح. يقول القاضي: "صحيح. هذا المنطق سليم".
ماذا وجدوا؟
اختبر الباحثون "شرطة المنطق" هذه على سبعة نماذج مختلفة من الذكاء الاصطناعي باستخدام صور الأشعة السينية للصدر.
- الاختبارات القديمة فشلت: أعطت اختبارات مطابقة الكلمات القياسية درجات عالية لنماذج كانت ترتكب في الواقع أخطاءً منطقية. كانت تشبه معلماً يتحقق فقط مما إذا كان المقال يبدو جميلاً.
- شرطة المنطق كشفت العيوب: وجد النظام الجديد أن العديد من نماذج الذكاء الاصطناعي كانت مجرد "مهلوسات احتمالية" (stochastic hallucinators)؛ أي أنها كانت تخمن التشخيصات بناءً على الأنماط، وليس بناءً على الاستنتاج.
- "مرشح السلامة" (The Safety Filter): عندما استخدموا هذا النظام لإصلاح التقارير (عن طريق حذف أي تشخيص لا يمكن إثباته منطقياً بالأدلة)، أصبحت التقارير أكثر أماناً.
- المقايضة: أصبح الذكاء الاصطناعي أقل "ثرثرة" (توقف عن تخمين بعض الأشياء)، لكنه أصبح أكثر دقة عندما يتحدث. لقد توقف عن الكذب.
الصورة الكبيرة
تقترح هذه الورقة تحولاً في كيفية ثقتنا بالذكاء الاصطناعي في الطب. فبدلاً من السؤال: "هل يبدو هذا التقرير كما لو أن بشراً كتبه؟"، يجب أن نسأل: "هل يمكن إثبات صحة هذا التقرير باستخدام المنطق الصارم؟"
إنه الفرق بين الثقة في ساحر يجعل الأشياء تبدو حقيقية، والثقة في مهندس يمكنه إثبات، باستخدام الرياضيات، أن الجسر لن ينهار. من خلال إضافة خطوة "شرطة المنطق" هذه، يمكننا أخيراً استخدام المساعدين الآليين في المستشفيات دون القلق من أنهم يختلقون الأمور بثقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.