💻 computer science

VGS-Decoding: Visual Grounding Score Guided Decoding for Hallucination Mitigation in Medical VLMs

تقترح هذه الورقة البحثية طريقة VGS-Decoding، وهي طريقة استدلال لا تتطلب تدريباً تعمل على تخفيف الهلوسة في النماذج اللغوية البصرية الطبية عبر إعادة وزن احتمالات الرموز بشكل تكيفي بناءً على درجة تحديد المواقع البصرية المستمدة من مقارنة توزيعات الصور الأصلية والمشوهة، محققةً مكاسب كبيرة في الأداء مع حد أدنى من التكاليف الحسابية الإضافية.

المؤلفون الأصليون: Govinda Kolli, Adinath Madhavrao Dukre, Behzad Bozorgtabar, Dwarikanath Mahapatra, Imran Razzak

نُشر 2026-03-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Govinda Kolli, Adinath Madhavrao Dukre, Behzad Bozorgtabar, Dwarikanath Mahapatra, Imran Razzak

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف طبيبًا ذكيًا جدًا ومطلعًا ليفحص صورة أشعة سينية ويخبرك بما هو الخطأ. هذا الطبيب قد قرأ الملايين من الكتب الطبية ويعرف "القصص النمطية" لما تبدو عليه الأمراض عادةً.

المشكلة هي أن هذا الطبيب قد يصبح أحيانًا واثقًا جدًا في ذاكرته ويتجاهل ما يراه فعليًا على الشاشة. قد يقول: "يبدو هذا كضلع مكسور"، حتى لو كانت الأشعة تظهر عظمًا سليمًا، ببساطة لأن الضلوع المكسورة هي قصة شائعة في بيانات تدريبه. في العالم الطبي، يُسمى هذا "الهلوسة" (Hallucination)، وهو أمر خطير لأنه قد يؤدي إلى علاج خاطئ.

تقترح الورقة البحثية التي شاركتَها حيلة ذكية ومجانية لإصلاح ذلك دون الحاجة إلى إعادة تدريب الطبيب. يسمونها VGS-Decoding. وإليك كيف تعمل، باستخدام بعض التشبيهات البسيطة:

1. المشكلة الجوهرية: الطبيب "الحالم"

عندما ينظر الذكاء الاصطناي القياسي إلى صورة أشعة، فإنه غالبًا ما يعتمد على الأولويات اللغوية (Language Priors).

التشبيه: تخيل أن الطبيب يخوض اختبارًا. بدلًا من النظر إلى الصورة، يغمض عينيه ويخمن الإجابة بناءً على ما يحدث "عادةً". إذا كان السؤال "ما هو هذا العضو؟"، فقد يخمن ببساطة "القلب" لأنه الإجابة الأكثر شيوعًا، حتى لو كانت الصورة في الواقع لرئة.

2. الحل: اختبار "الرؤية الضبابية"

أدرك المؤلفون أن الملاحظات الحقيقية تعتمد على الصورة، بينما الملاحظات الزائفة (الهلوسة) تعتمد على ذاكرة الطبيب.

لاختبار ذلك، يستخدمون حيلة بسيطة:

الصورة الواضحة: يعرضون على الطبيب صورة الأشعة الأصلية والواضحة.
الصورة الضبابية: يعرضون عليه نسخة "مشوشة" أو مشوهة قليلاً من نفس الأشعة (مثل النظر إليها من خلال نافذة ضبابية أو إضافة تشويش مثل الذي يظهر على شاشة التلفاز).

إليك الرؤية السحرية:

إذا كان الطبيب ينظر إلى الصورة الحقيقية: عندما تجعل الصورة ضبابية، يصاب الطبيب بالارتباك. تنخفض ثقته في الإجابة الصحيحة (مثل "رئة") لأن الدليل البصري قد اختفى.
إذا كان الطبيب "يحلم" (يهلوس): عندما تجعل الصورة ضبابية، تظل ثقته في الإجابة الخاطئة (مثل "ضلع مكسور") ثابتة أو حتى تزدัง. لماذا؟ لأنه لا ينظر إلى الصورة على أي حال؛ هو فقط يسرد حقيقة محفوظة في ذاكرته.

3. "درجة التجذر البصري" (كاشف الحقيقة)

ابتكر الباحثون درجة تسمى درجة التجذر البصري (Visual Grounding Score - VGS). فكر فيها كأنها "مقياس للحقيقة" لكل كلمة على وشك أن ينطق بها الذكاء الاصطناعي.

درجة عالية (ضوء أخضر): انخفض احتمال الكلمة عندما أصبحت الصورة ضبابية. هذا يعني أن الكلمة متجذرة بصريًا. الذكاء الاصطناعي ينظر بالفعل إلى الصورة. الإجراء: اسمح بمرور هذه الكلمة!
درجة منخفضة/سالبة (ضوء أحمر): ظل احتمال الكلمة مرتفعًا أو زاد عندما أصبحت الصورة ضبابية. هذا يعني أن الكلمة مهلوسة. الذكاء الاصطناعي يتجاهل الصورة. الإجراء: احجب هذه الكلمة!

4. الإصلاح: إعادة وزن الإجابات

بدلًا من ترك الذكاء الاصطناعي يختار الكلمة الأكثر احتمالًا (والتي قد تكون هلوسة)، يعمل VGS-Decoding كـ محرر ذكي.

يأخذ قائمة الكلمات المحتملة التالية للذكاء الاصطناعي.
يقوم بتعزيز الكلمات التي اجتازت "مقياس الحقيقة" (التي تغيرت عندما أصبحت الصورة ضبابية).
ويقوم بتقليص الكلمات التي فشلت في الاختبار (التي لم تهتم بتغير الصورة).

لماذا هذا الأمر مميز؟

لا يحتاج لإعادة تدريب: لا تحتاج لتعليم الذكاء الاصطناعي طريقة جديدة للتفكير. أنت فقط تغير كيفية اختياره لإجاباته أثناء المحادثة.
تكيُّفي: لا يستخدم قاعدة "واحدة تناسب الجميع". فهو يفحص كل كلمة على حدة. بعض الكلمات (مثل "الـ" أو "يكون") لا تحتاج للفحص لأنها ليست حقائق طبية، لكن الكلمات المهمة تخضع لتدقيق صارم.
سريع: يستغرق حوالي ضعف الوقت الذي يستغرقه الرد الطبيعي فقط، وهو سريع جدًا بالنسبة للكمبيوتر.

النتيجة

عندما اختبروا هذا على مجموعات بيانات طبية حقيقية (مثل الأشعة السينية للصدر)، أصبح الذكاء الاصطناعي أكثر دقة بكثير. لقد توقف عن اختلاق الحقائق وبدأ يلتزم بما يراه فعليًا. في بعض الحالات، تحسنت الدقة بنسبة تقارب 9%، وهو أمر بالغ الأهمية في الطب.

باختًا: لقد علموا الذكاء الاصطناعي أن يراجع عمله من خلال طرح السؤال: "هل لا يزال هذا الجواب منطقيًا إذا لم أستطع رؤية الصورة بوضوح؟" إذا كانت الإجابة "نعم"، فمن المحتمل أنها هلوسة. أما إذا كانت الإجابة "لا"، فهي ملاحظة حقيقية.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "VGS-Decoding: فك التشفير الموجه بدرجة الارتباط البصري للحد من الهلوسة في النماذج اللغوية البصرية الطبية (Medical VLMs)."

1. بيان المشكلة

تُستخدم النماذج اللغوية البصرية الطبية (VLMs) بشكل متزايد في المهام السريرية مثل الإجابة على الأسئلة البصرية (VQA) وتوليد التقارير الإشعاعية. ومع ذلك، فهي تعاني من الهلوسة (hallucinations)، حيث يولد النموذج استجابات غير صحيحة واقعيًا ولكنها تبدو مقبولة سريريًا بناءً على الأولويات اللغوية (language priors) (الأنماط الإحصائية المتعلمة أثناء التدريب) بدلاً من الأدلة البصرية الفعلية.

المخاطر: في السيناريوهات الطبية عالية الخطورة، يمكن أن تؤدي هذه الهلوسات إلى تشخيص خاطئ وتحيز أتمتة خطير.
قصور الطرق الحالية: غالبًا ما تفشل تقنيات الحد من الهلوسة في المجالات العامة (مثل Visual Contrastive Decoding [VCD]، وDoLA، وOPERA) في المجال الطبي. تشير الورقة إلى أن هذه الطرق يمكن أن تؤدي إلى تدهور الأداء بنسبة 6% في الاختبارات المرجعية الطبية. ويعزى ذلك إلى الطبيعة الفريدة لمهام VQA الطبية: الاستجابات القصيرة، والمفردات المتخصصة، والحاجة الماسة إلى مصطلحات تشريحية دقيقة حيث يمكن أن يكون التصحيح العنيف ضارًا.

2. الرؤية الجوهرية

حدد المؤلفون بصمة سلوكية متميزة تفرق بين الرموز (tokens) المرتبطة بصريًا والرموز المهلوسة:

الرموز المرتبطة بصريًا: عندما يتم إضعاف المعلومات البصرية (على سبيل المثال، عن طريق إضافة ضجيج)، تنخفض احتمالية هذه الرموز لأن النموذج يفقد الدعم البصري.
الرموز المهلوسة: عندما يتم إضعاف المعلومات البصرية، تحافظ هذه الرموز على احتمالية ثابتة أو تزداد، لأنها مدفوعة بالأولويات اللغوية بدلاً من محتوى الصورة.

3. المنهجية: VGS-Decoding

الحل المقترح هو فك التشفير الموجه بدرجة الارتباط البصري (VGS-Decoding)، وهو طريقة تعمل في وقت الاستنتاج دون الحاجة لتدريب (training-free).

أ. درجة الارتباط البصري (VGS)

تقيس هذه الطريقة مدى الاعتماد البصري لكل رمز باستخدام فرق احتمالي معير.

تشويه المدخلات: يتم تشويه المدخلات $V$ لإنشاء $V'$ عن طريق إضافة ضجيج غاوسي (Gaussian) وضجيج بواسون (Poisson).
مقارنة الاحتمالات: يقوم النموذج بتوليد توزيعات احتمالية الرموز لكل من الصورة الأصلية ( $P_{orig}$ ) والصورة المشوهة ( $P_{dist}$ ).
حساب VGS: لكل رمز $t$ $t$ ، يتم حساب VGS كالتالي:
$VGS(t) = \frac{P_{orig}(t) - P_{dist}(t)}{P_{orig}(t) + P_{dist}(t)}$
- النطاق: $[-1, +1]$ .
- VGS موجب: يشير إلى أن الرمز مرتبط بصريًا (انخفضت الاحتمالية عند تلف الصورة).
- VGS سالب: يشير إلى احتمال وجود هلوسة (بقيت الاحتمالية مستقرة أو زادت).
- VGS صفر: يشير إلى الاستقلال البصري (مثل كلمات الوظيفة/الربط).

ب. إعادة الوزن التكيفية (Adaptive Reweighting)

على عكس الطرق السابقة التي تستخدم طرح الأوزان الثابتة، يستخدم VGS-Decoding إعادة وزن ضربية لتعديل احتمالات الرموز بشكل تكيفي:
$P_{final}(t) \propto P_{orig}(t) \times \max(1 + \alpha \cdot VGS(t), \delta)$

$\alpha$ (القوة): تتحكم في شدة التصحيح.
الآلية:
- الرموز ذات VGS الموجب يتم تضخيمها (عامل $> 1$ ).
- الرموز ذات VGS السالب يتم كبحها (عامل $< 1$ ).
- الرموز ذات VGS القريب من الصفر تظل دون تغيير كبير، مما يحافظ على التماسك اللغوي.

ج. التعقيد الحسابي

يتطلب مرتين من التمرير الأمامي (forward passes) لكل خطوة فك تشفير (مرة للصورة الأصلية ومرة للصورة المشوهة).
يؤدي إلى ضعف (2×) زمن الاستنتاج تقريبًا مقارنة بفك التشفير الجشع (greedy decoding) القياسي.
أكثر كفاءة بكثير من الطرق القائمة على البحث الشعاعي (beam-search) مثل OPERA.

4. المساهمات الرئيسية

تحديد فشل المجال: أثبتت الدراسة أن طرق الحد من الهلوسة الحالية (VCD, DoLA, OPERA) غالبًا ما تؤدي إلى تدهور الأداء في اختبارات VQA الطبية، مما يستدعي حلولاً متخصصة للمجال.
مقياس مبتكر (VGS): قدمت مقياسًا محدودًا وقابلًا للتفسير ( $[-1, +1]$ ) يقيس الاعتماد البصري على مستوى الرمز من خلال فروق الاحتمالية المعيرة.
إطار عمل بدون تدريب: اقترحت VGS-Decoding، والتي تحقق تحسينات متسقة عبر مختلف النماذج اللغوية البصرية الطبية دون الحاجة إلى تدريب إضافي أو ضبط دقيق للنماذج.

5. النتائج التجريبية

تم تقييم الطريقة على اثنين من الاختبارات المرجعية لـ VQA الطبية (VQA-RAD و MIMIC-Diff-VQA) عبر ثلاثة نماذج متنوعة (LLaVA-Med، و CheXagent، و MedGemma).

مكاسب الأداء:
- VGS-Decoding هو الطريقة الوحيدة التي حسنت الأداء باستمرار عبر جميع النماذج ومجموعات البيانات.
- التحسن الإجمالي: يصل إلى +9.12% في MIMIC-Diff-VQA (MedGemma) و +8.16% في VQA-RAD.
- استدعاء النصوص المفتوحة (Open-Ended Recall): تحسن يصل إلى +8.98%.
المقارنة مع النماذج المرجعية:
- غالبًا ما تسببت الطرق الحالية في انخفاض الأداء (على سبيل المثال، خفض VCD أداء LLaVA-Med بنسبة -5.93%).
- حافظ VGS-Decoding على الأداء أو حسنه حتى في النماذج المتخصصة للغاية مثل CheXagent، بينما أدت الطرق الأخرى إلى تدهور أدائها.
دراسات الاستئصال (Ablation Studies):
- أكدت أن كلاً من مقياس VGS وإعادة الوزن الضربية ضروريان؛ حيث أدى استخدام الأوزان الثابتة (أسلوب VCD) إلى تدهور الأداء.
- تباينت قوة إعادة الوزن المثلى ( $\alpha$ ) حسب النموذج (من 1.0 إلى 2.0)، لكن $\alpha=1.0$ حققت مكاسب ثابتة.

6. الأهمية

السلامة السريرية: من خلال كبح الهلوسة بفعالية دون المساس بقدرة النموذج على توليد المصطلحات الطبية الدقيقة، يقلل VGS-Decoding من خطر التشخيص الخاطئ في الأدوات السريرية المؤتمتة.
العملية: كطريقة لا تتطلب تدريبًا مع عبء استنتاج قدره 2× فقط، يمكن نشر VGS-Decoding فورًا في البيئات السريرية دون التكلفة الحسابية لإعادة تدريب النماذج الكبيرة.
القدرة على التعميم: تعمل هذه الطريقة عبر نماذج ذات أحجام مختلفة (من 3 مليار إلى 7 مليار معلمة) وببنيات مختلفة، مما يشير إلى حل قوي لمجتمع الذكاء الاصطناعي الطبي الأوسع.