💻 computer science

Hallucination Filtering in Radiology Vision-Language Models Using Discrete Semantic Entropy

تُظهر هذه الدراسة أن تطبيق الإنتروبيا الدلالية المنفصلة لتصفية الأسئلة ذات عدم اليقين العالي يحسن بشكل كبير من دقة التشخيص لنماذج الرؤية واللغة الصندوقية السوداء في الأشعة عبر الكشف بفعالية عن الهلوسات ورفضها.

المؤلفون الأصليون: Patrick Wienholt, Sophie Caselitz, Robert Siepmann, Philipp Bruners, Keno Bressem, Christiane Kuhl, Jakob Nikolas Kather, Sven Nebelung, Daniel Truhn

نُشر 2026-02-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Patrick Wienholt, Sophie Caselitz, Robert Siepmann, Philipp Bruners, Keno Bressem, Christiane Kuhl, Jakob Nikolas Kather, Sven Nebelung, Daniel Truhn

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً طبياً عبقرياً فائق السرعة، قد قرأ كل الكتب المدرسية في العالم. هذا الطالب يمكنه النظر إلى صورة أشعة سينية أو رنين مغناطيسي وإخبارك بالضبط ما الخطب. لكن هناك عقبة: هذا الطالب كاذب قهري عندما لا يكون متأكداً بنسبة 100%.

عندما يكون واثقاً، يكون محقاً. ولكن عندما يخمن، فإنه سيخترع بثقة تشخيصاً يبدو مثالياً ولكنه من وحي خياله تماماً. في عالم الذكاء الاصطناعي، يسمى هذا "الهلوسة" (Hallucination).

هذه الورقة البحثية تدور حول تعليم "جهاز كشف الكذب" كيفية الإمساك بهذا الطالب قبل أن يعطيك إجابة خاطئة.

المشكلة: الكاذب الواثق

أطباء الأشعة (الأطباء الذين يقرؤون الصور الإشعاعية) مثقلون بالأعمال. إنهم يريدون استخدام الذكاء الاصطناعي لمساعدتهم. لكن نماذج الذكاء الاصطناي الحالية (مثل GPT-4o) تشبه ذلك الطالب الطبي: يمكن أن تكون مذهلة، لكنها أيضاً تؤلف حقائق من عندها.

الجزء المخيف؟ الذكاء الاصطناعي لا يقول: "أنا لست متأكداً". بل يقول: "إنه بالتأكيد كسر في العظم"، حتى لو كان مجرد ظل. إذا وثق الطبيب في هذه الإجابة الخاطئة، فقد يتلقى المريض علاجاً خاطئاً.

الحل: اختبار "دردشة المجموعة"

ابتكر الباحثون حيلة ذكية تسمى الاعتلاج الدلالي المنفصل (Discrete Semantic Entropy - DSE). فكر في الأمر كأنك تسأل نفس السؤال للذكاء الاصطناعي 15 مرة متتالية، ولكن مع لمسة بسيطة: أنت تخبر الذكاء الاصطناعي بأن يكون أكثر "عشوائية" أو "إبداعاً" في كل مرة.

إليك التشبيه:
تخيل أنك تسأل صديقك، "ماذا تناولت في الإفطار؟"

السيناريو أ (الحقيقة): تسأله 15 مرة. فيقول لك "توست" 15 مرة. إنه ثابت ومستقر.
السيناريو ب (الكذب/التخمين): تسأله 15 مرة. فيقول لك "توست" 5 مرات، "بيض" 4 مرات، "حبوب إفطار" 3 مرات، و"لا أعرف" 3 مرات. إجاباته مشتتة في كل اتجاه.

أدرك الباحثون أن الذكاء الاصطناعي عندما لا يكون متأكداً، ستتشتت إجاباته مثل سرب من الطيور. وعندما يكون متأكداً، ستظل الإجابات في مجموعة متراصة ومتقاربة.

كيف قاموا بقياس ذلك؟

استخدموا مفهوماً رياضياً يسمى الاعتلاج (Entropy) (وهو مجرد كلمة منمقة تعني "الفوضى" أو "الاضطراب").

اعتلاج منخفض: قدم الذكاء الاصطناعي نفس الإجابة (أو إجابات متشابهة جداً) في كل مرة. النتيجة: ثق في الإجابة.
اعتلاج مرتفع: قدم الذكاء الاصطناعي 15 إجابة مختلفة. النتيجة: الذكاء الاصطناعي يهلوس. ارفض الإجابة.

ماذا حدث عندما جربوا ذلك؟

اختبر الباحثون هذه الطريقة على مجموعتين ضخمتين من الصور والأسئلة الطبية.

الخط المرجعي (Baseline): بدون الفلتر (المصفاة)، كان الذكاء الاصطناعي يصيب بنسبة 52% فقط من الوقت. كان الأمر يشبه رمي العملة المعدنية، ولكن بكثير من الثقة.
الفلتر: أخبرنا الذكاء الاصطناعي: "إذا كانت إجاباتك فوضوية (اعتلاج مرتفع)، فلا تعطني أي إجابة على الإطلاق".
النتيجة:
- استبعدنا حوالي نصف الأسئلة لأن الذكاء الاصطناعي كان مرتبكاً جداً.
- ولكن بالنسبة للأسئلة التي أجاب عنها، قفزت الدقة إلى 76%.

المقايضة (Trade-off): الأمر يشبه حارس الأمن عند أحد النوادي. إذا كان الحارس صارماً (فلتر عالٍ)، فسيسمح بدخول عدد أقل من الناس، ولكن الجميع بالداخل هم من كبار الشخصيات (VIP). إذا كان الحارس كسولاً، سيدخل الجميع، ولكن سيكون هناك الكثير من المشاغبين. وجد الباحثون أنهم من خلال كونهم صارمين، تخلصوا من "المشاغبين" (الإجابات الخاطئة) واحتفظوا بـ "كبار الشخصيات" (الإجابات الصحيحة).

العقبة (مشكلة "الكاذب الواثق")

تعترف الورقة البحثية بأن هذا ليس عصا سحرية.

المشكلة: إذا كان الذكاء الاصطناعي يكذب بشكل "متسق" (على سبيل المثال، يقول بثقة "إنه كسر في العظم" 15 مرة متتالية)، فلن يتمكن الفلتر من كشفه. الإجابات متسقة، لذا يظل "مقياس الفوضى" منخفضاً، لكن الإجابة لا تزال خاطئة.
الواقع: هذه الطريقة تمسك بالذكاء الاصطناعي عندما يكون "مرتبكاً"، لكنها لا تستطيع الإمساك به عندما يكون "واثقاً في خطئه".

لماذا هذا مهم؟

هذه خطوة كبيرة للأمام لأنها تعمل على "الصندوق الأسود" للذكاء الاصطناعي. لست بحاجة لمعرفة كيف يعمل عقل الذكاء الاصطناعي من الداخل؛ أنت فقط تراقب ما يقوله. الأمر يشبه التحقق من عمل طالب عبر الطلب منه شرح المعلومة بخمس طرق مختلفة. إذا تعثر، فأنت تعلم أنه لا يعرف الإجابة حقاً.

باختصار: تعلمنا هذه الورقة البحثية كيف نجعل أطباء الذكاء الاصطناعي أكثر أماناً. هي لا تجعلهم مثاليين، لكنها تمنحنا وسيلة لنقول: "مهلاً، هذا الذكاء الاصطناعي يخمن. دعونا لا نثق في هذه الإجابة ونطلب استشارة طبيب بشري بدلاً من ذلك". إنها تحول الكاذب الواثق والمخاطر إلى مساعد حذر ومفيد يعرف متى يجب أن يلتزم الصمت.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تصفية الهلوسة في الأشعة: نماذج الرؤية واللغة باستخدام الإنتروبيا الدلالية المنفصلة."

1. بيان المشكلة

يوفر دمج نماذج الرؤية واللغة (VLMs) في مجال الأشعة إمكانات لتقليل عبء العمل، ولكنه يعوقه ميل هذه النماذج إلى توليد هلوسات—وهي مخرجات تبدو منطقية ولكنها غير صحيحة واقعياً وغير مستندة إلى أدلة بصرية.

التحدي: على عكس الخبراء البشريين الذين يعبرون عن عدم اليقين، غالباً ما تقدم نماذج الرؤية واللغة نتائج خاطئة بثقة لغوية عالية.
قصور الحلول الحالية:
- الآليات الداخلية: النماذج المملوكة "الصندوق الأسود" (مثل GPT-4o) لا تكشف عن احتمالات الرموز (tokens) الداخلية أو حالات التنشيط، مما يجعل تقدير عدم اليقين القياسي مستحيلاً.
- التدريب المساعد: الطرق التي تتطلب نماذج مكافأة أو ضبطاً دقيقاً (fine-tuning) غالباً ما تكون غير عملية للممارسين السريريين بسبب قيود البيانات والحوسبة.
- فحوصات الاتساق الحالية: طرق الصندوق الأسود الحالية (مثل إعادة صياغة المدخلات أو توليد تقارير متعددة) يمكن أن تكون مكلفة حوسبياً أو تغير الفروق السريرية الدقيقة.

يهدف المؤلفون إلى تحديد ما إذا كان الإنتروبيا الدلالية المنفصلة (DSE) يمكن أن يكتشف بفعالية الهلوسة ويقوم بتصفيتها في مهام الإجابة على الأسئلة المرئية (VQA) في مجال الأشعة دون الحاجة إلى الوصول إلى المكونات الداخلية للنموذج.

2. المنهجية

تصميم الدراسة ومجموعات البيانات

الدراسة هي تقييم استرجاعي باستخدام مجموعتين من البيانات المتاحة علناً والمجهولة المصدر:

VQA-Med 2019: 500 صورة إشعاعية مع أسئلة سريرية مصنفة حسب النوع، المستوى، العضو، والاعتلال.
RadDataset: 206 حالات سريرية (60 أشعة مقطعية، 60 رنين مغناطيسي، 60 أشعة سينية، 26 تصوير أوعية دموية) مع تشخيصات حقيقية مؤكدة بالإجماع.

النماذج التي تم تقييمها

GPT-4o (الإصدار 2024-05-13)
GPT-4.1 (الإصدار 2025-04-14)
تم الوصول إليهما عبر واجهة برمجة تطبيقات Microsoft Azure.

سير عمل DSE

الابتكار الجوهري هو خط إنتاج تقدير عدم اليقين للصندوق الأسود:

أخذ العينات بدرجة حرارة عالية: لكل زوج (صورة-سؤال)، يقوم النموذج بتوليد 15 استجابة مستقلة عند درجة حرارة عالية ( $T=1.0$ ) لاستحثاث التباين وكشف عدم اليقين.
توليد خط الأساس: يتم توليد استجابة واحدة عند درجة حرارة منخفضة ( $T=0.1$ ) لتحديد خط الأساس للدقة.
التجميع الدلالي: يتم تجميع الاستجابات الـ 15 في مجموعات دلالية باستخدام فحوصات الاستلزام ثنائي الاتجاه (التي يقوم بها نفس نموذج الرؤية واللغة). يتم تجميع الاستجابات فقط إذا كانت تستلزم بعضها البعض بشكل متبادل. هذا يقلل من تضخم الإنتروبيا الناتج عن مجرد إعادة الصياغة اللغوية.
حساب الإنتروبيا: يتم حساب الإنتروبيا الدلالية المنفصلة (DSE) بناءً على التكرارات النسبية لهذه المجموعات:
$DSE(x) = -\sum P(C_i|x) \log_{10} P(C_i|x)$
- DSE منخفض: اتساق دلالي عالٍ (عدم يقين منخفض).
- DSE مرتفع: تشتت دلالي عالٍ (عدم يقين عالٍ/احتمالية وجود هلوسة).
التنبؤ الانتقائي: الأسئلة التي تتجاوز درجات DSE الخاصة بها عتبات معينة (0.6 و 0.3) يتم رفضها. يتم إعادة حساب الدقة فقط على المجموعة المتبقية (المصفاة).

مقاييس التقييم

الدقة: نسبة الإجابات المكافئة دلالياً للحقيقة الأرضية (ground truth).
الأهمية الإحصائية: تم تقييمها عبر إعادة أخذ العينات بطريقة Bootstrap لـ 100,000 تكرار مع تصحيح Bonferroni ( $p < 0.004$ ).
تحليل المقايضة: الربح في الدقة مقابل انخفاض التغطية (عدد الأسئلة المرفوضة).

3. النتائج الرئيسية

أداء خط الأساس

خط الأساس العام: دقة منخفضة للمهام الطبية المعقدة.
- GPT-4o: 51.7%
- GPT-4.1: 54.8%
التباين في مجموعات البيانات: كانت الأداء أقل بكثير في مجموعة RadDataset السريرية (~~34%) مقارنة بمعيار VQA-Med (~~60%)، مما يسلط الضوء على صعوبة التفسير التشخيصي في العالم الحقيقي.
معاناة الفئات الفرعية: عانت كلا النموذجين بشدة من اكتشاف "الاعتلال" (baseline ~13%).

تأثير تصفية DSE

أدت تصفية الأسئلة ذات الإنتروبيا العالية إلى تحسين دقة الإجابات المتبقية بشكل كبير:

عند عتبة DSE ≤ 0.6:
- ارتفدت دقة GPT-4o إلى 62.9% (احتفظ بـ 70% من الأسئلة).
- ارتفعت دقة GPT-4.1 إلى 60.4%.
عند عتبة DSE ≤ 0.3 (أكثر صرامة):
- قفزت دقة GPT-4o إلى 76.3% (احتفظ بـ 47% من الأسئلة).
- ارتفعت دقة GPT-4.1 إلى 63.8% (احتفظ بـ 71% من الأسئلة).
الأهمية الإحصائية: كانت جميع التحسينات ذات دلالة إحصائية ( $p < 0.001$ ) باستثناء GPT-4o في RadDataset عند العتبة الأكثر صرامة (بسبب صغر حجم العينة، $n=29$ ).

المقايضات والفئات الفرعية

التغطية مقابل الدقة: العتبات الأكثر صرامة (DSE أقل) تحقق دقة أعلى ولكنها ترفض المزيد من الأسئلة.
اختلافات الوسائط:
- اكتشاف الاعتلال: أظهر أعلى معدلات رفض (تصل إلى 91% عند DSE ≤ 0.3) ولكنه حقق أيضاً أعلى مكاسب نسبية في الدقة.
- النوع/المستوى: أدى ارتفاع دقة خط الأساس إلى انخفاض معدلات الرفض والمكاسب الهامشية.
- RadDataset: أظهر GPT-4o انخفاضاً في الدقة لصور الأشعة المقطعية (CT) عند العتبة الأكثر صرامة، مما يشير إلى أن المصفاة قد تكون أزالت التخمينات الصحيحة "المحظوظة" أو أن توزيع عدم اليقين للنموذج يختلف حسب نوع الوسائط.

4. المساهمات الرئيسية

قابلية التطبيق على الصندوق الأسود: أثبت أن DSE يعمل بفعالية على النماذج المملوكة (GPT-4o/4.1) دون الحاجة للوصول إلى الأوزان الداخلية، أو احتمالات الرموز، أو الضبط الدقيق.
ابتكار التجميع الدلالي: قام بتحسين حساب الإنتروبيا باستخدام الاستلزام ثنائي الاتجاه لتجميع الإجابات المتكافئة دلالياً، مما يضمن أن تعكس الإنتروبيا عدم اليقين الحقيقي بدلاً من التباين اللغوي.
عدم اليقين القابل للقياس في الأشعة: قدم دليلاً تجريبياً على أن عدم الاتساق الدلالي هو وكيل قوي للهلوسة في مهام VQA الطبية، مما يسمح بإنشاء "مرشح سلامة".
تحليل الجدوى:
- زمن الاستجابة (Latency): خط الإنتاج قابل للتوازي، حيث يضيف فقط حوالي ضعف زمن استدعاء الـ API الواحد (~6 ثوانٍ إجمالاً).
- التكلفة: تُقدر بـ 0.72 دولار لكل سؤال، وهي تعتبر مجدية مالياً للدمج السريري.

5. الأهمية والقيود

الأهمية

آلية سلامة: توفر DSE استراتيجية عملية لنشر نماذج الرؤية واللغة في البيئات السريرية من خلال كبح المخرجات ذات الثقة المنخفضة (عالية خطر الهلوسة) تلقائياً.
بناء الثقة: من خلال إرفاق درجة عدم يقين قابلة للتفسير بمخرجات الذكاء الاصطناعي، فإنها تسم la لأطباء الأشعة لاتخاذ قرارات مدروسة بشأن متى يمكن الوثوق بالذكاء الاصطناعي.
إثبات المفهوم: يؤكد أن نماذج الرؤية واللغة العامة الحالية ليست جاهزة بعد للتشخيص المستقل، ولكن يمكن جعلها أكثر موثوقية بشكل كبير من خلال التنبؤ الانتقائي.

القيود

الهلوسة الواثقة: تقيس DSE الاتساق وليس الصحة الواقعية. إذا قام النموذج بتوليد نفس الإجابة الخاطئة باستمرار (هلوسة واثقة)، فستكون DSE منخفضة، وسيمر الخطأ من المصفاة.
الاعتماد على التجميع: تعتمد خطوة التجميع الدلالي على قدرات الاستلزام الخاصة بالنموذج نفسه، مما قد يدخل تحيزاً فيما يتعلق بالفروق السريرية المعقدة.
محدودية البعدين (2D): استخدمت الدراسة شرائح ثنائية الأبعاد (الشرائح الرئيسية) بدلاً من بيانات الحجم الكاملة ثلاثية الأبعاد (3D)، مما قد لا يلتقط تماماً تعقيد التفسير ثلاثي الأبعاد في العالم الحقيقي.
معايرة العتبة: تعتمد عتبة DSE المثلى على النموذج وتتطلب معايرة لحالات استخدام سريرية محددة (الموازنة بين الحساسية والنوعية).

الخاتمة

تخلص الورقة إلى أن الإنتروبيا الدلالية المنفصلة هي طريقة قوية ومنخفضة التكلفة وقابلة للنشر لتصفية الهلوسة في نماذج الصندوق الأسود المستخدمة في الأشعة. وبينما لا تحل المشكلة الجوهرية للصحة الواقعية، إلا أنها تعزز بشكل كبير موثوقية الإجابات المقبولة (تصل الدقة إلى 76.3%) من خلال تحديد ورفض الاستعلامات غير المتسقة دلالياً، مما يمثل خطوة حاسمة نحو دمج آمن للذكاء الاصطنا؟ في المجال السريري.