🤖 machine learning

Visual concept ranking uncovers medical shortcuts used by large multimodal models

تقدم هذه الورقة البحثية "ترتيب المفاهيم البصرية" (VCR)، وهي طريقة لتدقيق النماذج متعددة الوسائط الكبيرة في مجال الرعاية الصحية، والتي تكشف عن الاعتماد على الاختصارات البصرية الزائفة وتكشف عن تفاوتات الأداء عبر المجموعات الديموغرافية الفرعية.

المؤلفون الأصليون: Joseph D. Janizek, Sonnet Xu, Junayd Lateef, Roxana Daneshjou

نُشر 2026-02-16

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Joseph D. Janizek, Sonnet Xu, Junayd Lateef, Roxana Daneshjou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "ترتيب المفاهيم البصرية يكشف عن الاختصارات الطبية التي تستخدمها النماذج اللغوية الكبيرة متعددة الوسائط"، مترجماً إلى لغة بسيطة، يومية، ومع استخدام تشبيهات إبداعية.

الصورة الكبيرة: الطبيب "الذكي" الذي يلجأ للاختصارات

تخيل أنك استأجرت طالباً طبياً فائق الذكاء (نموذج لغوي كبير متعدد الوسائط، أو LMM) لمساعدتك في تشخيص سرطان الجلد. هذا الطالب قرأ الملايين من الكتب الطبية ونظر إلى مليارات الصور. يبدو عبقرياً.

ومع ذلك، هناك مشكلة: هذا الطالب غشاش.

بدلاً من تعلم شكل السرطان فعلياً (الشكل، اللون، ملمس الآفة)، تعلم الطالب البحث عن "دلالات" تظهر عادةً بجانب السرطان ولكنها ليست السرطان نفسه.

الغش: "أوه، أرى نقطة حبر زرقاء على هذا الجلد؟ لا بد أنه سرطان! الأطباء يستخدمون الحبر الأزرق لتمييز البقع التي يريدون استئصالها."
الواقع: الحبر الأزرق هو مجرد علامة. الطالب يتجاهل الجلد الفعلي ويركز على العلامة.

إذا عرضت على هذا الطالب صورة لشخص سليم به نقطة زرقاء (ربما بسبب وشم أو قلم تحديد من طبيب آخر)، سيصاب الطالب بالذعر ويقول: "سرطان!" رغم أن الجلد سليم.

تقدم هذه الورقة أداة جديدة تسمى ترتيب المفاهيم البصرية (Visual Concept Ranking - VCR) للإمساك بهؤلاء الغشاشين ومعرفة ما الذي ينظر إليه الذكاء الاصطناعي بالضبط.

المشكلة: لماذا نحتاج إلى أداة جديدة؟

في الماضي، إذا أردنا معرفة ما الذي ينظر إليه الذكاء الاصطناعي، كنا نستخدم "الخرائط الحرارية" (مثل الكاميرا الحرارية).

تشبيه الخريطة الحرارية: تخيل تسليط كشاف ضوئي على الصورة لرؤية أي البكسلات "ساخنة".
العيب: إذا كان الذكاء الاصطناعي ينظر إلى نقطة حبر زرقاء، فإن الخريطة الحرارية ستظهر النقطة. ولكن إذا كان الذكاء الاصطناعي ينظر إلى "الخلفية" (مثل رقبة المريض أو جدار المستشفى)، فإن الخريطة الحرارية ستكون ضبابية وغير مفيدة. لا يمكنها إخبارك لماذا ينظر الذكاء الاصطناعي إلى هناك. الأمر يشبه محاولة قراءة كتاب من خلال النظر إلى الظل الذي يلقيه على الحائط.

كان على المؤلفين إيجاد طريقة لسؤال الذكاء الاصطناعي: "هل تنظر إلى السرطان، أم تنظر إلى الحبر الأزرق؟"

الحل: ترتيب المفاهيم البصرية (VCR)

تخيل VCR كأنه اختبار مفاجئ مكون من 20,000 سؤال للذكاء الاصطناعي.

الإعداد: يعطي الباحثون الذكاء الاصطناعي مجموعة من الصور.
الاختبار: يسألون الذكاء الاصطناعي: "هل تحتوي هذه الصورة على 'وشم'؟" "هل تحتوي على 'رقبة'؟" "هل تحتوي على 'حبر أزرق'؟" "هل تحتوي على 'كرسي'؟" يفعلون ذلك لآلاف المفاهيم.
السر الخفي: بدلاً من مجرد سؤال الذكاء الاصطناعي "نعم/لا"، ينظر VCR داخل عقل الذكاء الاصطناعي (عملياته الرياضية/النشاطات الداخلية). إنه يقيس مدى تغير "ثقة" الذكاء الاصطناعي عندما يفكر في مفهوم معين.
- التشبيه: تخيل أنك تحاول تخمين ما يفكر فيه صديقك. أنت لا تسأله فقط؛ بل تراقب تعابير وجهه. إذا ذكرت كلمة "بيتزا"، تلمع عيناه. إذا ذكرت "بروكلي"، يعبس. يقوم VCR بذلك رياضياً؛ فهو يقيس "لمعان العين" (الحساسية) لآلاف المفاهيم.

الاكتشاف الكبير: اختصار "الحبر الأزرق"

عندما استخدم الباحثون VCR على نماذج سرطان الجلد، وجدوا أشياء صادمة:

1. انحياز "الحبر الأزرق"

ما حدث: تعلم الذكال الاصطناعي أن علامات الحبر الأزرق أو الأرجواني (المستخدمة من قبل الأطباء لتمييز بقع الخزعة) هي علامة كبيرة على وجود سرطان.
المفاجأة: نجح هذا الأمر بشكل رائع مع المرضى ذوي البشرة الداكنة (Fitzpatrick V/VI) عندما تم إعطاء الذكاء الاصطناعي أمثلة للتعلم منها. ولكن بالنسبة للمرضى ذوي البشرة الفاتحة (Fitzpatrick I/II)، توقف الذكاء الاصطناعي فجأة عن الاهتمام بالحبر.
الخطر: إذا وضع طبيب نقطة زرقاء على ذراع شخص ذي بشرة داكنة، فقد يصرخ الذكاء الاصطناعي "سرطان!"، بينما يتجاهلها لشخص ذي بشرة فاتحة. هذا اختصار غير عادل وخطير.

2. انحياز "أجزاء الجسم"

ما حدث: بدأ الذكاء الاصطناعي يعتقد أن الآفات الموجودة على الرقبة أو فروة الرأس أقل عرضة لأن تكون سرطانية مقارنة بالآفات الموجودة على قطعة جلد عامة.
المفاجأة: كان الذكاء الاصطناعي ينظر إلى الخلفية. رأى "شعراً" أو "ياقة قميص" وظن: "أوه، هذا مجرد جزء طبيعي من الجسم، وليس ورماً مخيفاً".
الخطر: قد يتم إغفال سرطان في فروة الرأس لأن الذكاء الاصطناعي تشتت بسبب الشعر.

كيف أثبتوا ذلك (تجربة "قلم التحديد السحري")

لإثبات أن الذكاء الاصطناعي كان يغش بالفعل وليس ذكياً، قام الباحثون بـ تدخل يدوي:

التجربة: أخذوا صوراً لجلد سليم (لا يوجد سرطان) واستخدموا برنامج كمبيوتر لـ رسم نقاط زرقاء عليها.
النتيجة:
- عندما عرضوا هذه الصور "المزيفة" على الذكاء الاصطناعي، ارتفعت ثقة الذكاء الاصطنافي في وجود "سرطان" بشكل هائل.
- أثبت هذا أن الذكاء الاصطناعي لم يكن ينظر إلى ملمس الجلد؛ بل كان يتفاعل بعمى مع النقاط الزرقاء.
- فعلوا ذلك لأنواع بشرة مختلفة وأكدوا الانحياز: كان الذكاء الاصطناعي مهووساً بالنقاط لبعض المجموعات وليس لغيرها.

لماذا هذا مهم؟

هذه الورقة تشبه جهاز كشف الكذب للأطباء الآليين.

قبل: كنا نتحقق فقط مما إذا كان الذكاء الاصطناعي يحصل على الإجابة الصحيحة بنسبة 90% من الوقت.
الآن: يمكننا أن نسأل، "كيف وصلت إلى تلك الإجابة؟ هل نظرت إلى المرض، أم نظرت إلى شعار المستشفى في الزاوية؟"

يوضح المؤلفون أنه إذا لم نستخدم أدوات مثل VCR، فقد نعتمد على ذكاء اصطناعي يعمل بشكل ممتاز في المختبر ولكنه يفشل (أو حتى يؤذي المرضى) في العالم الحقيقي لأنه يعتمد على "اختصارات" لا تعني أي شيء طبياً.

تشبيه ملخص

تخيل طالباً يجري اختبار رياضيات.

الطريقة القديمة: تتحقق من نموذج الإجابات. إذا حصل على 90% صحيحة، تعطيه درجة امتياز.
طريقة VCR: تنظر إلى مسودات الحل الخاصة به. تدرك أنه لا يقوم بعمليات الحساب، بل يخمن بناءً على لون الحبر الذي استخدمه المعلم. إذا استخدم المعلم حبراً أزرق، يخمن الطالب "نعم". وإذا استخدم المعلم حبراً أحمر، يخمن "لا".

VCR هو الأداة التي تسمح لك بإلقاء نظرة على "المسودة"، وتدرك أن الطالب يغش، وتمنعه من التخرج قبل أن يتسبب في أذى لأي شخص.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "ترتيب المفاهيم البصرية يكشف عن الاختصارات الطبية التي تستخدمها النماذج متعددة الوسائط الكبيرة".

1. بيان المشكلة

حققت النماذج متعددة الوسائط الكبيرة (LMMs) أداءً فائقاً في المهام الطبية، مثل تصنيف الآفات الجلدية أو تحليل صور الأشعة السينية للصدر. ومع ذلك، غالباً ما تعتمد هذه النماذج على ارتباطات زائفة (اختصارات) بدلاً من السمات المرضية الحقيقية، مما يؤدي إلى مخاطر تتعلق بالسلامة وتفاوتات ديموغرافية.

تواجه طرق التفسير الحالية قيوداً:

خرائط البروز (Saliency Maps): جيدة في التحديد المكاني ولكنها تعاني مع المفاهيم المجردة (مثل "السطوع العام") أو السمات المنتشرة (مثل "جزء الجسم في الخلفية").
التدقيق الارتباطي (على سبيل المثال، MA-MONET): تحدد هذه الطرق السمات المرتبطة بمخرجات النموذج في مجموعة بيانات محددة. وهي تفشل في التمييز بين الاعتمادات السببية (ما يستخدمه النموذج فعلياً) والارتباطات الزائفة الموجودة فقط في بيانات التقييم (مثل علامة خاصة بمستشفى معين ترتبط بالمرض في مجموعة اختبار ولكن ليس في مجموعة التدريب).
توليد الواقع المضاد (Counterfactual Generation): يصعب الحفاظ على اتساق الدورة عند تعديل مناطق كبيرة من الصور.

يهدف المؤلفون إلى تطوير طريقة لتحديد اعتمادات المفاهيم البصرية السببية في النماذج متعددة الوسائط الكبيرة، وتحديداً للكشف عن الاختصارات التي تسبب تفاوتات في الأداء عبر المجموعات الديموغرافية الفرعية (مثل أنواع البشرة) عند استخدام التعلم داخل السياق (ICL).

2. المنهجية: ترتيب المفاهيم البصرية (VCR)

يقترح المؤلفون ترتيب المفاهيم البصرية (VCR)، وهو أسلوب لتحديد المفاهيم البصرية الأكثر أهمية إحصائياً والتي تؤثر على مخرجات النموذج متعدد الوسائط الكبير. يستخدم VCR نموذج رؤية ولغة (VLM) كـ "شارح" لتسمية مجموعة تجريبية من الصور، ثم يحلل تنشيطات النموذج المستهدف.

تتكون الخوارزمية من أربع خطوات رئيسية:

تسمية المفاهيم عبر VLM:
- يتم استخدام نموذج رؤية ولغة مدرب مسبقاً (مثل OpenCLIP) لحساب التشابه بين مجموعة تجريبية من الصور ( $I$ ) ومجموعة كبيرة من المفاهيم النصية ( $C$ ، مثل 20,000 كلمة).
- ينتج عن ذلك مصفوفة تسمية المفاهيم $Y$ ، حيث يحدد كل مدخل الوجود البصري لمفهوم ما في صورة ما.
تعلم ناقلات تنشيط المفاهيم (CAVs):
- يتم استخراج التنشيطات من طبقة محددة ( $\ell$ ) من النموذج المستهدف ( $f$ ) لكل صورة في المجموعة التجريبية.
- يتم تدريب نموذج انحدار خطي للتنبؤ بتسميات المفاهيم ( $Y$ ) من ناقلات التنشيط ( $A$ ) للنموذج.
- تحدد أوزان هذا الانحدار ناقل تنشيط المفهوم (CAV) لكل مفهوم، والذي يمثل الاتجاه في مساحة التنشيط المقابل لذلك المفهوم.
قياس الحساسية (المشتقات الاتجاهية):
- لتحديد الأهمية، تحسب الطريقة المشتقة الاتجاهية لدرجة المهمة (مثل لوغاريتم احتمالية "خبيث") بالنسبة لـ CAV.
- يقيس هذا مدى تغير مخرجات النموذج إذا تم تغيير التنشيط على طول اتجاه المفهوم.
- على عكس الطرق الارتباطية، تستخدم هذه الطريقة التدرجات لقياس الحساسية السببية.
اختبار الدلالة الإحصائية:
- تُكرر العملية باستخدام إعادة أخذ العينات بطريقة Bootstrap للمجموعة التجريبية.
- يتم تطبيق اختبار t ذو الطرفين مع تصحيح Bonferroni لتحديد ما إذا كانت درجة حساسية المفهوم تختلف اختلافاً جوهرياً عن الصفر.

3. المساهمات الرئيسية

منهجية مبتكرة (VCR): إطار عمل لتدقيق النماذج متعددة الوسائط الكبيرة يجمع بين تسمية المفاهذج القائمة على VLM وتحليل الحساسية القائم على التدرج لتحديد الاعتمادات البصرية السببية.
القوة تجاه تغير التوزيع: أثبت VCR قدرته على تحديد السمات السببية بشكل صحيح حتى عندما تمتلك بيانات التقييم ارتباطات سمة-وسم مختلفة عن بيانات التدريب، وهو سيناريو تفشل فيه الطرق الارتباطية البحتة.
كشف الاختصارات الديموغرافية: كشفت الطريقة أن النماذج تعتمد على علامات الجلد الزرقاء/الأرجوانية (التي يستخدمها أطباء الجلد لتمييز الآفات للعينات) كاختصار للمرض الخبيث. وُجد أن هذا الاعتماد ديناميكي: فقد استمر بالنسبة لأنواع البشرة الداكنة (FST V/VI) حتى مع وجود أمثلة التعلم داخل السياق (ICL)، ولكنه اختفى بالنسبة للبشرة الفاتحة (FST I/II) عند إضافة ICL.
كشف التحيزات التشريحية: حدد VCR أن النماذج تتوقع بشكل منهجي احتمالات أقل للخباثة للآفات الموجودة على الوجه/الرقبة وفروة الرأس مقارنة بخلفيات الجلد العامة، ويرجع ذلك على الأرج_ likely إلى وجود مفاهيم مثل "الشعر" أو "الياقة".

4. النتائج

أ. اختبارات البيانات الاصطناعية

التحقق: في مجموعات البيانات الاصطناعية ذات علاقات (سمة-نتيجة) معروفة بالحقيقة الأرضية، أظهرت درجات حساسية VCR ارتباطاً قوياً (معامل بيرسون $r \approx 0.53$ ) مع التأثيرات التدخلية الفعلية.
تغير التوزيع: في الإعدادات العدائية حيث ارتبطت "سمة زائفة" سلبياً بالوسم أثناء التدريب وإيجابياً أثناء الاختبار:
- VCR: حدد التأثير السبدي الحقيقي بنسبة 92% من الوقت.
- الأساس الارتباطي (CLIP-only/MA-MONET): حدد التأثير بنسبة 18% فقط، مما أعطى إشارة خاطئة بأن السمة الزائفة مهمة.

ب. تجارب طب الجلد (مجموعة بيانات DDI)

علامات الجلد: حدد VCR مفاهيم "الوشم" و"الفقاعات/النمش الأرجواني" كأهم المفاهيم. أكد التدخل اليدوي (إضافة نقاط زرقاء/أرجوانية إلى جلد اصطناعي) أن هذه العلامات تزيد من توقعات الخباثة للبشرة الداكنة (FST V/VI) في كل من إعدادات Zero-shot وICL، ولكنها حدثت في Zero-shot فقط للبشرة الفاتحة (FST I/II).
السياق التشريحي:
- وُجد أن مفاهيم مثل "الرقبة"، "الياقة"، و"الأسنان" تقلل من توقعات الخباثة.
- أظهرت تجارب التدخل أن الآفات الموجودة على خلفيات الوجه/الرقبة تم التنبؤ بها كأقل خباثة بشكل ملحوظ مقارنة بالخلفيات المحايدة.
- وبالمثل، قللت مفاهيم "الشعر" (تحديداً صور فروة الرأس) من توقعات الخباثة.

ج. تجارب تكميلية

الأشعة السينية للصدر (CheXpert): حدد VCR "الأسلاك" (أجهزة تنظيم ضربات القلب، أقطاب تخطيط القلب) كأهم المتنبئات بالصور "غير الطبيعية"، مما كشف عن اختصار حيث يكتشف النموذج الأجهزة الطبية بدلاً من المرض.
الصور الطبيعية (Imagenette): أظهرت تنوع الطريقة في مهام غير طبية (مثل التمييز بين الأسماك وكرات الجولف)، حيث حددت مفاهيم متماسكة دلالياً (مثل "الشعارات" لكرات الجولف).

5. الأهمية والآثار المترتبة

التدقيق في الحالات الحرجة للسلامة: يوفر VCR أداة صارمة للكشف عن الاختصارات الخفية في النماذج قبل النشر السريري، مما يمنع النماذج من اتخاذ قرارات بناءً على آثار غير ذات صلة (مثل علامات الحبر أو العلامات الخاصة بالمستشفيات).
العدالة الديموغرافية: تسلط الدراسة الضوء على أن سلوكيات النماذج ليست ثابتة؛ فهي تتغير بناءً على المطالبة (Zero-shot مقابل ICL) وتختلف عبر المجموعات الديموغرافية الفرعية. وهذا يشير إلى أن التنسيق الدقيق لأمثلة العرض أمر بالغ الأهمية لتحقيق الذكاء الاصطناعي العادل.
ما وراء الارتباط: من خلال الاستفادة من داخل النموذج (التدرجات والتنشيطات)، يتغلب VCR على العيب الجوهري في التدقيق الارتباطي، مما يضمن أن السمات المحددة هي حقاً ما يدفع قرارات النموذج.
القيود: تتطلب الطريقة الوصول إلى تدرجات النموذج (مما يستبعد النماذج التي تعمل عبر واجهة برمجة التطبيقات فقط - API) وتواجه صعوبة في مفاهيم الموقع المكاني (حيث تظل خرائط الساليانس متفوقة). يُنظر إليها كأداة لتوليد الفرضيات تتطلب تحققاً بشرياً.

في الختام، يقدم "ترتيب المفاهيم البصرية" نهجاً قوياً وقائماً على السببية لتدقيق النماذج متعددة الوسائط الكبيرة، كاشفاً أن هذه النماذج غالباً ما تعتمد على اختصارات دقيقة وسياقية يمكن أن تؤدي إلى أخطاء تشخيصية كبيرة وتفاوتات ديموغرافية.