🤖 AI

Which Modality Decides? Counterfactual Modality Attribution for Multimodal LLMs

تقدم هذه الورقة "عزو النمط المقابل للواقع" (CMA)، وهو إطار عمل مبتكر يستخدم أولويات الانتشار المزدوجة وقيم شابلي لتحديد أي نمط (الصورة أو النص) هو الذي يوجه تنبؤ النموذج اللغوي الكبير متعدد الوسائط، مما يكشف عن أنماط الاستدلال غير الآمنة التي تغفل عنها طرق التفسير التقليدية القائمة على مستوى الميزات.

المؤلفون الأصليون: Vahidin Hasic, Chao Wang, Luis C. Garcia-Peraza-Herrera, David Watson, Senka Krivic

نُشر 2026-08-04

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Vahidin Hasic, Chao Wang, Luis C. Garcia-Peraza-Herrera, David Watson, Senka Krivic

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق تحاول حل لغز ما، ولكن لديك شريكان مختلفان تماماً: أحدهما مصور فوتوغرافي لا يريك سوى الصور، والآخر راوٍ للقصص لا يتحدث إلا بالكلمات. في عالم الذكاء الاصطناعي، توجد حواسيب فائقة الذكاء تسمى "نماذج اللغات اللغوية متعددة الوسائط" (MLLMs) تعمل مثل هذا الفريق من المحققين؛ فهي تنظر إلى الصور وتقرأ النصوص في آن واحد لاتخاذ قرارات كبرى، مثل تشخيص مريض أو تحديد مشكلة ما. لكن الجزء الصعب هنا هو أنه ليس بالضرورة أن يكون الكمبيوتر قد توصل إلى الإجابة الصحيحة لأنه فهمها بالطريقة الصحيحة. فأحياناً، قد يكون "يعتمد على طرق مختصرة" عبر تجاهل الصور والاعتماد فقط على النص، أو العكس. هذه مشكلة كبيرة، لأننا إذا لم نعرف أي شريك هو الذي قام بالعمل، فلن نتمكن من الوثوق بالمحقق عندما تصبح الأمور خطيرة. نحن بحاجة إلى وسيلة تسأل: "مهلاً، هل كانت الصورة هي التي حلت المسألة، أم كانت القصة؟"

هذا هو بالضبط ما تعالجه دراسة جديدة أجراها باحثون من جامعة سراييفو وكينجز كوليدج لندن. إنهم قلقون من أن هؤلاء المحققين من الذكاء الاصطناعي قد يتخذون "طرقاً مختصرة"—أي الاعتماد على نوع واحد من الأدلة مع تجاهل النوع الآخر، حتى لو بدت النتيجة النهائية صحيحة. ولحل هذه المشكلة، اخترعوا أداة ذكية جديدة تسمى "إسناد الوسائط القائم على الواقع المضاد" (CMA). فكر في (CMA) كآلة "ماذا لو؟". إنها تسأل الذكاء الاصطناعي: "ماذا لو عرضنا عليك الصورة فقط؟" و"ماذا لو أعطيناك النص فقط؟". ومن خلال إنشاء هذه السيناريوهات الخيالية لـ "ماذا لو"، يمكن للأداة قياس مدى مساهمة الصورة ومدى مساهمة النص في القرار النهائي. لقد اختبروا ذلك على ألغاز وهمية وتقارير طبية حقيقية، ووجدوا أن (CMA) بارعة للغاية في اكتشاف متى يتجاهل الذكاء الاصطناعي معلومات حاسمة. في الواقع، في اختباراتهم المنضبطة، حددت الأداة المصدر الحقيقي للقرار بدقة بلغت 98%، مما كشف عن أخطاء خفية فاتتها طرق أخرى.

معضلة المحقق

تخيل أنك طبيب يحاول معرفة ما إذا كان المريض يعاني من الالتهاب الرئوي. لديك دليلان: صورة أشعة سينية للصدر (الصورة) وتقرير طبي كتبه ممرض (النص). يقول تقرير الممرض: "المريض لديه حساسية من البنسلين". وتظهر الأشعة السينية بوضوح وجود التهاب رئوي. يجب على الذكاء الاصطناعي الذكي أن ينظر إلى كليهما، ويقول: "نعم، إنه التهاب رئوي"، ثم يوصي بمضاد حيوي آمن لا يحتوي على البنسلين.

ولكن ماذا لو كان الذكاء الاصطنادي "يعتمد على طرق مختصرة"؟ ماذا لو نظر إلى الأشعة السينية، ورأى الالتهاب الرئوي، واختار فوراً مضاداً حيوياً دون حتى قراءة ملاحظة الممرض؟ إذا كان هذا المضاد الحيوي هو البنسلين بالصدفة، فقد يتعرض المريض لتفاعل خطير يهدد حياته. لقد حصل الذكال الاصطناعي على التشخيص الصحيح، لكنه فشل في اختبار السلامة لأنه تجاهل النص. يُسمى هذا "تعلم الطرق المختصرة"، وهو أمر خطير لأن الذكاء الاصطناعي يبدو مثالياً على الورق (لأنه يحصل على التشخيص الصحيح) ولكنه في الواقع غير آمن.

المشكلة هي أن معظم الأدوات الحالية لفحص الذكاء الاصطناعي تراقب فقط أين ينظر الذكاء الاصطناعي. يمكنها رسم مربع أحمر حول الالتهاب الرئوي في الأشعة السينية أو تسليط الضوء على كلمة "بنسلين" في النص. لكنها لا تستطيع الإجابة على السؤال الكبير: أي منهما جعل الذكاء الاصطناعي يقرر؟ هل كانت الصورة هي التي دفعت القرار، أم النص؟ أم أنهما عملا معاً؟

آلة "ماذا لو؟"

ابتكر الباحثون طريقة جديدة تسمى "إسناد الوسائط القائم على الواقع المضاد" (CMA) لحل هذه المشكلة. كلمة "واقع مضاد" (Counterfactual) هي طريقة منمقة لقول "ماذا لو؟". تقوم (CMA) بلعبة "ماذا لو؟" مع الذكاء الاصطناعي.

إليك كيف تعمل، باستخدام تشبيه بسيط:
تخيل أنك تخبز كعكة بمكونين: الدقيق والسكر. تريد أن تعرف أي منهما يجعل الكعكة حلوة المذاق.

الكعكة الأصلية: تخبز كعكة بالدقيق والسكر معاً. طعمها حلو.
سيناريوهات "ماذا لو":
- السيناريو (أ) (الصورة فقط): تخبز كعكة بالدقيق فقط (بدون سكر).
- السيناريو (ب) (النص فقط): تخبز كعكة بالسكر فقط (بدون دقيق).
- السيناريو (ج) (إزالة كليهما): تخبز كعكة بدون أي منهما.

من خلال تذوق هذه الكعكات المختلفة، يمكنك معرفة مدى مساهمة السكر في الحلاوة. إذا كانت الكعكة التي تحتوي على السكر فقط لا تزال حلوة، بينما الكعكة التي تحتوي على الدقيق فقط باهتة، فأنت تعلم أن السكر هو النجم.

تقوم (CMA) بهذا الأمر بالنسبة للذكاء الاصطناعي، ولكن بدلاً من الكعك، تستخدم الصور والنصوص. وهي تستخدم "مولدات سحرية" خاصة (تسمى نماذج الانتشار - Diffusion Models) لإنشاء نسخ واقعية من المدخلات حيث يتم فيها إزالة النص مع الاحتفاظ بالصورة، أو إزالة الصورة مع الاحتفاظ بالنص. ثم تطلب من الذكاء الاصطناعي تقديم توقع على هذه النسخ الجديدة والمعدلة.

لوحة النتائج: من الذي قام بالعمل؟

بمجرد أن يقوم الذكاء الاصطناعي بتقديم توقعاته على جميع نسخ "ماذا لو" هذه، تستخدم (CMA) نظام تسجيل رياضي يسمى "قيم شابلي" (Shapley values). يمكنك التفكير في هذا كلوحة نتائج في لعبة فيديو حيث يلعب لاعبان (الصورة والنص) في فريق واحد. تحسب لوحة النتائج مقدار مساهمة كل لاعب في فوز الفريق.

إذا غير الذكاء الاصطناعي رأيه عند إزالة النص، فإن النص يحصل على درجة عالية.
إذا غير الذكاء الاصطناعي رأيه عند إزالة الصورة، فإن الصورة تحصل على درجة عالية.
إذا كان الذكاء الاصطناعي بحاجة إلى كليهما للحصول على الإجابة الصحيحة، فإنهما يتشاركان الدرجة.

النتيجة هي نسبة مئوية واضحة: "90% صورة، 10% نص". وهذا يخبرنا بالضبط أي وسيط هو الذي يقود القرار.

ما الذي وجدوه؟

اختبر الباحثون (CMA) بطريقتين:

الألغاز الوهمية: أنشأوا لعبة حيث عرفوا يقيناً أن من المفترض أن يعتمد الذكاء الاصطناعي فقط على الصورة، أو فقط على النص. في هذه الاختبارات، كانت (CMA) نجمة متألقة. فقد حددت الذكاء الاصطناعي "المعتمد على الطرق المختصرة" بدقة بلغت 98% من الوقت. أما الطرق الأخرى، التي تكتفي بمراقبة البكسلات أو الكلمات الفردية، فقد ارتبكت وفشلت في رصد هذا الانحياز.
التقارير الطبية الحقيقية: اختبروها على مجموعة بيانات حقيقية من صور الأشعة السينية للصدر وملاحظات الأطباء. ووجدوا حالات كان يعتمد فيها الذكاء الاصطناعي على طرق مختصرة غريبة. على سبيل المثال، في إحدى الحالات، كان الذكاء الاصطناعي يشخص وجود "عقدة" (كتلة) لأنه رأى أسلاك تخطيط القلب (ECG leads) في الأشعة السينية، وليس لأنه رأى الكتلة الفعلية. عندما قامت (CMA) بإزالة الأسلاك (الاختصار الموجود في الصورة)، غير الذكاء الاصطناعي رأيه. أثبت هذا أن (CMA) يمكنها العثة على طرق مختصرة خطيرة فاتت الأدوات الأخرى.

لماذا يهم هذا؟

أهم شيء تظهره هذه الورقة البحثية هو أن أن تكون على صواب ليس كافياً. يمكن للذكاء الاصطناعي أن يعطي الإجابة الصحيحة لأسباب خاطئة. إذا تحققنا فقط مما إذا كانت الإجابة صحيحة، فقد نغفل عن حقيقة أن الذكاء الاصطناعي يتجاهل معلومات سلامة حاسمة (مثل الحساسية).

توفر (CMA) وسيلة لتدقيق عملية تفكير الذكاء الاصطناعي. فهي لا تخبرنا فقط بماذا قرر الذكاء الاصطناعي، بل تخبرنا لماذا اتخذ هذا القرار. وهذا أمر بالغ الأهمية في المواقف عالية المخاطر مثل الرعاية الصحية، أو السيارات ذاتية القيادة، أو القرارات القانونية، حيث نحتاج إلى التأكد من أن الذكاء الاصطناعي يستخدم جميع الأدلة المتاحة لديه، وليس فقط الأشياء السهلة.

يعترف الباحثون بأن أداتهم تتطلب بعض القدرة الحوسبية للتشغيل وليست مثالية بعد، لكنها خطوة كبيرة للأمام. إنها تحول "الصندوق الأسود" لاتخاذ القرار في الذكاء الاصطناعي إلى شيء يمكننا فهمه والوثوق به حقاً، مما يضمن أنه عندما يقول الذكاء الاصطناعي "أنا متأكد"، فإنه متأكد بالفعل للأسباب الصحيحة.

ملخص تقني: عزو النمط عبر التناقض الواقعي للنماذج اللغوية الكبيرة متعددة الوسائط

بيان المشكلة

تنتشر النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) بشكل متزايد في المجالات عالية المخاطر، مثل دعم القرار السريري، حيث تدمج معلومات متكاملة من الصور والنصوص. وبينما تنجح طرق التفسير الحالية (مثل خرائط البروز أو أوزان الانتباه) في تحديد الميزات المؤثرة داخل الأنماط الفردية (مثل مناطق محددة في الصورة أو رموز نصية معينة)، إلا أنها تفشل في الإجابة على سؤال جوهري: أي نمط هو الذي يقود التنبؤ فعلياً؟

تعمل الطرق الحالية محلياً ضمن قنوات فردية ولا يمكنها قياس المساهمة النسبية لأنماط كاملة أو تفاعلاتها. وبناءً على ذلك، قد ينتج النموذج مخرجاً صحيحاً بالاعتماد على "طريق مختصر" من نمط واحد مع تجاهل أدلة حاسمة في نمط آخر (على سبيل المثال، تشخيص الالتهاب الرئوي بشكل صحيح من صورة أشعة سينية ولكن مع تجاهل ملاحظة نصية حول حساسية البنسلين). هذا الاعتماد الخفي على نمط معين يحجب أنماط الاستدلال غير الآمنة التي تظل غير مرئية لمقاييس الدقة التنبؤية القياسية. وتجادل الورقة بأن عزو النمط (Modality Attribution) هو هدف تفسيري متميز ومكمل لعزو الميزات، وهو ضروري لتدقيق نماذج التأسيس متعددة الوسائط.

المنهجية: العزو التناقضي الواقعي للنمط (CMA)

يقترح المؤلفون إطار عمل العزو التناقضي الواقعي للنمط (CMA)، وهو إطار عمل مستقل عن النموذج يقيس المساهمات على مستوى النمط باستخدام مزيج من مقدمات الانتشار المقترنة ونظرية الألعاب التعاونية. يعمل إطار العمل عبر ثلاث مراحل:

1. التوليد التناقضي الواقعي المقترن والموجه

خلافاً لطرق التناقض الواقعي السابقة التي تتدخل في نمط واحد، يقوم CMA بتوليد نماذج تناقض واقعي للصور فقط، وللنصوص فقط، ومتعددة الوسائط مشتركة بشكل متزامن ضمن إطار تحسين موحد.

المقدمات (Priors): تستخدم الطريقة نماذج انتشار مدربة مسبقاً بشكل مستقل: نموذج انتشار احتمالي لتقليل الضجيج (DDPM) للصور، ونموذج لغوي انتشار ريماني (RDLM) للنصوص.
التزامن: خلال عملية الانتشار العكسي، يتم مزامنة نماذج الصور والنصوص عند نفس الخطوة الزمنية. ويتم توجيههما بشكل مشترك بواسطة تدرجات من مصنف متعدد الوسائط (MLLM) مدرب مسبقاً لتقليل خسارة هامش كارليني-واجنر ( $L_{CW}$ ). يضمن ذلك أن تكون النماذج التناقضية الواقعية (تقع على منحنى البيانات) وتمثل تدخلات دنيا تغير التنبؤ.
الأنماط:
- الصور فقط: النص ثابت؛ ويتم تحسين الصورة لعكس التنبؤ.
- النصوص فقط: الصورة ثابتة؛ ويتم تحسين النص لعكس التنبؤ.
- المشترك: يتم تحسين كلا النمطين في آن واحد لالتقاط التبعيات بين الأنماط.

2. تعريف قيمة التحالف

تحدد النماذج التناقضية الواقعية المولدة لعبة تعاونية مكونة من لاعبين، حيث يعمل النمط الصوري (I) والنمط النصي (T) كلاعبين. تُعرف دالة القيمة $v(S)$ للتحالف $S \subseteq \{I, T\}$ بأنها درجة الـ (logit) المخصصة للفئة المتنبأ بها الأصلية $\hat{y}$ عندما تظل الأنماط في $S$ دون تغيير ويتم استبدال الأنماط غير الموجودة في $S$ بنظائرها التناقضية الواقعية.
القيم الأربع المطلوبة للتحالف هي:

$v(\{I, T\})$ : العينة الأصلية $(x_I, x_T)$ .
$v(\{I\})$ : الصورة الأصلية، والنص التناقضي الواقعي $(x_I, x'_T)$ .
$v(\{T\})$ : الصورة التناقضية الواقعية، والنص الأصلي $(x'_I, x_T)$ .
$v(\emptyset)$ : كلا النمطين التناقضيين الواقعيين $(x'_I, x'_T)$ .

3. عزو قيمة شابلي (Shapley Value)

يقوم إطار العمل بحساب قيم شابلي ( $\theta_I, \theta_T$ ) لقياس المساهمة الهامشية لكل نمط. بالنسبة للعبة ذات لاعبين، تتبع هذه القيم حلاً مغلقاً:
$\theta_I = \frac{1}{2} [v(\{I\}) - v(\emptyset) + v(\{I, T\}) - v(\{T\})]$
$\theta_T = \frac{1}{2} [v(\{T\}) - v(\emptyset) + v(\{I, T\}) - v(\{I\})]$
يتم تطبيع درجات العزو النهائية إلى نسب مئوية (نسبة الصورة ونسبة النص) للإشارة إلى النمط الذي يقود القرار بشكل أساسي.

المساهمات الرئيسية

هدف تفسيري مكمل: تصيغ الورقة عزو النمط كعنصر مكمل ضروري لعزو الميزات، مما يعالج الفجوة في فهم أي نمط يقود القرار.
إطار عمل جديد للتناقض الواقعي: يعد CMA أول إطار عمل يولد نماذج تناقية واقعية متزامنة، وصورية فقط، ونصية فقط، ومشتركة متعددة الوسائط للنماذج اللغوية الكبيرة متعددة الوسائط المدربة مسبقاً باستخدام مقدمات انتشار مقترنة.
صياغة عزو مبدئية: يقدم نهجاً قائماً على نظرية الألعاب باستخدام قيم شابلي لتحويل النماذج التناقضية الواقعية متعددة الوسائط إلى درجات قابلة للتفسير تقيس المساهمات الفردية والتفاعلات غير الخطية بين الأنماط.
التحقق الواسع: تم التحقق من الطريقة على اختبارات معيارية اصطناعية ومجموعة بيانات سريرية حقيقية، مما أظهر أداءً فائقاً على النماذج المرجعية في تحديد الأنماط التي تقود القرار.

النتائج التجريبية

قيم المؤلفون CMA على معيارين:

MNIST متعدد الوسائط الاصطناعي: معيار محكم بمعرفة حقيقة الاعتماد على النمط (نسخ متحيزة للصور، متحيزة للنصوص، ومتوازنة).
OpenI متعدد الفئات: مجموعة بيانات حقيقية لأشعة الصدر السينية مقترنة بتقارير الأشعة.

الأداء:

الدقة: في اختبارات MNIST الاصطناعية، حدد CMA النمط الصحيح الذي يقود القرار بدقة 98% في الحالات المتحكم بها.
المقارنة مع النماذج المرجعية: تفوق CMA بشكل كبير على النماذج المرجعية بما في ذلك Input $\times$ Gradient، وPerturbation SHAP، وEAGLE، وMM-SHAP، وMultiViz. ومن الجدير بالذكر أن MM-SHAP وMultiViz حققا دقة 0% و3% على التوالي في العينات المتحيزة للصور، وفشلا في استعادة الانحيازات المعروفة للنموذج.
النتائج النوعية: في مجموعة بيانات OpenI، كشف CMA أن النموذج الذي يتنبأ بوجود "عقدة" (Nodule) اعتمد على ارتباطات زائفة مع أقطاب تخطيط القلب (الظاهرة في الصورة) بدلاً من الأدلة السريرية. فشلت النماذج التناقضية الواقعية للنصوص فقط في تغيير التنبؤ لأن الاختصار الصوري ظل قائماً، مما يوضح ضرورة تحليل التناقض الواقعي المشترك.
دراسة الاستئصال (Ablation Study): أظهرت تجارب الفساد التدريجي أن درجات عزو CMA تتكيف باستمرار مع الأدلة المتاحة. ومع فساد أحد الأنماط، تنخفض مساهمته إلى 0%، لتنتقل بالكامل إلى النمط السليم، مما يكشف عن الانهيار أحادي النمط الذي تغفله مقاييس الدقة.

الأهمية والادعاءات

تدعي الورقة أن عزو النمط هو بُعد حاسم لم يتم تناوله سابقاً في تفسير الذكاء الاصطناعي متعدد الوسائط. ومن خلال الانتقال لما وراء التفسيرات على مستوى الميزات، يوفر CMA إطار عمل مبدئياً لتدقيق ما إذا كان النموذج يعتمد على أدلة متكاملة أم على اختصارات غير آمنة.

يؤكد المؤلفون أن CMA يتيح:

كشف الفشل الخفي: تحديد الحالات التي تعتمد فيها التنبؤات الصحيحة على النمط الخاطئ (مثل تجاهل تحذيرات الحساسية في النص).
تدقيق الاستدلال بين الأنماط: قياس التفاعلات غير الجمعية بين الأنماط التي لا تستطيع التدخلات المستقلة لكل نمط التقاطها.
النشر الموثوق: توفير آلية للتحقق من أن القرارات عالية المخاطر (مثل الرعاية الصحية) مدفوعة بمزيج مناسب من مصادر الأدلة.

تخلص الورقة إلى أنه بينما يعمل CMA حالياً على مستوى النمط ويتطلب تكاليف حوسبية بسبب توليد الانتشار، فإنه يضع نهجاً تأسيسياً للتدقيق المنهجي للنماذج التأسيسية متعددة الوسائط في التطبيقات الحرجة للسلامة.