🤖 AI

Revealing the Gap in Human and VLM Scene Perception through Counterfactual Semantic Saliency

تقدم هذه الورقة البحثية "البروز الدلالي المضاد للواقع" (CSS)، وهو إطار عمل للصندوق الأسود يكشف عن فجوة كبيرة بين الإدراك البشري وإدراك نماذج اللغة والرؤية (VLM) للمشاهد، مما يظهر أن النماذج تعتمد بشكل مفرط على حجم الأشياء، ومركزيتها، وبروزها، بينما تقلل من وزن البشر مقارنة بالأسس النفسية الفيزيائية البشرية.

المؤلفون الأصليون: Ziqi Wen, Parsa Madinei, Miguel P. Eckstein

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ziqi Wen, Parsa Madinei, Miguel P. Eckstein

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك وروبوت متطور للغاية تنظران إلى صورة معقدة لشارع مزدحم. كلاكما يصف ما يحدث، ولكن هناك خدعة: رغم أنكما تدركان "جوهر" المشهد، إلا أنكما تركزان على أشياء مختلفة تماماً.

هذه الورقة البحثية تشبه قصة بوليسية تحاول اكتشاف لماذا يرى البشر والذكاء الاصطناł العالم بشكل مختلف، وذلك باستخدام أداة جديدة تسمى البروز الدلالي التقابلي (Counterfactual Semantic Saliency - CSS).

إليك تفصيل تحقيقهم بأسلوب بسيط:

1. المشكلة: لغز "الصندوق الأسود"

لفترة طويلة، حاول العلماء فهم كيفية تفكير الذكاء الاصطناعي من خلال النظر داخل "دماغه" (الكود البرمجي). لكن نماذج الذكاء الاصطناعي الحديثة تشبه صناديق سوداء ضخمة ومغلقة؛ لا يمكننا التلصص بداخلها لنرى بماذا يفكر. بالإضافة إلى ذلك، فإن الاختبارات البسيطة التي تسأل فقط "هل هذا قط؟" لا تخبرنا كيف قرر الذكاء الاصطناعي أنه قط.

2. الأداة الجديدة: لعبة "ماذا لو؟"

اخترع الباحثون لعبة تسمى البروز الدلالي التقابلي. فكر في الأمر كأنك تلعب بمجموعة من بطاقات "ماذا لو؟".

الإعداد: تعرض للذكاء الاصطناي صورة لرصيف فيه طائر أبيض وبعض معدات الصيد.
الممحاة السحرية: باستخدام ذكاء اصطناعي متطور، يقومون "بمسح" الطائر رقمياً من الصورة، مع ملء الخلفية بشكل مثالي بحيث يبدو وكأن الطائر لم يكن موجوداً أبداً.
الاختبار: يطلبون من الذكاء الاصطناعي وصف الصورة الجديدة (بدون الطائر).
القياس: يقارنون بين وصف الصورة الأصلية ووصف الصورة "الممسوحة".
- إذا تغير وصف الذكاء الاصطناعي بشكل جذري (مثلاً: من "طائر يصطاد" إلى "شخص يصطاد")، فهذا يعني أن الذكاء الاصطลอง اعتبر الطائر مهماً للغاية.
- إذا لم يتغير الوصف تقرياً (مثلاً: لا يزال يقول "طائر يصطاد" رغم اختفاء الطائر)، فهذا يعني أن الذكاء الاصطناعي يهلوس أو يتجاهل حقيقة اختفاء الطائر.

من خلال القيام بذلك لكل جسم في الصورة، يقومون بإنشاء "خريطة حرارية" لما يعتقد الذكاء الاصطناعي أنه الأكثر أهمية.

3. الاكتشاف الكبير: هوس "الحجم"

أجروا هذا الاختبار على 19 نموذجاً مختلفاً من الذكاء الاصطناعي وقارنوا النتائج بـ 227 بشرياً حقيقياً. كانت النتائج صادمة:

البشر يشبهون المحققين. نحن نبحث عن القصة. إذا كان هناك شخص في الصورة، فنحن نركز عليه لأن البشر عادة هم الشخصيات الرئيسية. نحن نتجاهل الجدران الكبيرة الفارغة أو الصخور الضخمة إذا لم تكن تفعل شيئاً مثيراً للاهتمام.
الذكاء الاصطناعي يشبه مغناطيساً ضخماً وجشعاً. هو مهووس بـ الحجم والموقع.
- تحيز الحجم: إذا كان الجسم ضخماً، يعتقد الذكاء الاصطناعي أنه الشيء الأكثر أهمية، حتى لو كان مجرد صخرة كبيرة في الخلفية.
- تحيز المركز: إذا كان الجسم في منتصف الصورة، يعتقد الذكال الاصطناعي أنه نجم العرض.
- "عمى الأشخاص": البشر يركزون طبيعياً على الأشخاص. أما الذكاء الاصطناعي، ومن المثير للدهشة، فغالباً ما يتجاهل البشر إذا كانوا صغار الحجم أو ليسوا في المركز، ويركز بدلاً من ذلك على الأجسام الكبيرة أو الساطعة أو المركزية.

التشبيه: تخيل صورة لنملة صغيرة على كرة شاطئ ضخمة وملونة.

أنت ستقول: "انظر، هناك نملة!" لأن النملة هي الجزء المثير للاهتمام في القصة.
الذكاء الاصطناعي سيقول: "هذه كرة شاطئ ضخمة"، لأن الكرة تشغل 90% من البكسلات. الذكاء الاصطناعي مركز جداً على "أكبر شيء" لدرجة أنه يفتقد النقطة الفعلية للصورة.

4. لماذا يهم هذا (وفقاً للورقة البحثية)

تخلص الورقة إلى أن السبب الرئيسي وراء عدم اتفاق البشر والذكاء الاصطناعي على ما هو مهم في الصورة هو تحيز الحجم هذا. لقد تعلم الذكاء الاصطناعي أن "الكبير = مهم" لأنه تدرب على ملايين الصور حيث يكون الموضوع الرئيسي عادةً كبيراً وفي المركز.

وجد الباحثون أيضاً أن "خرائط الانتباه" الفاخرة (الطريقة المعتادة لمحاولة رؤية ما ينظر إليه الذكاء الاصطناعي) غالباً ما تكون مضللة. إنها تشبه خربشة ضبابية ومربكة لا تتطابق مع ما يقوله الذكاء الاصطناعي فعلياً. لعبة "ماذا لو؟" (CSS) هي الطريقة الوحيدة للحصول على إجابة واضحة.

الملخص

تكشف الورقة البحثية أنه بينما يصبح الذكاء الاصطناعي أكثر ذكاءً في وصف الصور، فإنه لا يزال ينظر إلى العالم من خلال عدسة مشوهة. إنه يرى الأشياء الأكبر والموجودة في المركز كأهم الأشياء، بينما يرى البشر الأشياء الأكثر معنى (مثل البشر). وإلى أن يتعلم الذكاء الاصطناعي تقدير "المعنى" بدلاً من "الحجم"، فسيظل يخطئ في رؤية جوهر الأمور—أو في هذه الحالة، يخطئ في رؤية النملة الصغيرة على كرة الشاطئ الضخمة.

ملخص تقني: الكشف عن الفجوة في إدراك المشاهد بين البشر والنماذج اللغوية البصرية (VLM) من خلال البروز الدلالي الافتراضي

بيان المشكلة

لا يزال تقييم ما إذا كانت النماذج اللغوية البصرية (VLMs) الضخمة تتوافق مع الإدراك البشري في الفهم الدلالي عالي المستوى للمشاهد يمثل تحديًا كبيرًا. وبينما تحقق الشبكات العصبية العميقة (DNNs) غالبًا دقة مماثلة للبشر في المهام المرجعية، إلا أنها تعتمد بشكل متكرر على استراتيجيات إدراكية مختلفة، مثل الاعتماد المفرط على الأنسجة المحلية، أو الأنماط النقطية الدقيقة، أو العلاقات المكانية التي لا تتسق مع الإدراك الشمولي البشري. كما أن طرق التفسير التقليدية "ذات الصندوق الأبيض" (مثل الخرائط القائمة على التدرج أو الانتباه) غالبًا ما تكون غير قابلة للتطبيق على البنيات مغلقة المصدر وتفشل في عزل الميزات السببية. علاوة على ذلك، لا تستطيع المقاييس السلبية التمييز بين الارتباط والسببية في فهم المشهد. هناك حاءة ماسة إلى إطار عمل "صندوق أسود" ومستقل عن النموذج لتقييم أهمية الأشياء بشكل منهجي وقياس التأثير السببي للعناصر المرئية على أوصاف المشاهد.

المنهجية: البروز الدلالي الافتراضي (CSS)

يقترح المؤلفون إطار عمل البروز الدمالي الافتراضي (Counterfactual Semantic Saliency - CSS)، وهو إطار عمل "صندوق أسود" ومستقل عن النموذج، مصمم لقياس أهمية الأشياء في إدراك المشهد من خلال قياس التحول الدلالي الناجم عن استبعادها السببي.

1. توليد المحفزات الافتراضية

تتضمن عملية CSS ثلاث مراحل لتوليد صور افتراضية عالية الدقة:

توليد قائمة الأشياء: يقوم نموذج لغوي بصري ضخم (GPT-4o) بتوليد قائمة بأسماء الأشياء لمشهد معين، مع استبعاد عناصر الخلفية صراحةً (مثل السماء، البحر) لتجنب التحولات الدلالية غير المتناسبة أو الهلوسة.
التجزئة والمعالجة المسبقة للأقنعة: يقوم نموذج التجزئة المتقدم المعتمد على النصوص، SAM3، بتوليد أقنعة التجزئة. وتضمن عملية معالجة مسبقة مكونة من أربع خطوات جودة الأقنعة: إزالة المكررات (IoU > 95%)، ودمج الأقنعة المتقاربة مكانيًا ذات الملصقات المتطابقة (المسافة < 30 بكسل) لمعاملة التجمعات الهيكلية ككيانات موحدة، واستبعاد الأقنعة التي تشغل > 30% من مساحة الصورة لمنع انهيار السياق، وتطبيق التمدد (dilation) لضمان التغطية الكاملة.
ترميم الصور (Inpainting): يُستخدم النموذج التوليدي المتطور Nano Banana 2 لإزالة الأشياء المستهدفة، مما ينتج صورًا افتراضية خالية من العيوب. وتضمن عملية التحقق البشري الصارمة (14 مُقيّمًا) إزالة الأشياء المستهدفة بنجاح دون إدخال عيوب مربكة.

2. قياس التحول الدلالي

لكل جسم $o$ في مشهد $I$ ، يتم حساب درجة CSS من خلال مقارنة التمثيلات الدلالية للوصف الأصلي ووصف الصورة الافتراضية حيث تم إزالة $o$ ( $I_{do(o=\emptyset)}$ ).

توليد الوصف: يقوم النموذج اللغوي البصري المستهدف بتوليد $N=5$ أوصاف مستقلة لكل من الحالات الواقعية والافتراضية.
التضمين والتشابه: يتم استخراج تضمينات الجمل باستخدام النموذج مفتوح المصدر Jasper. تُعرف درجة CSS بأنها واحد ناقص متوسط تشابه جيب التمام الزوجي بين مجموعات الوصف الواقعي والافتراضي:
$CSS(o) = 1 - \frac{1}{N^2} \sum_{j=1}^{N} \sum_{k=1}^{N} \frac{E(d_j) \cdot E(d'_k)}{\|E(d_j)\| \|E(d'_k)\|}$
التفسير: تشير درجة CSS الأعلى إلى تحول دلالي أكبر، مما يعني أن الجسم الذي تم استبعاده كان أكثر أهمية لفهم المشهد. ويتم رسم هذه الدرجات على أقنعة التجزئة لإنشاء خريطة بروز من أعلى إلى أسفل.

3. الخط المرجعي البشري ومجموعة البيانات

لتحديد خط مرجعي بشري، استخدم المؤلفون مجموعة بيانات OSIE (700 مشهد طبيعي معقد). قاموا بتصفية المشاهد لتشمل 3-6 أشياء مستهدفة، مما نتج عنه 307 مشهدًا واقعيًا و 1,306 متغيرًا افتراضيًا.

دراسة علم النفس الفيزيائي: أُجريت دراسة واسعة النطاق مع 227 مشاركًا مستقلًا عبر Prolific، حيث تم جمع 16,289 وصفًا نصيًا صالحًا.
التصميم التجريبي: ضمن تصميم "بين المجموعات" عدم مشاهدة أي مشارك لأكثر من نسخة من نفس المشهد. تم توجيه المشاركين لتقديم وصف من جملة واحدة للمشهد، محاكيين بذلك المطالبة (prompt) المستخدمة للنماذج اللغوية البصرية.
الحقيقة الأرضية: تم تحديد الإجماع البشري عن طريق حساب متوسط التشابه الزوجي لمجموعة فرعية ثابتة من الاستجابات البشرية ليكون بمثابة "الحقيقة الأرضية" لتقييم توافق النموذج.

النتائج الرئيسية

1. الفجوة الإدراكية المنتشرة

يكشف التحليل الإحصائي الصارم عن تباعد منهجي بين الإدراك البشري وأداء النماذج اللغوية البصرية:

دقة Top-1: بينما وصلت الاتساق البشري-البشري إلى 73% في تحديد الجسم الأكثر أهمية، فشلت جميع النماذج الـ 19 التي تم تقييمها (بما في ذلك النماذج مفتوحة ومغلقة المصدر مثل GPT-5 وClaude وGemini) بشكل كبير، حيث تراوحت بين 57% و65%.
ارتباط الرتبة: بلغ متوسط معامل كيندال $\tau$ (التوافق الرتبي لأهمية الأشياء) للإجماع البشري 0.58، بينما تراوحت درجات النماذج بين 0.37 و0.51.
الفشل العالمي: فشل كل نموذج لغوي بصري تم تقييمه في الوصول إلى مستويات الاتساق البشري-البشري في التنبؤ بالجسم الأكثر أهمية أو ترتيب الأهمية العامة للأشياء.

2. التباين في التحيزات الإدراكية

حددت الدراسة تحيزات محددة تقود هذه الفجوة:

الاعتماد المفرط على السمات منخفضة المستوى: تظهر النماذج تحيزًا في الحجم (الاعتماد على مساحة الجسم)، وتحيزًا في المركز (الاعتماد على مركز الصورة)، وتحيزًا في البروز منخفض المستوى (الاعتماد على التباين/اللون) بشكل أقوى بكثير مقارنة بالبشر.
ضعف الاستخدام للمقدمات العليا: على عكس البشر، الذين يعطون الأولوية باستمرار للأشخاص (تحيز الأشخاص) في فهم المشهد، تفشل النماذج في محاكاة هذه الأولوية، حيث تعتمد بشكل أقل على الشخصيات البشرية لوصف الصور.
المحرك الأساسي: عزل التحليل الإحصائي تحيز الحجم كعامل مهيمن يفسر التباين الدلالي. وكان الارتباط بين التباين في تحيز الحجم ( $\Delta r$ ) والفجوة في دقة Top-1 ( $\Delta Acc$ ) هو 0.6130 ( $p < 0.05$ )، وهو أعلى بكثير من التحيزات الأخرى.

3. محدودية طرق الصندوق الأبيض

تقارن الورقة بين CSS وطرق التفسير التقليدية "ذات الصندوق الأبيض" (الاهتمام الخام، Grad-CAM، AGCAM) على نموذج لغوي بصري مفتوح المصدر. وتظهر النتائج ارتباطًا منخفضًا للغاية (معامل كيندال سالب) بين خرائط الاهتمام السلبية هذه ومقياس CSS السببي. كانت خرائط الصندوق الأبيض غالبًا مزدحمة، أو متفرقة، أو تركز على مناطق غير ذات صفي دلالي، مما يؤكد عدم كفايتها لتفسير بنيات النماذج اللغوية البصرية المعقدة.

الأهمية والادعاءات

تدعي الورقة أنها تقدم أول كمي منهجي للفجوة في التوافق الدلالي بين النماذج اللغوية البصرية الحديثة والمراقبين البشر في سياق إدراك المشاهد الطبيعية.

المساهمة المنهجية: تقدم CSS كإطار عمل مبتجع "صندوق أسود" يتجاوز قيود تفسير الصندوق الأبيض والمقاييس السلبية، مما يسمح بعزل الميزات السببية في النماذج مغلقة المصدر.
المساهمة التجريبية: تؤسس مجموعة بيانات مرجعية شاملة تضم 16,289 استجابة بشرية عبر 307 مشهدًا و1,306 متغيرًا افتراضيًا، مما يوفر خطًا مرجعيًا قويًا لأبحاث التوافق بين الذكاء الاصطناعي والبشر في المستقبل.
الرؤية النظرية: يوضح العمل أنه رغم زيادة عدد المعلمات وبيانات التدريب، لا تزال النماذج اللغوية البصرية الحديثة تعتمد على السمات البصرية المنخفضة المبالغ فيها (تحديدًا تحيز الحجم) بدلاً من المقدمات الدلالية العليا (مثل وجود الأشخاص). وهذا يشير إلى أن قدرات الاستدلال "فوق البشرية" في النماذج اللغوية البصرية قد لا تسد الفجوة في التوافق الإدراكي الأساسي، بل يمكن أن تؤدي أحيانًا إلى تفاقم عدم التطابق من خلال الإفراط في الاستنتاج أو الهلوسة.
الآثار المتعلقة بالسلامة: يشير المؤلفون إلى أن تحديد هذه التحيزات أمر بالغ الأهمية لسلامة الذكاء الاصطناعي، خاصة في البيئات عالية المخاطر (مثل القيادة الذاتية) حيث يمكن أن يؤدي تجاهل الأجسام الصغيرة ولكن الحرجة دلاليًا لصالح العناصر الكبيرة في الخلفية إلى عواقب كارثية.

تخلص الورقة إلى أنه بينما تظهر النماذج اللغوية البصرية توافقًا ناشئًا في المهام المعزولة، فإن فجوة منتشرة تظل قائمة في الفهم الشمولي للمشهد، مدفوعة أساسًا بالاعتماد غير الطبيعي على الهيمنة المكانية (تحيز الحجم).