💻 computer science

SMSP: A Plug-and-Play Strategy of Multi-Scale Perception for MLLMs to Perceive Visual Illusions

تقدم هذه الورقة مجموعة بيانات IlluChar وإطار عمل SMSP القابل للتوصيل والتشغيل لمعالجة ضعف النماذج اللغوية الكبيرة متعددة الوسائط تجاه الأوهام البصرية الناتجة عن انحياز الانتباه عالي التردد، مما يحسن دقة إدراكها بشكل كبير من خلال التوافق مع الاستراتيجيات البصرية البشرية.

المؤلفون الأصليون: Jinzhe Tu, Ruilei Guo, Zihan Guo, Junxiao Yang, Shiyao Cui, Minlie Huang

نُشر 2026-03-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jinzhe Tu, Ruilei Guo, Zihan Guo, Junxiao Yang, Shiyao Cui, Minlie Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تنظر إلى صورة لشارع مدينة مزدحم وصاخب. وفي مكان ما وسط هذا الصخب من لافتات النيون، وأضواء السيارات، وأنماط الحشود، يختبئ رقم بسيط: الرقم "5".

بالنسبة للإنسان، إذا أغمضت عينيك قليلاً أو تراجعت بضع خطوات للخلف، يتلاشى الضجيج ويبرز الرقم "5" بوضوح. لكن بالنسبة لنموذج ذكاء اصطناعي متطور (نموذج لغوي كبير متعدد الوسائط - MLLM)، فإن تلك الصورة هي كارثة. ينشغل الذكاء الاصطناعي بالتفاصيل الساطعة والفوضوية للمدينة لدرجة أنه يغفل تماماً عن الرقم "5". الأمر يشبه كأن كان الذكاء الاصطناعي يحدق بشدة في البكسلات الفردية لجدار من الطوب، مما يجعله يفشل في رؤية شكل المنزل.

هذه الورقة البحثية، بعنوان "SMSP: استراتيجية الإدراك متعدد المقاييس القابلة للتركيب والتشغيل"، تدور حول تعليم هذه النماذج من الذكاء الاصطناعي كيفية "إغماض العينين" و"التراجع للخلف" تماماً كما يفعل البشر.

إليك تفصيل لاكتشافهم وحلهم، باستخدام تشبيهات بسيطة:

1. المشكلة: عمى "التركيز المفرط" لدى الذكاء الاصطناعي

وجد الباحثون أن نماذج الذكاء الاصطناعي لديها نقطة ضعف محددة تسمى "انحياز الانتباه للترددات العالية" (High-Frequency Attention Bias).

التشبيه: تخيل أنك تحاول سماع همسة في غرفة حيث يعزف شخص ما مقطوعة طبول صاخبة. عقلك يركز طبيعياً على الإيقاعات الصاخبة والسريعة والمعقدة (الضجيج عالي التردد) ويتجاهل الهمسة الهادئة.
الواقع: الخلفية في الخدع البصرية تشبه عزف الطبول ذاك؛ فهي مليئة بالأنسجة المعقدة عالية التردد (مثل التشويش على تلفاز قديم أو الأنماط المعقدة). الرسالة المخفية (الهمسة) تكون أكثر سلاسة وبساطة. "يتشتت" الذكاء الاصطناعي بسبب ضجيج الخلفية الصاخب ويفشل في سماع الهمسة.

2. مجموعة البيانات الجديدة: "IlluChar"

لدراسة ذلك، أنشأ الفريق اختباراً جديداً يسمى IlluChar.

الاختبارات السابقة كانت تشبه إخفاء قطة كرتونية في صورة، وهو أمر سهل على الذكاء الاصطناعي رصده.
أما IlluChar فهو يشبه إخفاء حرف صيني محدد، أو حرف لاتيني، أو رقم داخل مشهد واقعي معقد أو جدار من ضجيج التشويش. وهو أمر أصعب بكثير.
النتيجة: حتى أذكى نماذج الذكاء الاصطناعي لم تنجح في حل هذه الاختبارات بنسبة تزيد عن 15%. ومع ذلك، حقق البشر نسبة تقترب من 100%.

3. الحل: SMSP (مرشح الإدراك)

لم يحاول الفريق إعادة تدريب الذكاء الاصطناعي (وهو أمر يشبه محاولة إعادة توصيل أسلاك الدماغ البشري). بدلاً من ذلك، ابتكروا أداة "قابلة للتركيب والتشغيل" (Plug-and-Play) تسمى SMSP (استراتيجية الإدراك متعدد المقاييس).

فكر في SMSP كأنه نظارات خاصة تضعها على الصورة قبل عرضها على الذكاء الاصطناعي. هذه النظارات تحاكي كيفية تعديل البشر لرؤيتهم للعثور على الأشياء المخفية.

تقوم هذه النظارات بمهمتين رئيسيتين:

أ. مرشح "إغماض العينين" (ترشيح الترددات العالية)

الفعل البشري: عندما تغمض عينيك قليلاً (تضيق جفونك)، فإنك تموه التفاصيل الحادة والمزعجة.
فعل الذكاء الاصطناعي: تقوم الأداة رياضياً بإزالة "التشويش" والحواف الحادة من الخلفية، تاركةً الأشكال السلسة فقط. فجأة، يبرز الحرف المخفي مقابل خلفية أكثر نظافة.

ب. مرشح "التراجع للخلف" (إعادة تغيير المقياس المكاني)

الفعل البشري: عندما تتراجع للخلف من ملصق إعلاني، تصبح التفاصيل الصغيرة ضبابية، لكن الصورة الكبيرة تصبح واضحة.
فعل الذكاء الاصطناعي: تقوم الأداة بتصغير حجم الصورة ثم إعادة توسيعها. هذا يضغط ضجيج الخلفية، مما يجعل الحرف المخفي يبدو أكثر كثافة وسهولة في القراءة.

ج. استراتيجية "متعددة المقاييس"

بما أن بعض الحروف المخفية كبيرة وبعضها صغير جداً، فإن الإعداد الواحد لا يناسب الجميع.

التشبيه: تخيل أن لديك صندوق أدوات يحتوي على ثلاث عدسات مكبرة مختلفة: واحدة للأجسام الضخمة، وواحدة للأجسام المتوسطة، وواحدة للأجسام الصغيرة.
فعل الذكاء الاصطناعي: لا تكتفي SMSP بعرض صورة واحدة مصفاة للذكاء الاصطناعي، بل تعرض له أربع صور في وقت واحد:
1. الصورة الأصلية الفوضوية.
2. نسخة مصفاة للأشياء المخفية الكبيرة.
3. نسخة مصفاة للأشياء المخفية المتوسطة.
4. نسخة مصفاة للأشياء المخفية الصغيرة.

يمكن للذكاء الاصطناعي بعد ذلك النظر في الصور الأربعة وقول: "آه، في الصورة الثالثة، اختفى الضجيج، وأنا أرى الرقم 5!".

4. النتائج: من "عديم الفهم" إلى "خبير"

كانت النتائج دراماتيكية.

قبل SMSP: حصل نموذج الذكاء الاصطناعي (Qwen3-VL-8B) على نسبة 13% فقط في التعرف على الحروف المخفية بشكل صحيح.
بعد SMSP: حقق نفس النموذج نسبة 84%.

الأهم من ذلك هو أن هذا لم يؤثر على قدرة الذكاء الاصطناعي على القيام بأشياء أخرى. فإذا عرضت عليه صورة عادية لقطة، فسيظل يتعرف على القطة بشكل مثالي. لم يكن بحاجة لإعادة التدريب؛ كان يحتاج فقط إلى "النظارات" المناسبة.

لماذا يهم هذا؟

تثبت هذه الورقة البحثية أن الذكاء الاصطناعي ليس "غبياً" أو يفتقر إلى المعرفة في بعض الأحيان. هو فقط يمتلك طريقة مختلفة في "الرؤية" عن البشر؛ فهو يركز على التفاصيل الخاطئة.

من خلال منح الذكاء الاصطناعي خطوة معالجة مسبقة بسيطة تحاكي الحدس البشري (إغماض العينين والتراجع للخلف)، يمكننا إصلاح نقاطه العمياء دون تدريب مكلف. إنه تذكير بأنه في بعض الأحيان، لجعل الآلة أكثر ذكاءً، لا تحتاج إلى تعليمها المزيد؛ بل تحتاج فقط إلى إظهار العالم لها بطريقة تستطيع فهمها.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "SMSP: استراتيجية قابلة للتركيب والتشغيل للإدراك متعدد المقاييس لنماذج اللغات الكبيرة متعددة الوسائط (MLLMs) لإدراك الأوهام البصرية."

1. بيان المشكلة

تُظهر نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) ضعفًا حرجًا تجاه الأوهام البصرية ذات الأنماط المخفية. في هذه الصور، يتم دمج محتوى محدد (أنماط) داخل خلفية بحيث يكون غير محسوس للنموذج ولكنه واضح للبشر.

الفجوة: تعاني النماذج الحالية من "عدم توافق إدراكي" مع البشر. فبينما يمكن للبشر تعديل إدراكهم غريزيًا (مثل تضييق العينين أو النظر من مسافة بعيدة) للكشف عن المحتوى المخفي، تفشل هذه النماذج في القيام بذلك.
التحدي المحدد: ركزت الأبحاث السابقة على الأنماط البسيطة (حيوانات، ملابس). تسلط هذه الورقة الضوء على أن الأوهام القائمة على الرموز (أرقام، حروف، رموز صينية) أصعب بكثير بالنسبة للنماذج بسبب التفاصيل الهيكلية الدقيقة (مثل التمييز بين الرقم '6' و '8').
الآثار الأمنية: يشكل هذا الضعف مخاطر أمنية، حيث يمكن استخدام هذه الأوهام كأدوات لتجاوز الرقابة الآلية للمحتوى أو تمويه المعلومات الخبيثة.

2. النتائج الرئيسية وتحليل الآلية

أجرى المؤلفون تحقيقًا منهجيًا لفهم سبب فشل نماذج MLLM:

انحياز الانتباه للتردد العالي: من خلال تحليل الطاقة الطيفية (تحويل فوريه السريع - FFT)، وجد المؤلفون أن خلفيات الأوهام تحتوي على مكونات تردد عالٍ قوية (أنسجة، ضوضاء).
إزاحة الانتباه: كشف تحليل خرائط انتباه النموذج (باستخدام مشفرات CLIP-ViT) أن نماذج MLLM توجه الانتباه بشكل غير متناسب نحو أنسجة الخلفية ذات التردد العالي، مما يؤدي إلى تجاهل الأنماط المخفية التي تكون مشفرة في مكونات ذات تردد أقل نسبيًا.
الحساسية للمقياس: تعاني النماذج بشكل كبير مع تغير مقياس الرموز المخفية، مما يظهر نقصًا في المتانة تجاه التنوع المكاني.

3. المنهجية: SMSP (استراتيجية الإدراك متعدد المقاييس)

لمعالجة انحياز الانتباه للتردد العالي، يقترح المؤلفون SMSP، وهو إطار عمل قابل للتركيب والتشغيل (Plug-and-Play)، ولا يتطلب تدريبًا، يحاكي الاستراتيجيات الإدراكية البشرية. ويتكون من مكونين أساسيين:

أ. وحدة الإدراك (عنق زجاجة إشارة التردد العالي)

تعالج هذه الوحدة الصورة المدخلة لقمع ضوضاء التردد العالي المشتتة، محاكيةً استراتيجيتين بشريتين:

ترشيح التردد العالي (محاكاة "تضييق العينين"): يتم تحويل الصورة المدخلة إلى المجال الترددي عبر FFT. يتم تطبيق مرشح تمرير منخفض للتخلص من إشارات التردد العالي فوق عتبة معينة ( $\lambda$ )، مما يؤدي فعليًا إلى إزالة ضوضاء الخلفية.
إعادة القياس المكاني (محاكاة "النظر من بعيد"): يتم تصغير حجم الصورة المرشحة بمعامل ( $s$ ) ثم إعادة ملئها (Padding) لتصل إلى الدقة الأصلية بخلفية بيضاء. هذا يعطي الأولوية للهيكل العام على حساب الأنسجة المحلية، مما يجعل الأنماط المخفية أكثر كثافة ووضوحًا.

ب. استراتيجية تعدد المقاييس

بما أن الأنماط المخفية تختلف في الحجم، فإن معالجة واحدة لا تكفي.

يقوم النظام بتوليد $K$ من النسخ المتنوعة من الصورة المعالجة باستخدام تدرج هندسي للمعلمات ( $\lambda$ و $s$ )، تتراوح من الترشيح القوي (للأنماط الكبيرة) إلى الترشيح الخفيف (للأنماط الصغيرة).
المدخل النهائي لنموذج MLLM هو عبارة عن زوج (Tuple) من $K+1$ صورة: الصورة الأصلية بالإضافة إلى النسخ $K$ المعالجة.
يسمح هذا للنموذج باختيار العرض الأكثر غنى بالمعلومات ديناميكيًا، تمامًا كما يعدل البشر تركيزهم.

4. المساهمات الرئيسية

مجموعة بيانات IlluChar: مجموعة بيانات معيارية شاملة وتحديّة تحتوي على صور بدقة 1,000×1,000 بكسل مع رموز مخفية (أرقام، حروف إنجليزية، ورموز صينية). تتميز بأنواع خلفيات متنوعة (مشاهد مولدة بالذكاء الاصطناعي الدلالي وأنسجة ضوضاء) ومقاييس رموز متفاوتة (كبيرة، متوسطة، صغيرة).
تحديد الآلية: التوصيف النظري لـ "انحياز الانتباه للتردد العالي" كسبب جذري لفشل نماذج MLLM في مواجهة الأوهام البصرية.
إطار عمل SMSP: استراتيجية مبتكرة، لا تتطلب تدريبًا، وقابلة للتركيب والتشغيل، ترفع الأداء بشكل كبير دون إعادة تدريب معاملات النموذج.

5. النتائج التجريبية

قيم المؤلفون SMSP على ستة من أحدث نماذج MLLM (بما في ذلك Qwen3-VL, GLM-4.5V, GPT-5.2, Gemini-2.5-Pro, و Claude-Sonnet-4.5).

قفزات هائلة في الأداء:
- Qwen3-VL-8B-Instruct: ارتفعت الدقة في صور الأوهام من 13.0% إلى 84.0%.
- التعميم: حسن SMSP الأداء باستمرار عبر جميع النماذج، وأنواع الخلفيات (الدلالية والضوضاء)، ومقاييس الرموز.
- المقارنة: تفوق SMSP بشكل كبير على النماذج المرجعية مثل (Chain-of-Thought) و (Gaussian Blur) و (Histogram Equalization).
الحفاظ على القدرات العامة:
- على عكس الطرق الأخرى التي تضعف الأداء على الصور النظيفة، حافظ SMSP على الدقة أو حسنها قليلاً في مهام الإجابة على الأسئلة البصرية القياسية (SimpleVQA, MMStar, RealWorldQA).
- يؤكد هذا أن الاستراتيجية لا تتدخل في التفكير البصري الأساسي للنموذج.
التعميم على الأنماط الأخرى: أظهر SMSP أيضًا أداءً فائقًا في الأوهام غير المتعلقة بالرموز (حيوانات، FashionMNIST، وأنماط ضارة).
الكفاءة: بينما يزيد SMSP من عدد الرموز المدخلة (بمعامل ~3-4)، إلا أن العبء الزمني الإضافي ضئيل (على سبيل المثال، من 1.08 ثانية إلى 1.43 ثانية)، مما يوفر توازنًا جيدًا.

6. الأهمية والتأثير

التوافق الإدراكي: يوضح هذا العمل أن العديد من حالات فشل نماذج MLLM تنبع من عدم التوافق الإدراكي وليس من نقص المعرفة أو قدرة النموذج.
حل لا يتطلب تدريبًا: يقدم حلًا عمليًا ومتينًا لا يتطلب إعادة تدريب مكلفة أو ضبطًا دقيقًا، مما يجعله جاهزًا للنشر الفوري.
السلامة والمتانة: من خلال التخفيف من الضعف تجاه الأوهام البصرية، يعزز SMSP سلامة نماذج MLLM في مراقبة المحتوى ويقلل من مخاطر الهجمات العدائية باستخدام الأنماط المخفية.
الاتجاه المستقبلي: تقترح الورقة نموذجًا جديدًا لـ "الإدراك الواعي" في النمذجة متعددة الوسائط، حيث يكون مواءمة المعالجة النموذجية مع الاستراتيجيات البصرية البشرية هو المفتاح لحل المهام البصرية المعقدة.

توافر الكود: أتاح المؤلفون الكود الخاص بهم ومجموعة بيانات IlluChar للجمهور عبر الرابط: https://github.com/Tujz2023/SMSP.