← أحدث الأبحاث
💻 computer science

What Color Is the Text? A Benchmark for Hallucination Induced by Image-Embedded Prompt

تقدم هذه الورقة معيار "سترووب المضمن" (Embedded Stroop) ومجموعة بيانات "ما لون النص" (WCIT) لإثبات أن النماذج اللغوية الكبيرة متعددة الوسائط تعاني بشكل متكرر من "هلوسات ستروب"، حيث تجيب بشكل غير صحيح بالمعنى الدلالي للنص المضمن في صورة ما بدلاً من اللون الفعلي لذلك النص، مما يكشف أن المقروئية الدلالية يمكن أن تطغى على الإدراك البصري للون.

المؤلفون الأصليون: Jinkun Zhao, Lei Huang, Haixin Ge, Wenjun Wu

نُشر 2026-08-24
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Jinkun Zhao, Lei Huang, Haixin Ge, Wenjun Wu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم الذكاء الاصطناعي، تبرز فئة متنامية من الأنظمة تُعرف بالنماذج اللغوية الكبيرة متعددة الوسائط. هذه العقول الرقمية يمكنها رؤية الصور وقراءة النصوص، ثم دمج هاتين الحاستين للإجابة على أسئلة حول العالم. لقد أصبحت هذه النماذج بارعة بشكل ملحوظ في وصف صورة أو حل لغز بناءً على صورة ما. ومع ذلك، تماماً مثل البشر، لا تسلم هذه الأنظمة من الارتباك؛ إذ يمكنها أحياناً أن تُخدع بما تراه، أو بدقة أكثر، بكيفية تفسيرها لما تراه. ومن الأمثلة الكلاسيكية على هذا الارتباك ما يُعرف بـ "تأثير ستروب" (Stroop effect)، وهو اختبار نفسي شهير. في هذا الاختبار، يُعرض على الشخص كلمة مثل "RED" (أحمر) مطبوعة بحبر أزرق. وإذا طُلب منه تحديد لون الحبر، فإن الدماغ البشري غالباً ما يتعثر لأن الدماغ يقرأ كلمة "RED" تلقائياً قبل أن يتمكن من التركيز على اللون الأزرق. يتعين على الدماغ بذل جهد كبير لتجاهل معنى الكلمة والتركيز فقط على اللون المرئي. ولسنوات، تساءل العلماء عما إذا كانت هذه النماذج الحاسوبية المتقدمة تعاني من نفس النوع من الخلل الذهني عندما تنظر إلى الصور.

قرر فريق من الباحثين في جامعة بهيانغ في الصين وضع هذا التساؤل قيد الاختبار عبر تجربة جديدة صُممت خصيصاً للآلات. لقد أنشأوا معياراً تقييمياً أطلقوا عليه اسم "ما لون النص؟"، والذي يقدم للكمبيوتر صورة بسيطة ولكنها مخادعة. فبدلاً من طرح السؤال على الكمبيوتر في صندوق نصي منفصل، قاموا بكتابة السؤال مباشرة على الصورة نفسها. تخيل مربعاً أبيض كُتبت عليه عبارة "ما لون النص؟" بحبر أسود. وداخل هذه الصورة نفسها، توجد كلمة أخرى، مثل "BLUE" (أزرق)، ولكن هذه الكلمة مطبوعة بحبر أحمر. والمطلوب من الكمبيوتر هو تحديد لون الحبر المستخدم لكلمة "BLUE". التحدي يكمكم في أن على الكمبيوتر تجاهل معنى كلمة "BLUE" والإبلاغ عن أن الحبر في الواقع أحمر. هذا الإعداد يجبر الآلة على الاختيار بين ما تقوله الكلمة وما تراه العين.

عندما أجرى الباحثون هذا الاختبار على ستة عشر نموذجاً مختلفاً من نماذج الذكاء الاصطناعي، تتراوح بين المشاريع مفتوحة المصدر والأنظمة التجارية القوية، كانت النتائج مذهلة. لقد فشلت الآلات في كثير من الأحيان أكثر مما نجحت. وفي الواقع، عندما كان السؤال مدمجاً مباشرة داخل الصورة، كانت النماذج تتجاهل في كثير من الأحيان اللون الفعلي للحبر وتكتفي بالإجابة باللون المذكور في النص. على سبيل المثال، إذا كُتبت كلمة "GREEN" (أخضر) بحبر أرجواني، فإن النموذج سيجيب بثقة: "أخضر". حدث هذا رغم أن النماذج كانت تستطيع تحديد اللون بشكل صحيح إذا طُرح السؤال في صندوق نصي منفصل بدلاً من كتابته على الصورة. ووجدت الدراسة أن هذا النوع المحدد من الخطأ، حيث يتشتت انتباه الآلة بمعنى الكلمات بدلاً من الواقع المرئي، حدث في جزء كبير من المحاولات. وفي بعض الحالات، كان أكثر من نصف الأخطاء التي ارتكبتها النماذج ناتجة عن هذا الارتباك المحدد، حيث أعطت الأولوية للنص على اللون.

أراد الباحثون التأكد من أن هذه ليست مجرد حالة لكون النماذج سيئة في تسمية الألوان بشكل عام. وللتحقق من ذلك، نظروا في مجموعة من الصور التي نجحت فيها النماذج سابقاً في تسمية الألوان بشكل صحيح عندما طُرح السؤال بشكل منفصل. وحتى عندما كانت النماذج تعرف أسماء الألوان، ظلت تقع في الفخ عندما يكون السؤال مدمجاً في الصورة. وقد أثبت هذا أن المشكلة لم تكن نقصاً في المفردات أو عجزاً بسيطاً عن رؤية الألوان، بل كانت قضية أعمق حيث طغت قدرة الآلة على قراءة النص على قدرتها على رؤية التفاصيل المرئية. كما اختبرت الدراسة ما سيحدث إذا جعلوا النص أصعب في القراءة؛ فعندما قلبوا الصورة رأساً على عقب أو غطوا أجزاءً من الكلمات بكتل سوداء، ارتكبت النماذج أخطاءً أقل. وهذا يشير إلى أن الارتباك يأتي من قدرة الآلة على قراءة المعنى الدلالي للكلمات بوضوح. فعندما يكون النص مشوشاً أو مخفياً، تعتمد الآلة أكثر على اللون المرئي، ويتحسن أداؤها.

وعلى الرغم من هذه النتائج، أشار الباحثون إلى أن المشكلة لا تُحل بسهولة بمجرد إخبار الآلة بأن تنتبه. لقد جربوا إعطاء النماذج تعليمات خاصة لتحذيرها من الخدعة، وبينما قلل ذلك من عدد المرات التي تقع فيها النماذج في فخ النص، إلا أنه لم يجعلها أفضل بكما في رؤية اللون الصحيح بالفعل؛ فقد بدأت النماذج ببساطة في ارتكاب أنواع مختلفة من الأخطاء. وتخلص الدراسة إلى أن أنظمة الذكاء الاصطناعي الحالية لديها نقطة ضعف جوهرية: فعندما تتعارض المعلومات المرئية مع النص، فإن النص هو الذي يفوز غالباً. وهذا يشير إلى أن هذه النماذج لا "ترى" العالم حقاً بالطريقة التي يفعلها البشر، بل تتأثر بشدة بأنماط اللغة التي تعلمتها. ومع نشر هذه الأنظمة في مواقف من الواقع، مثل قراءة لافتات الطرق أو تحديد الأشياء في البيئات المعقدة، فإن هذا الميل للوثوق بالنص على حساب الرؤية قد يؤدي إلى قرارات غير موثوقة. ويعمل هذا العمل كتحذير واضح بأنه لكي تصبح هذه الآلات قوية حقاً، فإنها تحتاج إلى تعلم كيفية الموازنة بين ما تقرأه وما تراه، بدلاً من ترك حاسة واحدة تهيمن تماماً على الأخرى.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💻 cs →