🤖 machine learning

Can Vision-Language Models See Squares? Text-Recognition Mediates Spatial Reasoning Across Three Model Families

تُثبت هذه الورقة أن نماذج الرؤية واللغة تمتلك قصوراً جوهرياً في الاستدلال المكاني، حيث تنهار قدرتها على تحديد مواقع الخلايا المملوءة في الشبكات الثنائية دون وجود أدلة نصية، مما يكشف عن اعتماد كبير على مسارات التعرف النصي بدلاً من المعالجة البصرية الأصلية.

المؤلفون الأصليون: Yuval Levental

نُشر 2026-02-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuval Levental

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك لوحة شطرنج عملاقة بحجم 15 في 15 مربعاً. بعض المربعات مطلية باللون الأسود، وبعضها تُركت بيضاء. مهمتك هي النظر إلى هذه الصورة وإخبار الكمبيوتر بالضبط أي المربعات سوداء.

قد تعتقد: "لا مشكلة! الذكاء الاصطناعي بارع في رؤية الصور". لكن هذه الورقة البحثية تكشف عن سر مضحك ومحبط: نماذج الذكاء الاصطناعي هذه في الواقع سيئة جداً في رؤية الصور "الخالصة"، لكنها مذهلة في قراءة "الصور التي تشبه النصوص".

إليك قصة التجربة، مشروحة ببساطة.

النسختان من نفس اللغز

قام الباحثون بإنشاء أنماط لوحة الشطرنج نفسها بطريقتين مختلفتين:

نسخة "الآلة الكاتبة": رسموا الشبكة باستخدام رموز نصية. المربعات الفارغة كانت نقاطاً (.) والمربعات المملوءة كانت علامات هاشتاج (#).
- مثال: .#.#.
نسخة "الكتلة الصلبة": رسموا الشبكة باستخدام مربعات سوداء وبيضاء صلبة، بدون خطوط شبكة وبدون نصوص. مجرد كتلة من البكسلات السوداء.
- مثال: مربع أسود صلب بجانب مربع أبيض.

التحول المفاجئ: بالنسبة لـ "عين" الكمبيوتر (المُشفّر البصري)، كلتا الطريقتين هما مجرد صور. لا توجد أي منهما "نصاً حقيقياً" يمكن للكمبيوتر قراءته مثل الكتاب. كلاهما مجرد بكسلات.

النتائج: حكاية عقلين

عندما طلب الباحثون من ثلاثة نماذج ذكاء اصطناعي رفيعة المستوى (Claude و ChatGPT و Gemini) نسخ هذه الشبكات، كانت النتائج صادمة:

عندما بدت الشبكة كأنها نص (.#.#): كانت نماذج الذكاء الاصطناعي مثالية تقريباً. لقد أصابوا حوالي 90% من المربعات بشكل صحيح. كان بإمكانهم إخبارك بالضبط بمكان كل مربع أسود.
عندما بدت الشبكة ككتل صلبة: انهارت النماذج وفشلت فشلاً ذريعًا. انخفضت دقتها إلى 60-70%، وانهارت قدرتها على تحديد المربعات السوداء بالضبط لتصل إلى 30-40%.

التشبيه:
تخيل أنك تحاول العثور على شخص محدد في حشد من الناس.

السيناريو (أ) (النص): الجميع يرتدي بطاقة تعريفية مكتوب عليها أسماؤهم بخط كبير. يمكنك قراءة الأسماء وتجد الشخص فوراً.
السيناريو (ب) (الكتل): الجميع يرتدي قناعاً أسود صلبًا. يمكنك رؤية حشد من الأشكال السوداء، لكن لا يمكنك تمييز شخص عن آخر أو العثور على الشخص المحدد الذي تحتاجه.

نماذج الذكاء الاصطناعي تشبه الأشخاص الذين هم سريعون جداً في قراءة بطاقات التعريف، لكنهم سيئون جداً في تمييز الوجوه وسط حشد من الأقنعة.

لماذا يحدث هذا؟

تشير الورقة البحثية إلى أن هذه النماذج تستخدم "طريقة غش" عندما ترى نصاً.

"قوة التعرف الضوئي على الحروف" (OCR) الخارقة: عندما يرى الذكاء الاصطناعي رمز # فإنه لا يراه مجرد شكل أسود. إنه يتعرف عليه كـ "علامة هاشتاج". ولأنه يعرف أن هذا "رمز"، فإنه يستخدم عقل القراءة الخاص به (وهو جيد جداً في معرفة مكان الحروف على الصفحة) لتحديد الموقع. إنه يقوم فعلياً بعملية "تعرف ضوئي داخلي على الحروف" (قراءة الصورة كنص) لحل لغز مكاني.
"الضعف البصري": عندما يرى الذكاء الاصطناعي مربعاً أسود صلباً، لا يمكنه استخدام عقل القراءة الخاص به. يجب عليه الاعتماد على عقل الرؤية (المعالجة البصرية الصرفة). وتظهر الورقة أن "عقل الرؤية" للذكاء الاصطناعي الحالي ضبابي للغاية عندما يتعلق الأمر بتحديد المواقع بدقة. يمكنه أن يقول لك "هناك كتلة سوداء هناك"، لكن لا يمكنه إخبارك "هذا هو المربع رقم 4 في الصف 2" بدقة.

"الشبح" في الآلة

وجد الباحثون أن كل نموذج ذكاء اصطناعي فشل بطريقته الفريدة والغريبة عند النظر إلى الكتل الصلبة:

Claude كان "مُقللاً للعد": رأى المنطقة السوداء لكنه اعتقد أن "هذا عدد كبير جداً من المربعات"، فقام بتخطي بعضها.
ChatGPT كان "مُبالغاً في العد": تحمس وتخيل وجود مربعات سوداء إضافية لم تكن موجودة، مما جعل الكتل تبدو أكبر مما هي عليه.
Gemini كان "مزيفاً للأنماط": عندما أصبحت الشبكة مزدحمة جداً، استسلم ورسم نمط "علامة زائد" أو "شكل حرف L" عشوائي لا يشبه الشبكة الحقيقية على الإطلاق. كان ببساطة يخمن بناءً على ما يعتقد أن الشبكة يجب أن تبدو عليه.

تجربة "الملصق السحري"

لإثبات نظريتهم، جرب الباحثون حلاً وسطاً. أخذوا المربعات السوداء الصلبة وكتبوا داخلها رقماً صغيراً "1" في المربعات السوداء و"0" في المربعات البيضاء.

بالنسبة لـ Claude و Gemini: نجح هذا الأمر كالسحر! بمجرد رؤية الأرقام، ارتفع أداؤهما بشكل صاروخي ليعود إلى مستويات قريبة من المثالية. النص "ثبّت" رؤيتهما.
بالنسبة لـ ChatGPT: أصيب بالارتباك. النص الصغير داخل المربعات السوداء جعل أداءه أسوأ. يبدو أن "عقل القراءة" و"عقل الرؤية" لديه قد تشابكا وتعثرا ببعضهما البعض.

الخلاصة الكبرى

تعلمنا هذه الورقة درساً متواضعاً حول الذكاء الاصطناعي الحديث:

هذه النماذج لا "ترى" العالم كما نفعل نحن البشر. إنها في الغالب "تقرأ" العالم. إذا أعطيتها صورة تشبه وثيقة أو جدول بيانات، فهي عبقرية. ولكن إذا أعطيتها صورة تتكون فقط من أشكال وألوان وكتل دون أي نص، فإن تفكيرها المكاني ينهار.

الأمر يشبه امتلاك أمين مكتبة يمكنه العثور على أي كتاب على الرف إذا كانت عناوين الكتب واضحة، ولكنه يضيع تماماً إذا كانت الكتب مغلفة بورق بني سادة. وحتى يتم إصلاح هذا، لا يمكننا الوثوق تماماً في قدرة هذه النماذج على التنقل في العالم المرئي ما لم نمنحها ملصقات نصية للتمسك بها.

إليك ملخص تقني مفصل لورقة البحث "هل تستطيع نماذج الرؤية واللغة رؤية المربعات؟ التعرف على النصوص يتوسط الاستدلال المكاني عبر ثلاث عائلات من النماذج" للباحث يوفال ليفينتال.

1. بيان المشكلة

تتحدى الورقة الافتراض الضمني بأن نماذج الرؤية واللغة (VLMs) تمتلك قدرات استدلال مكاني قوية ومتأصلة على المدخلات البصرية العشوائية. بينما تتفوق هذه النماذج في وصف الصور وتفسير المخططات، يبحث هذا العمل فيما إذا كانت قادرة على تحديد المواقع وعدّ العناصر البصرية غير النصية (تحديداً الخلايا المملوءة في شبكة ثنائية) عندما تفتقر تلك العناصر إلى "الهوية النصية".

الفرضية الأساسية هي أن نماذج الرؤية واللغة قد لا تعتمد على استدلال مكاني بصري حقيقي للمهام الدقيقة، بل تعتمد بدلاً من ذلك على مسار داخلي للتعرف على النصوص (وهو ما يعد جوهرياً للقيام بعملية OCR ضمنية). وإذا لم يكن المحفز البصري قابلاً للربط برموز نصية يمكن التعرف عليها، فإن قدرات التحديد المكاني للنموذج قد تنهار.

2. المنهجية

التصميم التجريبي

قام المؤلفون ببناء تجربة محكومة باستخدام 15 شبكة ثنائية بحجم $15 \times 15$ (225 خلية لكل منها). تباينت كثافة الملء في الشبكات من 10.7% إلى 41.8%. تم عرض كل شبكة بتنسيقين بصريين متميزين، وكلاهما قُدم كصور PNG لضمان مرورها عبر نفس المشفر البصري:

حالة الرموز النصية: تم عرض الخلايا كرموز نصية أحادية المسافة (monospace): . (فارغ) و # (مملوء).
حالة المربعات المملوءة: تم عرض الخلايا كمربعات سوداء أو بيضاء صلبة بدون خطوط شبكة. اندمجت الخلايا المملوءة المتجاورة لتشكل مناطق سوداء متصلة.

النماذج التي تم تقييمها

تم اختبار ثلاثة من نماذج الرؤية واللغة الرائدة من منظمات مختلفة:

Claude Opus (من شركة Anthropic)
ChatGPT 5.2 (من شركة OpenAI)
Gemini 3 Thinking (من شركة Google)

بروتوكول التقييم

المهمة: طُلب من النماذج نسخ تخطيط الشبكة (تحديد الخلايا المملوءة) بناءً على الفحص البصري فقط. وقد مُنع صراحةً استخدام الأكواد البرمجية أو أدوات معالجة الصور.
المقاييس:
- دقة الخلية (Cell Accuracy): نسبة جميع الخلايا الـ 225 المصنفة بشكل صحيح.
- درجة F1 للخلايا السوداء (Black-Cell F1 Score): المتوسط التوافقي للدقة والاستدعاء (precision and recall) لاكتشاف الخلايا المملوءة. هذا هو المقياس الأساسي، حيث يمكن أن تتضخم الدقة العالية بسبب العدد الكبير من الخلايا الفارغة (الخلفية).

دراسات الاستئصال (Ablation Studies)

لتحديد ما إذا كانت فجوة الأداء ثنائية (نص مقابل غير نص) أم متدرجة، قدم المؤلفون حالات وسيطة:

مربعات اليونيكود (Unicode Squares): استخدام رموز نصية لليونيكود للمربعات (□ و ■).
النصوص داخل المربعات (Text-in-Squares): إدراج تسميات نصية "0" و "1" داخل المربعات المملوءة والفارغة على التوالي، لإعادة إدخال المرتكزات النصية مع الحفاظ على المظهر البصري للمربعات.

3. النتائج الرئيسية

فجوة "النصوص مقابل المربعات"

النتيجة الأكثر أهمية هي الانهيار الدراماتيكي في الأداء عند الانتقال من الرموز النصية إلى المربعات المملوءة، رغم تماثل المحتوى المعلوماتي ومسارات التشفيد البصري.

الحالة النصية: حقق كلا من Claude و ChatGPT دقة خلايا بنسبة ~91% ودرجة F1 بنسبة ~84%. حقق Gemini دقة بنسبة 84% ودرجة F1 بنسبة 63%.
حالة المربعات المملوءة: انهارت النماذج الثلاثة لتصل إلى 60–73% دقة و 29–39% درجة F1.
الفجوة: انخفضت درجة F1 بمقدار 34 إلى 54 نقطة عبر النماذج عند استبدال الرموز النصية بالمربعات المملوءة.

أنماط الفشل الخاصة بكل نموذج

أظهر كل نموذج نمط فشل متميزاً في حالة المربعات:

Claude Opus: نقص في العد (Under-counting) بشكل منهجي. كان يكتشف المنطقة التقريبية للخلايا المملوءة ولكنه فشل في تحديد الحدود الفردية، متوقعاً عدداً أقل من الخلايا الموجودة فعلياً.
ChatGPT 5.2: زيادة مفرطة في العد (Over-counting). عند الكثافات العالية، كان يتخيل خلايا مملوءة إضافية، وغالباً ما كان يوسع التجمعات ويفقد أبعاد الشبكة (على سبيل المثال، توليد 16-17 حرفاً في الصف الواحد).
Gemini 3 Thinking: هلوسة القوالب (Template hallucination). عند الكثافات المتوسطة إلى العالية، كان يتخلى عن المدخلات تماماً، ويولد أنماطاً هندسية نمطية (مثل الصلبان أو أشكال حرف L) لا علاقة لها بالشبكة الفعلية.

نتائج الاستئصال (التدرج المستمر)

مربعات اليونيكود: كان الأداء متوسطاً (69–77% F1)، مما يشير إلى أن الفجوة ليست ثنائية ولكنها تعتمد على "ثقة التعرف على النص" للرمز المحدد.
النصوص داخل المربعات:
- Claude و Gemini: استعاد الأداء مستواه بشكل كبير (وصل إلى 100% F1 في الشبكات المتفرقة)، مما يثبت أن إدراج المرتكزات النصية يستعيد الاستدلال المكاني.
- ChatGPT: تدهور الأداء (انخفض إلى 51% F1)، مما يشير إلى أن التعقيد البصري للنص فوق الخلفية يعيق مسارات المعالجة لدى هذا النموذج.

4. المساهمات الرئيسية

تحديد قصور جوهري: تثبت الورقة أن نماذج الرؤية واللغة الحالية تفتقر إلى استدلال مكاني أصيل وقوي للعناصر غير النصية. أداؤها العالي في المهام المكانية يعتمد إلى حد كبير على مسار وسيط للتعرف على النصوص.
تكرار النتائج عبر بنيات مختلفة: تم تكرار الظاهرة عبر ثلاث عائلات مستقلة من النماذج (Anthropic، OpenAI، Google) ذات بنيات وبيانات تدريب مختلفة، مما يشير إلى أن هذه خاصية هيكلية لتصميمات نماذج الرؤية واللغة الحالية وليست مجرد حالة خاصة بنظام واحد.
توصيف أنماط الفشل: تصنف الدراسة أنماط الفشل المحددة (نقص العد، زيادة العد، هلوسة القوالب) وتربطها بحدود القدرة لمسار التعرف على النصوص مقابل مسار الميزات البصرية.
استئصال التفاعلات بين النص والبصر: تكشف تجربة "النصوص داخل المربعات" أن التفاعلات النصية-البصرية تختلف حسب النموذج؛ فإضافة النص يمكن أن تساعد بعض النماذج (Claude، Gemini) ولكنها تضر بنماذج أخرى (ChatGPT).

5. الأهمية والآثار المترتبة

إعادة تقييم الاختبارات المعيارية: تشير الاختبارات الحالية التي تعتمد على مدخلات كثيفة النصوص إلى أنها قد تبالغ كثيراً في تقدير قدرات الاستدلال المكاني الحقيقية لنماذج الرؤية واللغة. التطبيقات التي تتطلب تحديداً دقيقاً لمواقع الأشياء غير النصية (مثل التصوير الطبي، القيادة الذاتية، التصوير العلمي) قد تواجه قيوداً شديدة.
فرضية "المسارين": يقترح المؤلفون أن نماذج الرؤية واللغة تعمل بمسارين ضمنيين:
1. مسار التعرف على النصوص: (عالي الدقة، يحافظ على الموقع المكاني عبر رسم خرائط الرموز).
2. مسار الميزات البصرية: (أقل دقة، يلتقط التجمعات الدلالية ولكنه يفقد البيانات الدقيقة على مستوى الإحداثيات).
الاتجاهات المستقبلية: تقترح الورقة أن سد هذه الفجوة يتطلب إما:
- الدعم النصي (Textual Scaffolding): دمج مرتكزات نصية في المهام البصرية (رغم وجوب التحقق من ذلك لكل نموذج).
- تغييرات هيكلية: تدريب المشفرات البصرية على أهداف تنبؤ إحداثيات مكانية صريحة بدلاً من مجرد مطابقة وصف الصورة.
- الرموز البصرية المنفصلة (Discrete Visual Tokens): إدخال تمثيلات منفصلة متعلمة للمحتوى البصري غير النصي للسماح لمسار التعرف على النصوص بمعالجتها.

في الختام، تجادل الورقة بأن نماذج الرؤية واللغة "ترى" المربعات بشكل سيء لأنها تعتمد على قراءتها. وعندما لا يمكن ربط العنصر البصري برمز نصي مألوف، يتدهور الاستدلال المكاني للنموذج بشدة، مما يكشف عن فجوة حرجة في الفهم متعدد الوسائط.