💬 NLP

More Than Meets the Eye: Measuring the Semiotic Gap in Vision-Language Models via Semantic Anchorage

تقدم هذه الورقة معيار DIVA ومقياس فجوة المحاذاة الدلالية (Semantic Alignment Gap) لإثبات أن نماذج الرؤية واللغة تظهر تحيزاً متسقاً نحو التفسير الحرفي، حيث يفشل تعزيز الدقة البصرية وحجم النموذج في حل الصعوبات المتعلقة بالمعاني الاصطلاحية المجردة، مما يشير إلى أن التجريد الأيقوني ضروري لتحسين الفهم التركيبي.

المؤلفون الأصليون: Wei He

نُشر 2026-04-21

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wei He

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "أكثر مما تراه العين" (More Than Meets the Eye)، مقسمة إلى مفاهيم بسيية مع تشبيهات من الحياة اليومية.

المشكلة الكبرى: الذكاء الاصطناعي حرفي للغاية

تخيل أنك تعرض صورة لـ "سجادة حمراء" (Red Carpet) على إنسان. سيفهم فوراً أنها استعارة تعني الشهرة، أو الفخامة، أو حدثاً خاصاً. هو لا يرى مجرد قطعة قماش حمراء على الأرض فحسب.

الآن، اعرض نفس الصورة على ذكاء اصطناعي حالي (نموذج لغوي بصري). سيغرق الذكاء الاصطناعي في التفاصيل؛ سيرى ملمس السجادة، والإضاءة، واللون الأحمر. سيجد صعوبة في "فهم النكتة" أو الاستعارة. الأمر يشبه طالباً بارعاً جداً في حفظ التعريفات القاموسية للكلمات، لكنه يعجز عن فهم قصيدة شعرية.

يطلق الباحثون على هذا اسم "تحيز التفوق الحرفي" (Literal Superiority Bias). فالذكاء الاصطناعي يفضل الحقيقة المادية المملة على المعنى المجرد والذكي.

الحل: معيار "DIVA"

لاختبار ما إذا كان هذا صحيحاً، أنشأ الباحثون اختباراً جديداً يسمى DIVA (التجريد البصري الاصطلاحي المقطر - Distilled Idiomatic Visual Abstraction).

فكر في الأمر كالتالي:

الطريقة القديمة (الدقة العالية - High Fidelity): عرض صورة واقعية للغاية بدقة 4K لـ "سجادة حمراء". إنها مفصلة جداً (ظلال، تجاعيد، غبار) لدرجة أن الذكاء الاصطناعي يتشتت بـ "الضجيج" وينسى المعنى.
الطريقة الجديدة (DIVA): عرض رسم "رجل العصا" (Stick-figure) أو أيقونة بسيطة لسجادة حمراء. إنها صورة "مخططية" (Schematic) — نظيفة، بسية، ومجردة من كل التفاصيل المشتتة.

التشبيه:
تخيل أنك تحاول شرح فكرة معقدة لصديق.

الدقة العالية (High Fidelity) تشبه إعطاءه رواية من 100 صفحة مليئة بالهوامش، والرسوم التوضيحية، وخريطة مفصلة. سيضيع في التفاصيل.
DIVA (الأيقونية) تشبه رسم رجل عصا بسيط على منديل ورقي. إنه رسم بدائي، لكنه يقطع الضجيج ويصل إلى الفكرة الجوهرية فوراً.

التجربة: ماذا حدث؟

اختبر الباحثون 8 نماذج مختلفة من الذكاء الاصطناعي (بعضها مفتوح المصدر، وبعضها من شركات كبرى مثل OpenAI وAnthropic) باستخدام كل من الصور الواقعية والرسومات البسيطة.

وقاسوا شيئاً يسمى "فجوة المحاذاة الدلالية" (Semantic Alignment Gap).

فجوة عالية: الذكاء الاصطناعي مرتبك. يعتقد أن المعنى الحرفي مختلف تماماً عن المعنى الاصطلاحي.
فجوة منخفضة: الذكاء الاصطناعي يفهم أن الصورة تمثل "الفكرة"، وليس مجرد "الشيء".

النتائج:

الحجم لا يهم: جعل الذكاء الاصطناعي أكبر (إعطاؤه المزيد من "قوة الدماغ") لم يحل المشكلة. حتى النماذج العملاقة فائقة الذكاء ظلت عالقة في المعنى الحرفي عند النظر إلى الصور الواقعية.
البساطة تفوز: عندما استبدل الباحثون الصور برسومات بسيطة (DIVA)، ارتفع أداء الذكاء الاصطناعي بشكل هائل. اختفت "الفجوة"، وفهمت النماذج فجأة الاستعارات.

التشبيه:
الأمر يشبه محاولة سماع همسة في حفلة روك صاخبة.

الصور الواقعية هي حفلة الروك. يحاول الذكاء الاصطناعي سماع المعنى (الهمسة)، لكن التفاصيل البصرية (الموسيقى الصاخبة) تغطي عليه.
الرسومات البسيطة هي إطفاء الموسيقى. فجأة، تصبح الهمسة واضحة. لم يصبح الذكاء الاصطناعي أكثر ذكاءً، بل إن البيئة فقط توقفت عن إرباكه.

"لماذا": التداخل المعرفي (Cognitive Interference)

تشير الورقة البحثية إلى أن نماذج الذكاء الاصطناዊ الحالية مدربة لتكون "واقعية التصوير". هي مهووسة بالملمس، والإضاءة، والظلال. عندما يرى "موقع إلكتروني" (Web Site)، يرى شبكة عنكبوت. عندما يرى "حلوى للعين" (Eye Candy)، يرى عيوناً وحلوى حقيقية.

يجادل الباحثون بأن الواقعية المفرطة هي في الواقع "فخ". فهي تخدع الذكاء الاصطناعي وتجعله يفكر في الفيزياء بدلاً من اللغة. من خلال إزالة "الواقعية" واستخدام الرموز (مثل الرسوم الكرتونية)، نحن نجبر الذكاء الاصطناعي على التوقف عن النظر إلى "السطح" والبدم في النظر إلى "المعنى".

الخلاصة

تخبرنا هذه الورقة أنه لجعل الذكاء الاصطناعي يفهم اللغة البشرية والاستعارات حقاً، قد نحتاج إلى التوقف عن تغذيته بصور مثالية وواقعية. بدلاً من ذلك، يجب أن نعلمه قراءة الرموز والمخططات، تماماً كما نفعل نحن عند قراءة خريطة أو كتاب قصص مصورة.

باختصار: إذا كنت تريد من الذكاء الاصطناعي أن يفهم نكتة، فلا تعرض عليه صورة عالية الدقة. اعرض عليه رسماً بسيطاً (Doodle). أحياناً، القليل من التفاصيل يعني مزيداً من الفهم.

إليك ملخص تقني مفصل لورقة البحث المعنونة بـ "أكثر مما تراه العين: قياس الفجوة السيميائية في نماذج الرؤية واللغة عبر الارتكاز الدلالي" للباحث وي هي (Wei He).

1. بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) براعة ملحوقة في توليد وتفسير الصور الواقعية للغاية. ومع ذلك، فإنها تظهر قصوراً إدراكياً جوهرياً يُعرف بـ "انحياز التفوق الحرفي" (Literal Superiority Bias). فعند معالجة المفاهيم المجردة، ولا سيما المركبات الاسمية (NCs) ذات المعاني الاصطلاحية (مثل "Eye Candy" بمعنى أشخاص جذابين، وليس حلوى حقيقية)، تكافح النماذج لتجاوز التفاصيل البصرية عالية الدقة (الأيقونية) لإدراك المعاني الرمزية المجردة.

تتمثل القضية الجوهرية في وجود فجوة سيميائية (Semiotic Gap):

الأيقونية (Iconicity): تُفسر الصور عادةً على أنها تصوير للواقع الفيزيائي (بالاعتماد على الملمس، والإضاءة، والازدحام).
الرمزية (Symbolism): تعتمد اللغة على رموز اصطلاحية حيث يكون المعنى مجرداً.
الصراع: تعطي نماذج الرؤية واللغة الحالية الأولوية للإشارات البصرية عالية الدقة على حساب المحاذاة الدلالية. فعند تقديم تعبير اصطلاحي، غالباً ما يرتد النموذج إلى تفسير حرفي بناءً على العناصر المكونة (مثل رؤية عين وحلوى) بدلاً من المعنى المجازي المقصود، حتى عندما يكون المرتكز النصي غامضاً.

2. المنهجية

يقترح المؤلفون إطار عمل لسد هذه الفجوة من خلال نقل المدخلات البصرية من "المحاكاة" إلى "الرمزية" وتقديم مقياس موحد لقياس المحاذاة الناتجة.

أ. معيار DIVA (التجريد البصري الاصطلاحي المستخلص)

للتحكم في الواقعية البصرية، أنشأ المؤلفون DIVA، وهو معيار يستبدل الصور الواقعية عالية الدقة بتمثيلات أيقونية تخطيطية منخفضة التفاصيل.

العملية: خط إنتاج يتكون من مرحلتين باستخدام التوليد الآلي (عبر gemini-3-pro-image-preview) متبوعاً بالتحقق البشري.
التحويل: يتم تحويل الصور عالية الدقة إلى "رمزية أيقونية" عن طريق تجريد الملامس، والظلال، وازدحام الخلفية مع الحفاظ على الجوهر الدلالي.
بنية البيانات: يحتوي المعيار على 200 مركب اسمي باللغة الإنجليزية. ولكل منها، يوفر تصورات مزدوجة:
- التصوير الحرفي ( $v_{lit}$ ): تمثيل تخطيطي للأسماء المكونة.
- التصوير الاصطلاحي ( $v_{id}$ ): تمثيل تخطيطي للمعنى المجازي المتعارف عليه.
الهدف: اختبار ما إذا كان تقليل "الضجيج البصري" (الفائض السيميائي) يجبر النموذج على الاعتماد على الاستدلال الرمزي بدلاً من المحاكاة الفيزيائية.

ب. فجوة المحاذاة الدلالية ( $\Delta$ ) والانحياز الموقّع ( $b(t)$ )

يقدم المؤلفون مقياساً مستقلاً عن البنية المعمارية لقياس التباعد بين التأسيس الحرفي والاصطلاحي.

الانحياز الحرفي الموقّع ( $b(t)$ ): يقيس اتجاه التفضيل.
$b(t) = S(v_{lit}, t) - S(v_{id}, t)$
حيث $S$ هي دالة تسجيل. القيمة الموجبة تشير إلى تفضيل المعنى الحرفي؛ والقيمة السالبة تشير إلى التفضيل الاصطلاحي.
فجوة المحاذاة الدلالية ( $\Delta$ ): تقيس مقدار التباعد (قوة الانحياز).
$\Delta(t) = |b(t)|$
تشير القيمة المنخفضة لـ $\Delta$ إلى أن النموذج يعامل كلا التفسيرين بشكل متساوٍ أكثر (أو يحدد المعنى المقصود بشكل صحيح عند توفير السياق)، مما يشير إلى تقليل الانجراف الحرفي.

ج. تنفيذ التسجيل ثلاثي الطيات

لضمان إمكانية المقارنة بين أنواع النماذج المختلفة، يتم إنشاء دالة التسجيل $S$ بثلاث طرق:

النماذج التمييزية (مفتوحة الأوزان): تستخدم المحاذاة الجوهرية (تشابه جيب التمام بين تضمينات النص والصورة في الفضاء الكامن، مثل CLIP، SigLIP).
النماذج التوليدية مفتوحة المصدر: تستخدم الثقة البيضاء (White-Box Confidence) أو (احتمالية التمييز الاصطلاحي - LID). يحسب هذا احتمالية استجابة "نعم/لا" لمدى مطابقة الصورة للمعنى الاصطلاحي باستخدام "logits" الرموز.
النماذج المملوكة/المغلقة: تستخدم الثقة الخارجية (درجات الثقة المبلغ عنها ذاتياً وتكرار الاختيار السلوكي عبر التلقين بالاختيار القسري).

3. المساهمات الرئيسية

مجموعة بيانات DIVA: معيار يتكون من 1,000 صورة أيقونية مضبوطة مصممة لعزل تأثير الدقة البصرية على الفهم الدلالي.
مقياس موحد ( $\Delta$ ): إطار عمل مستقل عن البنية لقياس "الانحياز الحرفي" عبر النماذج التمييزية، والتوليدية المفتوحة، والتوليدية المغلقة.
الإطار النظري: مفهوم "التجريد الأيقوني عبر الارتكاز الدلالي"، الذي يفترض أن تقليل الدقة البصرية (إزالة "الضجيج السيميائي") يعزز الوضوح الرمزي ويقلل من التداخل المعرفي.

4. النتائج والتحليل

قيم المؤلفون 8 من نماذج الرؤية واللغة الحديثة (بما في ذلك SigLIP، EVA-CLIP، InternVL3، Qwen2.5-VL، GPT-5، وClaude 4.5) تحت شرطين: عالية الدقة (صورة فوتوغرافية) و أيقونية (DIVA).

انحياز حرفي مستمر: أظهرت جميع النماذج قيمة $b(t)$ موجبة (تفضيل حرفي) في ظروف الدقة العالية. لم يؤدِ حجم النموذج وحده (على سبيل المثال، الانتقال من 7 مليار إلى 78 مليار معلمة) إلى حل هذا الانحياز.
تقليل الفجوة: أدى الانتقال من الصور الواقعية الفوتوغرافية إلى المدخلات الأيقونية إلى تقليل $\Delta$ $Δ$ باستمرار عبر جميع العائلات المعمارية.
- مثال: انخفضت فجوة المحاذاة لنموذج GPT-5 من $\Delta \approx 0.065$ (صورة) إلى $\approx 0.021$ (أيقونة).
- مثال: شهدت النماذج التمييزية (SigLIP) انخفاضاً من $\Delta \approx 0.245$ إلى $\approx 0.178$ .
تحسن الدقة: تحسنت الدقة بشكل ملحوظ مع المدخلات الأيقونية في مهمة اختيار خماسي محدد المعنى (حيث يتم وصف المعنى المقصود صراحة):
- النماذج التمييزية: 42.3% $\leftarrow$ 58.7%
- النماذج التوليدية المفتوحة: 61.8% $\leftarrow$ 74.2%
- النماذج المملوكة: 78.5% $\leftarrow$ 91.3%
التداخل المعرفي: تشير النتائج إلى أن الملامس عالية الدقة تعمل كمتغير مربك. فالنماذج المدربة على الصور الطبيعية تفرط في التحسين لإعادة البناء الفيزيائي، مما يكبح قدرتها على معالجة الاستعارات المجردة.

5. الأهمية والآثار المترتبة

إعادة التفكير في المدخلات البصرية: تتحدى الورقة الافتراض القائل بأن الدقة البصرية العالية تؤدي دائماً إلى فهم أفضل. وتقترح أن التقشف البصري قد يكون متفوقاً على الواقعية الفوتوغرافية بالنسبة للاستدلال المجرد.
إمكانية الوصول والتواصل: تتماشى النتائج مع احتياجات التواصل المعزز والبديل (AAC)، حيث يمكن للرموز المبسطة أن تكون أكثر فعالية في نقل المعنى من الصور المعقدة.
الاتجاهات المستقبلية: يقترح المؤلفون أن نماذج الرؤية واللغة المستقبلية يجب أن تتعلم "قراءة" الرموز التخطيطية قبل محاولة "رسم" الواقعيات عالية الدقة. ويقترحون إطار عمل "ضبط التباين الاصطلاحي" (Contrastive Idiom Tuning - CIT) لتعليم النماذج صراحةً التمييز بين الصور الحرفية والرمزية.
القيود: تقتصر الدراسة حالياً على المركبات الاسمية باللغة الإنجليزية وأنماط فنية محددة (التصميم المسطح). ويقر المؤلفون بأن استراتيجيات الترميز (tokenization) والاستعارات الثقافية قد تعطي نتائج مختلفة في لغات أخرى.

في الختام، تثبت الورقة أن "انحياز التفوق الحرفي" في نماذج الرؤية واللغة ليس مجرد نقص في قدرة الاستدلال، بل هو نتيجة للتداخل المعرفي الناجم عن الصور فائقة الواقعية. ومن خلال ترسيخ التفسير في التجريد التخطيطي، يمكن للنماذج تحقيق محاذاة أفضل بكثير مع المعنى الاصطلاحي المجرد.