Using Perspectival Words Is Harder Than Vocabulary Words for Humans and Even More So for Multimodal Language Models

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "استخدام الكلمات المنظورية أصعب من كلمات المفردات بالنسبة للبشر — وأكثر صعوبة بالنسبة للنماذج اللغوية متعددة الوسائط."

1. بيان المشكلة

بينما حققت النماذج اللغوية متعددة الوسائط (MLMs) أداءً يقارب الأداء البشري في التعرف على المفردات (مثل تحديد الأشياء، الألوان، والأفعال)، فإن قدرتها على استخدام الكلمات المنظورية (الكلمات الإشارية/المؤشرة) لا تزال غير مفهومة بشكل جيد. الكلمات المنظورية — مثل الضمائر الشخصية (أنا، أنت)، وضمائر الملكية (لي، لك)، وأسماء الإشارة (هذا، ذاك) — هي صيغ قواعدية يعتمد معناها كلياً على سياق الاستخدام، وتحديداً هوية المتحدث، ومنظور المستمع، والعلاقات المكانية.

تتمثل المشكلة الجوية في أن التقييمات الحالية للنماذج اللغوية متعددة الوسائط تركز بشدة على المفردات المستقلة عن السياق، متجاهلة الاستدلال البراغماتي (التداولي) والإدراك الاجتماعي (نظرية العقل) المطلوب للاستخدام الصحيح للكلمات المنظورية. ومن غير الواضح ما إذا كانت هذه النماذج قادرة على ربط اللغة بالسياقات الفيزيائية والاجتماعية كما يفعل البشر، أم أنها تعاني من المتطلبات المعرفية لاتخاذ المنظور والاستدلال المكاني المتأصلة في فئات الكلمات هذه.

2. المنهجية

صمم المؤلفون إطار عمل تجريبي مضبوط لمقارنة الأداء البشري مقابل سبعة من أحدث النماذج اللغوية متعددة الوسائط عبر ثلاث مهام متميزة، بافتراض وجود تسلسل هرمي للصعوبة: المفردات < الملكية < الإشارة.

التصميم التجريبي

• المشاركون: 360 مشاركاً بشرياً (متحدثون أصليون للغة الإنجليزية) وسبعة نماذج لغوية متعددة الوسائط (GPT-4o, Llama-4-Scout, Gemma-3, InternVL 2.5-4B/8B, Ovis 2-4B/8B).
• المثيرات: مشاهد بصرية تصور شخصيتين (ولد وبنت) على جانبين متقابلين من طاولة مع وجود أشياء.
  • مهمة المفردات: اختيار التسمية الصحيحة لشيء فريد (مثل "قارب"). لا يتطلب أي منظور.
  • مهمة الملكية: الاختيار بين "لي/لك" بناءً على ملكية الشيء التي تشير إليها القرب من الشخصية. تتطلب تحديد المتحدث والمالك.
  • مهمة الإشارة: الاختيار بين "هذا/ذاك" بناءً على المسافة المكانية للشيء بالنسبة للمتحدث. تتطلب اتخاذ المنظور واستدلالاً مكانياً دقيقاً.
• تكييف الوسائط:
  • البشر: شاهدوا صوراً تحتوي على فقاعات كلام وخطوط نظر لتحديد هوية المتحدث/الناظر.
  • النماذج اللغوية (MLMs): شاهدوا صوراً معدلة (مربعات خضراء للأهداف، بدون فقاعات كلام) مع مطالبات نصية تنص صراحة على المتحدث، والناظر، وعلاقات الملكية/المسافة لتجنب الارتباك البصري.
• مقاييس التقييم: الدقة في اختيار التعبير المرجعي الصحيح من بين أربعة خيارات متعددة.

دراسات الاستئصال والتحفيز

لتشخيص مصدر فشل النماذج، أجرى المؤلفون:

1. تحليل الاستئصال (Ablation Analysis): إزالة الإشارات المنظورية (هوية المتحدث) والإشارات المكانية (علامات الملكية اللغوية/المسافة والمربعات الخضراء البصرية) بشكل منهجي لاختبار الاعتماد على أنواع محددة من المعلومات.
2. استراتيجيات التحفيز (Prompting Strategies): اختبار التحفيز القائم على التعليمات (توجيه النموذج صراحة عبر القواعد البراغماتية) والتعلم داخل السياق (تقديم أمثلة) لمعرفة ما إذا كان يمكن سد الفجوة في الأداء للوصول إلى المستويات البشرية.

3. المساهمات الرئيسية

• إطار موحد لتقييم المنظورية: تقديم معيار مرجعي جديد يستهدف البراغماتية على مستوى الكلمة في البيئات متعددة الوسائط، متجاوزاً الظواهر على مستوى الجملة مثل السخرية أو الاستعارة.
• التسلسل الهرمي للصعوبة: إثبات وجود تدرج في الحمل المعرفي للكلمات المنظورية تجريبياً: المفردات هي الأسهل، تليها الملكية، ثم الإشارة كونها الأكثر صعوبة بسبب الحاجة إلى استدلال مكاني مستمر.
• تحديد أوجه القصور في النماذج: إثبات أنه بينما تقترب النماذج من سقف الأداء البشري في المفردات، فإنها تظهر عجزاً كبيراً في الكلمات المنظورية، وخاصة في أسماء الإشارة.
• التحليل السببي للإخفاقات: من خلال الاستئصال، حدد المؤلفون أن فشل النماذج ينبع من نقص في اتخاذ المنظور (عدم القدرة على تبني وجهة نظر المتحدث) والاستدلال المكاني (صعوبة دمج المسافة البصرية مع مصطلحات القرب اللغوية).
• اكتشاف عدم التوازن في الوسائط: كشف أن النماذج تعتمد بشدة على الإشارات اللغوية للاستدلال المكاني وتواجه صعوبة عندما تكون الإشارات البصرية هي المصدر الأساسي للمعلومات المكانية، على عكس البشر الذين يدمجون كليهما بالتوازي.

4. النتائج الرئيسية

تسلسل الأداء

• البشر: أظهروا التدرج المتوقع في الصعوبة: المفردات (~99%) > الملكية (93%) > الإشارة (83%).
• النماذج اللغوية (MLMs): اتبعت نفس التسلسل ولكن بفجوة أكبر بكثير مقارنة بالبشر.
  • المفردات: حققت معظم النماذج أداءً يقارب الأداء البشري (95-99%).
  • الملكية: انخفض الأداء بشكل ملحوظ. بلغ أفضل نموذج (Llama-4-Scout) نسبة 85.7%، بينما كان البشر عند 93%.
  • الإشارة: كانت الفجوة هي الأكبر هنا. سجل أفضل نموذج (GPT-4o) 70.2% فقط مقارلة بـ 83% للبشر. أما النماذج الأصغر فقد سجلت أداءً يقارب مستوى التخمين العشوائي.

نتائج الاستئصال

• الإشارات المنظورية: أدت إزالة هوية المتحدث إلى انخفاض حاد في أداء النماذج العليا (GPT-4o, Llama-4-Scout)، مما يشير إلى اعتمادها على معلومات وجهة النظر. أما النماذج الأقل أداءً فلم تظهر تغيراً أو تحسناً طفيفاً، مما يشير إلى فشلها في استخدام الإشارات المنظورية على الإطلاق.
• الإشارات المكانية:
  • إزالة الإشارات المكانية اللغوية (مثل "قريب من") أثرت سلباً على الأداء بشكل كبير، خاصة في مهام الملكية.
  • إزالة الإشارات البصرية (المربعات الخضراء) كان لها تأثير ضئيل أو أدت لتحسن طفيف، مما يشير إلى أن النماذج غالباً ما تتجاهل البيانات المكانية البصرية ما لم تدعمها النصوص.
  • الإزالة المشتركة: انخفض الأداء بشكل حاد، مما يؤكد أن النماذج تحتاج إلى كلا الوسيطين، لكنها تعتمد على النص كركيزة أساسية للاستدلال المكاني.

تدخلات التحفيز

• التحفيز القائم على التعليمات: حسن بشكل كبير أداء مهمة الملكية، مما جعل النماذج تقترب من الدقة البشرية (على سبيل المثال، تحسن GPT-4o إلى ~90%). هذا يشير إلى أن القواعد البراجماتية الصريحة يمكن أن تدعم استدلال الملكية.
• محدودية الإشارة: حتى مع التعليمات المكانية الصريحة، فشلت النماذج في الوصول إلى المستويات البشرية في مهام الإشارة. أظهر تحليل الخطأ أن التحسينات كانت تتركز في الضمائر الشخصية (اتخاذ المنظور) بدلاً من ضمائر الإشارة (الاستدلال المكاني)، مما يشير إلى أن الاستدلال المكاني يظل عائقاً جوهرياً.

5. الأهمية والآثار المترتبة

• النقص البراغماتي: تكشف الدراسة عن فجوة حرجة في الأنظمة الحالية لمعالجة اللغات الطبيعية: فهي تفتقر إلى العمليات الدقيقة الاجتماعية المطلوبة للتواصل الحقيقي الشبيه بالبشر. وبينما يمكنها وصف العالم، فإنها تعاني في الإشارة إليه من منظور وكيل محدد.
• التجسد والتفاعل: تشير الصعوبة في مهام الإشارة إلى أن الفهم اللغوي المكاني الحقيقي قد يتطلب تجارب مجسدة وتفاعلية في بيئات فيزيائية، وهو ما تفتقر إليه النماذج اللغوية متعددة الوسائط الحالية ذات الطبيعة الساكنة.
• الاتجاهات المستقبلية: تدعو النتائج إلى:
  1. تطوير نماذج تحتوي على وحدات استدلال مكاني صريحة.
  2. التدريب على مجموعات بيانات أغنى تتضمن التفاعل الفيزيائي والإشارة وجهاً لوجه.
  3. نقل معايير التقييم من التعرف الساكن على المفردات إلى الاستدلال البراغماتي الديناميكي المعتمد على السياق.

في الختام، تثبت الورقة أن الكلمات المنظورية هي مهمة معرفية "أصعب" من المفردات لكل من البشر والآلات، ولكن هذه الصعوبة تتضاعف بشكل غير متناسب في النماذج اللغوية متعددة الوسائط بسبب القيود في اتخاذ المنظور والاستدلال المكاني، مما يسلط الض الضوء على جبهة حاسمة لتحقيق تواصل متعدد الوسائط يشبه البشر حقاً.