💬 NLP

SIGNPOST-Bench: Benchmarking Text-Vision Conflict Resolution in Multimodal Large Language Models

تقدم هذه الورقة البحثية SIGNPOST-Bench، وهو معيار مرجعي مضاد للواقع ومنضبط يتكون من 25,555 متغيراً صورياً لتقييم كيفية حل النماذج اللغوية الكبيرة متعددة الوسائط للتعارضات بين الإشارات البصرية والنصية، مما يكشف أن التدخلات النصية العدائية تضعف دقة تحديد الموقع الجغرافي بشكل كبير وتكشف عن سلوكيات تحكيم متميزة عبر 20 نموذجاً تم تقييمها.

المؤلفون الأصليون: Sirun Li, Minghao Liu, Ling Dai, Yong Li, Haoxin Lyu, Junting Zhou, Fan Zhang

نُشر 2026-08-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sirun Li, Minghao Liu, Ling Dai, Yong Li, Haoxin Lyu, Junting Zhou, Fan Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق يحاول حل لغز: "أين التُقطت هذه الصورة؟". لديك دليلان لمساعدتك. الأول هو المشهد البصري: العمارة، الأشجار، السيارات، والطريقة التي يسقط بها الضوء على المباني. والثاني هو النص المكتوب على اللافتات أو واجهات المتاجر أو اللوحات الإعلانية في الصورة. عادةً ما يتفق هذان الدليلان؛ فلافته تقول "باريس" توضع على مبنى يبدو بالفعل أنه في باريس. ولكن ماذا يحدث عندما يختلفان؟ ماذا لو أظهرت الصورة كوخاً خشبياً مغطى بالثلوج في الجبال، بينما تصر لافتة نيون ساطعة في النافذة قائلة "مرحباً بكم في الصحراء الكبرى"؟

هذا هو عالم نماذج اللغات الكبيرة متعددة الوسائط (MLLMs). هذه حواسيب ذكاء اصطناعي فائقة الذكاء يمكنها "رؤية" الصور و"قراءة" النصوص في آن واحد. لقد علم العلماء هذه النماذج كيفية دمج هذه الأدلة لإطلاق تخمينات حول العالم. لكن هناك سؤال كبير: عندما تتعارض الأدلة البصرية مع الأدلة النصية، أي منهما يثق به الذكاء الاصطناعي؟ هل يتجاهل اللافتة المربكة وينظر إلى الثلج؟ أم أنه يصدق اللافتة بعمى وينسى الثلج؟ حتى الآن، لم يكن لدينا طريقة جيدة لاختبار هذا النوع المحدد من الارتباك.

هنا يأتي دور SIGNPOST-Bench، وهو تجربة جديدة صممها باحثون للعب لعبة "خداع الذكاء الاصطناعي". لقد أخذوا آلاف الصور من العالم الحقيقي وأنشأوا مجموعة خاصة من النسخ "المخالفة للواقع" لكل منها. فكر في الأمر كورشة عمل لتحرير الصور حيث يأخذون صورة أصلية واحدة ويصنعون منها أربع نسخ جديدة:

الفارغة: قاموا بمسح النص تماماً.
المشابهة: استبدلوا اللافتة بأخرى مختلفة لا تزال منطقية للموقع (على سبيل المثال، تغيير "مرحباً بكم في ميشيغان" إلى "مرحباً بكم في ديترويت").
العشوائية: وضعوا لافتة ليس لها علاقة بالمكان (على سبيل المثال، "مرحباً بكم في القمر").
المعادية (المضللة): وهذا هو الجزء الخدعة. استبدلوا اللافتة بكذبة تشير إلى موقع مختلف ومحدد (على سبيل المثال، تغيير "مرحباً بكم في ميشيغان" إلى "مرحباً بكم في نيويورك").

ثم طلب الباحثون من 20 نموذجاً مختلفاً من الذكاء الاصطناعي من سبع شركات تقنية كبرى تخمين الموقع لجميع النسخ الخمس لكل صورة. أرادوا معرفة ما إذا كان بإمكان الذكاء الاصطناعي رصد الكذبة أو ما إذا كان سيقع في فخ اللافتة الجديدة.

كانت النتائج كاشفة للغاية. عندما نظر الذكاء الاصطناعي إلى الصور الأصلية، كان جيداً جداً في تخمين الموقع. ولكن عندما أدخلوا الأكاذيب المعادية، أصيبت النماذج بالارتباك. في المتوسط، أصبح تخمين الذكاء الاصطناعي أقل دقة بـ 4.8 مرة. فبدلاً من أن يكون الخطأ في حدود 282 كيلومتراً، أصبح الآن بحدود 1,347 كيلومتراً.

والأمر الأكثر إثارة للاهتمام هو أن الذكاء الاصطناعي لم يصبح "أسوأ" فحسب؛ بل تم "تضليله". فعندما كانت اللافتة تقول "نيويورك"، لم يخمن الذكاء الاصطنانا بشكل عشوائي؛ بل تحرك تخمينه بالفعل ليصبح أقرب إلى نيويورك. في الواقع، بالنسبة لكل نموذج تم اختباره، سحب النص المتعارض الإجابة نحو الكذبة. وفي حوالي 6.5% إلى 20.1% من الحالات، انتهى الأمر بتخمين الذكاء الاصطناعي على بُعد أقل من 50 كيلومتراً من الموقع المزيف الذي أشارت إليه اللافتة.

كما وجدت الدراسة أن كون النموذج "ذكياً" في قراءة اللافتات أو رؤية الصور لا يضمن بالضرورة كونه جيداً في رصد التعارض. فبعض النماذج التي كانت ممتازة في تخمين المواقع باستخدام صور نظيفة وصادقة، كانت في الواقع أسوأ في تجاهل الأكاذيب من بعض النماذج الأصغر حجماً. اتضح أن القدرة على قراءة لافتة لا تعني أنك تعرف متى تتجاهلها إذا كانت تتعارض مع بقية الصورة.

أخيراً، حاول الباحثون "تدريب" الذكاء الاصطناعي، عبر سؤاله تحديداً عن مراقبة التعارضات. وبينما ساعد هذا الذكاء الاصطناعي على إدراك وجود خطأ ما في 49% من الحالات، إلا أنه لم يساعده في الواقع على تخمين الموقع الصحيح بشكل أفضل. لقد عرف الذكاء الاصطناعي أنه مرتبك، لكنه لم يستطع بعد ذلك حل اللغز.

باختصار، تظهر هذه الورقة البحثية أن نماذج الذكاء الاصطناعي الحالية لا تزال سهلة الخداع جداً عندما تختلف النصوص والصور. فهي تميل إلى الثقة في النص أكثر من اللازم، حتى عندما يكون كذبة صارخة. لقد بنى الباحثون اختبار "SIGNPOST-Bench" الجديد لمساعدة مطوري الذكاء الاصطناعي في المستقبل على فهم مواضع الفشل في نماذجهم بدقة، حتى يتمكنوا من تعليمها لتكون محققين أفضل يعرفون متى يثقون بأعينهم ومتى يشككون في اللافتات.

ملخص تقني: SIGNPOST-Bench

بيان المشكلة

تعتمد النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) بشكل متزايد على كل من السياق البصري والنصوص المشهدية لتقديم تنبؤات دقيقة في سيناريوهات العالم الحقيقي. وبينما تقيم المعايير المرجعية الحالية قدرات التعرف الضوئي على الحروف (OCR)، والتعرف البصري، والقدرات متعددة الوسائط العامة، إلا أنها نادراً ما تعزل كيفية موازنة النماذج بين الأدلة النصية والبصرية عندما تتعارض هذه المصادر. في المشاهد الطبيعية، قد تشير المعالم المعمارية أو التضاريس إلى موقع معين بينما تشير اللافتات أو العناوين إلى موقع آخر. وغالباً ما تكتفي طرق التقييم الحالية بالإبلاغ عن النتائج المنفصلة النهائية فقط (مثل: صحيح/خاطئ) دون الكشف عن مصدر الدليل الذي دفع القرار أو قياس حجم واتجاه التحولات في التنبؤ ضمن مساحة مخرجات مشتركة. وبناءً على ذلك، فإن الأداء القوي على المدخلات المتوافقة لا يضمن قدرة النموذج على الاختيار الموثوق بين الإشارات البصرية والنصية المتنافسة.

المنهجية

يقدم المؤلفون SIGNPOST-Bench (التعرف الجغرافي على صور المشاهد عبر الاضطراب الضوضائي على نص اللافتة المرصود)، وهو معيار مرجعي مضاد للواقع ومتحكم فيه، صُمم لتقييم حل الصراع بين النص والرؤية من خلال التحديد الجغرافي البصري.

بناء المعيار المرجعي

الوحدة الأساسية لهذا المعيار هي الخماسية المضادة للواقع المستمدة من صورة مصدر واحدة. تتكون كل خماسية من خمس متغيرات تم إنشاؤها عبر تدخلات نصية مشهدية اصطناعية وموضعية مصممة للحفاظ على المحتوى غير النصي المحيط:

الأصلية (Original): صورة المصدر غير المعدلة مع نصها الأصلي.
الفارغة (Blank): يتم فيها إزالة نطاقات محددة من النص المشهدي، وتعمل كخط أساس مجرد من النص.
المشابهة (Similar): يتم استبدال النص ببدائل متوافقة مع السياق الجغرافي أو اللغة الأصلية (على سبيل المثال، "Welkom to Flanders" بدلاً من "Welkom to Holland").
العشوائية (Random): يتم استبدال النص بنص آخر غير مرتبط ولكن قابل للقراءة، دون هدف جغرافي محدد.
المعارضة (Adversarial): يتم استبدال النص بإشارة معارضة جغرافياً. إذا كان النص قابلاً للتحديد الجغرافي، فإنه يحدد هدفاً محقوناً ( $y_{trap}$ ) متميزاً عن الحقيقة الأرضية.

يتكون المعيار من 5,111 مجموعة مضادة للواقع و 25,555 متغيراً للصورة مستمدة من أربع مجموعات بيانات: IM2GPS3K، وYFCC4K، وGoogle Street View، وBaidu Street View. تم تصنيف النص المشهدي وفق تصنيف يعتمد على القابلية لتحديد الموقع الجغرافي: T1 (محمول)، T2 (ثقافي)، و T3 (خاص بالمنطقة).

بروتوكول التقييم

تدرس الدراسة 20 نموذجاً لغوياً كبيراً متعدد الوسائط (MLLM) من سبعة مزودين (Google، OpenAI، Anthropic، Alibaba، Moonshot، ByteDance، xAI) عبر جميع الحالات الخمس. يستخدم التقييم ثلاثة مقاييس تشخيصية رئيسية:

دقة التحديد الجغرافي الموزونة (WLA): تقيس جودة التنبؤ بالنسبة للحقيقة الأرضية باستخدام التحلل الأسي بناءً على المسافة الجيوديسية.
درجة انحياز النص (TBS): تقيس التغير المقترن في خطأ التحديد الجغرافي الناتج عن النص المعدل بالنسبة لخط الأساس الفارغ ( $TBS = D_{edited} - D_{blank}$ ). تشير قيمة TBS الموجبة إلى أن النص أدى إلى تدهور الأداء.
حق معدل ملاءمة الفخ (TFR): يقيس نسبة التنبؤات المعارضة التي تقع ضمن نصف قطر 50 كم من الهدف المحقون، مما يشير إلى ما إذا كان النموذج قد "وقع في الفخ" بسبب النص المتعارض.

بالإضافة إلى ذلك، تم اقتراح درجة متانة الصراع متعدد الوسائط (MCRS)، والتي تفكك الأداء إلى درجة القدرة (C) (الأداء على الصور الأصلية/الفارغة) و درجة متانة الصراع (R) (الحفاظ على الأداء تحت النصوص العشوائية/المعارضة، مع فرض عقوبة على زيادة الخطأ واتباع الفخ).

النتائج الرئيسية

تدهور الأداء: يؤدي النص المشهدي المتعارض إلى تدهور كبير في التحديد الجغرافي. عبر جميع النماذج، زاد متوسط خطأ التحديد الجغرافي بمقدار 4.8 ضعفاً (من 282 كم إلى 1,347 كم) عند مقارنة الصور الأصلية بالمتغيرات المعارضة. وانخفض متوسط WLA بنسبة 36.6%.
التحولات الموجهة: لا يؤدي الصراع مجرد زيادة الخطأ العشوائي؛ بل يستحث تحولات موجهة. بالنسبة للعينات المعارضة القابلة للتحديد الجغرافي، وقعت 6.5% إلى 20.1% من التنبؤات عبر النماذج ضمن نطاق 50 كم من الهدف المحقون. أظهر كل نموذج تم تقييمه متوسط "تقليل مسافة الفخ" (TDR) موجباً، مما يؤكد أن التنبؤات تحولت نحو الهدف الجغرافي المحقون بدلاً من مجرد فقدان الدقة.
الآثار المتميزة لأنواع النصوص:
- الاستبدالات المشابهة (النصوص المتوافقة) قللت عموماً من الخطأ مقارنة بخط الأساس الفارغ، مما يظهر استفادة النماذج من التوافق الدلالي.
- الاستبدالات العشوائية و المعارضة زادت الخطأ بشكل كبير.
- وفرت نصوص T3 (الخاصة بالمنطقة) أعلى أداء في المدخلات المتوافقة، لكنها تسببت أيضاً في أكبر تدهور (انخفاض نسبي بنسبة 42.2%) في حالة الصراع، مما يشير إلى مقايضة بين المنفعة والضعف.
القدرة مقابل المتانة: لا يتنبأ أداء التحديد الجغرافي للمدخلات النظيفة (درجة القدرة) بالضرورة بالمتانة تجاه النصوص المتعارضة. فالنماذج ذات WLA العالية في الصور الأصلية لم تحافظ بالضرورة على WLA عالية في الظروف المعارضة. على سبيل المثال، أظهر Qwen3-VL-30B متانة أعلى من Seed-2.0-Pro رغم انخفاض قدرته الأصلية.
الوعي بالصراع: كشفت تجارب الاستقصاء المستهدفة لنماذج Gemini-2.5-Flash وGPT-4o-mini أن دقة اكتشاف الصراع الصريح (CDA) لا ترتبط بشكل موثوق بتحسين أداء التحديد الجغرافي. فحتى عندما حددت النماذج وجود الصراع، فإنها غالباً ما اتبعت النص المحقون.

الأهمية والادعاءات

يدعي البحث ثلاث مساهمات رئيسية:

الصياغة: صياغة حل الصراع بين النص والرؤية في مساحة إحداثيات مستمرة، مما يسمح بقياس كل من تدهور التحديد الجغرافي والتحولات الموجهة نحو الأهداف الجغرافية المحقونة، وهي قدرة تفتقر إليها المعايوهات المرجعية ذات المهام المنفصلة.
بناء المعيار المرجعي: توفير SIGNPOST-Bench، وهو إطار عمل واسع النطاء ومتحكم فيه يضم 25,555 متغيراً للصورة، مما يسمح بمقارنات داخل المشهد الواحد بين النص الأصلي، وإزالة النص، والاستبدالات المتوافقة وغير المرتبطة والمتعارضة.
النتائج التجريبية: إثبات أن النص المشهدي المتعارض هو نمط فشل منهجي للنماذج اللغوية الكبيرة متعددة الوسائط الحالية. تُظهر النتائج أن النماذج عرضة للوقوع في "فخ" النصوص المتعارضة، حيث تتحول تنبؤاتها نحو الأهداف المحقونة. والأهم من ذلك، يجادل البحث بأن أداء التحديد الجغرافي للمدخلات النظيفة ليس مؤشراً كافياً لمتانة الصراع، مما يسلط الضوء على فجوة في محاذاة النماذج الحالية حيث يمكن لأسماء الأماكن الصريحة في النص أن تطغى على الأدلة البصرية الأقل مباشرة.

يضع المؤلفون SIGNPOST-Bench كإطار عمل قابل لإعادة الإنتاج لتشخيص كيفية موازنة النماذج اللغوية الكبيرة متعددة الوسائط بين الأدلة متعددة الوسائط المتعارضة، متجاوزين الدقة الإجمالية لتحليل أنماط فشل محددة في تفسير النص والمشهد.