💻 computer science

Vision-Language Models are Fragile Multilingual Associators

تقدم هذه الورقة المعيار المرجعي M $^2$ BIND لتوضيح أن نماذج الرؤية واللغة تظهر ترابط مفاهيم هشاً يعتمد على اللغة، وينهار بشكل كبير في الإعدادات متعددة اللغات عبر العائلات والخطوط المختلفة، مما يتحدى افتراض اتساق الأداء عبر اللغات المتنوعة.

المؤلفون الأصليون: Ritabrata Chakraborty, Rajatsubhra Chakraborty, Shivakumara Palaiahnakote, Angelo Cangelosi, Umapada Pal

نُشر 2026-08-14

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Ritabrata Chakraborty, Rajatsubhra Chakraborty, Shivakumara Palaiahnakote, Angelo Cangelosi, Umapada Pal

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تسير في سوق دولي صاخب. ترى تفاحة حمراء زاهية. في عقلك، تندمج كلمة "أحمر" مع صورة تلك التفاحة لتصبح فكرة واحدة لا تتزعزع. لا يهم إذا وصفها البائع بأنها "rouge" أو "hong" أو "أحمر"؛ فعقلك يعرف فوراً أن جميع هذه الكلمات تشير إلى نفس الفاكهة اللامعة. هذه القدرة على ربط ما نراه بما نسمعه، بغض النظر عن اللغة المتحدث بها، هي قوة خارقة امتلكها البشر منذ ولادتهم.

الآن، تخيل تعليم روبوت القيام بنفس الشيء. لقد صنعنا "نماذج الرؤية واللغة" (VLMs) القوية—وهي أنظمة ذكاء اصطناعي يمكنها النظر إلى صورة والإجابة عن أسئلة حولها. نحن نفترض أنه إذا تعلمت هذه الروبوتات ربط صورة مخروط بكلمة "yellow" بالإنجليزية، فإنها ستعرف تلقائياً أن "jaune" بالفرنسية أو "huang" بالماندارينية تعني الشيء نفسه. يبدو الأمر بديهياً، أليس كذلك؟ ولكن في عالم الذكاء الاصطناعي، غالباً ما تكون كلمة "بديهي" هي المكان الذي تسوء فيه الأمور. يسأل هذا البحث سؤالاً بسيطاً ولكنه مرعب: إذا علمنا الذكاء الاصطناعي ربط كائن مرئي بوصف في لغة واحدة، فهل تصمد هذه الروابط عند الانتقال إلى لغة مختلفة؟ أم أن الاتصال ينقطع، تاركاً الروبوت في حالة ارتباك حتى لو قدم الإجابة الصحيحة؟

لعبة تبديل اللغات الكبرى

قرر الباحثون وراء هذه الدراسة، بقيادة ريتابراتا شاكرابورتي وزملاؤه، وضع هذا الافتراض قيد الاختبار. لقد ابتكروا لعبة جديدة تسمى M2BIND. فكر فيها كخدعة سحرية حيث يعرضون للذكاء الاصطناعي صورة لشكلين ثلاثي الأبعاد—مخروط ومكعب. ثم يعطون الذكاء الاصطناعي "قاعدة سرية" بلغة واحدة (السياق/Context) ويسألون سؤالاً بلغة مختلفة تماماً (الاستعلام/Query).

إليك كيف تعمل الخدعة:

المشهد: يرى الذكاء الاصطناعي مكعباً سماوياً (cyan) ومخروطاً أصفر.
القاعدة (السياق): يُقال للذكاء الاصطناعي بالفرنسية: "الكائن السماوي يحتوي على العنصر P. الكائن الأصفر يحتوي على العنصر I."
السؤال (الاستعلام): يُسأل الذكاء الاصطناعي بالإنجليزية: "أي عنصر يحتوي عليه المخروط؟"

للحصول على الإجابة الصحيحة، يتعين على الذكاء الاصطناعي القيام بتمارين رياضية ذهنية: يجب أن ينظر إلى المخروط، ويدرك أنه أصفر، ويتذكر القاعدة الفرنسية التي تقول "الأصفر = I"، ثم يجيب بـ "I". إذا استطاع الذكاء الاصطناعي فعل ذلك، فهذا يثبت أنه نجح في "ربط" الشكل المرئي باللون، واللون بالعنصر، عبر لغتين مختلفتين.

الاكتشاف الكبير: "الانهيار الصامت"

كانت النتائج صادمة نوعاً ما. تجد الورقة البحثية أن هذه النماذج هي "ارتباطات لغوية هشة". فبينما قد تظل تقدم الإجابة الصحيحة معظم الوقت، إلا أن الطريقة التي تصل بها إلى تلك الإجابة تنهار عندما تصبح اللغات مختلفة جداً.

قاس الباحثون ذلك باستخدام مقياس يسمى هامش التجزئة (Factorization Margin - FM). يمكنك التفكير فيه كـ "درجة ثقة" لمدى قوة لصق الذكاء الاصطناعي للمفاهيم معاً.

عندما يتحدث الذكاء الاصطناعي بنفس اللغة لكل من القاعدة والسؤال (مثل الإنجليزية إلى الإنجليزية)، يكون "الغراء" قوياً جداً. كانت الدرجة صحية وبلغت 5.45.
ولكن عندما مزجوا لغات من عائلات مختلفة—مثل استخدام قاعدة بالماندارينية وسؤال بالعربية—تحول الغراء إلى غبار. انخفضت الدرجة بشكل حاد إلى 2.80.

هذا هو "انهيار الربط". وهذا يعني أنه حتى لو خمن الذكاء الاصطناعي الإجابة الصحيحة، فإنه لا يربط النقاط فعلياً كما يفعل البشر. إنه يشبه طالباً حفظ نموذج الإجابات لكنه لم يفهم الرياضيات. تشير الورقة إلى أنه بالنسبة للغات المختلفة جداً (عبر العائلات اللغوية أو باستخدام أبجديات مختلفة مثل اللاتينية مقابل العربية)، يفقد الذكاء الاصطناعي قدرته على الحفاظ على هذا الارتباط متماسكاً.

لماذا يحدث هذا؟ عنق زجاجة "الرموز" (Tokens)

تعمق المؤلفون للبحث عن السبب وراء حدوث ذلك. ووجدوا مسببين رئيسيين:

مشكلة الـ Tokenizer: تخيل أن الذكاء الاصطناعي يقرأ النص مثل شخص يقرأ كتاباً، ولكن بدلاً من الكلمات، يرى "رموزاً" (tokens) (أجزاء من الحروف). بعض اللغات "شرهة" في الأكل. وجدت الورقة أن لكتابة نفس الجملة، تحتاج العربية إلى 27.6% أكثر من الرموز مقارنة بالإنجليزية. هذا يضخم ذاكرة الذكاء الاصطناعي، مما يضطره إلى قطع أجزاء من الجملة (القص/truncation) أو مجرد الشعور بالارتباك. إنه مثل محاولة وضع فيل ضخم في سيارة صغيرة؛ الوضع ضيق، والأشياء تتعرض للضغط والتشويه.
دماغ "آخر الليل": استخدم الباحثون تقنية خاصة تسمى "التدخل السببي" (causal intervention) للتلصص على طبقات دماغ الذكاء الاصطناعي. وجدوا أنه عندما تكون اللغات هي نفسها، يستنتج الذكاء الاصطناعي العلاقة في منتصف عملية التفكير. ولكن عندما تكون اللغات مختلفة، يضطر الذكاء الاصطناعي إلى دفع العمل إلى النهاية تماماً، مثل طالب يذاكر للامتحان في اللحظات الأخيرة قبل البدء. هذا "الحساب في الطبقات المتأخرة" يكون أضعف وأقل موثوقية.

الخبر السار: الأقارب يتفاهمون

هناك جانب مشرق! وجدت الورقة أنه إذا كانت اللغات "أقارب"، فإن أداء الذكاء الاصطناعي يكون أفضل بكثير.

العائلة الجرمانية: الإنجليزية والهولندية والألمانية هي أقارب مقربون. عندما انتقل الذكاء الاصطناعي بين هذه اللغات، ظل الارتباط قوياً (الدرجات حوالي 5.00–5.30).
العائلة الرومانسية: الفرنسية والإيطالية والإسبانية صمدت أيضاً بشكل جيد.
الغرباء: ولكن عندما حاول الذك de الاصطناعي خلط الإنجليزية مع الماندارينية، أو الفرنسية مع العربية، انخفض الأداء بشكل كبير.

يشير هذا إلى أن "القاموس" الداخلي للذكاء الاصطناعي منظم بناءً على مدى تشابه اللغات. إذا كانت اللغات تتشارك في شجرة عائلة واحدة، يمكن للذكاء الاصطناعي ترجمة المفهوم بسهولة. أما إذا كانت لغات غريبة، فإن الذكاء الاصطناعي يكافح لسد الفجوة.

ماذا يعني هذا للمستقبل

تخلص الورقة إلى أنه لا يمكننا افتراض أن نماذج الذكاء الاصطناعي هذه "متعددة اللغات" حقاً لمجرد أنها تجتاز اختباراً بلغة واحدة. إذا قمت بنشر ذكاء اصطناعي في بيئة عالمية تمزج بين اللغات، فقد تحصل على إجابات تبدو صحيحة ولكنها مبنية على روابط مهتزة ومكسورة.

يحذر المؤلفون من أن الاعتماد فقط على "الدقة" (هل حصلت على الإجابة الصحيحة؟) أمر خطير. يمكن للنموذج أن يحصل على الإجابة الصحيحة في 90% من الحالات بينما ينهار منطقه الداخلي تماماً. ويقترحون أنه لكي تكون هذه النماذج موثوقة حقاً في جميع أنحاء العالم، نحتاج إلى إصلاح كيفية تعاملها مع النصوص واللغات المختلفة، وليس مجرد الأمل في أن تتدبر أمرها بنفسها. في الوقت الحالي، يظل حلم وجود ذكاء اصطناعي يدمج الرؤية واللغة بسلاسة عبر كل لسان بشري مجرد حلم، مع وجود بعض الشقوق في أساسه.

ملخص تقني: النماذج اللغوية البصرية هي روابط متعددة اللغات هشة

بيان المشكلة

تُكلف النماذج اللغوية البصرية (VLMs) بربط الكيانات المرئية بالسمات النصية. وبينما يقوم البشر بدمج المعلومات المرئية والنصية بسلاسة عبر لغات مختلفة (على سبيل المثال، ربط "yellow" و"jaune" بنفس المفهوم)، يظل من غير المستكشف ما إذا كانت النماذج اللغوية البصرية تحافظ على استقرار ربط المفاهيم عندما تختلف لغة السياق والاستعلام. غالبًا ما تعتمد التقييمات الحالية على إعدادات أحادية اللغة، مما قد يخفي "تدهورًا صامتًا" حيث يرث المستخدمون غير الناطقون بالإنجليزية جودة ارتباط منخفضة. وتتمثل المشكلة الجوهرية في تحديد ما إذا كانت آليات الربط الداخلية للنماذج اللتمثيلية لغوية مستقلة أم أنها تنهار عند عبور الحدود اللغوية، لا سيما بين العائلات اللغوية والخطوط الكتابية المختلفة.

المنهجية: M2BIND

يقدم المؤلفون M2BIND، وهو معيار ومهمة مصممة لاختبار الربط متعدد اللغات ومتعدد الوسائط.

صياغة المهمة: تتضمن المهمة مشهدًا مرئيًا يحتوي على جسمين ثلاثي الأبعاد (مثل مخروط ومكعب)، يتميز كل منهما بشكل ولون. يقوم سياق نصي بتعيين رمز عنصر (مثل "P" أو "I") لكل جسم بناءً على لونه. ثم يستعلم سؤال عن العنصر الموجود في جسم معين بناءً على شكله.
تحدي الربط: للإجابة بشكل صحيح، يجب على النموذج إجراء عملية ربط من خطوتين:
1. التأريض (Grounding): ربط الشكل المستعلم عنه بلون عبر الصورة.
2. الربط (Binding): ربط ذلك اللون برمز العنصر الصحيح عبر السياق النصي.
3. الشرط عابر اللغات: يتم تقديم السياق بلغة $\ell_{ctx}$ ، بينما يكون الاستعلام بلغة $\ell_{q}$ . وتظل الصورة ثابتة.
الإعداد اللغوي: يغير البحث $\ell_{ctx}$ $ℓ_{c t x}$ و $\ell_{q}$ $ℓ_{q}$ عبر ثماني لغات مختارة على محورين للمسافة اللغوية:
- عبر العائلات: الإنجليزية، الفرنسية، المندرين، والعربية (تغطي أربع عائلات وثلاثة خطوط كتابية).
- داخل العائلة: مجموعة جرمانية (الإنجليزية، الهولندية، الألمانية) ومجموعة رومانسية (الفرنسية، الإيطالية، الإسبانية).
مقاييس التقييم:
- خارجية: الدقة القياسية وهامش التجزئة (FM)، الذي يقيس الفصل في الاحتمالية اللوغاريتمية بين العنصر الصحيح والمشتت. يُستخدم FM للكشف عن انهيار الربط حتى عندما تظل الدقة مرتفعة.
- داخلية (سببية): تأثير التبادل السببي (ICE) عبر تدخلات التبادل. من خلال تبديل الحالات المخفية لكلا الجسمين في طبقات محددة من فك التشفير (decoder)، يقيس المؤلفون انخفاض درجة العنصر الصحيح لتحديد مكان ترسيخ الربط داخل النموذج.
النماذج: يستخدم التقييم الأساسي نموذج LLaVA-1.5-OV-7B (مشفر SigLIP، وفك تشفير Qwen2). وتتوفر نتائج إضافية لنموذج Qwen2.5-VL-7B.

المساهمات الرئيسية

معيار M2BIND: أول مهمة ومعيار يغير لغات السياق والاستعلام بشكل مستقل عبر لغات متعددة ومسافات لغوية لاختبار ربط الكيان والسمة.
التقييم المزدوج: استراتيجية تقييم شاملة تجمع بين أداء المهمة الخارجي والتدخلات السببية الداخلية لتتبع تدهور الربط.
التحليل الآلي: تحديد العوامل المحددة التي تدفع هشاشة الربط، بما في ذلك تأثيرات التقطيع (tokenization) والتحولات في طبقات حسابات فك التشفير.

النتائج

1. الربط ليس لغويًا مستقلًا (RQ1)

الانهيار عبر العائلات: تتدهور قوة الربط بشكل كبير مع المسافة اللغوية. في الإعدادات عبر العائلات (مثل سياق المندرين مع استعلام بالعربية)، ينخفض هامش التجزئة (FM) بمقدار 2.65 نقطة (من 5.45 في الإنجليزية أحادية اللغة إلى 2.80)، مما يمثل أقل من نصف قوة اللغة الأحادية.
تأثير الخطوط الكتابية: تُظهر النصوص غير اللاتينية (المندرين، العربية) قوة ربط أقل حتى في الإعدادات أحادية اللغة مقارنة بالخطوط اللاتينية.
عدم التماثل: التدهور غير متماثل. فعندما تكون لغة الاستعلام غير لاتينية (الإنجليزية $\leftarrow$ العربية)، يكون الربط أضعف مما لو كان السياق غير لاتيني (العربية $\leftarrow$ الإنجليزية). وهذا يتوافق مع نظرية إطار لغة المصفوفة (Matrix Language Frame)، حيث يجب أن يصل الاستعلام إلى هيكل ربط تم بناؤه بواسطة السياق.
الاستقرار داخل العائلة: تحافظ اللغات ذات الصلة الوثيقة (مثل المجموعات الجرمانية أو الرومانسية) على الارتباطات بشكل أفضل بكثير، حيث تظل قيم FM قريبة من مستويات اللغة الأحادية (فوق 5.0) وتظل الدقة قريبة من 0.98–0.99.

2. محركات الهشاشة (RQ2)

التقطيع (Tokenization): يحدث جزء كبير من التدهور قبل فك التشفير. تتطلب النصوص غير اللاتينية (العربية، المندرين) المزيد من الرموز (tokens)، مما يؤدي إلى معدلات اقتطاع أعلى وفقدان في FM حتى في الإعدادات أحادية اللغة. ويشير هذا إلى "عدم إنصاف المقطع" (tokenizer unfairness) كمحرك أساسي للهشاشة.
إزاحة فك التشفير: تكشف التدخلات السببية (الشكل 2) أنه بينما يبلغ الربط أحادي اللغة ذروته في طبقات فك التشفير الوسطى (~~15)، فإن الربط عابر اللغات ينتقل إلى الطبقات المتأخرة (~~20). يشير هذا إلى أن النموذج يقوم بحسابات إضافية للتوفيق بين التمثيلات اللغوية المتباعدة. ومع ذلك، فإن هذه الحسابات الإضافية لا تستعيد قوة الربط بالكامل؛ حيث تكون منحنيات عابرة اللغات أكثر تسطحًا وأضعف، مما يشير إلى أن التمثيلات أقل قابلية للفصل سببيًا.

3. القرب اللغوي يساعد على الانتقال (RQ3)

تُظهر الأزواج داخل العائلة (مثل الإنجليزية-الهولندية، الفرنسية-الإيطالية) انتقالًا قويًا للربط، وغالبًا ما تتجاوز لغة الأصل (مثل أزواج الألماني-الهولندي التي تعمل جيدًا دون الإنجليزية). وهذا يدعم فرضية أن التقارب النسبي المشترك والمفردات تسهل استقرار الربط.

الأهمية والادعاءات

يزعم البحث أن النشر العالمي للنماذج اللغوية البصرية في بيئات متعددة اللغات لا يمكن أن يفترض نفس جودة الارتباط الملاحظة في التقييمات أحادية اللغة.

الدقة غير كافية: غالبًا ما تظل دقة المهمة الإجمالية قريبة من السقف (على سبيل المثال، >0.90) حتى عندما تنهار آلية الربط الأساسية (كما يشير انخفاض FM). الاعتماد فقط على الدقة يخفي هشاشة الاستدلال عابر اللغات.
الإنسان مقابل الآلة: على عكس البشر، الذين يدمجون المفاهيم المرئية واللغوية بسلاسة بغض النظر عن اللغة، تواجه النماذج اللغوية البصرية الحالية صعوبة في الحفاظ على روابط ثابتة عبر المسافات اللغوية، خاصة تلك التي تشمل الخطوط غير اللاتينية.
القيمة التشخيصية: توضح الدراسة أن التدخلات السببية الداخلية وهوامش التجزئة ضرورية كأدوات تشخيصية للنماذج اللغوية البصرية متعددة اللغات، حيث تكشف عن التدهور الذي تغفله المعايير القياسية.

يخلص المؤلفون إلى أن التأريض المستقل عن اللغة يظل مشكلة لم تُحل للنماذج اللغوية البصرية الحالية، حيث ينفصل الربط مع زيادة المسافة اللغوية.