🤖 AI

Blind to Position, Biased in Language: Probing Mid-Layer Representational Bias in Vision-Language Encoders for Zero-Shot Language-Grounded Spatial Understanding

تكشف هذه الورقة أن تمثيلات الطبقة النهائية لمشفرات الرؤية واللغة تعاني من عدم الحساسية الموضعية والانزياحات الهندسية المعتمدة على اللغة، مما استدعى اقتراح طريقة لسبر التحيز التمثيلي في الطبقات المتوسطة، والتي حسنت بشكل كبير أداء تقسيم الصور بالإشارة (zero-shot referring image segmentation) واسترجاع الصور من النصوص (text-to-image retrieval).

المؤلفون الأصليون: Na Min An, Inha Kang, Minhyun Lee, Hyunjung Shim

نُشر 2026-03-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Na Min An, Inha Kang, Minhyun Lee, Hyunjung Shim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "Blind to Position, Biased in Language" (أعمى عن الموقع، منحاز في اللغة) باستخدام لغة بسيطة وتشبيهات إبداعية.

الصورة الكبيرة: الذكاء الاصطناعي "الذكي ولكن الجاهل"

تخيل أن لديك مساعداً ذكياً يعمل بالذكاء الاصطناعي يسمى VLE (مشفر الرؤية واللغة). هذا الذكاء الاصطناعي قرأ ملايين الكتب ورأى ملايين الصور. إنه ذكي للغاية في فهم الفكرة العامة للأشياء. إذا أريته صورة كلب وسألته: "هل هذا كلب؟"، سيجيب: "نعم!" بكل ثقة.

ومع ذلك، تكشف هذه الورقة البحثية أن لدى VLE عيبين رئيسيين في شخصيته عندما تطلب منه الإشارة إلى أشياء محددة:

هو "أعمى مكانياً": هو يعرف ما هو "الكرة الحمراء"، لكنه لا يهتم أين توجد الكرة الحمراء. إذا قلت له: "ابحث عن الكرة الحمراء على اليسار"، فقد يشير VLE إلى الكرة الحمراء الموجودة على اليمين لأنه شديد التركيز على مفهوم "الكرة الحمراء" لدرجة أنه يتجاهل الاتجاه.
هو "منحاز لغوياً": هو يتحدث الإنجليزية بطلاقة، ولكن إذا سألته نفس السؤال باللغة الألمانية أو الصينية أو الكورية، فإنه يرتبك. معاني الكلمات تصبح "مشوشة" في دماغه، مما يجعله يفقد طريقه.

اكتشف الباحثون أن هذا ليس لأن الذكاء الاصطناعي غبي؛ بل بسبب المكان الذي يبحث فيه داخل دماغه.

التشبيه: "الامتحان النهائي" مقابل "ملاحظات المسودة"

تخيل دماغ الذكاء الاصطناعي كمصنع يحتوي على طوابق عديدة (طبقات).

الطوابق الوسطى (الطبقات المتوسطة): هنا، يقوم العمال بتدوين ملاحظات تفصيلية. إنهم ينظرون إلى أجزاء محددة من الصورة. هم يعرفون بالضبط أين هو "اليسار" ولا يزالون يعالجون بنية الجملة للغات المختلفة بعناية.
الطابق العلوي (الطبقة النهائية): هذا هو المكان الذي يتم فيه إنشاء "التقرير النهائي". لجعل التقرير نظيفاً وسهل القراءة، يقوم العمال بتلخيص كل شيء في فكرة واحدة كبيرة ومجردة.
- المشكلة: في عملية التلخيص، يقومون برمي التفاصيل مثل "اليسار/اليمين" لتوفير المساحة. كما أنهم يترجمون ملاحظات الألمانية والصينية عن طريق الخطأ إلى نسخة مشوهة وغريبة من الإنجليزية قبل كتابة التقرير النهائي.

اكتشاف الورقة البحثية: الذكاء الاصطناعي يمتلك بالفعل المعلومات المكانية ومتعددة اللغات الصحيحة، لكنه يخفيها في الطوابق الوسطى. "التقرير النهائي" (المخرج القياسي) هو مجرد ملخص مبالغ فيه لدرجة أنه غير مفيد للمهام الدقيقة.

الحل: B2G (منحاز للتجسيد الأرضي)

بنى الباحثون أداة تسمى B2G. بدلاً من طلب "التقرير النهائي" من الذكاء الاصطناعي، تعمل B2G كالمحقق الذي يتسلل إلى الطوابق الوسطى للمصنع ليأخذ الملاحظات الخام والتفصيلية قبل أن يتم تلخيصها.

إليك كيف تعمل B2G في خطوتين:

1. إصلاح "العمى" (الخريطة المكانية)

المشكلة: عندما ينظر الذكاء الاصطناعي إلى الطوابق الوسطى، فإنه أحياناً يعكس الاتجاهات (مثل النظر في المرآة). هو يعتقد أن "اليسار" هو "اليمين".
الحل: تستخدم B2G خدعة بسيطة تسمى النفي (negation). إنها تقلب خريطة الذكاء الاصطناعي الداخلية رأساً على عقب.
- تشبيه: تخيل أن الذكاء الاصطناعي يرسم خريطة حيث "الهدف" هو نقطة داكنة في منتصف صفحة بيضاء، لكن الذكاء الاصطناعي جعل "الهدف" بالخطأ نقطة بيضاء على صفحة سوداء. تقوم B2G فقط بعكس الألوان، مما يجعل الهدف يبرز بوضوح فوراً.
النتيجة: يمكن للذكاء الاصطناعي الآن رؤية مكان الشيء بدقة، حتى لو كانت التعليمات تقول "الكوب الموجود في أقصى اليسار".

2. إصلاح "الانحياز" (المركز متعدد اللغات)

المشكلة: إذا طرحت نفس السؤال بـ 10 لغات مختلفة، فإن التمثيل الداخلي للذكاء الاصطناعي لهذا السؤال يبتعد عن بعضه البعض. الأمر يشبه سؤال 10 أشخاص لوصف "كلب"، لكن كل واحد منهم يصفه بشكل مختلف قليلاً، مما يجعل من الصعب العثور على الكلب الحقيقي.
الحل: تأخذ B2G السؤال، وتترجمه إلى 10 لغات، وتطلب من الذكاء الاصطناعي معالجة النسخ العشر جميعها في وقت واحد في الطوابق الوسطى. ثم تحسب المتوسط (المركز/centroid) لكل تلك الإجابات.
- تشبيه: تخيل 10 أشخاص يحاولون وصف موقع ما. أحدهم يقول "بالقرب من الشجرة"، وآخر يقول "بجانب البلوطة"، وآخر "تحت الأوراق". تأخذ B2G كل أوصافهم، وتجد الأرضية المشتركة (المركز)، وتنشئ تعليمات واحدة فائقة الدقة ومحايدة لغوياً.
النتيجة: يتوقف الذكاء الاصطناعي عن الاهتمام باللغة المحددة ويركز فقط على المعنى. إنه يعمل بشكل جيد في الكورية كما يعمل في الإنجليزية.

لماذا يهم هذا؟

قبل هذه الورقة، إذا كنت تريد من الذكاء الاصطناعي أن يجد "القطة الجالسة على الكرسي الأزرق" في صورة، فغالباً ما كان عليك:

تدريب الذكاء الاصطناعي على آلاف الأمثلة المحددة (وهو أمر مكلف وبطيء).
أو قبول أنه سيفشل إذا سألته بلغة مختلفة.

مع B2G:

لا حاجة للتدريب: تعمل فوراً على أي ذكاء اصطناعي مدرب مسبقاً.
دقة أفضل: تحسن الدقة بنسبة كبيرة (تصل إلى 7-8% أفضل في الاختبارات)، وهو أمر ضخم في عالم الذكاء الاصطناعي.
عالمية: تعمل للإنجليزية، والألمانية، والصينية، والكورية، والعديد من اللغات الأخرى دون الحاجة لإعادة تدريب النموذج.

الخلاصة

تعلمنا هذه الورقة أنه لا تكتفِ بالنظر إلى إجابة الذكاء الاصطناعي النهائية. أحياناً، تكون المعلومات الأكثر فائدة مخبأة في "منتصف العملية". من خلال استراق النظر إلى أفكاره الوسيطة وتصحيح انحيازاته، يمكننا جعل هذه الأدوات القوية أكثر دقة وإنصافاً وفائدة للجميع، بغض النظر عن اللغة التي يتحدثونها.

باخت-صريح: لم يكن الذكاء الاصطناعي معطلاً؛ بل كان ينظر فقط إلى الجزء الخاطئ من دماغه. ببساطة، أخبرته B2G: "مهلاً، انظر هنا بدلاً من ذلك!" وفجأة، أصبح بإمكانه الرؤية بوضوح تام.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "أعمى عن الموقع، منحاز في اللغة: استقصاء التحيز التمثيلي في الطبقات المتوسطة للمشفرات البصرية-اللغوية من أجل فهم مكاني مرتبط باللغة في وضع الصفر-التعلم (Zero-Shot)."

1. بيان المشكلة

تتناول الورقة ورقة بحثية عيبين حرجين في تجزئة الصور المرجعية (RIS) في وضع الصفر-التعلم عند استخدام المشفرات البصرية-اللغوية (VLEs) سابقة التدريب مثل CLIP أو SigLIP:

العمى المكاني: بينما تتفوق المشفرات البصرية-اللغوية في المحاذاة الدلالية العالمية، فإن تمثيلات الطبقة النهائية غالباً ما تتخلص من المعلومات الموضعية دقيقة التفاصيل. يؤدي هذا إلى اختيار النماذج لمناطق الخلفية أو كائنات غير صحيحة عندما تحتوي الاستعلامات على إشارات مكانية (مثل "يسار"، "الأقرب إلى").
التحيز متعدد اللغات: في الإعدادات متعددة اللغات، تُظهر الجمل المتكافئة دلالياً في لغات مختلفة (مثل الإنجليزية مقابل الألمانية) إزاحات هندسية منتظمة في فضاء التضمين النهائي. يتسبب هذا في أداء ضعيف للنماذج على الاستعلامات غير الإنجليزية، حتى لو ظل الهدف البصري متطابقاً.

تعتمد الطرق الحالية التي لا تتطلب تدريباً عادةً على تمثيلات الطبقة النهائية، وهي محسنة للتجريد عالي المستوى ولكنها غير مثالية للتأسيس على مستوى البكسل والاتساق عبر اللغات. تفترض المؤلفة أن الطبقات المتوسطة (mid layers) للمشفرات البصرية-اللغية تحتفظ بالبنية المكانية وهندسة اللغة المستقرة التي تُفقد في التجريد النهائي.

2. المنهجية: من المنحاز إلى المرتكز (B2G)

تقترح المؤلفة إطار عمل B2G، وهو إطار عمل يعمل في وضع "الصفر-تعلم" على مشفرات بصرية-لغوية مجمدة باستخدام نموذج استقصاء $\leftarrow$ اختيار $\leftarrow$ ترسيخ. لا يتطلب هذا الإطار إعادة تدريب، أو انتشار عكسي للميل (gradient backpropagation)، أو تغييرات هيكلية.

أ. استقصاء التحيز المكاني وتوليد خريطة الـ P-Map

الملاحظة: الطبقات البصرية المتوسطة حساسة للترتيب المكاني، بينما الطبقات النهائية تكون غير محايدة للموقع. ومع ذلك، فإن تشابه جيب التمام (cosine similarity) الخام في الطبقات المتوسطة غالباً ما يُظهر "تصوراً معكوساً" (القطع الأمامية لها ارتباط سلبي مع الاستعلام).
الحل:
1. عكس الإشارة: يطبق المؤلفون قلباً حتمياً للإشارة للقطع التضمينية قبل الإسقاط ( $\cos(-u, v) = -\cos(u, v)$ ). هذا يصحح الارتباط العكسي، مما يستعيد التنشيطات المتركزة في المقدمة.
2. بناء P-Map: يتم إنشاء خريطة تشابه كثيفة على مستوى القطعة (P-Map) من خلال مقارنة قطع الصور في الطبقة المتوسطة المصححة مع تضمين نصي هجين.
3. اختيار الطبقة: يقوم مسبار التكافؤ المكاني (باستخدام تبديل البلاطات/tiles) بتحديد الطبقة المتوسطة المثلى حيث يتم الحفاظ على البنية المكانية بشكل أفضل.
4. إعادة التصنيف: يتم تحويل P-Map إلى قناع توجيه مكاني. يتم إعادة تصنيف الأقنعة المرشحة من مجزئ جاهز (مثل Mask2Former) عن طريق الجمع بين تشابه الصورة والنص الأساسي ودرجة التداخل مع دليل P-Map.

ب. استقصاء التحيز متعدد اللغات وحقن المركز (Centroid Injection)

الملاحظة: تبتعد تضمينات النص للجميلة نفسها في لغات مختلفة هندسياً في الطبقة النهائية، مما يشوه المحاذاة عبر الوسائط.
الحل:
1. اختيار الطبقة: يستقصي إطار العمل مشفر النص عبر $N$ من الترجمات المتوازية للاستعلام. يحسب الاتساق عبر اللغات (تشابه جيب التمام بين تضمينات لغات مختلفة) في كل طبقة للعثور على الطبقة المستقرة لغوياً ( $l^*_{txt}$ ).
2. حقن المركز: في الطبقة المتوسطة المختارة، يتم حساب مركز متعدد اللغات عن طريق متوسط التضمينات لجميع الترجمات الـ $N$ .
3. الاستقرار: يستبدل هذا المركز تمثيل رمز "نهاية النص" (EOT) للاستعلام بلغة المرجع. يتم بعد ذلك تمرير التمثيل المعدل عبر الطبقات المتبقية. هذا يخلق تمثيلاً محايداً للغة يلغي الانزياح الهندسي قبل اختناق المحاذاة النهائي.

ج. الميزات النصية الهجينة

تقدم الطريقة أيضاً رموز السياق (CT)، والتي تدمج الميزات العالمية على مستوى الجملة مع ميزات العبارات الاسمية المحلية المعززة برموز السياق (مثل الصفات أو حروف الجر التي تتبع الاسم) لتحسين التمييز المكاني.

3. المساهمات الرئيسية

رؤية تشخيصية: تكشف الورقة أن المشفرات البصرية-اللغية ليست "عمياء" بطبيعتها عن الموقع أو اللغة؛ بل إن واجهة التجريد في الطبقة النهائية هي التي تقمع هذه الإشارات. الطبقات المتوسطة تحفظ البنية الهيكلية والاستقرار الهندسي اللازمين.
إطار عمل لا يتطلب تدريباً (B2G): حل "plug-and-play" يحسن تجزئة الصور المرجعية (RIS) في وضع الصفر-التعلم دون إعادة تدريب. إنه يستفيد من التمثيلات المتوسطة عبر آلية إعادة تصنيف خفيفة الوزن (للمكان) وحقن المركز (متعدد اللغات).
نهج موحد: يعالج في آن واحد التأسيس المكاني والمتانة متعددة اللغات، وهما مشكلتان غالباً ما يتم التعامل معهما بشكل منفصل.
آليات استقصاء مبتكرة: تقديم مسبار تبديل البلاطات (للعثور على الطبقات الحساسة مكانياً) ومسبار الاتساق عبر اللغات (للعثود على الطبقات المستقرة لغوياً).

4. النتائج التجريبية

تم تقييم الطريقة على معايير قياسية (RefCOCO, RefCOCO+, RefCOCOg) وامتدادات متعددة اللغات (10 لغات).

تجزئة الصور المرجعية (RIS) في وضع الصفر-التعلم القياسي:
- تفوقت على النماذج المرجعية القوية (Global-Local, HybridGL) عبر مختلف الدعامات (Backbones) مثل CLIP ViT-B/32, ViT-B/16, SigLIP, DFN.
- التحسينات: +2.15 mIoU على RefCOCO، و+5.47 mIoU على RefCOCO+، و+5.75 mIoU على RefCOCOg (باستخدام CLIP ViT-B/16).
- حققت نتائج رائدة (SOTA) على مجموعة بيانات PhraseCut الصعبة.
تجزئة الصور المرجعية متعددة اللغات في وضع الصفر-التعلم:
- حسنت الأداء بشكل كبير عبر 9 معايير مترجمة.
- التحسينات: ارتفع متوسط IoU@50 من 45.13 إلى 53.41؛ وارتفع mIoU من 42.42 إلى 49.62.
- أنقذت اللغات "المنهارة" (مثل الألمانية والصينية) التي كان أداؤها ضعيفاً مع المشفرات البصرية-اللغية الأساسية، مع الحفاظ على أداء الإنجليزية أو تحسينه.
استرجاع الصور من النص في وضع الصفر-التعلم:
- حسنت Recall@1 في مهام الاسترجاع متعدد اللغات، مما يثبت أن الطريقة تصحح الانزياح الهندسي الأساسي في مشفر النص.
- نتيجة رئيسية: تعمل الطريقة كمنظم هيكلي، مما يحسن اللغات الضعيفة دون التضحية باللغات القوية (لا يوجد "مقايضة مع الإنجليزية").
الكفاءة:
- بينما يضيف الاستقصاء متعدد اللغات بعض التكلفة في وقت الاستدلال (حوالي 1.5x–1.7x زمن التأخير بسبب معالجة الترجمة المتوازية)، فإن إعادة التصنيف المكاني خفيفة الوزن مقارنة بطرق البروز القائمة على التدرج (مثل Grad-CAM).

5. الأهمية والتأثير

تحول في النموذج: تتحدى الافتراض السائد بأن تمثيلات الطبقة النهائية هي الواجهة المثلى لجميع مهام المشفرات البصرية-اللغوية. إنها تثبت أن التمثيلات المتوسطة حاسمة للاستدلال المكاني الدقيق والمنطقي عبر اللغات.
العملية: تقدم حلاً فعالاً للغاية لا يتطلب تدريباً لنشر المشفرات البصرية-اللغوية في سيناريوهات العالم الحقيقي، متعددة اللغات والمعقدة مكانياً (مثل الذكاء الاصط�عي المتجسد، الروبوتات، التصوير الطبي) دون تكلفة إعادة تدريب النماذج الضخمة.
القدرة على التعميم: تشير النتائج إلى أن استقصاء الطبقات المتوسطة يمكن أن يفيد مهام متعددة الوسائط أخرى تتطلب استدلالاً هيكلياً، مثل الإجابة على الأسئلة البصرية (VQA) أو الوصف الكثيف (Dense Captioning).

في الختام، نجح B2G في فتح القدرات المكانية واللغوية الكامنة داخل المشفرات البصرية-اللغية المجمدة من خلال تجاوز واجهة التجريد النهائية المنحازة استراتيجياً، مما يوفر مساراً قوياً (دون تدريب) للفهم الدقيق المرتبط باللغة.