Linguistic Context Recodes Visual Representations in Vision-Language Models
تُثبت هذه الورقة أن نماذج الرؤية واللغة تعيد ترميز التمثيلات البصرية ديناميكيًا من خلال آليات مستحثة لغويًا، وتحديدًا عبر توليد ناقلات مرجعية مجردة للأجسام ذات الصلة بالهدف وتضخيم السمات الخاصة بالمهمة، مما يتحدى الرؤية التي تعتبر الرموز البصرية مستودعات معلومات ثابتة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تنظر إلى مكتب فوضوي مغطى بالألعاب: مكعب أحمر، كرة زرقاء، ونجمة خضراء. إذا سألك شخص ما: "كم عدد الأشياء الحمراء الموجودة هنا؟"، فإن عقلك لا يكتفي بمجرد التحديق في الكومة بأكملها. بدلاً من ذلك، يقوم فوراً بتسليط الضوء على المكعب الأحمر، مما يجعله يبرز في ذهنك بينما تتلاشى الألعاب الأخرى في الخلفية. يُسمى هذا "الانتباه الموجه بالهدف"، وهو قوة خارقة للذكاء البشري تساعدنا في العثور على ما نحتاجه في عالم فوضوي. لفترة طويلة، تساءل العلماء الذين يدرسون الذكاء الاصطناي (AI) عما إذا كانت برامج الكمبيوتر التي ترى وتقرأ (والتي تسمى نماذج الرؤية واللغة) تعمل بنفس الطريقة. كانت النظرية القديمة هي أن برامج الذكاء الاصطناي هذه تتعامل مع الصور مثل ألبوم صور ثابت: الصورة تظل هناك دون تغيير، والنص فقط يقلب الصفحات للعثور على المعلومات. لكن دراسة جديدة تشير إلى أن الذكاء الاصطناي قد يفعل شيئاً أكثر ديناميكية، وكأنه يستخدم قلم تحديد سحري لإعادة كتابة الصورة نفسها بناءً على ما تطلبه.
هذه الورقة البحثية، التي تحمل عنوان "السياق اللغوي يعيد ترميز التمثيلات البصرية في نماذج الرؤية واللغة"، تغوص في الآليات الداخلية لعقول هذه النماذج لترى ما إذا كانت تغير بالفعل طريقة "رؤيتها" للصورة عند إعطائها سؤالاً محدداً. وجد الباحثون، الذين عملوا مع نماذج مثل Qwen 2.5 VL و InternVL3، أن الإجابة هي "نعم" قاطعة. لقد اكتشفوا أنه عندما تطرح سؤالاً، فإن الذكاء الاصطناي لا يقرأ النص وينظر إلى الصورة بشكل منفصل فحسب. بدلاً من ذلك، تقوم التعليمات اللغوية بالوصول إلى الجزء البصري من الذكاء الاصطناي وإعادة كتابة التمثيل الرقمي للأشياء. الأمر كما لو أن الذكاء الاصطناي يأخذ لقطة ذهنية للمشهد، ثم، اعتماداً على سؤالك، يقوم رقمياً بـ "الطلاء فوق" الكائن ذي الصلة لجعله بارزاً، بينما يخفت الآخرين.
وجد الفريق طريقتين رئيسيتين يعمل بهما هذا "المحدد السحري". أولاً، يضيف الذكاء الاصطناي "علامة مرجعية" خاصة وغير مرئية إلى الأشياء المهمة. فكر في هذا كملصق نجمة متوهجة يضعه الذكاء الاصطناي على المكعب الأحمر عندما تسأل عن الأشياء الحمراء. هذه الملصقة ليست مخصصة لهذا المكعب المحدد فحسب؛ بل هي علامة عامة يمكن للذكاء الاصطناي لصقها على أي جسم يناسب الهدف، سواء كان قلباً أحمر في رسوم متحركة أو كأساً من النبيذ الأحمر في صورة حقيقية. وقد أثبت الباحثون أن هذا لم يكن مجرد تسمية سلبية باستخدام تقنية تسمى "التوجيه" (steering). حيث استطاعوا حرفياً أخذ هذه "العلامة المرجعية" من سؤال واحد ولصقها على جسم مختلف في عقل الذكاء الاصطناي، مما نجح في خداع النموذج ليعتقد أن ذلك الجسم الجديد هو ما يبحثون عنه. وهذا يشير إلى أن الذكاء الاصطناي قد تعلم طريقة عالمية لقول: "مهلاً، هذا هو الشيء المهم!".
ثانياً، تظهر الورقة أن الذكاء الاصطناي لا يكتفي بوضع علامة على الجسم فحسب؛ بل يقوم أيضاً برفع مستوى خصائصه المحددة. إذا طلبت من الذكاء الاصطناي التركيز على شكل جسم ما، فإن التمثيل الرقمي لشكل ذلك الجسم يتم تضخيمه، ليصبح "أكثر سمكاً" وتميزاً في معالجة الذكاء الاصطناي، بينما تصبح تفاصيل اللون أكثر هدوءاً. الأمر يشبه رفع صوت "الباص" (bass) لآلة موسيقية معينة في أغنية. وأظهر الباحثون أن هذا يحدث في الطبقات المتأخرة من عقل الذكاء الاصطناي، مباشرة قبل إعطاء الإجابة. وعندما حاولوا "تجميد" هذه العملية — منع الذكاء الاصطناي من تضخيم الميزات — أصبح النموذج أقل ثقة في إجاباته، مما يثبت أن خطوة تعزيز الميزات هذه ضرورية للوصول إلى النتيجة الصحيحة.
باختصار، تشير الدراسة إلى أن نماذج الرؤية واللغة ليست مجرد مكتبات سلبية من الحقائق البصرية تنتظر الاستعلام. بدلاً من ذلك، هي أنظمة نشطة وديناميكية تستخدم اللغة لإعادة تشكيل فهمها البصري في الوقت الفعلي. إنها لا تجد الإجابة فحسب؛ بل تعيد تنظيم رؤيتها الكاملة للعالم لجعل الإجابة واضحة. وهذا يقربنا خطوة من فهم كيف يمكن للآلات أن تطور يوماً ما شكلاً من أشكال الذكاء البصري الذي يبدو أقل شبهاً بالبحث في قاعدة بيانات وأكثر شبهاً بالطريقة المرنة والموجهة بالأهداف التي نرى بها نحن البشر العالم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.