🤖 AI

Binding Visual Features Point by Point

تُثبت هذه الورقة أن تدريب نماذج الرؤية واللغة على الإشارة عبر النص يستحث آلية بحث بصري تسلسلي داخلي تحل مشكلة الربط بفعالية، وتزيل أخطاء ربط السمات، وتمكّن من التعميم التركيبي في المشاهد متعددة الكائنات.

المؤلفون الأصليون: Udith Haputhanthri, Declan Campbell, Rim Assouel, Jonathan D. Cohen, Taylor W. Webb

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Udith Haputhanthri, Declan Campbell, Rim Assouel, Jonathan D. Cohen, Taylor W. Webb

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تنظر إلى حفلة صاخبة من خلال نافذة. ترى قبعة حمراء، وقبعة زرقاء، وقميصاً أحمر، وقميصاً أزرق. إذا نظرت نظرة سريعة، فقد يرتبك عقلك ويعتقد: "هذا الشخص يرتدي قميصاً أحمر وقبعة زرقاء!". هذا الخلط يسمى مشكلة الربط (binding problem). وهي تحدث عندما يرى عقلك الأجزاء الفردية (الأحمر، الأزرق، القبعة، القميص) لكنه يكافح لربطها معاً بشكل صحيح بالشخص المناسب.

لفترة طويلة، كانت أجهزة الكمبيوتر (وتحديداً نماذج الرؤية واللغة - VLMs) بارعة في التعرف على ما يوجد في الصورة، لكنها تستمر في ارتكاب هذه الأخطاء "المربكة" عندما يكون هناك العديد من الأشياء لعدّها أو فرزها. فهي ترى الألوان والأشكال، لكنها لا تستطيع تتبع أي لون ينتمي لأي شكل.

يستقصي هذا البحث سبب فشل أجهزة الكمبيوتر في هذا الأمر، وكيف يعالج "التأشير" (pointing)، وهي حيلة محددة، هذا الخلل. إليك التفاصيل:

1. المشكلة: "الصورة الجماعية الضبابية"

وجد المؤلفون أن نماذج الذكاء الاصطناعي هذه تحاول معالجة الصورة بأكملها دفعة واحدة، مثل صورة جماعية ضبابية حيث يقف الجميع فوق بعضهم البعض. ولأن الذكاء الاصطناعي ينظر إلى كل شيء في وقت واحد، فإن السمات (مثل "الأحمر" و"الدائرة") تختلط ببعضها. الأمر يشبه محاولة الاستماع إلى خمسة أشخاص يتحدثون في وقت واحد؛ أنت تسمع الكلمات، لكن لا يمكنك معرفة من قال ماذا.

2. الحل: استراتيجية "المصباح اليدوي"

يبحث البحث في طريقة يتم فيها تدريب الذكاء الاصطناعي على التأشير على الأشياء واحداً تلو الآخر قبل الإجابة على سؤال. فبدلاً من قول "هناك 5 دوائر حمراء"، يُجبر الذكاء الاصطناعي على قول:

"التأشيرة 1: دائرة حمراء عند (x, y)."
"التأشيرة 2: دائرة حمراء عند (x, y)."
... وهكذا.

اكتشف الباحثون أن هذا ليس مجرد طريقة مبتكرة للتحدث. فعندما يقوم الذكاء الاصطناعي بذلك، فإنه في الواقع يغير طريقة عمل "دماغه". إنه ينتقل من النظر إلى الصورة الجماعية الضبابية بالكامل إلى استخدام مصباح يدوي ذهني. يسلط الضوء على جسم واحد، ويركز عليه، ويكتب إحداثياته، ثم ينقل الضوء إلى الجسم التالي.

3. "رؤوس البحث": العضلة الجديدة للذكاء الاصطناعي

تعمق المؤلفون في كود الذكاء الاصطناعي (الشبكة العصبية الخاصة به) ليروا ما يحدث تحت الغطاء. ووجدوا مجموعة محددة من الخلايا العصبية يسمونها "رؤوس البحث" (search heads).

فكر في هذه الرؤوس كفريق متخصص من العمال داخل الذكاء الاصطناعي. عندما يكون الذكاء الاصطناعي مجرد يخمن، تكون هذه العمال في حالة خمول. ولكن عندما يُجبر على "التأشير"، تستيقظ هذه العمال وتبدأ روتيناً صارماً وخطوة بخطوة:

العثور على جسم ما.
التركيز فقط على ذلك الجسم.
تجاهل كل شيء آخر.
الانتقال إلى التالي.

هذا هو بالضبط كيف يحل البشر مشكلة الربط. نحن لا نرى المشهد بأكمله بشكل مثالي دفعة واحدة؛ بل نمسحه، ونركز على شيء واحد في كل مرة لتجنب الارتباك. يثبت البحث أنه من خلال تعليم الذكاء الاصطناعي التأشير، فإننا نعلمه أساساً استخدام استراتيجية المسح "الشبيهة بالبشر" هذه.

4. النتيجة: لا مزيد من الخلط

النتيجة الأكثر إثارة هي أنه بمجرد أن يتعلم الذكاء الاصطناعي التأشير، فإنه يتوقف عن ارتكاب أخطاء "القميص الأحمر/القبعة الزرقاء".

قبل: إذا طلبت من الذكاء الاصطناعي عد 15 جسماً، فسيصاب بالارتباك ويعطي رقماً خاطئاً لأنه لم يستطع الحفاظ على ترتيبها جميعاً.
بعد: نظرًا لأنه يمسحها واحداً تلو الآخر، يمكنه عد 15 أو 20 أو حتى أكثر من الأشياء بدقة، حتى لو لم يسبق له رؤية هذا العدد الكبير من قبل.

الخلاصة الكبرى

يوضح البحث أن السبب في فشل نماذج الذكاء الاصطناعي هذه في المهام المعقدة ليس لأنها ليست "ذكية" بما يكفي، بل لأنها تحاول القيام بالكثير من الأشياء في وقت واحد. ومن خلال إجبارها على التأشير (والذي يعمل كأمر مادي لمسح المشهد)، فإننا نطلق العنان لقدرة كامنة لمعالجة العالم تسلسلياً — أي عنصراً واحداً في كل مرة.

الأمر يشبه الفرق بين محاولة التلاعب بـ 10 كرات في وقت واحد (مما يؤدي إلى سقوطها) مقابل التقاطها واحدة تلو الأخرى ووضعها في صندوق. حيلة "التأشير" تعلم الذكاء الاصطناعي التقاطها واحدة تلو الأخرى، مما يحل مشكلة الارتباك نهائياً.

ملخص تقني: ربط السمات البصرية نقطة بنقطة

بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) نجاحاً كبيراً في المعايير القياسية، لكنها تظهر إخفاقات مستمرة في المشاهد متعددة الأجسام، لا سيما في المهام التي تتطلب الربط الدقيق للسمات (مثل اللون والشكل) بكيانات متميزة. وتتجلى هذه الإخفاقات في شكل "أخطاء ربط"، مثل تحديد دائرة زرقاء بشكل خاطئ بينما تحتوي الصورة على مربع أزوي ودائرة حمراء. يحدد المؤلفون هذا كـ مشكلة الربط، وهي تحدٍ موثق جيداً في العلوم المعرفية وعلم الأعصاب.

تتمثل المشكلة الجوهرية، حسب الفرضية، في التمثيلات التركيبية. في نماذج الرؤية واللغة، يتم تمثيل السمات باستخدام موارد مشتركة (على سبيل المثال، متجه لـ "الأزرق" ومتجه لـ "الدائرة"). وعند معالجة أجسام متعددة بالتوازي (وضع التغذية الأمامية)، تخلق هذه الموارد المشتركة تداخلاً، مما يؤدي إلى ارتباطات خاطئة للسمات. وبينما يتغلب الرؤية البشرية على ذلك عبر المعالجة التسلسلية — أي الانتباه للأجسام واحداً تلو الآخر لتجنب التداخل — لا يزال من غير الواضح ما إذا كان بإمكان نماذج الرؤية واللغة تبني آلية مماثلة وكيف.

المنهجية

يتحقق البحث مما إذا كان "التأشير عبر النص" (pointing-via-text) — وهو إجراء يتم فيه تدريب النماذج على إخراج إحداثيات مكانية صريحة للأجسام قبل توليد الإجابة النهائية — يحفز روتيناً داخلياً للبحث البصري التسلسلي يحل مشكلة الربط.

1. التحليل الآلي لأخطاء الربط

قام المؤلفون أولاً بتحليل البنية التمثيلية لنماذج الرؤية واللغة (تحديداً Qwen2.5-VL-7B-Instruct) باستخدام تحليل التشابه التمثيلي (RSA). وقارنوا بين تضمينات النموذج ومصفوفات مثالية للتمثيلات التركيبية (متجهات سمات مشتركة) والارتباطية (متجهات فريدة لكل مزيج من السمات).

النتيجة: طابقت تمثيلات النموذج أنماط التكوين الوصفي ( $r=0.9269$ )، مما يؤكد أن التداخل ينشأ من تداخل أكواد السمات.
تحليل الانتباه: وُجد أن انتباه النموذج في مهام البحث البصري يتجه بشكل غير متناسب نحو المشتتات التي تشترك في سمة واحدة مع الهدف، مما يؤكد وجود تداخل في الانتباه.

2. استقصاء التأشير عبر النص

ركزت الدراسة على نموذج Molmo-7B، المدرب على التأشير. قام المؤلفون بإجراء تحليل آلي لتحديد ما إذا كان هذا التدريب يحفز الانتباه التسلسلي دون إشراف صريح على حالات الانتباه الداخلية.

محاذاة الانتباه والإحداثيات: قاموا بحساب جذر متوسط مربع الخطأ (RMSE) بين مركز توزيع الانتباه الداخلي للنموذج والإحداثيات المولدة في المخرجات النصية.
تحليل الوساطة السببية: لتحديد السببية، أجروا تدخلات حيث تم تبديل خرائط الانتباه لنقاط مختلفة في التسلسل. وحددوا رؤوس انتباه محددة مسؤولة عن سلوك البحث التسلسلي.

3. تجارب الضبط الدقيق

لعزل آثار تعلم التأشير، قام المؤلفون بضبط نماذج Qwen2.5-VL-7B-Instruct و Gemma-3-12B و LLaVA-1.5-7B-HF بدقة على مهمتين تعتمدان على الربط: البحث البصري والعد.

الحالات: قارنوا بين نموذج الإجابة المباشرة (تمريرة أمامية واحدة) ونموذج التأشير للإجابة (يولد إحداثيات لكل جسم، ثم الإجابة).
اختبارات التعميم: تم تدريب النماذج على توزيعات محدودة (مثلاً: هدف واحد، 6-10 أجسام) واختبارها في سيناريوهات خارج التوزيع (OOD) (مثلاً: 30-50 هدفاً، 11-15 جسماً، صور من العالم الحقيقي).

المساهمات والنتائج الرئيسية

1. تحديد "رؤوس البحث"

كشف التحليل أن تعلم التأشير يحفز آلية داخلية محددة:

الانتباه التسلسلي: ينتقل انتباه النموذج الداخلي بتركيز إلى جسم واحد في كل مرة، بما يطابق تماماً الإحداثيات المولدة (أدنى RMSE في الطبقات المتوسطة، وتحديداً الطبقة 19 في Molmo).
رؤوس البحث: حدد تحليل الوساطة السببية مجموعة محددة من رؤوس الانتباه في الطبقة 19 (تسمى رؤوس البحث) المسؤولة سببياً عن التحكم في روتين البحث التسلسلي هذا. أدى تعطيل هذه الرؤوس إلى تدهور الأداء بشكل كبير، بينما لم يؤدِ تعطيل الرؤوس العشوائية إلى ذلك.
السلوك الخوارزمي: يحافظ النموذج على ترتيب جوهري وسجل للأجسام المعدودة. أظهرت التدخلات أن النموذج يتخطى الأجسام التي تم عدها بالفعل ويمضي تسلسلياً، مما يدل على خوارزمية متطورة لتتبع الأجسام.

2. حل مشكلة الربط

أظهرت تجارب الضبط الدقيق أن نهج التأشير للإجابة يحل مشكلة الربط بفعالية:

القضاء على الأخطاء: على عكس نماذج الإجابة المباشرة، التي فشلت في التعميم وانخفضت دقتها إلى 0% في حالات خارج التوزيع (OOD)، حافظت نماذج التأشير للإجابة على دقة عالية عبر زيادة عدد الأجسام وتنوعها.
تقليل التداخل: أظهرت نماذج التأشير للإجابة بعد التدريب انخفاضاً كبيراً في الانتباه للمشتتات التي تشترك في السمات مع الهدف، بينما كانت النماذج الأصلية تتشتت بشدة بها.
التعميم خارج التوزيع (OOD): نجحت نماذج التأشير للإجابة في التعميم على أعداد أعلى من الأهداف في البحث البصري وأعداد أكبر من الأجسام في صور العالم الحقيقي، مما يشير إلى أنها تعلمت إجراءً تسلسلياً قابلاً للتعميم بدلاً من استغلال الاختصارات الإحصائية.

3. القابلية للتعميم عبر النماذج

لوحظت ظاهرة ظهور رؤوس البحث وتحسن أداء الربط عبر عائلات نماذج مختلفة (Qwen2.5-VL, Gemma-3, LLaVA)، مما يشير إلى أن القدرة على الانتباه البصري التسلسلي هي خاصية قابلة للتعلم عندما يتم التدريب باستخدام التأسيس المكاني الصريح.

الأهمية والادعاءات

يدعي البحث أنه يقدم إثباتاً للمبدأ بأن تدريب نماذج الرؤية واللغة على التأشير عبر النص هو حل فعال لمشكلة الربط. تكمن أهمية هذا العمل في ثلاثة مجالات رئيسية:

التفسير الآلي: إنه يفسر لماذا يؤدي الاستنتاج البصري المتسلسل والمؤسس على الأرض إلى تحسين الأداء، متجاوزاً الملاحظة التجريبية لتحديد الآليات الداخلية المحددة (رؤوس البحث وروتينات الانتباه التسلسلي) التي تمكن ذلك.
الربط بين العلوم المعرفية والذكاء الاصطناعي: إنه يثبت إمكانية تعزيز نماذج الرؤية واللغة بقدرة على الانتباه البصري التسلسلي مشابهة للرؤية البشرية، مما يسمح لها بالتغلب على قيود المعالجة المتوازية في المشاهد متعددة الأجسام.
التعميم مقابل الحفظ: يسلط الضوء على أنه بينما قد تحل نماذج الإجابة المباشرة المهام عبر الانتظامات الإحصائية (مما يؤدي للفشل في التعميم)، فإن المعالجة التسلسلية تمكن من تحقيق تعميم تركيبي حقيقي عبر تجنب مشكلة الربط مع الاحتفاظ بفوائد التمثيلات التركيبية.

يخلص المؤلفون إلى أنه بينما يعتمد إجراء التدريب الحالي على الضبط الدقيق الخاضع للإشراف باستخدام آثار مولدة إجرائياً، فإن النتائج تشير إلى أن دمج الانتباه البصري التسلسلي في إجراءات تدريب أكثر عمومية (على سبيل المثال، عبر التعلم التعزيزي) يعد اتجاهاً واعداً للأبحاث المستقبلية.