Cross-Modal Taxonomic Generalization in (Vision-) Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "التعميم التصنيفي عبر الوسائط في (نماذج الرؤية-) اللغوية".

1. بيان المشكلة

تتقصى الورقة البحثية التفاعل بين التمثيلات الدلالية التي تتعلمها النماذج اللغوية (LMs) من توزيع النصوص السطحي، وتلك التي تتعلمها من الأدلة الإدراكية المرتكزة (الرؤية). وتحديداً، تعالج الورقة السؤال التالي: إلى أي مدى يمكن لمعرفة النموذج اللغوي بالعلاقات التصنيفية (الأسماء العليا/Hypernyms) أن تتعمم عبر الوسائط المختلفة؟

يركز المؤلفون على سيناريو يتم فيه تدريب نموذج الرؤية واللغة (VLM) على تحديد أشياء محددة (فئات المستوى الورقي، مثل "الكوالا") في الصور، ولكن مع حرمانه بشكل منهجي من بيانات التدريب الصريحة التي تربط هذه الأشياء بفئاتها ذات المستوى الأعلى (الأسماء العليا، مثل "حيوان"). سؤال البحث الجوهري هو ما إذا كان بإمكان نموذج (VLM) التنبؤ بشكل صحيح بوجود اسم أعلى في صورة جديدة بناءً فقط على المعرفة اللغوية المدربة مسبقاً للنموذج اللغوي، دون أن يرى أبداً تسمية الاسم الأعلى المرتبطة بتلك الصورة أثناء التدريب.

2. المنهجية

الإعداد التجريبي

• البنية (Architecture): تستخدم الدراسة بنية نموذج (VLM) قياسية تتكون من ثلاثة مكونات:
  1. مشفر الصور (Image Encoder): مجمد (مدرب مسبقاً). تم استخدام DINOv2 بشكل أساسي (تعلم ذاتي، بدون تعرض للنصوص) لضمان عدم وجود تسرب نصي، مع استخدام SigLIP للمقارنة.
  2. المسقط (Projector): عبارة عن "مدرك متعدد الطبقات" (MLP) يقوم برسم خرائط لميزات الصورة إلى فضاء التضمين الخاص بالنموذج اللغوي. هذا هو المكون الوحيد القابل للتدريب.
  3. العمود الفقري للنموذج اللغوي (LM Backbone): نماذج لغوية مجمدة ومدربة مسبقاً (بشكل أساسي Qwen3-0.6B و Qwen3-1.7B، مع استخدام Llama 3.2 و Qwen3-8B للتحقق).
• المهمة: الإجابة على الأسئلة البصرية (VQA) في شكل أسئلة قطبية: "هل يوجد {الفئة} في هذه الصورة؟" (نعم/لا).
• مجموعة البيانات: مجموعة فرعية من قاعدة بيانات THINGS (1,216 فئة ورقية، 17,336 صورة) مع تعليقات توضيحية للأسماء العليا (53 اسماً علياً).

استراتيجيات الاستبعاد (Ablation Strategies)

يتلاعب المؤلفون ببيانات التدريب لإزالة أدلة الأسماء العليا:

1. استبعاد الأسماء العليا العشوائي: إزالة أزواج محددة من (صورة-اسم أعلى) عشوائياً (على سبيل المثال، إزالة صور "الببغاء" المصنفة كـ "طائر" مع الإبقاء على صور "الغراب" المصنفة كـ "طائر").
2. الاستبعاد المنهجي للأسماء العليا: إزالة جميع حالات فئات أسماء عليا محددة من مجموعة التدريب (على سبيل المثال، النموذج لا يرى أبداً كلمة "طائر" أو صوراً مصنفة كـ "طائر").
3. الحالة القصوى (استبعاد بنسبة 100%): يتم تدريب المسقط على فئات المستوى الورقي، ولكنه لا يواجه أبداً تسميات الأسماء العليا المستهدفة أثناء التدريب.

التجارب المضادة للواقع (التماسك البصري)

لتحديد ما إذا كان التعميم عشوائياً (قائم على القواعد) أم يعتمد على التماسك البصري، أنشأ المؤلفون مجموعتي بيانات مضادتين للواقع:

• الخلط عبر الفئات (Across-Category Shuffle): ربط تسميات ورقية بصور من فئات مختلفة تماماً (على سبيل المثال، ربط "الغراب" بصور قوارب الكاياك). هذا يدمر التماسك البصري.
• الخلط داخل الفئات (Within-Category Shuffle): ربط التسميات الورقية بصور مختلفة داخل نفس الفئة (على سبيل e.g., ربط "الغراب" بصور النسور). هذا يحافظ على التماسك البصري.

3. المساهمات الرئيسية

1. إثبات التعميم التصنيفي عبر الوسائط: تقدم الورقة دليلاً تجريبياً على أن النماذج اللغوية يمكنها نقل المعرفة التصنيفية المتعلمة حصرياً من النصوص إلى الوسيط البصري. حتى عندما يتم تدريب (VLM) على صور مصنفة فقط بالفئات الورقية (مثل "عصفور") ودون أن يرى أبداً كلمة "طائر" أثناء التدريب، فإنه ينجح في التنبؤ بكلمة "طائر" للصور غير المرئية للعصافير.
2. دور تماسك المدخلات: تثبت الدراسة أن هذا التعميم ليس تطبيقاً لقاعدة عشوائية (على سبيل المثال، "إذا كان غراباً إذن هو طائر" بغض النظر عن المدخل البري). بدلاً من ذلك، التعميم مشروط بـ التماسك البصري لأعضاء الفئة.
   • تتعمم النماذج بنجاح عندما يتم الحفاظ على التماسب البصري (الخلط داخل الفئات).
   • تفشل النماذج (وتؤدي بمستوى الصدفة) عندما يتم تدمير التماسك البصري (الخلط عبر الفئات).
3. فك الارتباط بين الوسائط: من خلال تجميد مشفر الصور (تحديداً DINOv2، الذي ليس لديه إشراف نصي) وتدريب المسقط فقط، قام المؤلفون بعزل العمود الفقري للنموذج اللغوي كمصدر وحيد للمعرفة التصنيفية، مما يثبت أن التمثيلات الداخلية للنموذج اللغوي كافية لدفع الاستدلال عبر الوسائط.

4. النتائج

• أداء التعميم: في حالة الاستبعاد بنسبة 100% (عدم التعرض للأسماء العليا)، حققت النماذج ذات الأعمدة الفقارية اللغوية المدربة مسبقاً درجات F1 كلي (macro F1) أعلى بكثير من خط الأساس للتسمية الأكثر شيوعاً (على سبيل المثال، ~60-70% مقابل ~46% للخط الأساسي).
• النماذج اللغوية العشوائية مقابل المدربة مسبقاً: فشلت النماذج ذات الأعمدة الفقارية اللغوية ذات التوزيع العشوائي في التعميم في حالة الاستبعاد بنسبة 100%، حيث كان أداؤها قريباً من مستوى الصدفة. وهذا يؤكد أن قدرة التعميم تنبع من المعرفة اللغوية المدربة مسبقاً، وليس من تدريب المسقط نفسه.
• تأثير مشفر الصور: أدى استخدام SigLIP (الخاضع للإشراف النصي) مقابل DINOv2 (غير الخاضع للإشراف النصي) إلى نتائج متكافئة إحصائياً، مما يؤكد أن التعرض للنصوص في مشفر الصور ليس هو المحرك لهذا التأثير.
• ارتباط التماسك البصري: هناك ارتباط إيجابي قوي ($r=0.43$) بين التماسك البصري لفئة الاسم الأعلى وقدرة النموذج على تعميم تلك الفئة.
  • الخلط عبر الفئات: انخفض الأداء إلى مستويات الصدفة.
  • الخلط داخل الفئات: ظل الأداء مرتفعاً، وغير مختلف تقريباً عن التكوين الأصلي.
• التحليل اللاحق (Post-hoc Analysis): أكدت النماذج الخطية ذات التأثيرات المختلطة أن التماسك البصري هو متنبئ مهم لأداء التعميم، بينما لم تكن درجة F1 الذاتية للاسم الأعلى للنموذج اللغوي (المقاسة عبر أسئلة نصية فقط) متنبئاً مهماً في هذا السياق عبر الوسائط.

5. الأهمية والآثار المترتبة

• التجذر العلاقاتي (Relational Grounding): تدعم النتائج فرضية "التجذر العلاقاتي"، مما يشير إلى أن النماذج اللغوية تتعلم علاقات ذات معنى بين الرموز (tokens) يمكن أن تمتد إلى ما وراء النصوص لتشمل وسائط أخرى.
• طبيعة التعميم: تتحدى النتائج الرأي القائل بأن النماذج اللغوية تطبق قواعد صارمة وعشوائية على الوسائط الجديدة. بدلاً من ذلك، تشير إلى أن التعميم عبر الوسائط يتطلب تآزراً بين:
  1. المعرفة اللغوية: البنية التصنيفية المجردة المتعلمة من النصوص.
  2. التماسك الإدراكي: الانتظام الإحصائي والتشابه البصري للإشارات المدخلة.
• فرضية التمثيل الأفلاطوني (Platonic Representation Hypothesis): يقدم العمل دليلاً على تقارب التمثيلات عبر الوسائط. فعندما تكون المدخلات (الصور) متماسكة مع التنظيم المفاهيمي للنموذج اللغوي، فإن النماذج تتماشى بفعالية. وعندما تكون المدخلات مضادة للواقع وغير متماسكة، ينهار هذا التماثل.
• الاتجاهات المستقبلية: تسلط الورقة الضوء على أهمية تماسك المدخلات في تدريب نماذج (VLMs) وتقترح أن الأبحاث المستقبلية يجب أن تستكشف كيف يؤثر التماسك المفاهيمي (بعيداً عن مجرد التشابه على مستوى البكسل) على التعلم عبر الوسائط.

باختًا، تُظهر الورقة أن النماذج اللغوية تمتلك فهماً قوياً وقابلاً للنقل للتسلسلات الهرمية التصنيفية يمكن أن يوجه التعرف البصري، بشرما كانت المدخلات البصرية تحافظ على التماسك الهيكلي المتوقع من التمثيلات الداخلية للنموذج اللغوي.