Benchmarking and Mechanistic Analysis of Vision-Language Models for Cross-Depiction Assembly Instruction Alignment

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تقييم وتحليل آلي لنماذج الرؤية واللغة في محاذاة تعليمات التجميع عبر الأنماط التصويرية المختلفة".

1. تعريف المشكلة

تتناول الورقة البحثية تحدي محاذاة تعليمات التجميع عبر الأنماط التصويرية المختلفة (Cross-Depiction Assembly Instruction Alignment). في أنظمة توجيه التجميع بالواقع المختلط، يجب على المساعد الذكي محاذاة المخططات ثنائية الأبعاد التجريدية والرسوم التخطيطية (مثل كتيبات إيكيا) مع لقطات فيديو واقعية وفوتوغرافية في الوقت الفعلي لمستخدم يقوم بتجميع الأثاث.

يكمن الصعوبة الجوهرية في "فجوة التصوير" (Depiction Gap):

• التباين البصري: تستخدم المخططات صوراً ظلية، ورؤى متفجرة (exploded views)، وأسهماً، وأنماطاً تبسيطية، بينما تعرض لقطات الفيديو مشاهد واقعية فوتوغرافية مزدحمة تحتوي على أيدٍ وأدوات.
• نقص الميزات المشتركة: على الرغم من تصويرهما لنفس الخطوة الإجرائية، إلا أن النمطين لا يتشاركان تقريباً في أي ميزات بصرية منخفضة المستوى.
• التعقيد الزمني: على عكس التعرف على الأنماط عبر التصوير (مثل تحويل الرسم إلى صورة)، يتطلب التجميع فهماً للتطور الزمني (على سبيل المثال، التمييز بين وضع ساق بجانب مقعد وبين تثبيت الساق في مكانها فعلياً).

تعاني نماذج الرؤية واللغة (VLMs) الحالية من هذه الفجوة، مما يؤدي إلى الفشل في التعرف على الخطوات، وكشف الأخطاء، وتتبع التقدم.

2. المنهجية

أ. IKEA-Bench: معيار جديد

قدم المؤلفون IKEA-Bench، وهو أول معيار مصمم خصيصاً لتقييم محاذاة التجميع عبر الأنماط التصويرية المختلفة.

• مصدر البيانات: تم بناؤه استناداً إلى مجموعة بيانات IKEA Manuals at Work، والتي تغطي 29 منتجاً من الأثاث مع 97 فيديو تجميع ومخططات خطوات يدوية خالية من الكلمات.
• النطاق: 1,623 سؤالاً عبر 6 أنواع من المهام:
  • مهام المحاذاة الجوهرية (عبر الأنماط التصورية):
    • T1 (التعرف على الخطوة): مطابقة مقطع فيديو مع واحد من 4 خيارات من المخططات.
    • T2 (التحقق من الخطوة): حكم ثنائي حول ما إذا كان الفيديو يطابق مخططاً معيناً.
    • T3 (تتبع التقدم): تحديد الخطوة الحالية من بين جميع المخططات لمنتج ما.
    • T4 (التنبؤ بالخطوة التالية): التنبؤ بالمخطط التالي بناءً على الفيديو الحالي.
  • المهام التشخيصية (عنق الزجاجة أحادي النمط):
    • D1 (التمييز بين الفيديوهات): التمييز بين مقطعي فيديو لخطوتين مختلفتين (يختبر فهم الفيديو).
    • D2 (فهم التعليمات): ترتيب ثلاثة مخططات متتالية بشكل صحيح (يختبر فهم المخطط).
  • استراتيجيات المحاذاة: يقيم المعيار النماذج تحت ثلاث تكوينات للمدخلات لعزل تأثير النص:
  1. بصري (Visual): صور المخططات + الفيديو (الفجوة التصويرية الكاملة).
  2. بصري + نصي (V+T): صور المخططات + أوصاف نصية + الفيديو.
  3. نصي فقط (Text Only): استبدال المخططات بأوصاف نصية + الفيديو (إزالة فجوة التصوير).

ب. بروتوكول التقييم

• النماذج التي تم تقييمها: 19 نموذج رؤية ولغة (VLM)، بما في ذلك 17 نموذجاً مفتوح المصدر (تتراوح معلماتها من 2 مليار إلى 38 مليار عبر 8 عائلات معمارية مثل Qwen وInternVL وGemma وLLaVA) ونموذجان مملوكان (Gemini 3.1 Pro وGemini 3 Flash).
• المقاييس: الدقة (اختيار متعدد من 4 خيارات، وحكم ثنائي)، مع خطوط أساس عشوائية بنسبة 25% و50% على التوالي.
• التحليل الآلي: تحليل ثلاث الطبقات على 4 نماذج ممثلة (~بمقياس 8 مليار معلمة) لتفسير سبب فشل النماذج:
  1. الطبقة 1 (تمثيلات ViT): تحليل ما إذا كانت المخططات والفيديو يتشاركان في مساحة الميزات باستخدام محاذاة النواة المركزية (CKA)، والمجسات الخطية، والاسترجاع عبر الأنماط.
  2. الطبقة 2 (الحالات الخفية لـ LLM): قياس تأثير رموز المخطط (diagram tokens) على متجه التنبؤ النهائي عند إضافة النص.
  3. الطبقة 3 (توجيه الانتباه): تحليل أوزان الانتباه لمعرفة ما إذا كان النص يحرف التركيز بعيداً عن الأنماط البصرية.

3. النتائج الرئيسية

أ. أداء المعيار

• دقة محاذاة منخفضة: حتى أفضل النماذج تعاني. يحقق أفضل نموذج مفتوح المصدر (Qwen3.5-27B) حوالي 59.4% في مهمة التعرف على الخطوة (T1)، بينما تصل نماذج Gemini المملوكة إلى ~65.3%. وهذا أقل بكثير من الموثوقية المطلوبة للنشر في العالم الحقيقي.
• الاستدلال الإجرائي أصعب: ينخفض الأداء بشكل كبير في مهمة التنبؤ بالخطوة التالية (T4)، مع انخفاض متوسط قدره ~12 نقطة مئوية مقارنة بالتعرف على الخطوة.
• المعمارية أهم من عدد المعلمات: نوع عائلة النموذج هو الأهم. المعماريات الكثيفة الأحدث (مثل Qwen3.5) تتفوق على العائلات الأقدم ومتغيرات MoE الأكبر عند نفس المقياس. التوسع داخل عائلة واحدة غالباً ما يؤدي إلى عوائد متناقصة أو حتى تراجع (على سبيل المثال، Gemma3-12B يؤدي بشكل أسوأ من Gemma3-4B).
• "السقف الصلب": يظل فهم الفيديو (D1) هو عنق الزجاجة الرئيسي. حتى أفضل النماذج تسجل حوالي 71% فقط في التمييز بين خطوات الفيديو، وهذا الأداء ثابت عبر جميع استراتيجيات المحاذاة.

ب. مفارقة النص

• استعادة التعليمات: إضافة الأوصاف النصية يحسن بشكل كبير من فهم المخططات نفسها (ارتفاع درجات D2 بمعدل +23.6% عند الانتقال من "بصري" إلى "نصي فقط").
• تدهور المحاذاة: على عكس المتوقع، فإن إضافة النص يقلل من دقة المحاذاة عبر الأنماط التصويرية (تنخفض درجات T1 بمعدل ~3.1%). النص لا يساعد النموذج على سد الفجوة بين المخطط والفيديو؛ بل يعمل كمشتت للنموذج.

ج. الرؤى الآلية

• المساحات الفرعية المنفصلة (الطبقة 1): تشغل المخططات وإطارات الفيديو مساحات تمثيلية فرعية منفصلة في محول الرؤية (ViT). درجات CKA قريبة من الصفر (~0.001–0.101)، مما يعني أن المشفر البصري يعاملها كهياكل هندسية غير مرتبطة تماماً.
• تشتت النص (الطبقتان 2 و3): عند إضافة النص، ينتقل النموذج من الاستدلال البصري إلى الاستدلال القائم على النص.
  • الحالات الخفية: ينخفض تأثير رموز المخطط على متجه التنبؤ النهائي بشكل كبير (مثلاً، -59% في Qowen3-VL-8B).
  • الانتباه: تمتص رموز النص الانتباه الذي كان سيُخصص لرموز المخطط والفيديو. على سبيل المثال، ينخفض انتباه المخطط من 8.1% إلى 3.9% عند إدخال النص.

4. المساهمات الرئيسية

1. IKEA-Bench: أول معيار لمحاذاة التجميع عبر الأنماط التصويرية المختلفة، ويضم 1,623 سؤالاً، و6 أنواع من المهام، و3 استراتيجيات محاذاة عبر 29 منتجاً.
2. التحليل الآلي: تحليل مبتكر ثلاث الطبقات يحدد موضع الفشل في عدم قدرة المشفر البصري على رسم المخططات والفيديو في مساحة مشتركة، ويكشف أن النص يعمل كمشتت بدلاً من كونه جسراً.
3. الإرشادات التجريبية:
   • اختيار الاستراتيجية: استخدم المدخلات "البصرية" لمهام المحاذاة (T1, T3) والمدخلات "النصية فقط" لفهم التعليمات (D2).
   • اختيار النموذج: أعطِ الأولوية لعائلات المعماريات الأحدث بدلاً من مجرد زيادة عدد المعلمات.
   • الاتجاه المستقبلي: يتطلب تحسين المحاذاة عبر الأنماط التصويرية تحسين الترميز البصري (مثل التدريب التبايني المسبق على أزواج المخططات والواقع) وليس مجرد تحسين التكامل النصي.

5. الأهمية

تتحدى هذه الورقة البحثية بشكل جوهري الافتراض القائل بأن إضافة الأوصاف النصية لنماذج الرؤية واللغة سيحل مشاكل المحاذاة البصرية المعقدة. فهي تثبت أنه بالنسبة للمهام التي تتضمن أنماطاً بصرية مختلفة جذرياً (تخطيطي مقابل واقعي فوتوغرافي)، فإن عنق الزجاجة هو تعلم التمثيل البصري، وليس الربط اللغوي.

تشير النتائج إلى أن الأبحاث المستقبلية في توجيه التجميع والتعرف عبر الأنماط التصويرية يجب أن تركز على تدريب المشفرات البصرية للتعرف على التشابهات الهيكلية والإجرائية عبر المجالات البصرية المتباينة، بدلاً من الاعتماد على الجسور النصية متعددة الوسائط التي قد تعيق الأداء فعلياً. وهذا له آثار واسعة النطاق على الروبوتات، ومساعدي الواقع المعزز/الافتراضي (AR/VR)، وأي نظام يتطلب محاذاة المخططات التقنية مع التنفيذ في العالم الحقيقي.