HandVQA: Diagnosing and Improving Fine-Grained Spatial Reasoning about Hands in Vision-Language Models

ملخص تقني لورقة بحثية: "HandVQA: تشخيص وتحسين الاستدلال المكاني الدقيق للأيدي في نماذج الرؤية واللغة"

1. بيان المشكلة

بينما حققت نماذج الرؤية واللغة (VLMs) أداءً يقارب الأداء البشري في الاختبارات المرئية العامة، إلا أنها تظهر أوجه قصور كبيرة في الاستدلال المكاني الدقيق، لا سيما فيما يتعلق بالتمفصل المعقد للأيدي البشرية.

• الفجوة الحرجة: في التطبيقات عالية المخاطر مثل الجراحة بمساعدة الروبوت، وتصنيع الرقائق الإلكترونية، والواقع المعزز والافتراضي (AR/VR)، يمكن أن يؤدي سوء تفسير إيماءات اليد الطفيفة (مثل إصبع منحني قليلاً مقابل إصبع ممدد بالكامل) إلى أخطاء كارثية.
• أنماط الفشل المحددة: تعاني نماذج الرؤية واللغة الحالية من:
  • الهلوسة الهندسية: التنبؤ بانحناءات أصابع غير موجودة أو تكوينات مفاصل غير صحيحة.
  • العمى المكاني: عدم القدرة على التمييز بين المواقع النسبية الأساسية (يسار/يمين، أمام/خلف، فوق/تحت) والمسافات بين المفاصل.
  • المحاذاة السطحية: غالبًا ما تعتمد النماذج على الأولويات اللغوية أو الإجابات "الآمنة" الافتراضية (مثل التنبؤ دائمًا بكلمة "قريب" للمسافة أو "منحنٍ قليلاً" للزوايا) بدلاً من الفهم الهندسي الحقيقي.

2. المنهجية: معيار HandVQA

قدم المؤلفون HandVQA، وهو معيار تشخيصي واسع النطاق مصمم لتقييم وتحسين فهم نماذج الرؤية واللغة للتشريح ثلاثي الأبعاد لليد من خلال الإجابة على الأسئلة المرئية (VQA).

أ. مسار بناء البيانات

يعتمد HandVQA على مجموعات بيانات عالية الجودة لليد ثلاثية الأبعاد (FreiHAND، و InterHand2.6M، و FPHA). طور المؤلفون مسارًا آليًا وحتميًا لتحويل إحداثيات المفاصل ثلاثية الأبعاد إلى أسئلة لغوية طبيعية:

1. استخراج واصف الوضعية ($F_{pose}$): يحسب مقاييس هندسية مستمرة من إحداثيات المفاصل ثلاثية الأبعاد المعيارية:
   • الزوايا ($\theta$): درجات الانحناء عند مفاصل محددة (مثل DIP، PIP).
   • المسافات ($d$): المسافة الإقليدية بين أزواج المفاصل.
   • المواقع النسبية ($\Delta x, \Delta y, \Delta z$): الإزاحات المكانية على طول المحاور الكارتيزية.
2. التقطيع والتصنيف: يتم تعيين القيم المستمرة إلى فئات لغوية منفصلة باستخدام عتبات ثابتة (مثل "منحنٍ للداخل قليلاً" لـ $150^\circ \le \theta < 170^\circ$؛ "قريب من" لـ $d < 0.1$).
3. توليد الجمل ($F_{text}$): ملء قوالب حتمية لإنشاء جمل لغوية طبيعية (مثل: "مفصل السلامى القاصي للإصبع الأوسط هو [الفئة] مفصل السلامى القاصي للإصبع البنصر").
4. تكوين أسئلة الاختيار من متعدد ($F_{mcq}$): توليد أسئلة اختيار من متعدد حيث يكون أحد الخيارات هو الحقيقة الأرضية (Ground Truth) والخيارات الأخرى هي مشتتات مشتقة من فئات غير صحيحة.

ب. حجم ونطاق المعيار

• الحجم: أكثر من 1.6 مليون سؤال اختيار من متعدد محكوم.
• المهام الفرعية: ينقسم المعيار إلى خمس فئات استدلال متميزة:
  1. زوايا المفاصل.
  2. المسافات.
  3. الموقع النسبي X (يسار/يمين).
  4. الموقع النسبي Y (فوق/تحت).
  5. الموقع النسبي Z (أمام/خلف).

3. الإعداد التجريبي

• النماذج التي تم تقييمها: نماذج الرؤية واللغة ذات 7 مليارات معلمة (7B) والأكثر تطورًا: LLaVA-Mistral، و DeepSeek Janus Pro، و Qwen-VL.
• استراتيجية التدريب: تم تقييم النماذج في حالتها الأساسية (المُدربة مسبقًا) وبعد الضبط الدقيق باستخدام تقنية LoRA (التكيف منخفض الرتبة) على مجموعة بيانات HandVQA.
• مقاييس التقييم: الدقة ومتوسط الخطأ المطلق (MAE) للفئات الترتيبية (الزوايا/المسافات)؛ والدقة لمهام التصنيف الثنائي (المواقع النسبية).

4. النتائج الرئيسية والمكتشفات

أ. تشخيص النماذج الأساسية

• ضعف أداء النماذج الأساسية: أدت نماذج الرؤية واللغة الأساسية أداءً عند مستوى التخمين العشوائي أو أقل في معظم المهام.
  • المسافة: حققت نماذج LLaVA و Qwen دقة أقل من 33% (وهي أسوأ من التخمين العشوائي البالغ 33.3% لثلاث فئات).
  • الموقع النسبي: تراوح معدل الدقة حول 50% لمحاور X و Y و Z، مما يشير إلى نقص في التأسيس المكاني المتأصل.
  • الانحياز: أظهرت النماذج انحيازات قوية، مثل التنبؤ بـ "منحنٍ للداخل قليلاً" لمعظم أسئلة الزوايا أو "قريب من" لجميع أسئلة المسافة.

ب. تأثير الضبط الدقيق

• تحسن كبير: أدى الضبط الدقيق على HandVQA إلى مكاسب هائلة في الأداء عبر جميع النماذج ومجموعات البيانات.
  • المسافة: قفزت الدقة من ~13-45% (الأساسي) إلى 80-90% (المضبوط دقيقًا).
  • الموقع النسبي: تحسنت الدقة من ~50% إلى >90% في محوري X و Y.
  • الزوايا: رغم التحسن، ظل الاستدلال بالزوايا هو الأكثر تحديًا، حيث وصلت النماذج المضبوطة دقيقًا إلى ~60-74% فقط، مما يشير إلى أن كينماتيكا المفاصل أصعب في التعلم من العلاقات المكانية البسيطة.

ج. التعميم من الصفر (تعلم النقل)

تعد المساهمة الحاسمة للورقة هي إثبات أن الاستدلال المكاني المتعلم من HandVQA هو قابل للنقل إلى مهام لاحقة غير مرئية دون تدريب محدد على تلك المهام:

• التعرف على الإيماءات (مجموعة بيانات HaGRID): أظهرت النماذج المضبوطة دقيقًا زيادة مطلقة في الدقة قدرها +10.33% عن النماذج الأساسية.
• التفاعل بين اليد والكائن (مجموعة بيانات H2O): حققت النماذج المضبطة دقة قدرها +2.63% في التعرف على التفاعلات القائمة على الفيديو.
• الاستنتاج: يعمل المعرفة المكانية القائمة على النموذج ثلاثي الأبعاد كمهارة تأسيسية تتعمم على المهام الديناميكية والثابتة المتعلقة باليد.

5. المساهمات الرئيسية

1. معيار HandVQA: أول معيار مؤتمت واسع النطاق (أكثر من 1.6 مليون سؤال) مخصص لتشخيص الاستدلال المكاني ثلاثي الأبعاد الدقيق لليد في نماذج الرؤية واللغة.
2. التشخيص المنهجي: كشف أن نماذج الرؤية واللغة الحالية تفتقر إلى الفهم الهندسي الحقيقي، وتعتمد بدلاً من ذلك على الارتباطات السطحية والأولويات اللغوية، وتفشل بشكل خاص في تقدير المسافة والزاوية.
3. مورد تدريبي: أثبت أن HandVQA ليس مجرد أداة تشخيصية بل هو مورد تدريب قوي. فالضبط الدقيق على هذا المعيار يعزز بشكل كبير الأداء في مهام جديدة وغير مرئية (التعميم من الصفر).
4. الدقة التشريحية: قدم مسارًا يربط كينماتيكا المفاصل ثلاثية الأبعاد باللغة الطبيعية المهيكلة، مما يسمح بتقييم دقيق للعلاقات المكانية بين الجزء والكل.

6. الأهمية والتوجهات المستقبلية

• السلامة والموثوقية: يعالج هذا العمل فجوة أمان حرجة في الذكاء الاصط์ناعي المجسد، والروبوتات، والتطبيقات الطبية حيث يكون تفسير وضعية اليد بدقة أمرًا لا يقبل التفاوض.
• ما وراء اكتشاف الأشياء: ينقل التركيز من "ما هو الشيء الموجود" إلى "كيف يتم تمفصل هذا الشيء"، مما يدفع نماذج الرؤية واللغة نحو التفكير الفيزيائي الحقيقي.
• العمل المستقبلي: يقترح المؤلفون توسيع هذا المعيار ليشمل الفيديو (ديناميكيات الحركة)، والدمج مع نماذج الرؤية واللغة والعمل (VLA) لتخطيط الإمساك، وتطوير خرائط تكيفية للتعامل مع الاستدلال الهندسي المستمر بما يتجاوز الفئات المنفصلة.