Do MLLMs Understand Pointing? Benchmarking and Enhancing Referential Reasoning in Egocentric Vision

إليك ملخص تقني مفصل للورقة البحثية بعنوان "هل تفهم النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) الإشارة باليد؟ تقييم وتعزيز الاستدلال المرجعي في الرؤية من منظور الشخص الأول (Egocentric Vision)."

1. بيان المشكلة

تتناول الورقة فجوة حرجة في الذكاء الاصطناعي من منظور الشخص الأول (مثل النظارات الذكية): وهي عدم قدرة النماذج اللغوية الكبيرة متعددة الوسائط الحالية على تفسير إشارات التأشير باليد بدقة في وجهات النظر التي تتبنى منظور الشخص الأول.

• الهلوسة المرجعية (Referential Hallucination): رغم القدرات البصرية العامة القوية، تفشل نماذج MLLM المتطورة في تتبع الإسقاط الهندسي لإصبع يشير؛ وبدلاً من ذلك، تعتمد على الارتباطات الزائفة، مثل القرب البصري (الأجسام القريبة من اليد) أو بروز الأجسام (الأجسام البارزة في الخلفية)، مما يؤدي إلى تحديد الهدف بشكل خاطئ.
• ندرة البيانات: تعتمد المعايير المرجعية الحالية (مثل RefCOCO وVisual Genome) على وجهات نظر من منظور الشخص الثالث أو صناديق إحاطة (bounding boxes) صريحة، وتفتقر إلى طبيعة "الزاوية العريضة" للرؤية من منظور الشخص الأول. كما تركز مجموعات البيانات الضخمة لمنظور الشخص الأول (مثل Ego4D) على التعرف على الأفعال بدلاً من الهندسة الكثيفة لـ "الإشارة-الهدف" والإجابة على الأسئلة (QA).
• عجز الاستدلال المكاني: تواجه النماذج الحالية صعوبة في الفصل بين مظهر اليد وبين القصد المكاني للإشارة، مما يؤدي إلى الفشل في حل حالات الغموض المرجعي في التفاعلات الطبيعية (مثل: "ما هذا؟" أثناء الإشارة).

2. المنهجية: EgoPoint-Bench

يقدم المؤلفون EgoPoint-Bench، وهو معيار شامل مصمم لتقييم وتعزيز استدلال الإشارة. يتكون من استراتيجية بناء بيانات ثنائية المصدر وإطار تقييم صارم.

أ. بناء البيانات

تتكون مجموعة البيانات من 11,729 زوجاً من الأسئلة والأجوبة (10,567 زوجاً اصطناعياً + 1,162 زوجاً من العالم الحقيقي).

1. مرحلة المحاكاة (إطار عمل Point-Sim):

   • البيئة: تستخدم 1,838 مشهداً ثلاثي الأبعاد عالي الدقة من AI2-THOR وHSSD وReplicaCAD وHM3D.
   • التخليق القائم على الفيزياء: يستخدم خط إنتاج مخصص تقنية "إسقاط الأشعة" (ray-casting) لتوليد تسميات إشارة خالية من الضجيج. كما يستخدم 42 نموذجاً متنوعاً لليد (تختلف في لون البشرة، والملابس، واليد اليمنى/اليسرى) لضمان المتانة.
   • الدقة الهندسية: يقوم النظام بحساب موقع الوكيل واتجاه الكاميرا لمحاذاة متجه إصبع السبابة بدقة مع الجسم المستهدف، مما يضمن أن "شعاع الإشارة" يصيب الهدف دون اعتراض عوائق.
   • توليد الأسئلة والأجوبة: يقوم خط إنتاج هجين (توليد آلي مع تحقق بشري) بإنشاء الأسئلة. ولمنع الهلوسة أثناء التوليد، يتم رندرة (rendering) صناديق الإحاطة الصحيحة كأدوات بصرية للمولد.

2. مرحلة العالم الحقيقي:

   • الجمع: قام 8 متطوعين يرتدون نظارات MLVision الذكية بجمع البيانات في بيئات متنوعة (متاجر، منازل، أماكن مفتوحة، حدائق حيوان).
   • التعليق التوضيحي (Annotation): تضمن سير عمل صارم يعتمد على "الإنسان في الحلقة" (HITL)، شمل تحديد الإطارات المفتاحية عبر الأوامر الصوتية، واختيار الإطارات الواعية بالوضوح (لتصفية ضبابية الحركة)، والتعليق اليدوي لصناديق الإحاطة لتتماشى مع قصد المستخدم في الإشارة.

A. تصنيف التقييم

يقيم المعيار النماذج عبر خمسة أبعاد للقدرة وثلاثة مستويات من الإشارة اللغوية (Deixis):

• الأبعاد الخمسة:

  1. الإدراك الأساسي (BP): الفئة، اللون، الملمس.
  2. الوظيفة والحالة (FS): القابلية للأكل، القابلية للتشغيل، الحالات الديناميكية.
  3. السياق المكاني (SC): التحديد الموضعي، التوافق مع المشهد، إمكانية الوصول.
  4. التعرف الضوئي على الحروف (OCR): استخراج النصوص من الأجسام المشار إليها.
  5. المرونة ضد الهجمات (AR): التعامل مع السيناريوهات الافتراضية والمشتتات المكانية.

• المستويات الثلاثة للإشارة (Deixis):

  • المستوى الأول (L1 - صريح): "الجسم الذي أشير إليه".
  • المستوى الثاني (L2 - موضعي بصري): "ذلك الشيء هناك".
  • المستوى الثالث (L3 - ضمني): "هذا" / "إنه".

3. المساهمات الرئيسية

1. EgoPoint-Bench: أول معيار يوحد الرؤية الحقيقية من منظور الشخص الأول مع ميكانيكا الإشارة باليد الطبيعية، مغطياً أكثر من 11 ألف عينة عبر مجالات المحاكاة والعالم الحقيقي.
2. خط إنتاج بيانات قائم على الفيزياء: إطار محاكاة قابل للتوسع يضمن الدقة الهندسية (إسقاط الأشعة) والتنوع اللغوي (الإشارة الهرمية)، مما يعالج ندرة البيانات المكانية عالية الجودة.
3. التعميم من المحاكاة إلى الواقع (Sim-to-Real): أثبتت الدراسة أن النماذج التي تم ضبطها بدقة (fine-tuned) باستخدام البيانات الاصطناعية عالية الدقة فقط حققت مكاسب كبيرة في الأداء على مجموعات الاختبار في العالم الحقيقي، مما يؤكد جدوى البيانات الاصطناعية كحل لندرة البيانات في تفاعلات منظور الشخص الأول.

4. النتائج التجريبية

قام المؤلفون باختبار نماذج مملوكة (Gemini 3، سلسلة GPT-5) ونماذج مفتوحة المصدر (LLaVA، InternVL، Qwen3-VL، GLM-4) تحت إعدادات التعلم الصفري (Zero-Shot) والضبط الدقيق باستخدام LoRA.

• فشل النماذج الأساسية: تعاني نماذج MLLM الجاهزة بشكل كبير، حيث تحقق دقة تقارب 60% فقط إجمالاً. وهي تظهر "هلوسة مرجعية"، حيث تختار غالباً الأجسام القريبة من اليد بدلاً من الهدف المشار إليه.
• مكاسب الأداء: أدى الضبط الدقيق باستخدام بيانات EgoPoint-Bench الاصطناعية إلى تحسينات هائلة:
  • مكاسب LoRA: شهدت النماذج مفتوحة المصدر تحسينات في الدقة تتراوح بين +15.27% إلى +25.41%.
  • أفضل أداء: حقق نموذج LLaVA-NeXT-7B مكسباً بنسبة 25.41%، ليصل إلى حوالي 80% في المحاكاة وحوالي 60% في العالم الحقيقي.
• الانتقال من المحاكاة إلى الواقع: أظهرت النماذج المدربة حصرياً على بيانات المحاكاة قدرة جيدة على التعميم في بيانات العالم الحقيقي. على سبيل المثال، تحسنت دقة المتوسط في العالم الحقيقي لنموذج Qwen3-VL-8B من 58.14% إلى 71.96%.
• تحليل الأخطاء: كانت أنماط الفشل الرئيسية في النماذج الأساسية هي التشتت بالتقارب (اختيار الأجسام المجاورة) وتجاهل الإيماءة (تجاهل اليد). نجحت النماذج التي خضعت للضبط الدقيق في "إنقاذ" ما بين 57-72% من هذه الحالات الخطأ المحددة.
• مستويات الإشارة: بينما أدت النماذج ذات التعلم الصفري أداءً أفضل في الإشارات الموضعية الغامضة (L2/L3) مقارنة بالتعليمات الصريحة (L1)، إلا أن الضبط الدقيق خلق توازناً في الأداء عبر جميع المستويات، مما يثبت أن النماذج تعلمت المحاذاة الهندسية للإشارة.

5. الأهمية

• تطوير الذكاء الاصطناعي من منظور الشخص الأول: تسلط هذه الورقة الضوء على أن التدريب المسبق العام غير كافٍ للاستدلال المكاني الدقيق في وجهات نظر الشخص الأول. وهي تؤسس لفكرة أن الإشراف المدرك مكانياً أمر بالغ الأهمية لبناء مساعدين ذكاء اصطناعي دقيقين للنظارات الذكية وتقنيات الواقع المعزز (AR).
• جدوى البيانات الاصطناعية: تقدم دليلاً قوياً على أن البيانات الاصطناعية عالية الدقة والقائمة على الفيزياء يمكن أن تسد الفجوة بين المجالات، مما يوفر مساراً قابلاً للتوسع لتدريب النماذج على التفاعلات البشرية المعقدة دون الاعتماد كلياً على جمع البيانات المكلفة من العالم الحقيقي.
• معيار مرجعي: يضع EgoPoint-Bench معياراً جديداً لتقييم الاستدلال متعدد الوسائط، متجاوزاً مجرد اكتشاف الأجسام إلى فهم مرجعي معقد في بيئات ديناميكية من منظور الشخص الأول.

الخلاصة: تخلص الورقة إلى أنه بينما تفتقر نماذج MLLM الحالية إلى فهم جوهري لعملية "الإشارة باليد"، إلا أنها يمكن أن تكتسب هذه القدرة بسرعة من خلال الضبط الدقيق المستهدف على بيانات اصطناعية عالية الجودة، مما يمهد الطريق لمساعدين ذكاء اصطناعي أقوياء وسياقيين لمنظور الشخص الأول.