DEGround: An Effective Baseline for Ego-centric 3D Visual Grounding with a Homogeneous Framework

إليك ملخص تقني مفصل لورقة البحث بعنوان "DEGround: إطار عمل متجانس فعال لعملية التوجيه البصري ثلاثي الأبعاد من منظور الشخص الأول (Ego-centric 3D Visual Grounding)."

1. بيان المشكلة

تعد مهمة التوجيه البصري ثلاثي الأبعاد من منظور الشخص الأول (Ego-centric 3D VG) مهمة جوهرية في الذكاء الاصطالي المتجسد (Embodied Intelligence)، وهي تتطلب من العميل تحديد موقع جسم معين في مشهد ثلاثي الأبعاد بناءً على تعليمات بلغة طبيعية، باستخدام ملاحظات (RGB-D) متعددة الرؤى، شحيحة، ومن منظور الشخص الأول فقط.

القيود الحالية:
تعتمد الطرق الحالية عادةً على مسار غير متجانس يتكون من مرحلتين:

1. المرحلة الأولى: تدريب كاشف أجسام ثلاثي الأبعاد (يعتمد غالباً على الالتفاف أو المرتكزات/Anchors).
2. المرحلة الثانية: نقل أوزان العمود الفقري (Backbone) إلى نموذج توجيه منفصل (يعتمد غالباً على Transformer أو نمط DETR) لأداء مهمة التوجيه.

المشكلات الرئيسية للمسارات غير المتجانسة:

• نقل غير مكتمل للمعرفة: رغم مشاركة أوزان العمود الفقي، إلا أن وحدة فك الترميز (Decoder) ورؤوس صناديق الإحاطة (Bounding Box Heads) تختلف معمارياً. ونتيجة لذلك، لا يتم نقل الأولوياتات على مستوى الأجسام (التمثيلات المكتسبة للأجسام والاستدلال الهندسي)، مما يجبر نموذج التوجيه على إعادة تعلم هذه الميزات.
• تحسين فائض (Redundant Optimization): يجب على نموذج التوجيه إعادة تحسين فك ترميز الأجسام وانحدار الصناديق (Box Regression) على نفس البيانات، مما يؤدي إلى بطء التقارب، وتكلفة حوسبية عالية، ودقة غير مثالية.
• الافتقار إلى المحاذاة الدقيقة: تعاني الطرق الحالية من مشكلة "المشتتات من نفس الفئة" (الأجسام التي تنتمي لنفس الفئة ولكنها لا تطابق الوصف) وتفشل في دمج القصد اللغوي بفعالية في تمثيلات الاستعلام الأولية.

2. المنهجية: DEGround

اقترح المؤلفون DEGround، وهو إطار عمل متجانس يوحد الكشف عن الأجسام والتوجيه في بنية واحدة.

أ. البنية الأساسية: إطار عمل متجانس

• تمثيل مشترك للأجسام: بدلاً من استخدام وحدات فك ترميز متميزة، يستخدم DEGround مجموعة واحدة من استعلامات الأجسام (Object Queries) كتمثيل مشترك لكل من الكشف والتوجيه.
• وحدة فك ترميز ورؤوس مشتركة: تستخدم كلتا المهمتين نفس وحدة فك الترميز القائمة على Transformer ونفس رأس صناديق الإحاطة المشترك.
  • الآلية: يقوم رأس تسجيل نقاط خفيف الوزن باختيار أفضل $K$ من مراكز الفوكسل (Voxel Centers) بناءً على الميزات البصرية لتشكيل تضمينات الاستعلام الأولية ($Q$).
  • الفائدة: يسمح هذا التوافق لمهمة التوجيه بالارث المباشر للأولويات القوية الخاصة بالتحديد والتصنيف من مهمة الكشف، مما يلغي التعلم الزائد ويسرع عملية التقارب.

ب. استخراج الميزات والدمج

• المدخلات: صور RGB-D متعددة الرؤى.
• التمثيل ثلاثي الأبعاد: يتم إسقاط خرائط العمق إلى إحداثيات العالم لإنشاء سحابة نقاط وهمية، والتي يتم تحويلها إلى فوكسل وتشفيرها ($F_{3d}$).
• التمثيل ثنائي الأبعاد: يتم استخراج ميزات متعددة المقاييس من صور RGB ($F_{2d}$).
• الدمج: يتم أخذ عينات من الميزات ثنائية الأبعاد على النقاط ثلاثية الأبعاد عبر الاستيفاء الخطي (Bilinear Interpolation) ودمجها مع الميزات الهندسية ثلاثية الأبعاد لإنشاء تمثيل بصري موحد ($F_{visual}$).

ج. وحدات الإضافات النوعية للمهمة

لتعزيز التوجيه الدقيق للتعليمات، تم تقديم وحدتين:

1. التوجيه بالتنشيط الإقليمي (Regional Activation Grounding - RAG):

   • الهدف: معالجة "المشتتات من نفس الفئة" عبر تسليط الضوء على المناطق المتوافقة مع النص.
   • الآلية: تستخدم الانتباه المدفوع بالنص لدمج $F_{visual}$ مع تضمينات النص ($F_{text}$)، مما يولد خريطة ميزات معززة نصياً ($F'_{region}$).
   • الإشراف: تقدم خسارة الارتباط المكاني ($L_{spatial}$) التي تشرف على التنبؤات على مستوى النقطة، مما يجبر النموذج على تخصيص درجات ارتباط عالية للنقاط داخل صندوق الحقيقة الأرضية (Ground-truth) ودرجات منخفضة للآخرين.

2. التعديل على مستوى الاستعلام (Query-wise Modulation - QIM):

   • الهدف: حقن الدلالات العالمية للجملة مباشرة في استعلامات الأجسام الأولية لجعلها "واعية بالتعليمات".
   • الآلية: تطبق تحويلاً تآلفياً للميزات (Feature-wise Affine Transformation) على الاستعلامات البصرية ($Q_{vis}$) باستخدام ناقلات التعديل ($\beta, \gamma$) المستخرجة من تضمين الجملة.
   • الصيغة: $Q_{mod} = \beta \odot Q_{vis} + \gamma \odot \mathbf{1}S$. يعمل هذا على تكييف مساحة الاستعلام لدمج الأدلة البصرية مع القصد اللغوي بشكل أفضل منذ بداية عملية فك الترميز.

3. المساهمات الرئيسية

1. الإطار المتجانس: اقترح DEGround، وهو أول إطار عمل يوحد الكشف والتوجيه عبر مشاركة الاستعلامات، مما يتيح انتقالاً حقيقياً للأولويات على مستوى الأجسام ويزيل التحسين الفائض.
2. التوجيه بالتنشيط الإقليمي (RAG): وحدة مبتكرة تستخدم الإشراف على مستوى النقطة والانتباه الموجه بالنص لحل مشكلة ارتباك المشتتات من نفس الفئة.
3. التعديل على مستوى الاستعلام (QIM): آلية تعدل استعلامات وحدة فك الترميز ديناميكياً بناءً على الدلالات العالمية للجملة، مما يحسن قدرة الاستعلام على التمييز.
4. أداء رائد (State-of-the-Art): حقق معياراً جديداً في مجموعة اختبار EmbodiedScan، متفوقاً بشكل كبير على الطرق الحالية.

4. النتائج التجريبية

تم تقييم النموذج على مجموعة اختبار EmbediedScan (التي تجمع بين ScanNet و3RScan وMatterport3D)، والتي تتميز بملاحظات واقعية وشحيحة من منظور الشخص الأول.

• التوجيه البصري ثلاثي الأبعاد (مجموعة التحقق المصغرة):

  • حقق DEGround دقة إجمالية بنسبة 61.28% (AP@25).
  • يمثل هذا تحسناً بنسبة 15.49% عن أعلى مستوى سابق (BIP3D، بنسبة 45.79%).
  • تفوق على خط الأساس ResNet-50 (DenseGrounding) بنسبة 17.77%.
  • التقارب: وصل DEGround إلى 59.90% mAP في 3 حقبات (epochs) فقط، بينما استغرق خط الأساس 12 حقبة للوصول إلى 35.84%.

• التوجيه البصري ثلاثي الأبعاد (مجموعة التحقق الكاملة):

  • حقق دقة إجمالية بنسبة 62.18%.
  • تفوق على BIP3D (الذي يستخدم عمود فقري Swin-T) بنسبة 7.52%، رغم استخدامه لعمود فقري أخف وهو ResNet-50.

• مجموعة الاختبار الرسمية:

  • حقق 42.04% AP@50، مسجلاً رقماً قياسياً جديداً ومتفوقاً على أقرب منافس له (BIP3D) بنسبة 2.35%.

• الكشف عن الأجسام ثلاثية الأبعاد:

  • حقق 24.68% AP@25 في اختبار الكشف، متفوقاً على BIP3D بنسبة 3.77%.

5. الأهمية

• تحول في النموذج المعرفي (Paradigm Shift): يتحدى DEGround النموذج السائد المكون من مرحلتين غير متجانستين في مجال 3D VG، ويثبت أن البنية الموحدة والمتجانسة هي الأفضل لنقل الأولويات على مستوى الأجسام.
• الكفاءة: من خلال مشاركة وحدة فك الترميز ورأس الصناديق، تقلل الطريقة بشكل كبير من وقت التدريب ومتطلبات البيانات مع تحسين الدقة.
• القوة والمتانة: تعالج وحدتا RAG وQIM تحديداً تحديات الإدراك من منظور الشخص الأول (الرؤى الشحيحة، والمشتتات)، مما يجعل النموذج أكثر ملاءمة للوكلاء المتجسدين في العالم الحقيقي الذين لا يمكنهم الاعتماد على نماذج مسبقة إعادة البناء للمشهد.
• وضع المعايير: تثبت نتائج EmbodiedScan معياراً جديداً للتوجيه البصري ثلاثي الأبعاد، مما يثبت أن التوحيد المعماري البسيط والأنيق يمكن أن يتفوق على المسارات المعقدة متعددة المراحل.