ملخص تقني: Gaga: تجميع أي غاوسيان عبر بنك ذاكرة مدرك ثلاثي الأبعاد

بيان المشكلة

يعد التقسيم ثلاثي الأبعاد مفتوح العالم (open-world 3D segmentation) الفعال أمراً حاسماً لفهم المشاهد والتحكم بها. وبينما حققت نماذج التقسيم ثنائية الأبعاد غير المرتبطة بفئة معينة (مثل SAM وEntitySeg) تقدماً كبيًرا، فإن توسيع نطاق هذه النماذج لتشمل المشاهد ثلاثية الأبعاد يطرح تحدياً جوهرياً: عدم اتساق تسميات الأقنعة (mask labels) عبر الصور متعددة الزوايا. بما أن النماذج ثنائية الأبعاد تعالج كل زاوية بشكل مستقل، فقد يحصل نفس الكائن على معرفات أقنعة (mask IDs) مختلفة في زوايا مختلفة. ويؤدي رفع هذه الأقنعة غير المتسقة إلى الفضاء ثلاثي الأبعاد بشكل ساذج إلى إنتاج تقسيمات غامضة ومجزأة.

تحاول الحلول الحالية معالجة ذلك عبر:

1. التعلم التبايني (Contrastive Learning): تعلم ناقلات الميزات (feature vectors) للغاوسيان ثلاثي الأبعاد لتجميعها. ومع ذلك، غالباً ما تفشل هذه الطرق في تعيين معرفات أقنعة فريدة ومتسقة لمجموعات التقسيم عبر الزوايا المختلفة.
2. تتبع الأجسام في الفيديو (Video Object Tracking): معاملة الصور متعددة الزوايا كسلسلة زمنية للفيديو لتتبع الأجسام. يعتمد هذا النهج على افتراض وجود تغييرات مستمرة وضئيلة في الزوايا، وهو ما يفشل غالباً في السيناريوهات الواقعية ذات المدخلات المتفرقة، أو التغيرات الكبيرة في وضعية الكاميرا، أو الأجسام المتشابهة/المحجوبة.

المنهجية: Gaga

يقترح Gaga إطار عمل لإعادة بناء وتقسيم المشاهد ثلاثية الأبعاد مفتوحة العالم من خلال الاستفيد من الأقنعة ثنائية الأبعاد غير المتسقة عبر بنك ذاكرة مدرك ثلاثي الأبعاد (3D-aware Memory Bank) مبتكر. يعمل هذا النهج دون افتراض تغيرات مستمرة في الزوايا أو الحاجة إلى تدخل بشري.

1. إعادة البناء ثلاثي الأبعاد والتقسيم الأولي

• إعادة البناء ثلاثي الأبعاد: يبدأ خط العمل بإعادة بناء المشهد ثلاثي الأبعاد باستخدام التبلطح الغاوسي (Gaussian Splatting) من مجموعة من الصور ذات الوضعيات المحددة (posed RGB images).
• توليد الأقنعة ثنائية الأبعاد: تقوم نماذج التقسيم مفتوحة العالم (مثل SAM وEntitySeg) بتوليد أقنعة ثنائية الأبعاد غير مرتبطة بفئة معينة لكل زاوية مدخلة.

2. بنك الذاكرة المدرك ثلاثي الأبعاد وربط الأقنعة

الابتكار الجوهري هو بنك الذاكرة المدرك ثلاثي الأبعاد، الذي يقوم بتجميع الغاوسيان ثلاثي الأبعاد وتعيين معرفات مجموعات عالمية للأقنعة ثنائية الأبعاد عبر الزوايا بناءً على التداخل الهندسي بدلاً من التتبع الزمني.

• الغاوسيان المتوافق مع توجيه العمق: لكل قناع ثنائي الأبعاد، يحدد النظام الغاوسيان ثلاثي الأبعاد المقابلة له. ولضمان الدقة وتجنب تضمين الغاوسيان الخلفية التي قد تظهر في القناع ولكنها تنتمي لأجسام بعيدة، تستخدم الطريقة توجيهاً بالعمق (depth guidance). حيث يتم رندرة خريطة عمق، وتصفية القيم المتطرفة باستخدام إحصائيات المدى الربيعي (IQR)، واختيار الغاوسيان الموجودة فقط ضمن نطاق العمق الصالح للجسم الأمامي.
• تعيين معرف المجموعة عبر تداخل الغاوسيان: يبني النظام بنك الذاكرة بشكل تكراري:
  • لكل قناع في زاوية جديدة، يحسب النظام التداخل بين الغاوسيان المقابلة للقناع ($G(m)$) والمجموعات الموجودة ($G_i$) في بنك الذاكرة.
  • يُعرف التداخل بأنه نسبة الغاوسيان المشتركة إلى إجمالي الغاوسيان في القناع: $Overlap(m, i) = \#(G(m) \cap G_i) / \#G(m)$.
  • إذا تجاوز التداخل مع مجموعة موجودة عتبة معينة (0.1)، يتم تعيين معرف تلك المجموعة للقناع، وتُضاف الغاوسيان غير المتداخلة إلى المجموعة.
  • إذا لم يكن هناك أي مجموعة موجودة تمتلك تداخلاً كافياً، يتم إنشاء معرف مجموعة جديد.
  • تضمن هذه العملية أن الأقنعة التي تمثل نفس الجسم ثلاثي الأبعاد عبر زوايا مختلفة تحصل على نفس المعرف العالمي.

3. ترميز الهوية والرندرة

بمجرد إنشاء معرفات المجموعات المتسقة، يتعلم النظام ترميز الهوية (identity encoding) (وهو متجه ميزة مكون من 16 بُعداً) لكل غاوسيان ثلاثي الأبعاد.

• الإشراف (Supervision): يتم رندرة ناقلات الميزات المتعلمة إلى صور ثنائية الأبعاد وفك تشفيرها عبر طبقة خطية وSoftMax للتنبؤ بخرائط التقسيم.
• الخسارة (Loss): تتم مقارنة الخرائط المتنبأ بها مع الأقنعة المستندة إلى الحقيقة الأرضية الزائفة (pseudo-ground truth) التي تم إنشاؤها بواسطة بنك الذاكرة المدرك ثلاثي الأبعاد (والتي تحتوي على معرفات مجموعات متسقة) باستخدام خسارة الإنتروبيا المتقاطعة (cross-entropy loss).
• المخرج: يمكن للنموذج المدرب رندرة أقنعة تقسيم متسقة عبر زوايا متعددة وتمكين التلاعب بالمشهد ثلاثي الأبعاد (مثل إزالة الأجسام، تغيير اللون، أو الإزاحة) عن طريق اختيار الغاوسيان بناءً على ترميز هويتها.

المساهمات الرئيسية

1. إطار عمل للأقنعة ثنائية الأبعاد غير المتسقة: طريقة لإعادة بناء وتقسيم المشاهد ثلاثية الأبعاد باستخدام أقنعة ثنائية الأبعاد غير متسقة من النماذج مفتوحة العالم دون الحاجة إلى توجيه مستخدم.
2. بنك ذاكرة مدرك ثلاثي الأبعاد: آلية مبتكرة تحل عدم اتساق الأقنعة عن طريق تصنيف الغاوسيان ثلاثي الأبعاد ومواءمة الأقنعة ثنائية الأبعاد عبر زوايا متنوعة بناءً على التداخل الهندسي ثلاثي الأبعاد، مما يلغي الحاجة إلى افتراضات تتبع الفيديو.
3. تعدد الاستخدامات: الطريقة متوافقة مع أي نموذج تقسيم ثنائي الأبعاد غير مرتبط بفئة، مما يسهل توليد الصور والأقنعة من زوايا جديدة.
4. المتانة: أثبتت فعاليتها في السيناريوهات الصعبة، بما في ذلك زوايا المدخلات المتفرقة وتغيرات وضعية الكاميرا الكبيرة.

النتائج التجريبية

قيمت الورقة البحثية Gaga على مجموعات بيانات متعددة (LERF-Mask, Replica, ScanNet, MipNeRF 360) مقابل أحدث الطرق بما في ذلك Gaussian Grouping وOmniSeg3D وLangSplat.

• الأداء الكمي:
  • في LERF-Mask، حقق Gaga تفوقاً في mIoU (92.3%) و mBIoU (90.8%) مقارنة بالطرق السابقة.
  • في Replica وScanNet، تفوق Gaga باستمرار على Gaussian Grouping في IoU، والدقة (Precision)، والاستدعاء (Recall)، بغض النظر عن نموذج التقسيم ثنائي الأبعاد المستخدم (SAM أو EntitySeg).
  • المتانة تجاه البيانات المتفرقة: عند التدريب باستخدام 5% فقط من البيانات، تفوق Gaga بشكل كبير على Gaussian Grouping (على سبيل المثال، 31.87% مقابل 21.76% في IoU على Replica باستخدام SAM)، مما يظهر مرونة أكبر تجاه ندرة البيانات.
• الأداء النوعي:
  • ينتج Gaga أقنعة متسقة عبر الزوايا المتعددة مع عدد أقل من العيوب، ومناطق فارغة أقل، وحدود أكثر حدة مقارنة بنماذج التعلم التبايني وتتبع الفيديو الأساسية.
  • يتعامل بنجاح مع الأجسام المتشابهة وحالات الحجب حيث تفشل متتبعات الفيديو (مثل الخطأ في تحديد أرائك متشابهة أو فقدان الأجسام أثناء تحركات الكاميرا الكبيرة).
• التطبيقات: توضح الورقة نجاح مهام التلاعب بالمشهد، بما في ذلك الإزالة الدقيقة للأجسام، وتغيير اللون (مثل إعادة تلوين الوسادة فقط دون التأثير على مسند القدم)، وإزاحة الأجسام، مما يبرز دقة التجميع ثلاثي الأبعاد.

الأهمية والادعاءات

يدعي المؤلفون أن Gaga يعالج قصوراً جوهرياً في التقسيم ثلاثي الأبعاد مفتوح العالم الحالي: وهو عدم الاستغلال الكافي للمعلومات المتأصلة في المشهد ثلاثي الأبعاد لحل عدم اتساق الأقنعة ثنائية الأبعاد. ومن خلال الانتقال من التتبع الزمني أو التعلم التبايني إلى الربط بين الزوايا عبر الأقنعة بناءً على الهندسة عبر بنك ذاكرة مدرك ثلاثي الأبعاد، يحقق Gaga ما يلي:

• اتساق حقيقي عبر الزوايا المتعددة: تعيين معرفات مجموعات عالمية للأجسام عبر وضعيات كاميرا متنوعة دون افتراض تغيرات مستمرة في الزوايا.
• المتانة تجاه التفرّق: الحفاظ على الأداء حتى مع الزوايا المتفرقة حيث يفشل تتبع الفيديو.
• الفائدة العملية: تمكين التطبيقات النهائية عالية الجودة مثل فهم المشهد ثلاثي الأبعاد والتحكم الدقيق في المشاهد.

تخلص الورقة إلى أن هذه التطورات تجعل من Gaga حلاً قوياً لمهام تقسيم المشاهد وتحريرها في العالم الحقيقي.