Distractor-free Generalizable 3D Gaussian Splatting
تقدم هذه الورقة البحثية إطار عمل DGGS، وهو إطار عمل مبتكر يحقق تقنية "Gaussian Splatting" ثلاثية الأبعاد قابلة للتعميم وخالية من المشتتات عبر توظيف وحدة تنبؤ بالأقنعة مستقلة عن المشهد أثناء التدريب، وآلية تسجيل مرجعي على مرحلتين مع عملية تقليم أثناء الاستدلال لضمان إعادة بناء مستقرة وعالية الجودة في المشاهد غير المرئية.
المؤلفون الأصليون:Yanqi Bao, Jing Liao, Jing Huo, Yang Gao
تخيل أنك تحاول بناء هولوغرام ثلاثي الأبعاد مثالي لحديقة جميلة باستخدام بضع صور فقط التقطتها بهاتفك. هذا هو بالضبط ما يفعله النمذجة بالنقاط الغاوسية ثلاثية الأبعاد (3D Gaussian Splatting - 3DGS): فهو يأخذ الصور المسطحة ويحولها إلى عالم ثلاثي الأبعاد يمكنك التجول بداخله.
ومع ذلك، هناك مشكلة كبيرة في العالم الحقيقي: المشتتات (Distractors).
المشكلة: "المتطفلون" غير المرغوب فيهم
تخيل أنك تلتقط صورًا لتمثال في حديقة. ولكن في كل صورة، تمر حافلة، أو يطير بالون، أو تمر مجموعة من السياح مباشرة أمام التمثال.
الطريقة القديمة: إذا حاولت بناء الهولوغرام ثلاثي الأبعاد باستخدام هذه الصور الفوضوية، فسيصاب الكمبيوتر بالارتباك. سيحاول "لصق" الحافلة والبالون في التمثال. والنتيجة؟ فوضى مشوشة وغير متناسقة حيث يظهر للتمثال ثقب على شكل حافلة أو بالون شبحي عائم.
القصور: كانت الطرق السابقة تشبه أمناء المكتبات الصارمين الذين لا يعملون إلا في غرفة هادئة وفارغة. لم يكن بمقدورهم التعامل مع فوضى العالم الحقيقي. إذا أردت إزالة الحافلة، كان عليك إخبار الكمبيوتر يدويًا: "مهلًا، هذه الحافلة سيئة"، وذلك لكل مشهد على حدوة. وهذا أمر بطيء ومستحيل لتطبيق هاتف يحتاج للعمل فورًا.
الحل: DGGS (الفلتر الذكي)
ابتكر مؤلفو هذه الورقة البحثية نظام DGGS، وهو يعمل كـ محرر ذكي وتلقائي يتعلم تجاهل المتطفلين من تلقاء نفسه. ويطلقون عليه اسم "النمذجة بالنقاط الغوسية ثلاثية الأبعاد العامة والخالية من المشتتات" (Distractor-free Generalizable 3D Gaussian Splatting).
إليك كيف يعمل، باستخدام تشبيهات بسيطة:
1. مرحلة التدريب: التعلم عبر "التحقق المتقاطع"
تخيل أنك تحاول معرفة شكل تمثال ما، ولكن لديك فقط صورًا ملتقطة من زوايا مختلفة، وبعضها يحتوي على أشخاص يسيرون أمامه.
الحيلة القديمة: ينظر الكمبيوتر إلى صورة واحدة، ويرى شخصًا، فيظن: "أوه، هذا جزء من التمثال!" ويصاب بالارتب de.
حيلة DGGS: ينظر النظام إلى جميع الصور معًا. هو يعلم أن التمثال صلب وثابت في مكانه، بينما الحافلة، على سبيل المثال، تتحرك.
يتساءل النظام: "إذا نظرت إلى التمثال من الزاوية (أ)، والزاوية (ب)، والزاوية (ج)، هل تظهر الحافلة في جميعها؟"
الإجابة: لا. الحافلة تظهر في بعضها فقط.
الإجراء: يدرك النظام: "آها! الحافلة هي دخيل!" ثم يقوم بإنشاء قناع (Mask) (مثل استنسل رقمي) لطلاء فوق الحافلة وتجاهلها. يفعل ذلك تلقائيًا دون الحاجة لإخبار الكمبيوتر بماهية الحافلة. إنه يتعلم أن الاتساق = جسم حقيقي، وأن عدم الاتساق = مشتت.
2. مرحلة الاستدلال: التنظيف على مرحلتين
بمجرد تدريب النظام، تعطيه مجموعة جديدة من الصور الفوضوية لبناء نموذج ثلاثي الأبعاد. يستخدم عملية تنظيف من خطوتين:
المرحلة الأولى: اختيار "أفضل صورة" (تقييم المرجع) تخيل أن لديك كومة من 10 صور لبناء نموذجك. بعضها به حافلة، وبعضها به بالون، وبعضها نظيف.
يقوم النظام بمسح سريع لجميع الصور العشر ويعطيها "درجة نظافة".
يختار أفضل 4 صور نظيفة للقيام بالعمل الشاق، ويتجاهل الصور الفوضوية في عملية البناء الأساسية.
المرحلة الثانية: "صائد الأشباح" (تقليم المشتتات) حتى مع أفضل الصور، قد يظل جزء صغير من حافلة مرئيًا في الزاوية.
يبني النظام النموذج ثلاثي الأبعاد ثم ينظر إليه. إذا رأى "شبحًا" (قطعة طائرة من الحافلة لا تنتمي للمكان)، فإنه يستخدم مقصًا رقميًا لـ تقليم (Pruning) (قص) تلك الجزيئات ثلاثية الأبعاد المحددة.
الأمر يشبه البستاني الذي يقلم الأعشاب الضارة التي نجحت في التسلل إلى حوض الزهور.
لماذا يعد هذا أمرًا مهمًا؟
إنه "عام" (Generalizable): الطرق السابقة كانت مثل الطباخ الذي يعرف فقط كيفية طهي طبق واحد محدد؛ إذا أعطيته مكونًا جديدًا، سيفشل. أما DGGS فهو مثل طباخ ماهر يمكنه طهي أي طبق، حتى لو كان المطبخ فوضويًا. إنه يعمل في المتنزهات الخارجية، الغرف الداخلية، وأماكن جديدة لم يرها من قبل.
إنه سريع: لا يحتاج للتوقف والتفكير لساعات. إنه يعمل بطريقة "التغذية الأمامية" (Feed-forward)، مما يعني أنه ينظر إلى الصور ويخرج نموذجًا ثلاثي الأبعاد نظيفًا بشكل فوري تقريبًا.
إنه أفضل من الخبراء: ومن المثير للدهشة أن هذا النظام التلقائي أفضل في العث st على الأجزاء "السيئة" من بعض الطرق اليدوية الخاصة بكل مشهد والتي تتطلب ساعات من الضبط.
الخلاصة
DGGS يشبه منح كاميرا ثلاثية الأبعاد الخاصة بك نظارات ذكية. عندما تلتقط صورًا في مدينة مزدحمة بالسيارات والأشخاص الذين يتحركون، تقوم النظارات تلقائيًا بتعتيم الأشياء المتحركة والتركيز فقط على المباني والأشجار، مما يسمح لك ببناء عالم ثلاثي الأبعاد مثالي ومستقر في لحظات. إنه يحول "فوضى" العالم الحقيقي إلى واقع رقمي نظيف وقابل للاستخدام.
إليك ملخص تقني مفصل لورقة البحث "Distractor-Free Generalizable 3D Gaussian Splatting" (DGGS).
1. بيان المشكلة
تتناول الورقة تحديًا حرجًا لم يتم استكشافه من قبل في إعادة البناء ثلاثي الأبعاد: النمذجة ثلاثية الأبعاد بنقاط غاوس العامة والخالية من المشتتات (DGGS).
السياق: تهدف نماذج 3DGS العامة إلى إعادة بناء المشاهد ثلاثية الأبعاد من صور مرجعية شحيحة (feed-forward) دون الحاجة إلى تحسين لكل مشهد على حدة. ومع ذلك، غالبًا ما تحتوي البيانات الواقعية "في البرية" (in-the-wild) على مشتتات (أجسام عابرة مثل المشاة، أو المركبات، أو البالونات).
التحديات:
عدم استقرار التدريب: تعتمد النماذج العامة الحالية على الاتساق ثلاثي الأبعاد عبر الرؤى المختلفة. المشتتات تكسر هذا الاتساق، مما يتسبب في تعلم النموذج لعلاقات هندسية خاطئة ويؤدي إلى عدم استقرار التدريب.
عيوب الاستدلال: أثناء الاستدلال، لا يمكن إسقاط المشتتات الموجودة في الصور المرجعية بشكل صحيح في الفضاء ثلاثي الأبعاد، مما يؤدي إلى ظهور "أشباح"، وفجوات، وعيوب في الرؤى الجديدة المصنعة.
محدودية الحلول الحالية: معظم الطرق الخالية من المشتتات حاليًا هي طرق خاصة بالمشهد (scene-specific)، تتطلب تحسينًا تكراريًا، أو بيانات مدخلة كافية، أو مسبقات خارجية (مثل SfM أو التقسيم المدرب مسبقًا) والتي لا تتوسع لتناسب الإعدادات العامة (feed-forward).
2. المنهجية
يقترح المؤلفون DGGS، وهو إطار عمل يتكون من مكونين مبتكرين: نموذج تدريب عام خالٍ من المشتتات وإطار استدلال عام خالٍ من المشتتات.
أ. التدريب العام الخالي من المشتتات
الابتكار الجوهري هو وحدة التنبؤ بالقناع وتطويره القائم على المراجع التي تعمل دون إشراف خاص بالمشهد.
الملاحظة الجوهرية: المناطق غير المشتتة في الرؤى المرجعية تحافظ على اتساق ثلاثي الأبعاد عالٍ. عندما يتم استنتاج 3DGS من المراجع وإعادة رندرتها مرة أخرى إلى الرؤى المرجعية، يكون الخطأ في المناطق الثابتة (غير المشتتة) منخفضًا، بينما تظهر مناطق المشتتات خطأً عاليًا.
التنبؤ بالقناع القائم على المرجع:
بدلاً من الاعتماد فقط على خسارة المتبقي (residual loss) لرؤية الاستعلام (والتي غالبًا ما تصنف المناطق الثابتة الصعبة في إعادة البناء خطأً كمشتتات)، تستخدم الطريقة الرؤى المرجعية المعاد رندرتها لإنشاء "قناع قوي" (MRob).
تقوم الطريقة بتصفية MRob عن طريق إسقاط المناطق غير المشتتة من المراجع إلى رؤية الاستعلام باستخدام الاتساق متعدد الرؤى. هذا ينشئ قناعًا قائمًا على المرجع (MQ) يزيل بفعالية النتائج الإيجابية الكاذبة (المناطق الثابتة التي تم تحديدها خطأً كمشتتات).
تطوير القناع:
الفصل: يتم فصل القناع إلى مناطق خطأ التباين (الناتجة عن اختلاف الرؤى) ومناطق المشتتات.
التقسيم والملء: يُستخدم نموذج تقسيم كيانات مدرب مسبقًا (مثل Entity Segmentation أو SAM) لملء مناطق المشتتات المحددة في رؤية الاستعلام.
الخسارة المساعدة: يتم إدخال خسارة مساعدة (LA) للإشراف على المناطق المحجوبة في رؤية الاستعلام والتي تكون مرئية في المراجع، مما يضمن تعلم النموذج للهندسة حتى حيث تكون رؤية الاستعلام محجوبة.
الخسارة النهائية: يتم تعديل خسارة التدريب لاستخدام القناع المطور M والخسارة المساعدة، مما يضمن تحسين النموذج فقط على المناطق الثابتة والمتسقة.
ب. الاستدلال العام الخالي من المشتتات
للتعامل مع العيوب أثناء مرحلة الاستدلال (feed-forward)، يقدم DGGS إطار عمل ثنائي المراحل:
المرحلة الأولى: تسجيل النقاط للمراجع وإعادة الاختيار:
بالنظر إلى مجموعة من الصور المرجعية المرشحة، يقوم النظام بتسجيل النقاط لها بناءً على أقنعة المشتتات المتوقعة والتباين.
يختار أفضل N من المراجع التي تحتوي على أقل محتوى مشتت وأقل تباين بالنسبة لرؤية الاستعلام. هذا يضمن أن المدخلات إلى وحدة فك التشفير (decoder) تكون نظيفة قدر الإمكان.
المرحلة الثانية: تقليم المشتتات:
حتى مع المراجع النظيفة، قد تستمر بعض المشتتات المتبقية بسبب التقسيم غير المثالي.
يقوم النظام بعملية تقليم المشتتات (Distractor Pruning): حيث يحدد عناصر (primitives) غاوس ثلاثية الأبعاد المرتبطة بمناطق المشتتات (بناءً على الأقنعة المسقطة) ويقلمها (يزيلها) من التمثيل ثلاثي الأبعاد.
القيد: يتم تطبيق التقليم فقط إذا لم يكن الحجب "شائعًا" عبر جميع المراجع (لتجنب إزالة الهندسة الثابتة الصالحة التي هي ببساطة محجوبة في بعض الرؤى).
3. المساهمات الرئيسية
أول إطار عمل عام خالٍ من المشتتات: يعد DGGS أول عمل يعالج إزالة المشتتات في إعداد عام (generalizable/feed-forward)، متجاوزًا الطرق الخاصة بالمشهد الواحد.
التنبؤ بالقناع القائم على المرجع: نموذج جديد يستفيد من الاتساق ثلاثي الأبعاد عبر المراجع للتنبؤ بأقنعة المشتتات، محققًا دقة أعلى من الطرق الخاصة بالمشهد حتى بدون إشراف صريح على القناع.
استراتيجية استدلال ثنائية المراحل: تجمع بين تسجيل نقاط المراجع (اختيار أفضل المدخلات) وتقليم المشتتات (تنظيف المخرجات ثلاثية الأبعاد)، مما يخفف بفعالية من عدم استقرار التدريب وعيوب الاستدلال.
التحقق من البيانات الاصطناعية والواقعية: قام المؤلفون بإنشاء مجموعات بيانات مشتتات اصطناعية بناءً على Re10K وACID للتحقق من الطريقة، إلى جانب اختبارات مكثفة على مجموعات بيانات واقعية (On-the-go, RobustNeRF).
4. النتائج التجريبية
تقيم الورقة DGGS مقابل أحدث طرق 3DGS العامة (مثل Mvsplat وPixelsplat) والطرق الخاصة بالمشهد الخالية من المشتتات (مثل NeRF-HuGS وSLS).
الأداء الكمي:
في مجموعات بيانات RobustNeRF وOn-the-go، يتفوق DGGS بشكل كبير على النماذج العامة الأساسية.
تحسن PSNR: يحقق DGGS متوسط PSNR يبلغ 21.74 مقارنة بـ 15.45 لنموذج Mvsplat الأساسي و19.29 لأفضل طريقة موجودة أعيد تدريبها خصيصًا (+SLS).
التعميم: يمتلك DGHS المدرب على بيانات غنية بالمشتتات قدرة جيدة على التعميم في مشاهد غير مرئية، بينما تعاني النماذج الأساسية من انخفاض حاد في الأداء.
النتائج النوعية:
ينتج DGGS رؤى جديدة أكثر نظافة مع عدد أقل بكثير من عيوب "الأشباح" والفجوات مقارنة بالنماذج الأساسية.
الأقنعة المتوقعة أكثر دقة من تلك الناتجة عن الطرق الخاصة بالمشهد، حيث تحدد بشكل صحيح المناطق الثابتة التي تصنفها الطرق الأخرى خطأً كمشتتات.
دراسات الاستئصال (Ablation Studies):
يؤدي إزالة التنبؤ بالقناع القائم على المرجع إلى انخفاض كبير في الأداء، مما يؤكد أهمية استخدام اتساق المراجع.
توفر مرحلة تقليم المشتتات في الاستدلال الدفعة النهائية للجودة من خلال إزالة العيوهات المتبقية.
الطريقة قوية تجاه اختيار نموذج التقسيم (مثل SAM2 مقابل Entity Segmentation)، مما يشير إلى أن الاتساق ثلاثي الأبعاد هو المحرك الرئيسي للنجاح.
5. الأهمية
سد الفجوة: يسد DGGS الفجوة بين إعادة البناء ثلاثي الأبعاد المتحكم فيه والثابت وبين الواقع الفوضوي لالتقاط الصور المتنقلة "في البرية"، مما يجعل 3DGS العامة قابلة للتطبيق في تطبيقات الواقع المعزز والافتراضي (AR/VR) والتوائم الرقمية.
تحول في النموذج: ينقل التركيز من "التحسين التكراري لكل مشهد" إلى "الاستدلال القوي (feed-forward)"، مما يثبت إمكانية تحقيق إعادة بناء ثلاثية الأبعاد عالية الجودة حتى مع وجود بيانات ضوضائية وعابرة دون ضبط لكل مشهد.
التأثير المستقبلي: يضع الإطار حجر الأساس لجهود المجتمع المستقبلية في إعادة البناء ثلاثي الأبعاد القوي، مع إمكانية الامتداد إلى المشاهد الديناميكية وتحديات البيانات الواقعية الأوسع.
القيود: لا تزال الطريقة تواجه صعوبة في المناطق التي تكون محجوبة باستمرار عبر جميع المراجع (الحجب الشائع)، حيث لا تستطيع استراتيجية التقليم التمييز بين المشتت وبين جسم ثابت مخفي بشكل دائم. بالإضافة إلى ذلك، فإن الاعتماد على نماذج التقسيم والاستدلال ثنائي المراحل يضيف عبئًا حسابيًا طفيفًا مقارنة بالنماذج الأساسية (feed-forward) الخام.