💻 computer science

HarmoGS: Robust 3D Gaussian Splatting in the Wild via Conflict-Aware Gradient Harmonization

يعالج HarmoGS تحديات المشتتات العابرة وعدم اتساق الإضاءة في تقنية "Gaussian Splatting" ثلاثية الأبعاد في البيئات الواقعية من خلال تقديم إطار عمل مدرك للنزاعات يجمع بين القناع الموجه باتساق دلالي واستراتيجية توحيد التدرج ثنائية الرؤية لاستقرار عملية التحسين وتحقيق جودة رندر هي الأفضل في فئتها.

المؤلفون الأصليون: Yulei Kang, Tianze Zhu, Jian-Fang Hu, Jianhuang Lai, Wei-Shi Zheng

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yulei Kang, Tianze Zhu, Jian-Fang Hu, Jianhuang Lai, Wei-Shi Zheng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول بناء نموذج ثلاثي الأبعاد مثالي لساحة مدينة شهيرة باستخدام مئات الصور التي التقطها السياح. المشكلة هي أن هذه الصور فوضوية؛ فبعضها يحتوي على أشخاص يسيرون في الكادر، والبعض الآخر يحتوي على سيارات، كما تتغير الإضاءة من الصباح المشمس إلى الظهيرة الغائمة. إذا قمت بمجرد دمج كل هذه الصور معاً، سينتهي بك الأمر بنموذج ثلاثي الأبعاد يبدو كأنه كابوس مليء بالتشوهات، مع أشباح عائمة وبقع ضبابية.

تقترح هذه الورقة البحثية، HarmoGS، طريقة جديدة لبناء هذه النماذج ثلاثية الأبعاد تكون أفضل بكثير في تجاهل الفوضى ومعرفة الشكل "الحقيقي" للمشهد. إليك كيف تعمل، مقسمة إلى مفاهيم بسيية:

المشكلة: حجة "اللجنة"

فكر في النموذج ثلاثي الأبعاد كمنحوتة طينية يتم تشكيلها بواسطة لجنة من الفنانين (الصور المختلفة).

المشكلة: في العالم الحقيقي، بعض الفنانين ينظرون إلى يوم مشمس، بينما ينظر آخرون إلى يوم ممطر. بعض الفنانين يرون شارعاً نظيفاً، بينما يرى آخرون شخصاً يسير مباشرة أمام التمثال.
النتيجة: إذا حاولت اللجنة الاتفاق، فإنهم يسحبون الطين في اتجاهات متضادة. فنان يقول "حرك الطين يساراً"، وآخر يقول "حركه يميناً". ينتهي الأمر بالطين وهو يهتز، أو يتمزق، أو يشكل كتلًا غريبة. في لغة الكمبيوتر، تسمى هذه صراعات التدرج (gradient conflicts).

الحل: عملية تناغم من ثلاث خطوات

قدم المؤلفون نظاماً لإصلاح هذا الجدال قبل أن يفسد المنحوتة.

1. "المصفّي الذكي" (التقنيع الموجه بالاتساق الدلالي)

قبل أن تبدأ اللجنة في الجدال، يجب أن يعرفوا أي الصور جديرة بالثقة.

الطريقة القديمة: استخدمت الطرق السابقة قائمة مراجعة أساسية (مثل "إذا بدا كأنه شخص، قم بتغبيشه"). لكن هذا غالباً ما كان يفشل في رصد الأشياء أو قد يتسبب في تغبيش التمثال الحقيقي عن طريق الخطأ.
طريقة HarmoGS: يستخدمون "مصفّياً ذكياً" يتعلم كيفية رصد عدم الاتساق. ينظر إلى الصور ويتساءل: "هل يبدو هذا البكسل غريباً مقارنة بالبكسلات الأخرى؟". إذا كان البكسل جزءاً من شخص متحرك أو ظلال غريبة، فإن المصفّي يحدد أنه "غير موثوق" ويخبر اللجنة بتجاهله. إنه يشبه وجود مُنسق يقول: "تجاهل الرجل الذي يحمل لافتة؛ وركزوا على التمثال".

2. "الدبلوماسي" (تناغم التدرج المدرك للصراع)

هذا هو الابتكار الأكبر للورقة البحثية. حتى مع وجود المصفّي، تظل بعض الخلافات قائمة.

السيناريو: تخيل أن فنانين لا يزالان يتجادلان. الفنان (أ) يريد دفع الطين شمالاً. الفنان (ب) يريد دفعه جنوباً. إذا قمت بمجرد متوسط حركاتهما، فلن يتحرك الطين، أو سيتم سحقه.
الحيلة: بدلاً من إجبارهما على الاتفاق على اتجاه واحد، يقوم "الدبلوماسي" (الخوارزمية) بأخذ دفعاتهما وتدويرها. إنه يحول قواهما المتضادة إلى قوتين متعامدتين (بزاوية 90 درجة) مع بعضهما البعض.
التشبيه: تخيل شخصين يدفعان سيارة. أحدهما يدفع شمالاً، والآخر يدفع جنوباً. السيارة لن تتحرك. يقول "الدبلوماسي": "حسناً، أنت ادفع شمالاً، وأنت ادفع شرقاً". الآن، بدلاً من القتال، يعملان معاً لتحريك السيارة بشكل قطري. هذا يوقف "الاهتزاز" ويسمح للنموذج بالاستقرار في شكل سلس.

3. "البستاني" (التكثيف والتقليم المدرك للصراع)

بينما ينمو النموذج، فإنه يضيف قطعاً جديدة من الطين (الغاوسيات/Gaussians) لملء الفجوات.

المشكلة: أحياناً، يضيف النموذج قطعة من الطين في مكان لا تزال الصور فيه تختلف بشدة. هذه القطعة تصبح "شبحاً عائماً" لا يستقر أبداً.
الحل: يحتفظ النظام بدرجة لكل قطعة من الطين. إذا كانت القطعة تتلقى تعليمات متضاربة باستمرار (درجة صراع عالية)، فإن "البستاني" يقوم ببهتانها ببطء (تقليل عتامتها) حتى تختفي. أما إذا كانت القطعة تؤدي عملاً جيداً، فإن النظام ينمي المزيد من القطع حولها. هذا يضمن أن النموذج النهائي يتكون فقط من أجزاء مستقرة وموثوقة.

النتيجة

من خلال استخدام هذا "المصفّي الذكي"، و"الدبلوماسي"، و"البستاني"، يوضح المؤلفون أن طريقتهم تنشئ نماذج ثلاثية الأبعاد أنظف وأكثر حدة للمشاهد الواقعية مقارنة بالطرق السابقة. إنها تتعامل مع الأشخاص المتحركين، وتغير الإضاءة، والخلفيات الفوضوية بشكل أفضل بكثير، مما ينتج عالماً ثلاثي الأبعاد يبدو حقيقياً ولا يحتوي على تلك العيوب العائمة المزعجة.

باخت-اختصار: لقد علموا الكمبيوتر كيفية تجاهل الضجيج، والتفاوض بشأن الخلافات بين الصور المختلفة، واستئصال الأجزاء السيئة، مما أدى إلى إعادة بناء ثلاثي الأبعاد أكثر قوة ومتانة.

ملخص تقني: HarmoGS: التدرج المتناغم في ثلاثي الأبعاد عبر التناغم المتوافق مع الصراعات في بيئات غير مقيدة

1. بيان المشكلة

لا يزال إعادة بناء تمثيلات ثلاثية الأبعاد موثوقة من مجموعات صور غير مقيدة "في البرية" (in-the-wild) يشكل تحديًا كبيرًا في الرؤية الحاسوبية. وبينما حققت التطورات الأخيرة مثل التدرج الغاوسي ثلاثي الأبعاد (3DGS) رندرًا عالي الجودة في الوقت الفعلي، إلا أنها تفترض عادةً إضاءة متسقة ومحتوى مشهد مستقر. وفي السيناريوهات الواقعية، غالبًا ما تكون صور التدريب مشوهة بـ مشتتات عابرة (مثل المشاة أو المركبات المتحركة) وعدم اتساق المظهر الناتج عن الإضاءة عبر وجهات النظر المختلفة.

تعتمد الطرق الحالية بشكل أساسي على القناع على مستوى الصورة لقمع الإشراف غير الموثوق. ومع ذلك، يحدد المؤلفون قصورين حرجين في هذا النهج:

الانسدادات المتبقية: غالبًا ما تفشل الأقنعة في استبعاد الكائنات العابرة المعقدة أو الغامضة دلاليًا بشكل كامل، مما يترك ضوضاء متبقية.
صراعات الإضاءة: لا تستطيع الأقنعة حل عدم اتساق الإضاءة المعتمد على وجهة النظر.

تؤدي هذه المشكلات غير المحلولة إلى صراعات التدرج عبر وجهات النظر. فعند تحسين تمثيل غاوسي مشترك باستخدام وجهات نظر غير متسقة، قد تشير التدرجات المستحثة في اتجاهات متعارضة (مكونة زوايا منفرجة). وهذا يؤدي إلى زعزعة استقرار عملية التحسين، مما يسبب عيوبًا مرئية في إعادة البناء وعناصر أولية عائمة.

2. المنهجية

يقترح المؤلفون HarmoGS، وهو إطار عمل لـ 3DGS مدرك للصراع يعالج هذه المشكلات من خلال استراتيجية تدريب ثنائية الوجهة وثلاثة مكونات أساسية:

أ. القناع الموجه بالاتساق الدلالي

لتحسين موثوقية الإشراف قبل تكوين التدرج، تقدم الطريقة استراتيجية قناع تكيفية تعمل على تنقيح الأقنعة السابقة:

القناع السابق: يتم إنشاء قناع ثنائي ( $M_{bin}$ ) باستخدام نموذج SAM (نموذج الشيء المقطوع) لتحديد المناطق العابرة المحتملة.
درجة الاتساق المتعلمة: يقوم متنبئ خفيف الوزن ( $f_\psi$ )، بتوجيه من هيكل DINOv2 مجمد، بتعلم درجة اتساق لكل بكسل ( $S_i$ ) أثناء التدريب. وتُشتق هذه الدرجة من كل من البواقي الضوئية والاختلافات الدلالية بين الصور المصورة والحقيقية.
التنقية التكيفية: يجمع القناع النهائي ( $M_i$ ) بين القناع الثنائي السابق ودرجة الاتساق المتعلمة. فهو يعمل على قمع المناطق غير الموثوقة (المشتتات العابرة) بشكل تكيفي مع تصحيح أخطاء القناع الثنائي الأولي، مما يضمن أن الأدلة الموثوقة فقط هي التي تساهم في حساب الخسارة.

ب. التناغم المتوافق مع الصراع في التدرج

إدراكًا بأن القناع وحده لا يمكنه القضاء على جميع صراعات التحسين، يستخدم إطار العمل نهج التدريب ثنائي الوجهة. في كل تكرار، يتم أخذ عينتين من وجهات النظر، ويتم حساب تدرجاتهما المحددة ( $g_1, g_2$ ).

كشف الصراع: يتم تحديد الصراع عندما يكون حاصل الضرب النقطي للتدرجين سالبًا ( $g_1^\top g_2 < 0$ )، مما يشير إلى زاوية منفرجة ( $\theta > \pi/2$ ).
الدوران المتعامد: لحل الصراع، تقوم الطريقة بتدوير كلا التدرجين ضمن الفضاء الجزئي الذي يشغلانه ( $V = \text{span}(g_1, g_2)$ $V = span (g_{1}, g_{2})$ ) حتى يصبحا متعامدين ( $\tilde{g}_1^\top \tilde{g}_2 = 0$ $\tilde{g}_{1}^{⊤} \tilde{g}_{2} = 0$ ).
- يتم توزيع التصحيح الزاوي الإجمالي ( $\theta - \pi/2$ ) بين التدرجين باستخدام معامل تخصيص $\rho$ .
- يحافظ الدوران على المقادير الأصلية للتدرجات مع القضاء على التداخل الاتجاهي السلبي.
التركيب الخطي: يتم جمع التدرجات المتناغمة والتعبير عنها كتركيب خطي من التدرجات الأصلية ( $\tilde{g} = \tau_1 g_1 + \tau_2 g_2$ ) باستخدام معاملات مشتقة تحليليًا.
التوهين الهندسي: بالنسبة للسمات الهندسية (الموقع، الدوران، المقياس)، يتم تطبيق عامل توهين إضافي في حال اكتشاف صراعات لزيادة قمع العيوب.

ج. التكثيف والتقليم المتوافق مع الصراع

يمدد إطار العمل تحديثات البنية القياسية لـ 3DGS لتصبح واعية بالصراعات عبر وجهات النظر:

التكثيف: بدلاً من الاعتماد على إحصائيات وجهة نظر واحدة، تقوم الطريقة بتجميع تدرجات فضاء الرؤية من كلتا وجهتي النظر المأخوذتين، والمعدلة بواسطة معاملات التوافق المشتقة في خطوة التناغم. هذا يوجه نمو الغاوسي باستخدام إشارات أكثر موثوقية ومتوافقة مع الصراع.
التقليم: تتبع الطة صراعات وجهات النظر لكل غاوسي بمرور الوقت. إذا أظهر الغاوسي باستمرار درجات صراع عالية (مما يشير إلى عدم استقرار مستمر أو عيوب عائمة)، يتم تقليل عتامته بشكل دوري. وهذا يسمح لعملية التقليم القياسية بإزالة هذه العناصر الأولية غير المستقرة بشكل طبيعي.

3. المساهمات الرئيسية

إطار عمل التناغم المتوافق مع صراع التدرج: استراتيجية تدريب ثنائية الوجهة مبتكرة توفق صراعات التدرج عبر وجهات النظر صراحةً عن طريق تدويرها إلى تكوين متعامد. وهذا يقلل من التحديثات غير المتوافقة الناتجة عن المشتتات العابرة وعدم اتساق الإضاءة.
القناع الموجه بالاتساق الدلالي: آلية قناع تكيفية تتعلم درجات الاتساق لكل بكسل لتنقية الأقنعة الثنائية السابقة، مما يقمع الإشراف غير الموثوق بفعالية قبل تكوين التدرج.
التحديثات الهيكلية المتوافقة مع الصراع: تقديم استراتيجيات التكثيف والتقليم التي تستخدم إشارات متوافقة مع الصراع لاستقرار نمو الغاوسي وإزالة العناصر الأولية المتصارعة باستمرار.
الأداء المتفوق (State-of-the-Art): تُظهر التجارب المكثفة أن الطريقة تحقق جودة رندر فائقة ودقة إعادة بناء في معايير "في البرية" القياسية مقارنة بالنماذج الأساسية لـ NeRF و3DGS.

4. النتائج التجريبية

قيم المؤلفون HarmoGS على ثلاثة معايير مستخدمة على نطاق واسع في البيئات غير المقيدة: PhotoTourism، و NeRF On-the-go، و RobustNeRF.

الأداء الكمي: تفوقت الطريقة باستمرار على النماذج الأساسية المتطورة (بما في ذلك RobustNeRF، و WildGaussian، و SpotLessSplats، و AsymGS) عبر جميع المقاييس (PSNR، SSIm، LPIPS). على سبيل المثال، في مجموعة بيانات NeRF On-the-go، حقق HarmoGS درجة PSNR بلغت 24.67 في المشاهد ذات الانسداد العالي، متفوقًا على أفضل النتائج السابقة (AsymGS) بفارق كبير.
النتائج النوعية: أظهرت المقارنات المرئية أن HarmoGS نجح في قمع العيوب العائمة وأنتج رندرًا أنظف مع تفاصيل مشهد أكثر دقة، خاصة في المشاهد ذات الانسدادات العابرة المعقدة وتغيرات الإضاءة.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة إعداد وجهة النظر المزدوجة أو مكون تناغم التدرج إلى انخفاض ملحوظ في PSNR و SSIM، مما يؤكد ضرورة التوافق مع الصراع.
- أدى الجمع بين درجة الاتساق المتعلمة ( $S_i$ ) والقناع الثنائي السابق ( $M_{bin}$ ) إلى نتائج أفضل من استخدام أي منهما بمفرده، مما يثبت طبيعتهما التكاملية.
- أدى التكثيف والتقليم المتوافق مع الصراع إلى تمثيل غاوسي أكثر إحكامًا (نقاط أقل) مع الحفاظ على جودة أعلى، مما يشير إلى إزالة العناصر الأولية غير المستقرة.

5. الأهمية والادعاءات

يزعم البحث أن HarmoGS يوفر حلاً قويًا لإعادة البناء ثلاثي الأبعاد في البيئات غير المقيدة من خلال معالجة السبب الجذري لعدم استقرار التحسين: صراعات التدرج عبر وجهات النظر.

ما وراء القناع: يسلط العمل الضوء على أن القناع في فضاء الصورة غير كافٍ لـ 3DGS في البيئات غير المقيدة. فمن خلال العمل على مستوى التدرج، تعالج الطريقة الصراعات التي تستمر حتى بعد القناع، مما يؤدي إلى تحسين أكثر استقرارًا.
التحسين ثنائي الوجهة: يفترض المؤلفون أن النظر في وجهتي نظر معًا يسمح بالكشف الصريح عن الصراعات والتوفيق بينها، وهي قدرة غائبة في خطوط أنابيب تحسين وجهة النظر الواحدة القياسية.
القدرة على التعميم: تُقدم الطريقة كإطار عمل عام متوافق مع تطبيقات 3DGS الحالية (المبنية على Mip-Splatting) يحسن بشكل كبير من المتانة ضد المشتتات العابرة وتغيرات الإضاءة دون الحاجة إلى قواعد تجريبية معقدة خاصة بكل مشهد.

يخلص المؤلفون إلى أن نهجهم يتيح تركيب مشاهد جديدة عالية الدقة في السيناريوهات الواقعية الصعبة، مما يعزز إمكانية تطبيق التدرج الغاوسي ثلاثي الأبعاد على مجموعات الصور غير المقيدة.