💻 computer science

M2StyleGS: Multi-Modality 3D Style Transfer with Gaussian Splatting

يُعد M2StyleGS إطار عمل جديد لنقل الأنماط ثلاثية الأبعاد في الوقت الفعلي، يستفيد من تقنية الـ 3D Gaussian Splatting وميزات CLIP متعددة الوسائط لتطبيق الأنماط الفنية من النصوص أو الصور على المشاهد ثلاثية الأبعاد بمرونة، محققاً جودة بصرية واتساقاً فائقين من خلال المحاذاة الدقيقة للميزات وخسائر الملاحظة والكبح المتخصصة.

المؤلفون الأصليون: Xingyu Miao, Xueqi Qiu, Haoran Duan, Yawen Huang, Xian Wu, Jingjing Deng, Yang Long

نُشر 2026-04-07

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xingyu Miao, Xueqi Qiu, Haoran Duan, Yawen Huang, Xian Wu, Jingjing Deng, Yang Long

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك نموذجاً ثلاثي الأبعاد لغرفة معيشتك. في الوقت الحالي، تبدو كصورة فوتوغرافية عادية ومملة. أنت تريد تحويلها إلى تحفة فنية تشبه لوحة لفان جوخ، أو ربما مدينة "سايبربانك" مليئة بأضواء النيون، لكنك تريد القيام بذلك فوراً ومن أي زاوية تتحرك حولها.

هذا هو بالضبط ما يحاول بحث M2StyleGS حله. إليك تفصيل الأمر بكلمات بسيطة، باستخدام بعض التشبيهات الممتعة.

المشكلة الكبرى: "المترجم الرديء"

في السابق، إذا أردت تغيير نمط مشهد ثلاثي الأبعاد، كان عليك استخدام "صورة مرجعية" (مثل صورة للوحة فنية). ولكن ماذا لو أردت أن تقول: "اجعل المكان يبدو مثل ملهى جاز كئيب وممطر"؟ لم يكن بإمكانك مجرد كتابة ذلك؛ كنت بحاجة إلى صورة محددة.

وحتى عندما حاول الباحثون استخدام النصوص أو الصور، كانت النتائج غالباً ما تكون فوضوية. كانت الألوان تبدو غريبة (مثل تحول وجه إلى اللون الأخضر)، والقوام يبدو ضبابياً، وإذا تحركت حول المشهد ثلاثي الأبعاد، كان النمط يرتعش أو يتغير بشكل غير متسق.

التشبيه: تخيل أنك تحاول ترجمة قصيدة من الإنجليزية إلى الفرنسية باستخدام قاموس قديم وبسيط جداً. ستحصل على الفكرة العامة، لكن الكلمات ستكون ركيكة، والقواعد خاطئة، والجمال سيضيع. الطرق السابقة كانت تشبه ذلك القاموس البسيط.

الحل: M2StyleGS

ابتكر المؤلفون نظاماً جديداً يسمى M2StyleGS. فكر فيه كأنه مدير فني ذكي للغاية ويعمل في الوقت الفعلي، يمكنه أخذ مشهد ثلاثي الأبعاد وإعادة طلاءه فوراً بناءً على صورة أو جملة تكتبها.

إليك كيف يعمل، خطوة بخطوة:

1. اللوحة: 3اً Gaussian Splatting

بدلاً من بناء مشهد ثلاثي الأبعاد من ملايين المثلثات الصغيرة (وهو أمر بطيء)، يستخدم هذا الأسلوب تقنية 3D Gaussian Splatting.

التشبيه: تخيل أن العالم ثلاثي الأبعاد ليس مصنوعاً من طوب، بل من ملايين قطع القصاصات الورقية (الكونفيتي) الملونة والعائمة. كل قطعة لها موضع، وشكل، ولون. لرؤية المشهد، يقوم الكمبيوتر فقط برش هذه القصاصات على شاشتك. إنه سريع للغاية ويبدو واقعياً جداً.

2. المترجم: "التدفق التقسيمي" (Subdivisive Flow)

هذا هو الابتكار الأكبر في البحث. يحتاج النظام إلى فهم كيفية تحويل "وصف نصي" أو "ميزة CLIP" (فهم الكمبيوتر للصورة) إلى "نمط VGG" المحدد (الرياضيات التي تحدد نمطاً فنياً مثل أسلوب فان جوخ).

المشكلة: فهم الكمبيوتر للنصوص ورياضيات الأنماط الفنية يتحدثان لغات مختلفة. محاولة القفز مباشرة من واحدة إلى الأخرى تشبه محاولة المشي من نيويورك إلى لندن في قفزة واحدة عملاقة؛ ستسقط من حافة العالم.
الحل (التدفق التقسيمي): بدلاً من قفزة واحدة عملاقة، يبني النظام جسراً مكوناً من العديد من أحجار الخطوات الصغيرة.
- يستخدم أداة رياضية تسمى ODE (المعادلة التفاضلية العادية) لإنشاء مسار سلس ومستمر.
- التشبيه: تخيل أنك توجه نهراً من الطلاء من "دلو النص" إلى "دلو النمط". بدلاً من سكب الطلاء والأمل في وصوله إلى الوجهة، يقوم النظام بتوجيه النهر ببطء، ويتحقق من لون الماء عند كل خطوة صغيرة للتأكد من أنه يتحول إلى درجة "أزرق فان جوخ" الصحيحة قبل أن يصل إلى وجهته. هذا يمنع "الألوان الغريبة" و"القوام الضبابي" الذي كان موجوداً في الماضي.

3. مراقبة الجودة: وظيفتان جديدتان لـ "الخسارة" (Loss Functions)

حتى مع وجود جسر جيد، قد لا يزال الطلاء يسيل أو يبدو خاطئاً. أضاف المؤلفون شبكتي أمان (تسمى وظائف الخسارة) للحفاظ على كل شيء مثالياً.

خسارة الملاحظة (ناقد الفن):
- التشبيه: تخيل ناقداً فنياً صارماً يقف بجانبك. في كل مرة ترسم فيها رؤية جديدة للغرفة ثلاثية الأبعاد، يقارن الناقد رؤيتك بلوحة ثنائية الأبعاد مثالية لنفس النمط. إذا بدا إصدارك ثلاثي الأبعاد مختلفاً جداً عن النسخة الثنائية الأبعاد "المثالية"، سيصرخ الناقد: "أصلحه!". هذا يجبر المشهد ثلاثي الأبعاد على أن يبدو كقطعة فنية حقيقية.
خسارة الكبح (شرطة الألوان):
- التشبيه: أحياناً، يرتبك النظام ويضيف ألواناً لا تنتمي للمشهد (مثل سماء وردية زاهية في مشهد ملهى جاز كئيب). تعمل وظيفة الخسارة هذه مثل شرطي مرور الألوان الذي يمسح المشهد بالكامل ويقول: "توقف! هذا اللون لا يناسب الأجواء. قم بإزالته". هذا يحافظ على اتساق الألوان وصحتها وفقاً للمرجع.

النتيجة

عندما تجمع كل هذه العناصر معاً، يتيح لك M2StyleGS القيام بما يلي:

كتابة وصف (مثلاً: "اجعل هذه الغرفة تبدو كلوحة مائية") أو رفع صورة.
الحصول على مشهد ثلاثي الأبعاد يبدو تماماً مثل ذلك النمط.
التجول حول المشهد، ويبقى النمط متسقاً، حاداً، وملوناً من كل الزوايا.

الخلاصة:
اختبر المؤلفون هذا النظام مقابل أفضل الأساليب الموجودة ووجدوا أن نظامهم كان أفضل بنسبة 32% في الحفاظ على اتساق النمط عبر الزوايا المختلفة. لقد أصلحوا "الألوان الغريبة" و"الفوضى الضبابية" التي كانت موجودة في الماضي، مما منحنا طريقة لتحويل أي عالم ثلاثي الأبعاد فوراً إلى عمل فني حي ينبض بالحياة، سواء وصفته بالكلمات أو أظهرته بصورة.

إليك ملخص تقني مفصل لورقة البحث M2StyleGS: نقل الأسلوب ثلاثي الأبعاد متعدد الوسائط باستخدام Gaussian Splatting.

1. بيان المشكلة

تواجه طرق نقل الأسلوب (Style Transfer) الحالية في الفضاء ثلاثي الأبعاد قيوداً كبيرة في المرونة والجودة:

جمود المدخلات: تعتمد معظم الأساليب الحالية على صورة مرجعية ثابتة. وهي تواجه صعوبة في قبول مدخلات متنوعة مثل الأوصاف النصية، والتي تُعد بالغة الأهمية لتطبيقات الواقع الافتراضي (VR) والواقع المعزز (AR).
عدم محاذاة الميزات: تحاول محاولات تعدد الوسائط السابقة (مثل ConRF) رسم خرائط لميزات CLIP (النصية-البصرية) مع ميزات VGG الأسلوبية باستخدام شبكات MLP بسيطة وخسارة MSE. يؤدي هذا إلى محاذاة خشنة لأن توزيعات ميزات CLIP غير متوقعة وغير غاوسية، على عكس الافتراضات التي غالباً ما تُبنى عليها عملية تحسين MSE.
العيوب البصرية: بسبب عدم المحاذاة هذا، تنتج الأساليب الحالية غالباً ألواناً غير طبيعية، أنسجة ضبابية، وتناقضات بين الأسلوب المولد والوصف المدخل (نص أو صورة).
التمثيل ثلاثي الأبعاد: بينما تم استخدام حقول الإشعاع العصبي (NeRF) لنقل الأسلوب، إلا أنها تفتقر إلى قدرات الرندرة (Rendering) في الوقت الفعلي. توفر تقنية 3D Gaussian Splatting أداءً في الوقت الفعلي، ولكن الأبحاث المتعلقة بنقل الأسلوب الفني فيها لا تزال محدودة.

2. المنهجية: M2StyleGS

يقترح المؤلفون M2StyleGS، وهو إطار عمل يدمج 3D Gaussian Splatting مع نقل الأسلوب متعدد الوسائط. الهدف الأساسي هو تحويل لون الـ 3D Gaussians مع الحفاظ على هيكلها الهندسي.

أ. البنية الأساسية

التمثيل ثلاثي الأبعاد: يتم تمثيل المشهد كمجموعة من العناصر الأولية 3D Gaussian ( $G = \{g_n\}$ )، حيث لكل Gaussian موضع، تباين (covariance)، عتامة، ولون. تقوم الطريقة بتثبيت الهندسة وتحويل اللون فقط ( $c_n \to c^s_n$ ).
المدخلات متعددة الوسائط: يقبل النظام إما صورة أو نصاً كمرجع للأسلوب.
- فرع CLIP: يستخرج الميزات ( $X^c_s$ ) من المدخل (صورة أو نص).
- فرع VGG: يستخرج ميزات الأسلوب ( $X^v_s$ ) من صورة الأسلوب المرجعية.
- الرسم الخرائطي (Mapping): تقوم شبكة رسم خرائط بمحاذاة ميزات CLIP مع فضاء ميزات VGG.

ب. الابتكارات التقنية الرئيسية

1. التدفق التقسيمي (المحاذاة الدقيقة للميزات)
لحل مشكلة المحاذاة الخشنة في الأساليب السابقة، قدم المؤلفون آلية التدفق التقسيمي (Subdivisive Flow) القائمة على المعادلات التفاضلية العادية (ODE).

المفهوم: بدلاً من الرسم الخرائطي المباشر في خطوة واحدة، تعامل الطريقة التحول من نطاق CLIP إلى نطاق VGG كتدفق مستمر عبر الزمن $t \in [0, 1]$ .
الآلية: تتعلم قوة انجراف $v$ توجه الميزات المصدر ( $\hat{X}^c_s$ ) نحو الميزات المستهدفة ( $X^v_s$ ) على طول مسار خطي.
التقسيم: يتم تقسيم التدفق إلى $r$ من الجولات. في كل جولة، يصبح مخرج الخطوة السابقة هو نقطة البداية الجديدة. يضمن هذا الصقل التكراري بقاء توزيعات الميزات الوسيطة متسقة مع فضاء VGG المستهدف، مما يقلل بشكل كبير من الشذوذ اللوني وضبابية الأنسجة.

2. دوال الخسارة المساعدة
تم تقديم حدين جديدين للخسارة لتنظيم المشهد ثلاثي الأبعاد العالمي وضمان الاتساق:

خسارة الملاحظة ( $L_{obs}$ ): تستخدم نموذج نقل أسلوب ثنائي الأبعاد مدرب مسبقاً كمولد لإنشاء صورة أسلوبية ثنائية الأبعاد "حقيقية" ( $I_g$ ). يتم معاقبة مخرج 3DGS ( $I_f$ ) إذا انحرفت تمثيل ميزات VGG الخاصة به عن $I_g$ . يعمل هذا كأولوية (prior) لتوجيه المشهد ثلاثي الأبعاد نحو الأساليب الفنية الأصيلة.
خسارة الكبت ( $L_{sup}$ ): يُستخدم مميز (discriminator) متعدد المقاييس للتمييز بين الفن الأسلوبي ثنائي الأبعاد الأصيل والمخرج ثلاثي الأبعاد المولد. تعمل هذه الخسارة على كبت المعلومات اللونية المضللة والإزاحات (offsets) أثناء عملية فك الترميز، مما يضمن حفاظ المشهد ثلاثي الأبعاد على تماسك لوني عالمي.

3. هدف التدريب
تجمع دالة الخسارة الإجمالية بين الحفاظ على المحتوى، ونقل الأسلوب، والحدود المساعدة الجديدة:
$L_{stylized} = L_{content} + \lambda_{style}L_{style} + \lambda_{obs}L_{obs} + \lambda_{flow}L_{flow}$

3. المساهمات الرئيسية

تشخيص عدم محاذاة الميزات: تحديد أن إخفاقات نقل الأسلوب ثلاثي الأبعاد متعدد الوسائط السابقة (الألوان غير الطبيعية، الأنسجة الضبابية) تنبع من المحاذاة الخشنة لتوزيعات الميزات المتباينة (CLIP مقابل VGG).
التدفق التقسيمي: اقتراح طريقة مطابقة تدفق مبتكرة باستخدام المعادلات التفاضلية العادية لتحقيق محاذاة دقيقة وتكرارية بين الميزات النصية-البصرية لـ CLIP وميزات أسلوب VGG، مع دمج جميع الحالات الوسيطة.
الخسائر المساعدة: تقديم خسارة الملاحظة (للمحاذاة مع الأولويات الفنية ثنائية الأبعاد) وخسارة الكبت (لتصحيح الإزاحات اللونية العالمية)، مما يعزز الجودة البصرية والاتساق بين المشاهد المتعددة.
أداء الحالة الراهنة (SOTA): تحقيق نتائج رائدة من خلال الجمع بين النقل الصريح متعدد الوسائط و3DGS، متفوقاً على طرق المدخل الواحد في كل من الاتساق طويل المدى وقصير المدى.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعات بيانات LLFF و Tanks & Temples مقابل أساليب SOTA (StyleRF, CLIPStyler, StyleGaussian, ConRF, CLIPNeft).

المقاييس الكمية:
- الاتساق: حققت M2StyleGS انخفاضاً بنسبة 32.92% في LPIPS قصير المدى مقارنة بـ ConRF (الموجه بالصور) وتفوقت بشكل كبير على النماذج الموجهة بالنصوص مثل CLIPStyler.
- المقاييس المستخدمة: RMSE (جذر متوسط مربع الخطأ) و LPIPS (تشابه رقع الصور الإدراكي المتعلم) لكل من الاتساق قصير المدى (المشاهد المتجاورة) وطويل المدى (المشاهد البعيدة).
النتائج النوعية:
- المرجع الصوري: أنتجت M2StyleGS نتائج أكثر حدة ووضوحاً مع دقة لونية أفضل مقارنة بالمخرجات الضبابية لـ ConRF والمحاذاة الخشنة لـ StyleGaussian.
- المرجع النصي: نجحت في التقاط الغنى الدلالي وتفاصيل الألوان التي فشلت CLIPNeft و CLIPStyler في الحفاظ عليها، متجنبة تدهور المحتوى.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة التدفق التقسيمي (Subdivisive Flow) إلى محاذاة ضعيفة للميزات (تشابه جيب التمام منخفض، FID مرتفع).
- أدت إزالة خسارة الملاحظة (Observation Loss) إلى الانحراف عن الأولويات الفنية الأصيلة.
- أدت إزالة خسارة الكبت (Suppression Loss) إلى حدوث إزاحات في التوزيع اللوني وتقليل التماسك بين المشاهد المتعددة.

5. الأهمية

المرونة: تكسر M2StyleGS التبعية للصور المرجعية الثابتة، مما يسمح للمستخدمين بتلوين المشاهد ثلاثية الأبعاد باستخدام اللغة الطبيعية أو صور عشوائية، وهو أمر بالغ الأهمية لتطبيقات AR/VR التفاعلية.
القدرة على العمل في الوقت الفعلي: من خلال الاستفادة من 3D Gaussian Splatting، توفر الطريقة قدرات رندرة في الوقت الفعلي، على عكس طرق نقل الأسلوب القائمة على NeRF.
الجودة: تعالج مشكلات "اللون غير الطبيعي" و"النسيج الناعم" المنتشرة في نقل الأسلوب متعدد الوسائط الحالي، مما يضع معياراً جديداً للاتساق والدقة البصرية في التوليد الفني ثلاثي الأبعاد.