Stylos: Multi-View 3D Stylization with Single-Forward Gaussian Splatting
يُعد Stylos إطار عمل ثلاثي الأبعاد يعتمد على التوزيعات الغاوسية (Gaussian) في تمريرة أمامية واحدة، ويحقق نقلًا للنمط ثلاثي الأبعاد مدركًا للهندسة ومتسقًا بين الرؤى على محتوى غير محدد الوضعية عبر الاستفادة من بنية "ترانسفورمر" (Transformer) ذات مسارات انتباه مزدوجة وفقدان نمط ثلاثي الأبعاد قائم على الفوكسل (voxel)، مما يتيح أسلوبًا عالي الجودة من التنميط الصفري دون الحاجة إلى تحسين لكل مشهد أو وضعيات محتسبة مسبقًا.
تخيل أن لديك مجموعة من الصور لحديقة تم التقاطها من زوايا مختلفة. تريد تحويل هذه الحديقة من الواقع إلى عالم ثلاثي الأبعاد يبدو كأنه لوحة لفان جوخ، ولكن بشرط: تريد القيام بذلك فوراً، دون قضاء ساعات في تعليم الكمبيوتر كيف يرسم، وتريد أن تكون النتيجة متسقة بغض النظر عن الزاوية التي تنظر منها.
هذا هو بالضبط ما يحله بحث Stylos.
إليك تفصيل لكيفية عمله، باستخدام تشبيهات بسيطة:
1. المشكلة: "الفنان البطيء" مقابل "الفنان الفوري"
في السابق، إذا أردت تحويل مشهد ثلاثي الأبعاد إلى لوحة، كان عليك استخدام طرق تشبه توظيف فنان دقيق وبطيء.
الطريقة القديمة: كنت تغذي الكمبيوتر بالصور، وكان يقضي ساعات (أو أياماً) في عملية "تحسين" (optimization) أو تعديل النموذج ثلاثي الأبعاد لـ ذلك المشهد تحديداً ليجعله يبدو مثل اللوحة. إذا أردت رسم مشهد مختلف، كان عليك بدء العملية الطويلة برمتها من جديد. كان الأمر يشبه استئجار رسام لإعادة طلاء منزل في كل مرة تنتقل فيها إلى منزل جديد.
طريقة Stylos: Stylos يشبه مترجماً فائق السرعة واللحظي. تعطيه صورة لمشهد وصورة لأسلوب رسم، وبلمحة بصر—ينتج عالماً ثلاثي الأبعاد يبدو مثل تلك اللوحة. هو لا يحتاج إلى "تعلم" المشهد الجديد؛ بل يقوم بتطبيق الأسلوب فوراً.
2. السر الخفي: "الطريق السريع ذو المسارين"
جوهر Stylos هو شبكة عصبية (نوع من أنواع أدمغة الذكاء الاصطناعي) تعمل مثل طريق سريع ذي مسارين للمعلومات.
المسار 1: المهندس المعماري (الهندسة/الشكل - Geometry) هذا المسار مخصص لفهم البنية. ينظر إلى صورك ويكتشف أين توجد الجدران، والأشجار، والسيارات. يستخدم آلية "الانتباه الذاتي" (self-attention)، وهي تشبه نظر المهندس المعماري إلى المخطط الكامل للتأكد من أن المبنى قائم بشكل مستقيم. هو يتجاهل أسلوب الرسم هنا؛ فهو يهتم فقط بالشكل والعمق.
المسار 2: الرسام (الأسلوب/النمط - Style) هذا المسار مخصص لـ المظهر. يأخذ "المرجع الأسلوبي" (لوحة فان جوخ) ويحقن تلك الألوان وضربات الفرشاة في المشهد. يستخدم آلية "الانتباه المتقاطع" (cross-attention)، وهي تشبه نظر الرسام إلى مخطط المهندس المعماري وقوله: "حسناً، سأطلي الجدران باللون الأصفر والسماء باللون الأزرق، لكني سأحافظ على نفس شكل الجدران تماماً".
لماذا يهم هذا: من خلال إبقاء "الشكل" و"اللون" في مسارات منفصلة تتواصل مع بعضها البعض ولكن لا تخلط بين وظائفها، يضمن Stylos عدم تشوه الكائن ثلاثي الأبعاد لمجرد تغير الألوان.
3. الخدعة السحرية: "فقدان الفوكسل" (التحقق من صحة الثلاثية الأبعاد)
أصعب شيء في الفن ثلاثي الأبعاد هو التأكد من أن اللوحة تبدو متشابهة من كل الزوايا. إذا كنت تتحرك حول تمثال ثلاثي الأبعاد، فلا ينبغي أن يبدو الطلاء وكأنه ينزلق أو يتغير نمطه عشوائياً.
المشكلة القديمة: كانت الطرق القديمة تتحقق من الأسلوب كصورة ثنائية الأبعاد. كانت تنظر إلى صورة واحدة في كل مرة. وهذا يعني أن الكمبيوتر قد يلون الجانب الأيسر من الشجرة بالأصفر والجانب الأييمن بالأزرق، دون أن يدرك أنهما جزء من نفس الكائن ثلاثي الأبعاد.
حل Stylos: لقد ابتكروا ما يسمى بـ "فقدان الأسلوب على مستوى الفوكسل" (Voxel-Level Style Loss).
تخيل أخذ مشهدك ثلاثي الأبعاد وتقطيعه إلى ملايين المكعبات ثلاثية الأبعاد الصغيرة غير المرئية (مثل شبكة مكعبات ضخمة تسمى فوكسلات - voxels).
ينظر Stylos إلى جميع زوايا الكاميرا المختلفة و"يدمجها" في هذه المكعبات ثلاثية الأبعاد.
ثم يتحقق: "هل يبدو الطلاء داخل هذا المكعب ثلاثي الأبعاد بأسلوب فان جوخ من كل الزوايا؟"
إذا بدا الطلاء غريباً أو غير متسق في الفضاء ثلاثي الأبعاد، يقوم الذكاء الاصطناعي بتصحيحه. هذا يضمن أن الأسلوب "ملتصق" بالكائن ثلاثي الأبعاد، وليس مجرد مطلي على سطح صورة مسطحة.
4. لماذا يعد هذا أمراً هاماً؟
التعلم بدون تدريب مسبق (Zero-Shot Learning): يمكنك إظهار أسلوب لـ Stylos لم يره من قبل (مثل أسلوب فن تجريدي محدد)، وسيقوم بتطبيقه بشكل مثالي على مشهد جديد دون الحاجة إلى إعادة تدريبه. إنه مثل طاهٍ يمكنه تذوق توابل جديدة ويعرف فوراً كيف يطبخ طبقاً جديداً كاملاً بها، دون الحاجة إلى وصفة.
السرعة: يعمل في "تمريرة أمامية واحدة" (single forward pass). هذا يعني أنه لا يحتاج إلى تكرار الدورة عبر البيانات لإصلاح الأخطاء. هو يرى المدخلات ويعطي المخرجات فوراً.
تعدد الاستخدامات: يعمل على كل شيء، بدءاً من صورة واحدة لبيتزا وصولاً إلى مئات الصور لشارع في مدينة.
التشبيه الملخص
تخيل أن لديك قلعة من قطع الليغو (المشهد ثلاثي الأبعاد).
الطرق القديمة ستأخذ القلعة وتفككها، وتطلي كل قطعة يدوياً لتطابق صورة معينة، ثم تحاول إعادة تجميعها. كان ذلك يستغرق وقتاً طويلاً، وأحياناً لا تتناسب القطع مع بعضها بشكل صحيح.
Stylos يشبه مسدس الطلاء السحري. توجهه نحو قلعة الليغو، وتُريه صورة للوحة فان جوخ، فيقوم برش القلعة بأكملها بالألوان والقوام المناسبين فوراً. تبقى قطع الليغو في مواضعها الثلاثية الأبعاد الدقيقة (الهندسة)، لكن الشيء بأكمله يبدو فوراً كأنه تحفة فنية، بغض النظر عن أي جانب تنظر منه.
باخت-صريح: Stylos هو أول نظام يمكنه تحويل أي مشهد ثلاثي الأبعاد فوراً إلى لوحة عالية الجودة ومتسقة دون الحاجة إلى "دراسة" المشهد أولاً.
إليك ملخص تقني مفصل لورقة البحث بعنوان: "STYLOS: MULTI-VIEW 3D STYLIZATION WITH SINGLE-FORWARD GAUSSIAN SPLATTING".
1. تعريف المشكلة
تعالج الورقة تحدي نقل الأسلوب ثلاثي الأبعاد (نقل أسلوب فني من صورة مرجعية إلى مشهد ثلاثي الأبعاد) في ظل قيود المدخلات غير المحددة بالوضعيات (صور بدون معلمات كاميرا معروفة) والتعميم صفري التدريب (zero-shot generalization).
القيود الحالية: تعتمد الطرق الموجودة عادةً على:
التحسين لكل مشهد (Per-scene optimization): مما يتطلب عمليات تحسين مكلفة ومستهلكة للوقت لكل مشهد جديد (مثل الطرق القائمة على NeRF أو 3DGS مثل StyleGaussian).
الوضعيات المحسوبة مسبقاً: تتطلب معرفة المعلمات الداخلية والخارجية للكاميرا (intrinsics/extrinsics).
التعميم المحدود: تواجه صعوبة في التعميم على فئات أو مشاهد أو أساليب غير مرئية دون إعادة تدريب.
عدم الاتساق: الفشل في الحفاظ على الدقة الهندسية واتساق الرؤية عند تطبيق الأساليب عبر وجهات نظر متعددة.
الهدف: تطوير إطار عمل يعمل بـ تمريرة أمامية واحدة (single-forward-pass) يأخذ صور محتوى متعددة الرؤية غير محددة الوضعيات وصورة مرجعية واحدة للأسلوب، لإنتاج مشهد "Gaussian Splatting" ثلاثي الأبعاد بأسلوب فني بشكل فوري، محققاً دقة بصرية عالية، وتماسكاً هندسياً، واتساقاً عبر الرؤى دون تدريب خاص بكل مشهد.
2. المنهجية: إطار عمل Stylos
يعتمد Stylos على بنية Transformer ذات تمريرة أمامية (feed-forward) مبنية على خلفية VGGT (Visual Geometry Grounded Transformer). يقوم الإطار بفصل معالجة الهندسة عن معالجة الأسلوب إلى مسارين.
أ. بنية الشبكة
الخلفية الهندسية (VGGT):
تستخدم خلفية VGGT مدربة مسبقاً لمعالجة صور المحتوى متعددة الر views.
توظف الانتباه المتبادل (alternating attention) (الانتباه الذاتي على مستوى الإطار وعلى المستوى العالمي) لاستنتاج المعلمات المتعلقة بالهندسة: المواضع ثلاثية الأبعاد (μ)، المقاييس (s)، الدورات (r)، الشفافية (α)، ومعلمات الكاميرا (الوضعيات/المعلمات الداخلية).
يظل هذا المسار يعتمد على الانتباه الذاتي فقط، مما يضمن استقاء الاستدلال الهندسي من هيكل المحتوى وحده، ويحافظ على الدقة الهندسية.
تجميع الأسلوب (نماذج Cross-Block):
يقدم فرعاً مخصصاً لحقن معلومات الأسلوب.
يستبدل كتل Transformer القياسية بـ CrossBlocks، والتي تدرج طبقة انتباه متقاطع (cross-attention) بين طبقة الانتباه الذاتي وطبقات MLP.
الآلية: تعمل رموز المحتوى (content tokens) كاستعلامات (Q)، بينما تعمل رموز الأسلوب (من الصورة المرجعية) كمفاتيح (K) وقيم (V).
الاستراتيجيات الطوبولوجية: تقيم الورقة ثلاث استراتيجيات:
Frame CrossBlock: حقن أسلوب مستقل لكل رؤية (يحافظ على الهيكل الخاص بكل رؤية ولكنه يفتقر للاتساق بين الرؤى).
Global CrossBlock: دمج جميع الرؤى للاستدلال العالمي (الأفضل للاتساق).
Hybrid (هجين): مزيج من كليهما.
يخرج هذا الفرع معاملات التوافقيات الكروية (c) لألوان الـ Gaussian، مشروطة بالأسلوب.
رؤوس التنبؤ والتحويل إلى فوكسل (Voxelization):
رأس الهندسة (Geometry Head): يخرج عناصر Gaussian الأولية (μ,s,r,α).
رأس الأسلوب (Style Head): يخرج معاملات اللون (c).
مُحول Gaussian (Gaussian Adapter): يدمج مخرجات الهندسة والأسلوب في مجموعة موحدة من الـ 3D Gaussians.
التحويل إلى فوكسل (Voxelization): يستخدم خطوة تحويل فوكسل قابلة للتفاضل (مستوحاة من AnySplat) لتجميع النقاط القريبة ودمج الميزات، مما يقلل التكرار ويوازن الكثافة.
ب. استراتيجية التدريب
يتم تدريب النموذج في مرحلتين:
المرحلة الأولى: التدريب المسبق للهندسة (Geometry Pretraining):
يبدأ بأوزان VGGT.
يتم التدريب بشكل كامل (end-to-end) باستخدام معلم VGGT مجمد للإشراف على الوضعية والعمق.
يستخدم رؤية محتوى عشوائية كمرجع أسلوب زائف (مع تغيير طفيف في الألوان/color jitter) لمنع الخرائط المتطابقة التافهة وتحسين المتانة.
الخسارة (Loss): إعادة البناء + التقطير (Distillation).
المرحلة الثانية: ضبط الأسلوب (Stylization Fine-tuning):
تجميد جميع الوحدات المتعلقة بالهندسة.
تحديث مجمع الأسلوب (Style Aggregator) ورأس اللون (Color Head) فقط.
استخدام صور فنية حقيقية كشرط (conditioning).
الخسائر: إعادة البناء + خسارة المحتوى + خسارة CLIP + منظم TV + خسارة أسلوب الفوكسل ثلاثي الأبعاد (3D Voxel Style Loss).
تفشل خسائر الأسلوب التقليدية ثنائية الأبعاد (التي تطابق مصفوفات Gram أو إحصائيات BN لكل صورة) في فرض الاتساق ثلاثي الأبعاد. يقترح Stylos خسارة أسلوب على مستوى الفوكسل ثلاثي الأبعاد:
العملية: يتم إسقاط ميزات الرؤى المتعددة المعروضة (rendered features) ودمجها في شبكة فوكسل ثلاثية الأبعاد منفصلة.
الآلية: تحسب إحصائيات التطبيع الدفعي (Batch Normalization) (المتوسط والتباين) مباشرة على ميزات الفوكسل ثلاثية الأبعاد المجمعة وتطابقها مع إحصائيات الصورة المرجعية للأسلوب.
الفائدة: تفرض الاتساق الأسلوبي عبر الرؤى والهيكل ثلاثي الأبعاد الأساسي بشكل صريح، مما يمنع حد&وث "الوميض" (flickering) أو عدم اتساق الأنسجة بين وجهات النظر.
3. المساهمات الرئيسية
الأسلوب ثلاثي الأبعاد بتمريرة أمامية واحدة: إطار عمل (feed-forward) يولد 3D Gaussians بأسلوب فني من مدخلات غير محددة الوضعيات في تمريرة واحدة، مما يلغي الحاجة للتحسين لكل مشهد.
بنية المسار المزدوج: تصميم تعتمد فيه الهندسة على الانتباه الذاتي (لنزاهة الهيكل) ويتم حقن الأسلوب عبر الانتباه المتقاطع (للاتساق البصري)، مما يفصل بفعالية بين الشكل والمظهر.
خسارة أسلوب الفوكسل ثلاثية الأبعاد: دالة خسارة مبتكرة تعمل في مساحة الفوكسل ثلاثية الأبعاد لفرض الاتساق الأسلوبي العالمي والتماسك الهندسي، متفوقة على الخسائر التقليدية على مستوى الصورة ثنائية الأبعاد.
التعميم صفري التدريب (Zero-Shot Generalization): أظهر أداءً قوياً عبر فئات ومشاهد وأساليب غير مرئية، مع القدرة على التوسع من الرؤى الفردية إلى مئات الرؤى.
4. النتائج التجريبية
قيم المؤلفون Stylos باستخدام مجموعات بيانات CO3D (عبر الفئات)، وDL3DV-10K، وTanks & Temples (عبر المشاهد)، باستخدام WikiArt وDELAUNAY كمرجع للأسلوب.
الأداء الكمي:
الاتساق: حقق Stylos أفضل الدرجات في مقاييس LPIPS وRMSE للمدى القصير والطويل عبر جميع المشاهد المختبرة، متفوقاً بشكل كبير على النماذج المرجعية مثل StyleGaussian وG-Style وSGSST وStyl3R.
الجودة الفنية: حقق درجات عالية في ArtScore وArtFID، مما يشير إلى نقل أسلوب عالي الجودة.
الكفاءة: وقت الاستدلال هو 0.05 ثانية لكل مشهد (تمريرة أمامية واحدة)، مقارنة بدقائق أو ساعات في طرق التحسين لكل مشهد.
الأداء النوعي:
الحفاظ على الهندسة: نجح في الحفاظ على التفاصيل الهيكلية الدقيقة (مثل حواف عجينة البيتزا أو حواف لوح التزلج) مع تطبيق الأساليب المعقدة.
اتساق الرؤية: قضى على العيوب وعدم اتساق الألوان الشائع في الطرق الأخرى (مثل مشكلة "باب الشاحنة الأزرق" في Styl3R).
دراسات الاستئصال (Ablation Studies): أكدت أن تصميمات Global CrossBlock و3D Voxel Loss ضرورية لنتائج عالية الجودة. أدت نماذج CrossBlocks المعتمدة على الإطار فقط إلى حواف ضبابية، وفشلت الخسائر على مستوى الصورة في نقل الأسلوب للمشهد بأكمله.
5. الأهمية والأثر
إنشاء محتوى ثلاثي الأبعاد في الوقت الفعلي: من خلال إزالة الحاجة للتحسين لكل مشهد، يجعل Stylos الأسلوب ثلاثي الأبعاد عالي الدقة ممكناً لتطبيقات الواقع الافتراضي/المعزز، والألعاب، وإنشاء المحتوى الرقمي.
المتانة تجاه البيانات غير المحددة بالوضعيات: إن القدرة على العمل مع صور متعددة الرؤية غير محددة الوضعيات وغير معايرة تجعل الطريقة عملية للغاية في السيناريوهات الواقعية حيث تكون معلمات الكاميرا غير معروفة.
الربط بين نقل الأسلوب ثنائي وثلاثي الأبعاد: يوفر تقديم خسارة الفوكسل نموذجاً جديداً لفرض الاتساق ثلاثي الأبعاد في المهام التوليدية، متجاوزاً إحصائيات الصورة ثنائية الأبعاد نحو المحاذاة الحجمية الحقيقية.
القابلية للتوسع: يتوسع إطار العمل بفعالية من الرؤى الفردية إلى مجموعات الرؤى المتعددة واسعة النطاق، مما يظهر القدرة على معالجة مجموعات البيانات الضخمة في تمريرة أمامية واحدة.
في الختام، يمثل Stylos قفزة نوعية في الأسلوب ثلاثي الأبعاد، حيث يقدم حلاً سريعاً، وقابلاً للتعميم، ومتسقاً هندسياً يتغلب على العقبات الرئيسية التي واجهت النهج السابقة القائمة على التحسين.