💻 computer science

Fourier Splatting: Generalized Fourier encoded primitives for scalable radiance fields

تقدم الورقة البحثية "Fourier Splatting"، وهي طريقة جديدة لتصوير حقول الإشعاع (radiance field rendering) تستخدم أسطحاً مستوية (planar surfels) مشفرة بطريقة فوريه لتمكين نموذج واحد من التصوير بمستويات تفصيل متفاوتة من خلال بتر المعاملات، مما يحقق تصويراً عالي الدقة وقابلاً للتوسع دون الاعتماد على تقليم العناصر الأولية (primitive pruning).

المؤلفون الأصليون: Mihnea-Bogdan Jurca, Bert Van hauwermeiren, Adrian Munteanu

نُشر 2026-03-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mihnea-Bogdan Jurca, Bert Van hauwermeiren, Adrian Munteanu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول بناء عالم ثلاثي الأبعاد واقعي داخل جهاز كمبيوتر، مثل لعبة فيديو أو متحف افتراضي. في الماضي، لكي تجعل هذه العوالم تبدو جيدة، كان على المطورين استخدام الملايين من الكتل الصغيرة البسيطة (مثل كرات رخامية مستديرة وناعمة أو أقراص مسطحة). إذا كنت تريد زاوية حادة لطاولة أو ورقة رقيقة لشجرة، كان عليك استخدام آلاف من هذه الكتل الصغيرة لتقريب الشكل.

هذا يعمل، لكنه ثقيل. إذا أردت إرسال هذا العالم ثلاثي الأبعاد عبر الإنترنت إلى هاتف باتصال بطيء، فسيتعين عليك حذف آلاف من تلك الكتل لتوفير المساحة. المشكلة هي أنه عندما تحذفها، يصبح الشكل "مُبكسلاً" وغير واضح. الأمر يشبه محاولة إصلاح صورة ضبابية عن طريق رمي نصف بكسلاتها؛ ستنتهي فقط بصورة أسوأ.

Fourier Splatting (التلطيخ بفوريه) هي طريقة جديدة لبناء هذه العوالم ثلاثية الأبعاد تحل هذه المشكلة. إليك كيف تعمل، باستخدام بعض التشبيهات البسيطة:

1. الطريقة القديمة: مشكلة "الليغو"

فكر في طرق التصميم ثلاثية الأبعاد الحالية (مثل 3D Gaussian Splatting) كأنها بناء منحوتة من قطع الليغو.

إذا كنت تريد منحنى ناعماً، ستحتاج إلى مئات القطع الصغيرة.
إذا أردت جعل المنحوتة أصغر لتناسب صندوقاً صغيراً (مثل شاشة هاتف)، سيتعين عليك تكسير قطع كاملة.
النتيجة: تفقد المنحوتة شكلها. المنحنى الناعم يصبح سلماً متعرجاً. لا يمكنك جعلها "أقل تفصيلاً" دون أن تبدو سيئة.

2. الطريقة الجديدة: "الصلصال السحري" (Fourier Splatting)

اخترع مؤلفو هذه الورقة نوعاً جديداً من كتل البناء. بدلاً من قطعة الليغو الصلبة، تخيل قطعة من الصلصال السحري المرن.

الشكل: يمكن لهذا الصلصال أن يكون دائرة مثالية، ولكن يمكنه أيضاً التمدد، والتقلص، والالتواء ليأخذ أي شكل تريده (نجمة، ورقة شجر، صخرة مسننة).
السر (فوريه): كيف تتحكم في الشكل؟ أنت تستخدم "وصفة" مكونة من معاملات فوريه. فكر في هذه المعاملات كأنها مقابض في لوحة تحكم صوتية.
- المقبض 1 (التردد المنخفض): يحول الصلصال إلى دائرة بسيطة.
- المقبض 2 (التردد المتوسط): يضيف نتوءاً أو موجة صغيرة على الجانب.
- المقبض 3 (التردد العالي): يضيف تفاصيل دقيقة وحادة مثل حافة ورقة الشجر.

### 3. القوة الخارقة: "التحكم في مستوى الصوت" للتفاصيل

هذا هو الجزء السحري. في طريقة الليغو القديمة، لتقليل التفاصيل، كان عليك رمي القطع. في هذه الطريقة الجديدة، أنت فقط تخفض "صوت" مقابض التردد العالي.

جودة عالية (صوت مرتفع): ترفع كل المقابض للأعلى. يصبح شكل الصلصال معقداً، حاداً، ومليئاً بالتفاصيل.
جودة منخفضة (صوت مكتوم): تغلق مقابض التردد العالي. ينعم الصلصال تلقائياً ليصبح شكلاً مستديراً وبسيطاً.
النتيجة: لم تحذف أي كتل بناء! لقد غيرت فقط تعقيد القطع الموجودة. الشيء لا يزال موجوداً، لكنه أصبح نسخة "منخفضة المضلعات" (low-poly) من نفسه.

4. لماذا يهم هذا الأمر (تشبيه "عرض النطاق الترددي")

تخيل أنك تشاهد فيلماً عبر الإنترنت.

الطريقة القديمة: لتقليل استهلاك البيانات، يقوم الخادم بحذف وجوه الممثلين. سترى كتلة غير واضحة مكان الوجه.
Fourier Splatting: يحتفظ الخادم بجميع الممثلين، لكنه يرسل نسخة "ضبابية" من وجوههم للاتصالات البطيئة. وعندما تحصل على اتصال سريع، تصبح الوجوه حادة وواضحة فوراً. حجم البيانات يتغير، لكن هيكل المشهد يظل مثالياً.

5. "المساعد الذكي" (HYDRA)

كانت هناك مشكلة واحدة صعبة: إذا كان لديك شكل معقد جداً (مثل ورقة مجعدة)، فقد تجد قطعة واحدة من الصلصال السحري صعوبة في الحفاظ على ذلك الشكل تماماً.
لقد ابتكر المؤلفون مساعداً ذكياً يسمى HYDRA.

إذا كانت قطعة من الصلصال تحاول أن تكون معقدة للغاية، يقوم HYDRA بلطف بتقسيمها إلى قطعتين أبسط تعملان معاً للحفاظ على الشكل.
الأمر يشبه معلم يلاحظ أن طالباً يعاني مع مسألة رياضية ضخمة، فيقوم بتفكيكها إلى مسألتين أصغر وأسهل ليتمكن الطالب من حلها.

الملخص

Fourier Splatting تشبه الانتقال من صندوق من قطع الليغو الصلبة إلى مجموعة من كتل الصلصال الذكية والمتغيرة في الشكل.

الطريقة القدة: لتقليل المساحة، ترمي القطع، فينكسر الشكل.
الطريقة الجديدة: أنت فقط تجعل القطع "أكثر نعومة". يمكنك إرسال عالم ثلاثي الأبعاد عالي الدقة إلى كمبيوتر خارق، ويمكن إرسال نفس العالم تماماً إلى هاتف ذكي، حيث يقوم بتنسيق نفسه تلقائياً ليظهر بشكل جيد دون أن يفقد هيكله.

إنها طريقة تجعل العوالم ثلاثية الأبعاد قابلة للتوسع بطبيعتها، مما يسمح لنا برؤية مشاهد رائعة وعالية الدقة على أي جهاز، بدءاً من نظارات الواقع الافتراضي وصولاً إلى الهواتف الضعيفة، دون أن ينهار شكل الصورة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Fourier Splatting: Generalized Fourier encoded primitives for scalable radiance fields."

1. بيان المشكلة

لقد أحدثت تقنية 3D Gaussian Splatting (3DGS) ثورة في مجال تركيب المشاهد من زوايا رؤية جديدة، حيث تتيح التصيير (rendering) في الوقت الفعلي من خلال عملية "الترشيح الأولي" (primitive rasterization) الصريحة. ومع ذلك، تعاني الطرق الحالية من قيود جوهرية في القدرة على التوسع:

النماذج الأولية الثابتة (Static Primitives): تعتمد النهج الحالية (مثل 3DGS و2DGS وTriangle Splatting) على نماذج أولية ذات أشكال هندسية ثابتة (مثل الأشكال الإهليلجية، أو الأقراص، أو المثلثات).
الدقة مقابل العدد (Fidelity vs. Count): ترتبط الدقة البصرية ارتباطًا وثيقًا بـ عدد النماذج الأولية؛ فمن أجل تحسين الجودة، يجب إضافة المزيد من النماذج، ولتقليل الحجم (من أجل عرض النطاق الترددي أو الذاكرة)، يجب حذف بعضها.
الخفض غير الفعال لمستوى التفاصيل (Inefficient Downscaling): تحقق الطرق القابلة للتوسع حاليًا (مثل Octree-GS) مستويات التفاصيل (LoD) عن طريق حذف أو تصفية النماذج الأولية. وغالبًا ما يؤدي هذا إلى مشكلات "التدهور التدريجي" حيث تختفي الأجسام أو تصبح ضخمة ومجزأة عند تقليل الدقة، بدلاً من مجرد فقدان التفاصيل الدقيقة للنسيج أو الشكل.

يقترح المؤلفون حلاً حيث يتم دمج القابلية للتوسع داخل النموذج الأولي نفسه، مما يسمح لنموذج واحد مدرب بالرسم بمستويات مختلفة من التفاصيل دون الحاجة لإعادة التدريب أو تغيير عدد النماذج الأولية.

2. المنهجية: Fourier Splatting

الابتكار الجوهري هو Fourier Splat، وهو نموذج أولي مستوٍ (planar primitive) يتم تحديد حدوده بواسطة سلسلة فوريه بدلاً من شكل ثابت.

أ. تمثيل المعلمات (Primitive Parameterization)

بدلاً من القرص أو الشكل الإهليلجي الثابت، يتم تعريف كل عنصر سطحي $s_i$ بواسطة:

السمات القياسية: المركز $p_i$ ، والتدوير $q_i$ ، والعتامة $o_i$ ، والتوافقيات الكروية (spherical harmonics) للون.
الحدود الفورية (Fourier Boundary): يتم تعريف حدود النموذج الأولي في مستواه المماسي المحلي بواسطة منحنى مغلق $r_i(\theta)$ $r_{i} (θ)$ :
$r_i(\theta) = R_i \cdot \left| \sum_{k=0}^{K-1} c_{i,k} e^{i k \theta} \right|$
حيث $R_i$ $R_{i}$ هو نصف قطر المحيط، و $c_{i,k}$ $c_{i, k}$ هي معاملات فوريه المركبة (السعة والطور).
- عندما يكون $K=1$ : يتحول إلى قرص دائري قياسي.
- عندما يكون $K>1$ : يسمح للنموذج الأولي بتقريب أي أشكال مغلقة (مثل النجوم، أو المضلعات، أو الأشكال العضوية المعقدة) عن طريق إضافة مكونات ذات تردد أعلى.
التطبيع (Normalization): يتم تطبيع السعات عبر $\ell_1$ المربعة لضمان عدم تجاوز الحدود لنصف قطر المحيط $R_i$ أبدًا.

ب. التصيير القابل للتفاضل (Differentiable Rendering)

المرحلة الأمامية (Forward Pass): تستخدم مُرشحًا (rasterizer) يعتمد على البلاطات (tile-based). لكل بكسل، يتم حساب المسافة الموقعة إلى حدود فوريه. وتحدد دالة "نافذة القدرة" (power window) العتامة، حيث تتلاشى من المركز نحو الحدود.
المرحلة الخلفية (Straight-Through Estimator): يمثل التحدي الحرج أن القطع الحاد عند الحدود يخلق منطقة ذات تدرج صفري خارج النموذج الأولي، مما يؤدي إلى توقف التحسين (حيث تتقلص النماذج بدلاً من تعلم الأشكال المعقدة).
- الحل: يستخدم المؤلفون مُقدّر المرور المباشر (Straight-Through Estimator - STE). في المرحلة الخلفية، يتم استبدال النافذة الحادة بدالة بديلة سلسة توفر تدرجات غير صفرية حتى للبكسلات خارج الحدود. وهذا يسمح لمعاملات فوريه بـ "تعلم" توسيع أو تقليص الشكل بفعالية.

ج. التحسين والتكثيف (HYDRA)

تعتمد الطريقة إطار عمل MCMC (Markov Chain Monte Carlo) المستخدم في 3DGS-MCMC ولكنها تكيفه للنماذج الأولية المستوية.

HYDRA (التحلل الهجين للحفاظ على الوعي بالتصيير): استراتيجية تكثيف مبتكرة للتعامل مع الهندسات المعقدة.
- التقسيم الحافظ للمقياس (Scale-Preserving Split): بالنسبة للنماذج الصغيرة، يتم تقسيمها إلى نسختين أصغر.
- التحلل اللوبي المتعلم (Learned Lobe Decomposition): بالنسبة للنماذج الكبيرة ذات الحدود المعقدة ومتعددة الفصوص، لا يكفي التقسيم الهندسي. يقوم نموذج MLP مدرب مسبقًا بتحليل "الأودية" في الحدود وتقسيم النموذج الأولي إلى عدة نماذج فرعية، يمثل كل منها فصًا محددًا. هذا يحافظ على توزيع احتمالية MCMC مع زيادة التعبير الهندسي.

3. المساهمات الرئيسية

نماذج أولية مستوية ذات أشكال عشوائية: أول نموذج أولي مستوٍ يمكنه اتخاذ أي أشكال مغلقة عبر ترميز فوريه، مما يتيح تمثيلًا عالي الدقة للهندسة المعقدة مقارنة بنماذج Gaussian 2D/3D.
قابلية التوسع المتأصلة: القدرة على ضبط مستوى التفاصيل (LoD) في وقت التشغيل ببساطة عن طريق قطع معاملات فوريه.
- الآلية: تقليل $K$ (عدد الترددات النشطة) يعمل على تنعيم شكل النموذج الأولي دون إزالة النموذج نفسه.
- الفائدة: يوفر هذا مقايضة مستمرة بين المعدل والتشويه (rate-distortion trade-off) حيث تتدهور الجودة بشكل تدريجي (فقدان تفاصيل الشكل الدقيقة) بدلاً من التدهور المفاجئ (اختفاء الأجسام بالكامل).
تكثيف متوافق مع MCMC: تقديم HYDRA و STE لتمكين التدريب المستقر لهذه النماذج المعقدة وغير المحدبة ضمن ميزانية ثابتة.
أداء رائد (SOTA): تحقيق نتائج فائقة الجودة بين الطرق المستوية، ونتائج تنافسية مع الطرق الحجمية (volumetric).

4. النتائج التجريبية

تم تقييم الطريقة باستخدام معايير قياسية: Mip-NeRF 360 و Tanks and Temples.

الأداء الكمي:
- الطرق المستوية: تحقق Fourier Splatting نتائج رائدة (SOTA) بين جميع طرق النماذج الأولية المستوية (متفوقة على 2DGS وTriangle Splatting وBBSplat).
  - مثال: تحسن قدره +0.67 dB في PSNR مقارنة بـ Triangle Splatting على متوسط Mip-NeRF 360.
- المقارنة الحجمية: تنافس بقوة مع الطرق الحجمية (3DGS وDBS وGES)، وغالبًا ما تتفوق عليها في مقاييس LPIP (التشابه الإدراكي) وSSIM، رغم استخدامها لنماذج أولية مستوية بحتة.
التحليل النوعي:
- تستعيد التفاصيل الدقيقة (الهياكل الرفيعة، والظلال الحادة) بشكل أفضل من 3DGS، التي تميل إلى جعلها ضبابية.
- تتجنب الآثار "المجزأة" (blocky artifacts) التي تظهر في Triangle Splatting عندما يكون شكل النموذج الأولي الأصلي مرئيًا.
تحليل القابلية للتوسع:
- أظهرت أن قطع المعاملات يؤدي إلى تدهور تدريجي ورتيب في جودة الصورة.
- على عكس Octree-GS الذي يزيل النماذج الأولية ويؤدي لاختفاء الأجسام، تحافظ Fourier Splatting على وجود الأجسام مع تبسيط تعقيد الشكل.

5. الأهمية والأثر

تمثل Fourier Splatting تحولًا جذريًا في تمثيلات حقول الإشعاع (radiance fields):

فك الارتباط بين الدقة والكثافة: إنها تكسر الرابط التقليدي حيث تتطلب الجودة الأعلى عددًا أكبر من النماذج الأولية. بدلاً من ذلك، يتم التحكم في الجودة من خلال تعقيد كل نموذج أولي.
كفاءة عرض النطاق الترددي: هذا أمر مهم للغاية في البيئات محدودة عرض النطاق الترددي (مثل الواقع الافتراضي/المعزز، وبث البيانات عبر الهاتف المحمول). يمكن لنموذج واحد أن يخدم أجهزة متعددة: الأجهزة عالية الأداء تتلقى معاملات فوريه كاملة، بينما تتلقى الأجهزة منخفضة الأداء نسخًا مقطوعة، وكل ذلك دون الحاجة لتخزين نماذج متعددة.
الدقة الهندسية: من خلال الحفاظ على طبيعة الـ surfel المستوية لـ 2DGS مع إضافة مرونة في الشكل، فإنها تقدم حلاً قويًا لإعادة بناء الأسطح يكون دقيقًا هندسيًا وفعالًا حاسوبيًا في آن واحد.

في الختام، توفر Fourier Splatting إطار عمل مرنًا وقابلًا للتوسع وعالي الدقة لتصيير حقول الإشعاع في الوقت الفعلي، مما يحل المشكلة طويلة الأمد المتمثلة في كيفية خفض مستوى التفاصيل لتمثيلات المشاهد ثلاثية الأبعاد بكفاءة دون التضحية بالسلامة الهيكلية.