💻 computer science

Wid3R: Wide Field-of-View 3D Reconstruction via Camera Model Conditioning

تُعد Wid3R شبكة عصبية أمامية جديدة تتيح إعادة بناء ثلاثي الأبعاد بمجال رؤية واسع من خلال نمذجة الصور واسعة الزاوية مباشرة عبر تمثيل قائم على الأشعة وتكييف نموذج الكاميرا، مما يلغي الحاجة إلى المعايرة الصريحة أو إزالة التشويه مع تحقيق مكاسب كبيرة في الأداء في المشاهد ذات الـ 360 درجة.

المؤلفون الأصليون: Dongki Jung, Jaehoon Choi, Adil Qureshi, Somi Jeong, Dinesh Manocha, Suyong Yeon

نُشر 2026-03-30

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Dongki Jung, Jaehoon Choi, Adil Qureshi, Somi Jeong, Dinesh Manocha, Suyong Yeon

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول بناء نموذج ثلاثي الأبعاد لغرفة باستخدام مجموعة من الصور ثنائية الأبعاد فقط.

معظم أنظمة الرؤية الحاسوبية اليوم تشبه مهندسين معماريين متخصصين للغاية لا يعرفون سوى قراءة المخططات المرسومة بمسطرة مستقيمة (كاميرات "الثقب المثقب" التقليدية). إذا قدمت لهم صورة ملتقطة بـ عدسة عين السمكة (fisheye) (التي تجعل الخطوط المستقيمة تبدو منحنية) أو كاميرا 360 درجة (التي تلف العالم كله في كرة واحدة)، فسيصابون بالارتباك. إنهم يحاولون إجبار الخطوط المنحنية على أن تصبح مستقيمة، مما يؤدي غالباً إلى نموذج ثلاثي الأبعاد مشوه ومكسور. ولإصلاح ذلك، يضطر المهندسون عادةً إلى "إزالة الانحناء" من الصور أولاً، وهي عملية مملة غالباً ما تؤدي إلى فقدان تفاصيل مهمة.

Wid3R يشبه مهندساً معمارياً فائق المرونة لا يحتاج لأن تكون المخططات مستقيمة. يمكنه النظر إلى صورة مشوهة ومنحنية وفهم فوراً: "آه، هذه رؤية عين سمكة"، أو "هذا لف 360 درجة"، وبناء النموذج ثلاثي الأبعاد بشكل صحيح دون الحاجة لإصلاح الصورة أولاً.

إليك كيف يعمل الأمر، مقسماً بتبسيط عبر التشبيهات:

1. "الشعاع" مقابل "النقطة"

الطريقة القديمة (النقطة): تبحث الأنظمة التقليدية في كل بكسل وتسأل: "ما مدى بعد هذه النقطة؟". إنهم يحاولون تخمين إحداثيات محددة في الفضاء. هذا يعمل بشكل رائع للصور العادية ولكنه يفشل فشلاً ذريعاً عندما تكون الصورة منحنية لأن منطق "الخط المستقيم" ينكسر.
طريقة Wid3R (الشعاع): بدلاً من تخمين نقطة، يتخيل Wid3R شعاع ليزر (ray) ينطلق من الكاميرا لكل بكسل بمفرده. هو يسأل: "في أي اتجاه يشير هذا الليزر، وإلى أي مدى يسافر؟".
- تشبيه: تخيل أنك في غرفة مظلمة ومعك مصباح يدوي. بدلاً من محاولة تخمين مكان وجود ذرة غبار تطفو بدقة، أنت فقط تسلط الضوء. Wid3R ذكي بما يكفي ليعرف أنه إذا كان شعاع المصباح منحنياً (بسبب عدسة عين السمكة)، فإن ذرة الغبار لا تزال موجودة في مكان ما على طول ذلك الشعاع المنحني.

2. "مترجم اللغة" (رموز نموذج الكاميرا)

تتحدث الكاميرات المختلفة "لغات" مختلفة من التشويه. كاميرا GoPro تتحدث لغة "عين السمكة"، بينما كاميرا Matterport 360 تتحدث لغة "كروية".

المشكلة: إذا أدخلت صورة "عين سمكة" في نظام تم تدريبه فقط على الصور العادية، فالأمر يشبه التحدث بالإنجليزية لشخص لا يفهم سوى الفرنسية.
الحل: يستخدم Wid3R "رمز نموذج الكاميرا" (Camera Model Token) الخاص. فكر في هذا الرمز كأنه بطاقة تعريف أو مترجم يرتديه الكاميرا. قبل أن يبدأ Wid3R في النظر إلى الصورة، يتحقق من بطاقة التعريف.
- إذا كانت البطاقة تقول "عين سمكة"، ينتقل عقل Wid3R إلى "وضع عين السمكة".
- إذا كانت البطاقة تقول "360"، ينتقل إلى "الوضع الكروي".
- هذا يسم يسمح لعقل واحد (الشبكة العصبية) بالتعامل مع أي نوع من الكاميرات دون ارتباك.

3. "التوافقيات الكروية" (الخريطة)

لوصف اتجاهات أشعة الليزر تلك (الأشعة) في عالم منحني، يستخدم Wid3R أداة رياضية تسمى التوافقيات الكروية (Spherical Harmonics).

تشبيه: تخيل أنك تحاول وصف شكل كرة أرضية. يمكنك محاولة رسمها على ورقة مسطحة (مما يؤدي لتمددها وتمزق الخريطة)، أو يمكنك استخدام كرة أرضية. التوافقيات الكروية تشبه خطوط الشبكة الرياضية على الكرة الأرضية. فهي تسم تسمح لـ Wid3R بوصف اتجاه شعاع الليزر بدقة، بغض النظر عن مدى اتساع أو انحناء رؤية الكاميرا.

لماذا يعد هذا أمراً هاماً؟

لا مزيد من "إزالة التشويه": لست بحاجة لقضاء الوقت في إصلاح الصور يدوياً قبل تغذيتها للذكاء الاصطناعي. Wid3R يتعامل مع الفوضى مباشرة.
أفضل للروبوتات والواقع الافتراضي: غالباً ما تستخدم الروبوتات في العالم الحقيقي، والسيارات ذاتية القيادة، وسماعات الواقع الافتراضي كاميرات واسعة الزاوية أو 360 درجة لرؤية كل ما حولها. يتيح Wid3R لهذه الأجهزة بناء خرائط ثلاثية الأبعاد دقيقة لمحيطها فوراً، دون أن تشعر بالدوار من التشويه.
السرعة: نظرًا لأنه "شبكة تغذية أمامية" (ينظر إلى الصورة مرة واحدة ويعطي إجابة)، فهو سريع للغاية. يمكنه بناء خريطة ثلاثية الأبعاد لغرفة كبيرة في حوالي 3 ثوانٍ، بينما تستغرق الطرق القديمة التي تحاول دمج الصور رياضياً عدة دقائق.

باخت-اختصار

Wid3R هو أول ذكاء اصطناعي يعامل الصور المنحنية والمشوهة و360 درجة كمواطنين من الدرجة الأولى. بدلاً من إجبار هذه الصور على أن تبدو مثل الصور العادية، فإنه يتعلم "التحدث" بلغة التشويه، باستخدام أشعة الليزر (الأشعة) وبطاقات التعريف (الرموز) لبناء عوالم ثلاثية الأبعاد دقيقة من أي كاميرا تلقيها عليه.

فيما يلي ملخص تقني مفصل لورقة البحث بعنوان "Wid3R: إعادة البناء ثلاثي الأبعاد واسع مجال الرؤية عبر تكييف نموذج الكاميرا."

1. بيان المشكلة

تفترض طرق إعادة البناء ثلاثي الأبعاد متعددة المشاهد القائمة على التعلم (مثل VGGT، و $\pi^3$ ، وDust3R) بشكل أساسي أن الصور المدخلة تم التقاطها بواسطة كاميرات ثقب الإبرة (Pinhole cameras) أو تمت معالجتها مسبقاً (إزالة التشوه/التصحيح) لتناسب نموذج ثقب الإبرة. وهذا يخلق عائقاً كبيراً أمام التطبيقات الواقعية التي تتضمن كاميرات ذات مجال رؤية واسع (Wide Field-of-View)، مثل:

كاميرات عين السمكة (Fisheye cameras) (الشائعة في الروبوتات والملاحة الذاتية).
كاميرات 360 درجة/الكروية (360°/Spherical cameras) (المستخدمة في الواقع المعزز/الافتراضي والخرائط واسعة النطاق).

التحديات الرئيسية:

الحساسية للتشوه: تفشل النماذج القياسية في التعميم على تأثيرات الإسقاط غير الخطية المعقدة للعدسات واسعة الزاوية، مما يؤدي إلى ضعف في تقدير العمق والوضعية.
الأعباء المسبقة للمعالجة: تتطلب المسارات التقليدية معايرة صريحة للكاميرا وتصحيحاً للصور، مما يضيف تعقيداً هندسياً وفقداناً للمعلومات الهندسية.
ندرة البيانات: تعتبر بيانات الحقيقة الأرضية (Ground Truth) عالية الجودة للصور بنطاق 360 درجة نادرة مقارنة ببيانات المنظور، مما يجعل من الصعب تدريب نماذج متخصصة.

2. المنهجية: Wid3R

Wid3R هو شبكة عصبية أمامية (Feed-forward neural network) مصممة لإجراء إعادة بناء ثلاثي الأبعاد متعدد المشاهد مباشرة على الصور واسعة الزاوية المشوهة دون الحاجة لإزالة التشوه بشكل صريح.

مكونات البنية الأساسية

التمثيل القائم على الأشعة (الوحدات الزاوية والقطرية):
- بدلاً من استرجاع خرائط النقاط مباشرة في الإحداثيات الكارتيزية (التي تفترض نموذج ثقب الإبرة)، يقوم Wid3R بتفكيك إعادة البناء ثلاثي الأبعاد إلى اتجاه الشعاع (Ray Direction) والمسافة القطرية (Radial Distance).
- الوحدة الزاوية: تتنبأ باتجاه شعاع الكاميرا لكل بكسل باستخدام التوافقيات الكروية (Spherical Harmonics - SH). وهي تقوم بترميز اتجاه الشعاع $\mathbf{R}_i(\theta, \phi)$ كمزيج خطي من دوال أساس التوافقيات الكروية، مما يسمح للشبكة بنمذجة هندسة إسقاط الكاميرا التعسفية ضمنياً.
- الوحدة القطرية: تتنبأ بالمسافة $D_i$ على طول الشعاع المتوقع.
- يتم حساب النقطة ثلاثية الأبعاد النهائية كـ $\hat{P} = \hat{R} \odot \hat{D}$ .
تكييف نموذج الكاميرا (رمز نموذج الكاميرا):
- تقبل الشبكة رمز نموذج الكاميرا (Camera Model Token) ( $C_i$ ) كمدخل شرطي قابل للتعلم.
- يعمل هذا الرمز كـ "محفز" (Prompt)، حيث يخبر الشبكة بخصائص الإسقاط المحددة (مثل: عين السمكة، 360 درجة، ثقب الإبرة) للصورة المدخلة.
- يسم old ذلك لبنية موحدة واحدة بالتكيف مع أنواع الكاميرات المختلفة دون الحاجة لإعادة التدريب أو تغيير البنية.
الهندسة المحلية لكل منظور ومحاذاة المقياس:
- مستوحى من $\pi^3$ ، تتنبأ الشبكة بخرائط النقاط في إطارات إحداثيات الكاميرا المحلية بدلاً من الإطار العالمي للتعامل مع التكافؤ التبادلي (Permutation Equivariance).
- لحل غموض المقياس عبر المشاهد، يتم حل عامل المقياس الأمثل العالمي $s^*$ عبر تقليل خسارة $L_1$ بين خرائط النقاط المتوقعة والحقيقة الأرضية، مع مراعاة الوزن بناءً على المسافة القطرية.
استراتيجية التدريب:
- مجموعات البيانات: تم التدريب على مزيج متنوع من مجموعات البيانات بما في ذلك ثقب الإبرة (Hypersim, vKITTI)، وعين السمكة (ASE, ScanNet++, KITTI-360)، و360 درجة (TartanAirV2, Matterport3D, 360Loc).
- تعزيز البيانات (Data Augmentation): يتضمن تحويلات هندسية واستراتيجية محددة لتحويل صور ثقب الإبرة إلى نماذج عين السمكة عبر إعادة الإسقاط لزيادة تنوع البيانات.
- دوال الخسارة (Loss Functions): تجمع بين خسارة خريطة النقاط، وخسارة الناظم (Normal Loss)، وخسارة الوضعية (Pose Loss)، وخسائر أشعة محددة (خسارة زاوية غير متماثلة وخسارة مسافة قطرية).

3. المساهمات الرئيسية

أول نموذج متعدد المشاهد أمامي للصور المشوهة: يعد Wid3R أول طريقة قادرة على التقدير المشترك لخرائط النقاط ثلاثية الأبعاد الكثيفة ووضعيات الكاميرا من صور واسعة المجال (عين السمكة و360 درجة) في تمريرة أمامية واحدة، مما يلغي الحاجة للمعايرة الصريحة أو إزالة التشوه.
تمثيل موحد قائم على الأشعة: قدم صياغة مبتكرة تستخدم التوافقيات الكروية لتمثيل اتجاهات الأشعة، مما يمكن النموذج من الاستدلال على هندسة المشهد عبر نماذج إسقاط متنوعة ضمن شبكة موحدة.
رموز نموذج الكاميرا: اقترح آلية تكييف خفيفة الوزن تقوم بترميز أنواع إسقاط الكاميرا صراحة، مما يحسن بشكل كبير من القدرة على التعميم والمتانة تجاه التشوه.
القابلية للتوسع لمشاهد 360 درجة: أظهر أن التكييف مع نماذج كاميرا متنوعة (حتى مع محدودية بيانات تدريب 360 درجة) يخفف من مشكلات ندرة البيانات ويحسن الأداء في مشاهد 360 درجة.

4. النتائج التجريبية

تم تقييم Wid3R على عدة اختبارات مرجعية، حيث أظهر تحسينات كبيرة مقارنة بالطرق الرائدة (VGGT، و $\pi^3$ ، وDust3D) ومسارات SfM التقليدية.

تقدير وضعية الكاميرا:
- في Zip-NeRF (عين السمكة)، حسن Wid3R قيمة AUC@30° بنسبة +77.33% مقارنة بـ $\pi^3$ .
- في Stanford2D3D (360 درجة)، حقق تحسناً في دقة إعادة بناء خريطة النقاط بنسبة 48.2%.
- حقق دقة دوران نسبية (RRA) شبه مثالية في مجموعات بيانات FIORD وZip-NeRF.
التحديد الموضعي واسع النطاق:
- في Matterport3D، حقق Wid3R دقة تحديد موضع مماثلة لمسارات SfM المعقدة (مثل EDM + IM360) ولكن مع تسريع هائل (انخفض وقت المعالجة من حوالي 30 دقيقة إلى حوالي 3 ثوانٍ).
العمق أحادي المنظور:
- رغم أنه نموذج متعدد المشاهد، حقق Wid3R أداءً تنافسياً في تقدير عمق 360 درجة أحادي المنظور، متفوقاً على نماذج العمق أحادية المنظور المتخصصة لـ 360 درجة.
دراسات الاستئصال (Ablation Studies):
- أكدت أن التدريب مع نماذج كاميرا متنوعة (ثقب الإبرة + عين السمكة + 360 درجة) يعزز الأداء بشكل كبير على مجموعات اختبار 360 درجة مقارنة بالتدريب على بيانات 360 درجة فقط.
- أثبتت أن رمز نموذج الكاميرا ضروري لتحقيق مكاسب الأداء.

5. الأهمية والأثر

القابلية للتطبيق في العالم الحقيقي: من خلال إزالة الاعتماد على إزالة التشوه وافتراضات ثقب الإبرة، يسد Wid3R الفجوة بين نماذج إعادة البناء ثلاثية الأبعاد الأكاديمية والأجهزة الواقعية (الطائرات بدون طيار، الروبوتات، نظارات الواقع الافتراضي) التي تعتمد على عدسات واسعة الزاوية.
الكفاءة: تسمح الطبيعة الأمامية (Feed-forward) بإعادة بناء ثلاثية الأبعاد في الوقت الفعلي للبيئات واسعة النطاق، مما يجعله قابلاً للاستخدام في SLAM والملاحة الذاتية حيث تكون عمليات التحسين التكرارية (مثل Bundle Adjustment) بطيئة جداً.
أساس للأعمال المستقبلية: تشير الورقة إلى أن رموز الهندسة الخاصة بـ Wid3R يمكن أن تعمل كمعلومات سابقة (Priors) للذكاء الاصطناٍ التوليدي (على سبيل المثال، توليد مشاهد ثلاثية الأبعاد متسقة من النصوص أو الصور البانورامية)، مما قد يعزز الاتساق الهندسي لتوليد البيانات الاصطناعية.

باخت respect، يمثل Wid3R تحولاً جذرياً في الرؤية ثلاثية الأبعاد، حيث ينتقل من افتراضات "خلو التشوه" إلى التعلم "المدرك للتشوه"، مما يتيح إعادة بناء ثلاثي الأبعاد قوي وسريع ودقيق مباشرة من المخرجات الخام للكاميرات الحديثة واسعة المجال.