💻 computer science

WildDet3D: Scaling Promptable 3D Detection in the Wild

تقدم هذه الورقة البحثية WildDet3D، وهي بنية موحدة مدركة للهندسة قادرة على التعامل مع أنماط متنوعة من المطالبات وإشارات العمق المساعدة، إلى جانب إنشاء WildDet3D-Data، أكبر مجموعة بيانات مفتوحة للكشف ثلاثي الأبعاد حتى الآن، مما يضع معاً أداءً جديداً هو الأفضل في فئته في مجال الكشف عن الأجسام ثلاثية الأبعاد أحادية العدسة في العالم المفتوح.

المؤلفون الأصليون: Weikai Huang, Jieyu Zhang, Sijun Li, Taoyang Jia, Jiafei Duan, Yunqian Cheng, Jaemin Cho, Mattew Wallingford, Rustin Soraki, Chris Dongjoo Kim, Donovan Clay, Taira Anderson, Winson Han, Ali Farhadi, B

نُشر 2026-04-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Weikai Huang, Jieyu Zhang, Sijun Li, Taoyang Jia, Jiafei Duan, Yunqian Cheng, Jaemin Cho, Mattew Wallingford, Rustin Soraki, Chris Dongjoo Kim, Donovan Clay, Taira Anderson, Winson Han, Ali Farhadi, Bharath Hariharan, Zhongzheng Ren, Ranjay Krishna

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تنظر إلى صورة لغرفة معيشة فوضوية. يمكنك رؤية طاولة قهوة، وقطة، ومصباح. قد يخبرك برنامج كمبيوتر عادي: "هذه قطة" و"هذا مصباح". لكنه لا يعرف حقًا مدى بُعد القطة، أو الحجم الفعلي للطاولة، أو الاتجاه الذي يواجه فيه المصباح. إنه يرى صورة مسطحة، وليس عالمًا ثلاثي الأبعاد.

WildDet3D هو نظام ذكاء اصطناعي جديد مصمم لإصلاح ذلك. إنه يشبه منح الكمبيوتر "رؤية مكانية" ليفهم العالم ثلاثي الأبعاد، تمامًا كما نفعل نحن البشر، ولكن مع القدرة الخارقة على فهم آلاف الأشياء المختلفة فورًا.

إليك شرح بسيط لكيفية عمله، باستخدام بعض التشبيهات من الحياة اليومية:

1. المشكلة: فخ "العالم المسطح"

معظم كواشف الذكاء الاصطناعي الحالية تشبه الأشخاص الذين يرتدون عصبة على أعينهم؛ يمكنهم فقط رؤية العالم بطريقة واحدة محددة:

المحقق المعتمد على النص فقط: لا يمكنه العثور على الأشياء إلا إذا سألته: "أين الكلب؟"
المحقق المعتمد على المربعات فقط: لا يمكنه العثال على الأشياء إلا إذا رسمت مربعًا حولها أولاً.
المحقق المعتمد على البعد الثنائي (2D) فقط: يمكنه إخبارك ما هو الشيء، ولكن ليس أين يقع في الفضاء ثلاثي الأبعاد (كيف هو العمق، أو الحجم، أو الدوران).

الحياة الواقعية فوضوية. أحيانًا تريد أن تطلب من روبوت: "التقط الكوب الأحمر". وأحيانًا تريد النقر على الشاشة للإشارة إلى كرسي. وأحيانًا تمتلك مستشعر عمق (مثل الموجود في iPhone)، وأحيانًا لا تملكه. أنظمة الذكاء الاصطناعي الموجودة عادة ما تفشل إذا تغيرت القواعد.

2. الحل: الذكاء الاصطناكي "السكين السويسري"

بنى الباحثون WildDet3D، وهو يشبه "السكين السويسري" للرؤية ثلاثية الأبعاد. فهو لا يهتم بكيفية طلبك للنظر؛ بل يتكيف مع الأمر.

تحدث إليه: يمكنك قول "ابحث عن الكرسي".
أشر إليه: يمكنك النقر على نقطة في الشاشة، وسوف يجد الكائن الموجود هناك.
ضع له صندوقًا: يمكنك رسم مربع حوله، وسيقوم برفع ذلك المربع إلى الفضاء ثلاثي الأبعاد.

إنه أول نظام يمكنه القيام بكل هذه الأشياء الثلاثة في آن واحد، مما يجعله مثاليًا للروبوتات، ونظارات الواقع المعزز (AR)، وتطبيقات الهاتف المحمول.

3. السر الخفي: "النظارات الاختيارية"

أحد أروع الميزات هو كيفية تعامله مع العمق (مدى بُعد الأشياء).

بدون عمق: يشبه الأمر النظر إلى لوحة فنية؛ حيث يتعين عليه تخمين مدى بُعد الأشياء بناءً على الخبرة.
مع العمق: يشبه الأمر ارتداء نظارات ثلاثية الأبعاد؛ فإذا قدمت الكاميرا خريطة عمق (مثل مستشعر LiDAR في الهاتف)، يستخدمها WildDet3D للحصول على قياسات دقيقة للغاية.

الجزء العبقري؟ إذا لم تكن تملك تلك "النظارات ثلاثية الأبعاد"، فإن الذكاء الاصطناعي لا يتعطل أو يتوقف عن العمل، بل ينتقل ببساطة إلى "وضع التخمين" ويستمر في العمل، وإن كان ليس بدقة مثالية. إنه يتراجع تدريجيًا وبسلاسة، مثل سيارة يمكنها القيادة على الطرق السريعة والطرق الوعرة على حد سواء.

4. بيانات التدريب: "المكتبة الضخمة"

لتعليم الذكاء الاصطناعي التعرف على الأشياء ثلاثية الأبعاد، تحتاج إلى ملايين الأمثلة. لكن تصنيف البيانات ثلاثية الأبعاد أمر صعب ومكلف—فهو يشبه محاولة قياس كل طوبة في مدينة باستخدام مسطرة.

أنشأ الفريق WildDet3D-Data، وهي مكتبة جديدة ضخمة تضم أكثر من مليون صورة تغطي 13,500 فئة مختلفة (من "محامص الخبز" إلى "الدببة البرية").

كيف فعلوا ذلك: لم يقوموا فقط بتوظيف بشر لقياس كل شيء، بل استخدموا نهج "فريق الخبراء". جعلوا خمسة نماذج مختلفة من الذكاء الاصطناعي تحاول تخمين الشكل ثلاثي الأبعاد للأشياء في صور ثنائية الأبعاد. ثم استخدموا نموذج رؤية لغوي فائق الذكاء (Vision-Language Model) لتصفية التخمينات السيئة. وأخيرًا، قام عمال بشريون بفحص أفضل المرشحين للتأكد من أنها مثالية.
النتيجة: مجموعة بيانات أكبر بـ 138 مرة من المجموعات السابقة، وتغطي كل شيء تقريبًا يمكنك تخيله في العالم الحقيقي.

5. ماذا يمكنه أن يفعل؟ (سحر العالم الحقيقي)

تستعرض الورقة البحثية نماذج ممتعة:

على جهاز iPhone الخاص بك: يمكنك فتح تطبيق، وتوجيه كاميرتك نحو مكتبك، وسؤال: "أين الدباسة؟". سيقوم التطبيق برسم صندوق ثلاثي الأبعاد حولها على شاشتك.
في الواقع المعزز (AR): ارتدِ نظارات Meta Quest، وانظر إلى مكتب فوضوي، وسيقوم الذكاء الاصطناعي برسم صناديق ثلاثية الأبعاد حول كل شيء، مما يساعدك على رؤية "حجم" الغرفة.
للروبوتات: يمكن إخبار ذراع روبوتية: "التقط رقائق البطاطس الخضراء"، وسيقوم WildDet3D بإخبار الروبوت بمكان الرقائق بالضبط في الفضاء ثلاثي الأبعاد حتى يتمكن من التقاطها دون قلبها.
مزيج "الدماغ": قاموا بدمجه مع ذكاء اصطناعي لغوي ذكي. يمكنك أن تسأل: "ما هو أغلى شيء في هذه الغرفة؟". سيستنتج الذكاء الاصطاني اللغوي أنه الحاسوب المحمول، وسيقوم WildDet3D فورًا برسم صندوق ثلاثي الأبعاد حوله.

الخلاصة

WildDet3D هو قفزة هائلة للأمام. إنه يأخذ مرونة الدردشة الحديثة (التي تفهم النصوص) ويجمعها مع الإدراك المكاني للبشر. إنه أداة عامة الغرض يمكن توصيلها بالروبوتات، والهواتف، والنظارات لمساعدتها على فهم العالم المادي، وليس مجرد الصور الخاصة به.

فكر في الأمر كتعليم الحواسيب التوقف عن النظر إلى العالم كشاشة عرض مسطحة والبدء في رؤيته كمكان حقيقي ثلاثي الأبعاد يمكنهم التفاعل معه.

إليك ملخص تقني مفصل لورقة البحث "WildDet3D: Scaling Promptable 3D Detection in the Wild".

1. بيان المشكلة

يعد الكشف عن الأجسام ثلاثية الأبعاد أحادية العدسة (استعادة الامتداد، والموقع، والاتجاه ثلاثي الأبعاد من صورة RGB واحدة) حجر الزاوية للذكاء المكاني في مجالات الروبوتات، والواقع المعزز/الواقع الافتراضي (AR/VR)، والقيادة الذاتية. ومع ذلك، تواجه الطرق الحالية ثلاث عقبات حرجة تمنع النشر في العالم المفتوح:

نقص التعميم: تُدرب معظم النماذج على فئات مغلقة في بيئات محكومة (مثل مجموعات بيانات القيادة الذاتية)، وتفشل في التعميم على الفئات المتنوعة وذات التوزيع الطولي (long-tailed) الموجودة في العالم الحقيقي.
التلقين الصلب (Rigid Prompting): تدعم الأنظمة الحالية عادةً نمط تفاعل واحد فقط (إما استعلامات نصية أو صناديق محيطة ثنائية الأبعاد ثابتة)، مما يجعلها عاجزة عن توحيد الطرق المتنوعة التي يحدد بها المستخدمون الأهداف (مثل الأوامر اللغوية، أو النقرات، أو اختيار الصناديق).
عدم القدرة على الاستفادة من الإشارات الهندسية: لا تستطيع الطرق الحالية دمج الإشارات الهندسية المساعدة بسلاسة (مثل بيانات LiDAR المتفرقة أو العمق الجزئي) عند توفرها، كما أنها لا تتعامل بفعالية مع غموض المقياس المتأصل في الرؤية أحادية العدسة بدونها.
ندرة البيانات: تفتقر مجموعات البيانات عالية الجودة ثلاثية الأبعاد إلى النطاق وتغطية الفئات مقارنة بمجموعات البيانات ثنائية الأبعاد، مما يعيق تدريب نماذج ثلاثية الأبعاد ذات مفردات مفتوحة (open-vocabulary).

2. المنهجية: WildDet3D

يقترح المؤلفون WildDet3D، وهو بنية موحدة مدركة للهندسة ومصممة للكشف أحادي العدسة ذي المفردات المفتوحة.

أ. نظرة عامة على البنية

يتكون النموذج من ثلاثة مكونات رئيسية (الشكل 3):

مشفرات الرؤية المزدوجة (Dual-Vision Encoders):
- مشفر الصورة: يعتمد على هيكل ViT-H (مدرب مسبقاً على التجزئة) لاستخراج سمات دلالية عالية الدقة.
- مشفر RGBD: يعتمد على هيكل DINOv2 يستقبل خريطة عمق اختيارية (أو مدخلاً مملوءاً بالأصفار في حال عدم توفره). ينتج "كمونات العمق" (depth latents) التي تمثل الإشارات الهندسية.
- وحدة دمج العمق: كتلة متبقية بأسلوب ControlNet تقوم بحقن كمونات العمق في سمات الصورة. يتيح ذلك للنموذج استخدام معلومات المقياس المتري عندما يكون العمق متاحاً، بينما يتراجع تدريجياً إلى وضع الرؤية أحادية العدسة البسيطة عند غيابه.
الكاشف القابل للتلقين (Promptable Detector):
- يوحد أربعة أنماط من التلقين: النص (أسماء الفئات)، النقاط ثنائية الأبعاد، الصناديق المحيطة ثنائية الأبعاد، وصناديق الأمثلة (التشابه البصري).
- يستخدم آلية ترميز تلقين مستوحاة من SAM3 حيث يتم ترميز النصوص والتلقينات الهندسية في تسلسل استعلام موحد.
- يستخدم التجميع لكل تلقين (per-prompt batching) للتعامل مع أي عدد من الفئات والنماذج دون الحاجة للحشو (padding).
رأس الكشف ثلاثي الأبعاد الخاضع للإشراف العميق:
- يرفع سمات الاستعلام ثنائية الأبعاد إلى تنبؤات ثلاثية الأبعاد باستخدام طبقات مفسر المحولات (Transformer decoder).
- تجميع المصادر المتعددة: يستخدم الانتباه المتقاطع (cross-attention) لدمج تضمينات أشعة الكاميرا (للسياق المكاني) وكمونات العمق.
- تطبيع الدوران غير الغامض: يحل غموض الدوران الرباعي في الصناديق ثلاثية الأبعاد من خلال فرض ترتيب الأبعاد ( $w \le l$ ) وطي زاوية الانحراف ( $[0, \pi)$ )، مما يضمن وجود علاقة واحد لواحد بين الهندسة وأهداف الانحدار.
- رأس الثقة ثلاثية الأبعاد: يتنبأ بدرجة جودة تجمع بين "أصلية" الجسم ثنائية الأبعاد ودقة العمق ثلاثية الأبعاد لإعادة ترتيب النتائج المكتشفة.

ب. استراتيجية التدريب

التعلم متعدد المهام: يتم تدريب النموذج مع رؤوس مساعدة للكشف ثنائي الأبعاد وتقدير العمق لتوفير إشراف كثيف.
المطابقة من واحد إلى كثير (O2M Matching): يتم إقران كل جسم حقيقي من أعلى $k$ من التنبؤات لتسريع التقارب.
يتم التعامل مع التوصيفات غير الشاملة (الشائعة في بيانات العالم المفتوح) عبر قمع الخسارة السلبية للتنبؤات التي تتداخل مع مناطق "التجاهل"، مما يضمن عدم معاقبة النموذج عند اكتشاف أجسام تفتقر إلى حقيقة أرضية (ground truth) ثلاثية الأبعاد صالحة.

3. المساهمات الرئيسية: WildDet3D-Data

لمعالجة اختناق البيانات، قدم المؤلفون WildDet3D-Data، وهو أكبر مجموعة بيانات للكشف ثلاثي الأبعاد المفتوح حتى الآن.

النطاق والتنوع: يحتوي على ~مليون صورة عبر 13.5 ألف فئة (زيادة قدرها 138 ضعفاً عن Omni3D)، تغطي مشاهد داخلية، وحضرية، وطبيعية.
خط بناء البيانات:
1. توليد المرشحين: تولد خمسة نماذج متكاملة (بما في ذلك SAM-3D وDetAny3D وطرق الملاءمة الهندسية) صناديق ثلاثية الأبعاد مرشحة من التوصيفات ثنائية الأبعاد الموجودة.
2. التصفية القائمة على القواعد: إزالة المرشحين غير المنطقيين بناءً على الاحتجاب، وملامسة الحواف، ونسب الحجم.
3. الاختيار: يستخدم عملية اختيار من مرحلتين:
  - تصفية VLM: يقوم نموذج رؤية-لغة مضبوط (Molmo2) بتقييم المرشحين بناءً على معايير إدراكية (الحجم، الشكل، الدوران).
  - التحقق البشري: يتحقق المنسقون من البشر من مجموعة فرعية، ويختارون أفضل مرشح ويقيمون الجودة.
النتيجة: مجموعة بيانات منقحة من الصنفي الخبير بشرياً تتيح تعميماً قوياً في العالم المفتوح.

4. النتائج التجريبية

يحقق WildDet3D أداءً جديداً (SOTA) عبر عدة اختبارات مرجعية:

WildDet3D-Bench (في العالم الحقيقي):
- يحقق 22.6 AP3D (تلقين نصي) و 24.8 AP3D (تلقين صندوق) في اختبارهم المرجعي الذي يضم أكثر من 700 فئة.
- يتفوق على أفضل النتائج السابقة (3D-MOOD) بفارق هائل (2.3 AP مقابل 22.6 AP).
- مع توفر العمق الحقيقي، يقفز الأداء إلى 41.6 AP3D، مما يثبت قدرة النموذج على الاستفادة من الإشارات الهندسية.
اختبار Omni3D المرجعي:
- يحقق 34.2 AP3D (نص) و 36.4 AP3D (صندوق/أوراكل).
- المثير للاهتمام أنه يحقق ذلك في 12 حقبة تدريب فقط، بينما يتطلب المنافسون من 80 إلى 120 حقبة.
النقل صفري القدرة (Zero-Shot Transfer):
- تم تدريبه على Omni3D، وحقق 40.3 ODS على Argoverse 2 و 48.9 ODS على ScanNet دون ضبط دقيق، متفوقاً بشكل كبير على النماذج الأساسية.
Stereo4D (العمق الحقيقي):
- عند تزويده بعمق ستيريو حقيقي، يتحسن الأداء بمقدار 2.8 ضعف (7.5 AP $\leftarrow$ 27.7 AP)، مما يؤكد مرونة البنية.

5. الأهمية والتطبيقات

تثبت الورقة أن الإدراك ثلاثي الأبعاد ذو المفردات المفتوحة قابل للتحقيق على نطاق واسع من خلال البنى الموحدة وتنسيق البيانات واسع النطاق.

تعدد الاستخدامات: يدعم النموذج أنماط تفاعل متنوعة (نص، نقرة، صندوق) ويتعامل بسلاسة مع فقدان بيانات العمق.
النشر في العالم الحقيقي: يستعرض المؤلفون تطبيقات عملية تشمل:
- الهاتف المحمول: تطبيق iPhone للرصد ثلاثي الأبعاد في الوقت الفعلي عبر ARKit.
- الواقع المعزز/الافتراضي: التكامل مع Meta Quest 3 للفهم المكاني.
- الروبوتات: تمكين ذراع Franka Emika Panda من الإمساك بالأجسام المحددة عبر أوامر نصية ذات مفردات مفتوحة.
- تكامل VLM: "وكيل WildDet3D" الذي يجمع بين استدلال VLM (مثل "ابحث عن أغلى جسم") والتحديد ثلاثي الأبعاد.

الخاتمة

يجسر WildDet3D الفجوة بين الإدراك ثنائي الأبعاد ذي المفردات المفتوحة والفهم المكاني ثلاثي الأبعاد. من خلال تقديم بنية مدركة للهندسة توحد أنماط التلقين المتعددة ومجموعة بيانات ضخمة تم التحقق منها بشرياً، مكن المؤلفون من كشف ثلاثي الأبعاد قوي في العالم المفتوح يعمم على فئات غير مرئية ويستفيد من الإشارات الهندسية المتاحة، مما يمهد الطريق لأنظمة ذكاء اصط�بادي (Embodied AI) وحوسبة مكانية أكثر قدرة.