💻 computer science

UniGround: Universal 3D Visual Grounding via Training-Free Scene Parsing

يقدم UniGround إطار عمل جديدًا، لا يعتمد على التدريب، للتوطين البصري ثلاثي الأبعاد الشامل، والذي يستفيد من التصفية العالمية للمرشحين والاستدلال المحلي الدقيق لتحقيق أداء رائد في مستوى الصفر (zero-shot) لتحديد مواقع أي كائنات داخل بيئات ثلاثية الأبعاد معقدة دون الاعتماد على نماذج مدربة مسبقًا أو إشراف ثلاثي الأبعاد.

المؤلفون الأصليون: Jiaxi Zhang, Yunheng Wang, Wei Lu, Taowen Wang, Weisheng Xu, Shuning Zhang, Yixiao Feng, Yuetong Fang, Renjing Xu

نُشر 2026-03-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiaxi Zhang, Yunheng Wang, Wei Lu, Taowen Wang, Weisheng Xu, Shuning Zhang, Yixiao Feng, Yuetong Fang, Renjing Xu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدخل مبنى مكاتب جديدًا وفوضويًا لأول مرة. أنت ترتدي نظارات ذكية عالية التقنية. يتصل بك مديرك عبر الهاتف ويقول: "ابحث عن الكوب الأحمر الموجود على المكتب بجانب النافذة."

في الماضي، كانت نظاراتك الذكية تشبه سائحًا يحمل خريطة مطبوعة بدقة لمكتب واحد محدد فقط قد درسه مسبقًا. إذا كان المكتب الجديد له تصميم مختلف، أو إذا كان الكوب بلون أحمر مختلف قليلاً، أو إذا كان هناك كرسي غريب يعترض الرؤية، فستصاب النظارات بالارتباك وتقول: "لا أعرف ما هذا. إنه ليس موجودًا في خريطتي." لقد كانت تعتمد على "محقق" مُدرب مسبقًا لا يعرف سوى كيفية العث lập الأشياء التي رآها أثناء التدريب.

UniGround يشبه منح نظاراتك عقلاً بشريًا فضوليًا وفائق الذكاء بدلًا من خريطة جامدة. فهو لا يحتاج إلى رؤية هذا المكتب تحديدًا من قبل. يمكنه الدخول، والنظر حوله، ومعرفة مكان الكوب، حتى لو كانت الغرفة جديدة تمامًا وفوضوية.

إليك كيف يعمل ذلك، مقسمًا إلى خطوتين بسيطتين:

الخطوة 1: "الرسم التخطيطي الأولي" (تصفية المرشحين العالمية - Global Candidate Filtering)

بدلًا من محاولة حفظ كل جسم في الغرفة مسبقًا، يستخدم UniGround حيلة ذكية تسمى "الرفع من 2D إلى 3D" (2D-to-3D Lifting).

التشبيه: تخيل أنك تحاول معرفة شكل كومة من قطع "الليغو" ثلاثية الأبعاد، لكنك لا تستطيع رؤيتها إلا من زوايا مختلفة عبر نافذة. بدلًا من التخمين، تأخذ صورًا لقطع الليغو من كل زاوية، وتقصها، ثم تلصقها معًا على طاولة.
كيف يفعلها UniGround: يأخذ جميع الصور التي التقطها الروبوت، ويستخدم "عينًا سحرية" (ذكاء اصطناعي ثنائي الأبعاد) لتحديد حواف الأجسام في الصور، ثم يقوم بتجميع تلك الحواف معًا لبناء شكل ثلاثي الأبعاد.
النتيجة: ينشئ قائمة من "المشتبه بهم المحتملين" (المرشحين). هو لا يحتاج لمعرفة ماهية الشيء بعد؛ هو فقط يعرف: "حسنًا، هناك كتلة مائلة للاحمرار هنا، وهناك شكل يشبه المكتب هناك." يفعل ذلك دون الحاجة إلى أي بيانات تدريب ثلاثية الأبعاد خاصة. الأمر يشبه بناء لغز من الصفر بدلًا من البحث عن الصورة الموجودة على العلبة.

الخطوة 2: "استجواب المحقق" (التحديد المحلي الدقيق - Local Precision Grounding)

الآن بعد أن أصبح لدى النظام قائمة بالمشتبه بهم (الكتلة الحمراء، المكتب، النافذة)، فإنه يحتاج لمعرفة أي منها هو الكوب الأحمر بالضبط. هنا يصبح النظام ذكيًا حقًا.

التشبيه: تخيل محققًا يحاول حل جريمة. المحقق السيئ يكتفي بالنظر إلى صورة ضبابية ويخمن. أما المحقق الجيد فيقوم بشيئين:
1. يتوسع في الرؤية (Zoom Out): ينظر إلى مسرح الجريمة بأكمله لفهم التخطيط (مثل: "الكوب بالقرب من النافذة").
2. يدقق في التفاصيل (Zoom In): ينظر بتمعن إلى المشتبه به المحدد (مثل: "هل لهذه الكتلة الحمراء مقبض؟ هل هي موضوعة على سطح مستوٍ؟").
كيف يفعلها UniGround: يستخدم عملية تفكير تسمى "سلسلة الأفكوت" (Chain of Thought).
- الاستدلال المكاني: يقوم بعرض الغرفة بأكملها من عدة زوايا ثابتة لفهم العلاقات في "الصورة الكبيرة" (مثل: "المكتب يقع على يسار النافذة").
- الدليل البصري: يقترب من "الكتل الحمراء" المرشحة باستخدام الصور الأصلية للتحقق من التفاصيل (مثل: "نعم، هذا كوب").
- التحقق المزدوج: إذا قالت الصورة الكبيرة "يسار" بينما قالت الصورة القريبة "يمين"، فإن النظام يكتشف الخطأ ويعيد التفكير. هو لا يخمن فحسب؛ بل يجادل نفسه حتى يجد الحقيقة.

لماذا يعد هذا أمرًا بالغ الأهمية؟

لا يتطلب "تدريبًا": معظم أنظمة الذكاء الاصطناعي تشبه الطلاب الذين ينجحون في الاختبار فقط إذا درسوا نفس الكتاب المدرسي تمامًا. أما UniGround فهو مثل شخص عبقري يمكنه دخول مكتبة لم يرها من قبل وإيجاد أي كتاب بمجرد قراءة عنوانه والنظر إلى الرف. إنه يعمل في أي مشهد، وفي أي مكان.
المتانة (Robustness): إذا كانت الغرفة فوضوية، أو الإضاءة سيئة، أو اهتزت كاميرا الروبوت، فإن UniGround لا يصاب بالذعر. نظرًا لأنه يبني فهمه من الصفر باستخدام الهندسة والمنطق، فمن الصعب خداعه مقارنة بالأنظمة التي تعتمد على الأنماط المحفوظة.
جاهز للعالم الحقيقي: اختبرت الورقة البحثية هذا النهج في مكاتب، وصالات، وممرات حقيقية، وليس فقط في عمليات محاكاة حاسوبية مثالية. لقد أثبتت أن هذا النهج "الخالي من التدريب" يعمل بالفعل في العالم الحقيقي الفوضوي.

با way مختصر، يستبدل UniGround "الخريطة المحفوظة" بـ "عقل مفكر وذكي". فهو يبني فهمًا ثلاثي الأبعاد للغرفة في الوقت الفعلي، ثم يستخدم منطق المحقق للعثور بدقة على ما طلبته، مما يجعله خطوة هائلة للأمام للروبوتات، والواقع المعزز، والمساعدات الذكية التي تحتاج للتنقل في عالمنا الحقيقي وغير المتوقع.

إليك ملخص تقني مفصل لورقة البحث بعنوان "UniGround: التوجيه البصري ثلاثي الأبعاد الشامل عبر تحليل المشهد الخالي من التدريب".

1. تعريف المشكلة

التوجيه البصري ثلاثي الأبعاد (3DVG) هو مهمة تحديد موقع كائن معين داخل مشهد ثلاثي الأبعاد بناءً على وصف باللغة الطبيعية. وبينما مكنت النماذج التأسيسية من قدرات "المفردات المفتوحة" (فهم أي نص)، تواجه أنظمة 3DVG الحالية عقبتين حرجتين:

التعميم المحدود: تعتمد الطرق الحالية على نماذج تقسيم أو كشف مثيلات ثلاثية الأبعاد خاضعة للإشراف، مدربة على مجموعات بيانات محددة (مثل ScanNet). تفشل هذه النماذج في كشف الكائنات أو التكوينات المكانية خارج نطاق توزيع تدريبها (خارج التوزيع)، مما يقيد النظام في إدراك "المجموعة المغلقة" حتى لو كان النموذج اللغوي "مفتوح المفردات".
ضعف الاستيعاب: تعتمد النهج الحالية غالبًا على التلقين البصري أحادي المنظور أو الإسقاطات العالمية للمشهد، والتي تفتقر إما إلى التفاصيل الدلالية الدقيقة أو تفشل في التقاط العلاقات المكانية العالمية، مما يؤدي إلى توجيه غامض أو غير دقيق.

تجادل الورقة بأن العقبة لا تكمن في التفكير المنطقي للنموذج اللغوي، بل في الواجهة الأمامية للإدراك الهندسي، والتي تتقيد حاليًا بالإشراف ثلاثي الأبعاد المرتبط بنطاقات محددة.

2. المنهجية: UniGround

يقترح UniGround إطار عمل من مرحلتين خالٍ من التدريب، يقوم بفصل الإدراك الهندسي عن الاستدلال الدلالي، مما يلغي الحاجة إلى أي إشراف ثلاثي الأبعاد (لا حاجة لبيانات تصنيف صناديق محيطة ثلاثية الأبعاد أو كواشف ثلاثية الأبعاد).

المرحلة الأولى: تصفية المرشحين العالميين

تبني هذه المرحلة مجموعة من المرشحين المحتملين للكائنات من المدخلات ثنائية وثلاثية الأبعاد الخام دون استخدام كواشف ثلاثية الأبعاد.

الرفع من 2D إلى 3D والتجميع الطوبولوجي: بدلاً من التقسيم ثلاثي الأبعاد، تستخدم الطريقة نموذج تقسيم مثيلات ثنائي الأبعاد (SAM) على صور RGB متعددة الزوايا. يتم إسقاط هذه الأقنعة الثنائية على السحابة النقطية ثلاثية الأبعاد.
تجميع النقاط الفائقة (Superpoint Aggregation): يتم تقسيم السحابة النقطية إلى نقاط فائقة (بدائيات هندسية). تُدمج النقاط الفائقة المتجاورة بناءً على مقياس تشابه زوجي ( $C_{i,j}$ $C_{i, j}$ ) يجمع بين:
- الرؤية المشتركة: عدد زوايا الكاميرا التي ترى كلا المنطقتين.
- الاتساق الدلالي: تشابه السمات لأقنعة المثيلات ثنائية الأبعاد عبر الزوايا المختلفة.
التضمين الدلالي: للتعامل مع عيوب إعادة البناء (الحدود المتعرجة)، يحدد النظام محاصيل (crops) RGB ثنائية الأبعاد نظيفة ومناسبة، ويعيد تحجيمها، ويقوم بترميزها باستخدام مشفر الإدراك (PE). ينتج هذا تضمينات دلالية قوية لكل مرشح.
التصفية: يتم تضمين استعلام المستخدم النصي، ويُحسب تشابه جيب التمام مقابل تضمينات المرشحين. يتم الاحتفاظ بأفضل $k$ من المرشحين للمرحلة التالية.

المرحلة الثانية: التوجيه الدقيق المحلي

تقوم هذه المرحلة بتنقية الاختيار من مجموعة المرشحين باستخدام عملية استدلال سلسلة الأفكام (CoT) ضمن نموذج رؤية ولغة (VLM).

التلقين البصري متعدد المقاييس: يوفر النظام نوعين من الأدلة البصرية للنموذج (VLM):
1. تلقينات العلاقات المكانية (الكلية/Macro): يتم رندرة (Rendering) المشهد من وضعيات كاميرا "مدارية" مقيدة حول مراكز المرشحين. يتم وضع إطار إحداثيات عالمي فوق المشهد لتأسيس الإشارات الاتجاهية (مثل "يسار"، "خلف").
2. الأدلة البصرية للمرشح (الجزءية/Micro): يتم تقديم محاصيل RGB عالية الجودة متعددة الزوايا للمرشحين الأفراد، مع وضع صناديق محيطة للتركيز على الانتباه.
بروتوكول الاستدلال المهيكل: ينفذ النموذج (VLM) حلقة استدلال ثلاثية الخطوات:
1. الاستدلال الدلالي: تحديد أسماء الكائنات من الرؤى المحلية لمطابقتها مع الاستعلام.
2. الاستدلال المكاني: تحليل العلاقات المكانية العالمية باستخدام الرندرة المدارية وإطار الإحداثيات.
3. التصحيح في حلقة مغلقة: إذا كان الاستنتاج الأولي غير متسق (على سبيل المثال، اسم الكائن لا يتطابق مع الموقع المكاني)، يقوم النظام بإعادة تقييم الأدلة للتخفيف من الهلوسة.

3. المساهمات الرئيسية

نموذج خالٍ من التدريب: يعد UniGround أول إطار عمل يحقق توجيهاً بصرياً ثلاثي الأبعاد مفتوح العالم دون أي إشراف ثلاثي الأبعاد (لا كواشف ثلاثية الأبعاد، ولا بيانات تدريب لصناديق محيطة ثلاثية الأبعاد). إنه يستبدل الإدراك ثلاثي الأبعاد المرتبط بنطاق محدد باستدلال هندسي خالٍ من التدريب.
تصفية المرشحين العالميين: يقدم طريقة مبتكرة لبناء مرشحي المشهد باستخدام الرفع من 2D إلى 3D والتجميع الطوبولوجي، مما يسمح بالتعميم على فئات كائنات وبيئات غير مرئية.
التوجيه الدقيق المحلي: يطور بروتوكول استدلال مهيكل يجمع بين السياق المكاني العالمي (الرندرة المدارية) والدلالات المحلية الدقيقة (محاصيل المرشحين)، مما يحل المقايضة بين الإدراك العالمي والمحلي.
قابلية النشر في العالم الحقيقي: يثبت أداءً قوياً في البيئات الواقعية غير المنضبطة مع تغير النطاقات، حيث تفشل الطرق الخاضعة للإشراف التقليدية.

4. النتائج التجريبية

تم تقييم الطريقة على ScanRefer و EmbodiedScan و مقياس واقعي مخصص (مكتب، صالة، ممر، غرفة اجتماعات).

ScanRefer (المقياس القياسي):
- حقق 46.1% Acc@0.25 و 34.1% Acc@0.5.
- تفوق على الطرق الأخرى ذات المفردات المفتوحة والتدريب الصفري (مثل SeeGround و VLM-Grounder) واقترب من أداء الطرق الخاضعة للإشراف بالكامل.
EmbodiedScan (نقل البيانات عبر مجموعات مختلفة):
- حقق 28.7% Acc@0.25، مسجلاً أفضل نتيجة (SOTA) بين طرق التدريب الصفري.
- المثير للاهتمام، أنه تفوق على نموذج Embodied Perceptron الخاضع للإشراف بالكامل بنسبة 3.0%، مما يثبت أن الاستدلال الخالي من التدريب يمكن أن يعمم بشكل أفضل من الإدراك ثلاثي الأبعاد الخاضع للإشراف في المشاهد غير المرئية.
البيئات الواقعية:
- في المشاهد الداخلية الصعبة وغير المنضبطة، حقق UniGround متوسط معدل نجاح قدره 30.0%، متفوقاً بشكل كبير على النماذج المرجعية (SeeGround و SeqVLM) التي غالباً ما فشلت (0-5% نسبة نجاح) في النطاقات المزدحمة أو المتغيرة.

5. الأهمية

يغير UniGround بشكل جذري نموذج التوجيه البصري ثلاثي الأبعاد من الإدراك المعتمد على البيانات إلى الإدراك القائم على الاستدلال.

كسر حاجز الإدراك "المغلق": من خلال إزالة الاعتماد على الكواشف ثلاثية الأبعاد، يمكن للنظام تحديد موقع أي كائن في أي مشهد، طالما يمكن للنموذج اللغوي فهم اللغة ويمكن إعادة بناء الهندسة.
القوة تجاه تغير النطاق: يجعل النهج الخالي من التدريب النظام قوياً بطبيعته تجاه الاختلافات في كثافة السحابة النقطية، والإضاءة، وهيكل المشهد، وهي نقاط الفشل الشائعة للنماذج الخاضعة للإشراف.
مستقبل الذكاء الاصطناعي المجسد (Embodied AI): يشير هذا العمل إلى أنه بالنسبة للوكلاء المجسدين الذين يعملون في العالم الحقيقي، فإن الاستثمار في بنيات استدلال متطورة وتحليل هندسي خالٍ من التدريب قد يكون أكثر فعالية من توسيع نطاق مجموعات البيانات ثلاثية الأبعاد الخاضعة للإشراف. إنه يمهد الطريق لإدراك روبوتي مفتوح العالم حقاً.