💻 computer science

LocateAnything3D: Vision-Language 3D Detection with Chain-of-Sight

يقدم LocateAnything3D إطار عمل أصيلاً لنماذج الرؤية واللغة يعيد صياغة الكشف ثلاثي الأبعاد كمسألة تنبؤ بالرمز التالي باستخدام استراتيجية استدلال "سلسلة الرؤية" (Chain-of-Sight) لتحقيق أداء رائد في مجاله وقدرة على التعميم الصفري على معيار Omni3D.

المؤلفون الأصليون: Yunze Man, Shihao Wang, Guowen Zhang, Johan Bjorck, Zhiqi Li, Liang-Yan Gui, Jim Fan, Jan Kautz, Yu-Xiong Wang, Zhiding Yu

نُشر 2026-02-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yunze Man, Shihao Wang, Guowen Zhang, Johan Bjorck, Zhiqi Li, Liang-Yan Gui, Jim Fan, Jan Kautz, Yu-Xiong Wang, Zhiding Yu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية التنقل في غرفة معيشة فوضوية. يمكنك إعطاؤه صورة ثنائية الأبعاد وتقول له: "هناك كرسي هناك". ولكن إذا حاول الروبوت السير فوقه، فقد يتعثر لأنه لا يعرف مدى بعد الكرسي، أو حجمه، أو الاتجاه الذي يواجهه.

لفترة طويلة، كانت نماذج الرؤية واللغة (VLMs) — وهي عقول الذكاء الاصطناي التي يمكنها رؤية الصور والتحدث عنها — بارعة في وصف الصور ثنائية الأبعاد، لكنها كانت سيئة للغاية في فهم العالم ثلاثي الأبعاد. لقد كانت مثل مرشد سياحي يمكنه وصف لوحة فنية بدقة، لكن ليس لديه أدنى فكرة عن عمق الغرفة.

LocateAnything3D هو أسلوب جديد يعلم هذه النماذج أخيراً كيف "ترى" في الأبعاد الثلاثية، وهو يفعل ذلك من خلال محاكاة الطريقة التي يفكر بها البشر بشكل طبيعي. إليك التفصيل البسيط:

1. الفكرة الجوهرية: "سلسلة الرؤية" (Chain-of-Sight - CoS)

فكر في الطريقة القديمة للتعرف على الأجسام ثلاثية الأبعاد على أنها محاولة لتخمين الشكل الكامل لجسم غامض في الظلام دفعة واحدة. إنها عملية صعبة، وغالباً ما تخطئ فيها.

يقترح المؤلفون طريقة جديدة تسمى Chain-of-Sight. تخيل أنك تنظر إلى صورة لكوب قهوة على طاولة. بدلاً من تخمين الشكل ثلاثي الأبعاد فوراً، يقوم عقلك بما يلي:

الخطوة 1 (المرتكز ثنائي الأبعاد): "حسناً، أرى شكلاً مستديراً في منتصف الصورة. هذا هو الكوب". (أنت تحدد مكانه في الصورة).
الخطوة 2 (القفزة ثلاثية الأبعاد): "بما أنه في المنتصف ويبدو صغيراً، فلا بد أنه على بُعد بضعة أقدام. ربما يبلغ طوله 4 بوصات".

يفعل الذكاء الاصطناعي الشيء نفسه تماماً. فهو يتنبأ أولاً بـ الصندوق ثنائي الأبعاد (مستطيل على الشاشة) ثم يستخدم هذا الصندوق كحجر زاوية للتنبؤ بـ الصندوق ثلاثي الأبعاد (الحجم الفعلي والمسافة في العالم الحقيقي).

التشبيه: الأمر يشبه بناء منزل. أنت لا تظهر السقف فجأة من العدم؛ بل تقوم أولاً بوضع الأساس (الصندوق ثنائي الأبعاد)، ثم تبني الجدران (الحجم)، وأخيراً تضع السقف (الدوران). من خلال إجبار الذكاء الاصطناعي على وضع الأساس أولاً، يصبح الهيكل بأك Total أكثر استقراراً.

2. الترتيب مهم: "من القريب إلى البعيد"

عندما ينظر الإنسان إلى غرفة، فإنه عادة ما يلاحظ كوب القهوة على الطاولة قبل أن يلاحظ اللوحة على الجدار البعيد. كان الذكاء الاصطناعي يمسح الصور سابقاً مثل روبوت يقرأ كتاباً (من اليسار إلى اليمين، ومن الأعلى إلى الأس أسفل). لكن في الأبعاد الثلاثية، يكون ذلك مربكاً لأن جسماً صغيراً بعيداً قد يبدو بجانب جسم كبير قريب تماماً.

يعلم LocateAnything3D الذكاء الاصطناعي المسح من القريب إلى البعيد.

لماذا؟ الأجسام القريبة من الكاميرا تعطي الذكاء الاصطناعي أقوى الأدلة. بمجرد أن يعرف الذكاء الاصطناعي مكان الأجسام "القريبة" بدقة، يمكنه استخدامها كمسطرة لتقدير مكان الأجسام "البعيدة".
الاستعارة: تخيل أنك تحاول تخمين مسافة جبل. إذا كنت لا تعرف أين توجد الأشجار في المقدمة، فسيظهر الجبل غامضاً. ولكن إذا كنت تعرف أن الأشجار تبعد 10 أقدام، فيمكنك استخدامها لتقدير أن الجبل يبعد 1000 قدم. يستخدم الذكاء الاصطناعي الأجسام القريبة كـ "مسطرة" لبقية المشهد.

3. "وصفة" النجاح

يقدم البحث "وصفة" محددة ليتبعها الذكاء الاصطناعي، والتي يسمونها المنهج الدراسي (مثل المنهج المدرسي):

أولاً: ابحث عن الجسم في الصورة ثنائية الأبعاد (الـ "أين").
ثانياً: حدد مدى كبر حجمه (الـ "كم الحجم").
ثالثاً: حدد الاتجاه الذي يواجهه (الـ "أي اتجاه").

هذا الترتيب حاسم. من الأسهل بكثير تخمين "أين" يوجد الشيء قبل تخمين "حجمه". إذا أخطأت في تحديد الموقع، فسيكون تخمينك للحجم خاطئاً تماماً. هذا النهج المتدرل يمنع الذكاء الاصطناعي من الارتباك و"الهلوسة" (اختلاق أشياء غير موجودة).

4. لماذا يعد هذا أمراً كبيراً؟

إنه "مفتوح العالم" (Open-World): يمكنك أن تطلب من الذكاء الاصطناعي العثور على "كرسي أحمر"، أو "مزهرية غريبة الشكل"، أو "قطة"، وسيعمل ذلك. هو لا يحتاج إلى تدريب مسبق على قائمة محددة من الأجسام.
إنه مرن: يمكنك التحدث إليه ("ابحث عن الكرسي") أو الإشارة إليه على الشاشة ("انقر هنا، ما هو الصندوق ثلاثي الأبعاد؟")، وهو سيفهم كليهما.
إنه الأفضل: في أصعب الاختبارات (معيار Omni3D)، تفوق هذا الأسلوب على جميع النماذج السابقة بفارق هائل. حتى أنه تفوق على النماذج التي مُنحت "أكواد غش" (صناديق ثنائية الأبعاد مثالية للبدء بها).

الملخص

LocateAnything3D يشبه تعليم روبوت القيادة عن طريق تعليمه أولاً التعرف على علامات المرور على خريطة مسطحة، ثم تعليمه لاحقاً مدى بُعد تلك العلامات في العالم الحقيقي. من خلال تقسيم مشكلة الرؤية ثلاثية الأبعاد المعقدة إلى محادثة بسيطة وخطوة بخطوة (ثنائية الأبعاد أولاً، ثم ثلاثية الأبعاد؛ من القريب إلى البعيد)، تعلم الذكاء الاصطناعي أخيراً كيفية إدراك العالم بطريقة آمنة ودقيقة وجاهزة للمهام الواقعية مثل السيارات ذاتية القيادة أو الروبوتات المنزلية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "LocateAnything3D: Vision-Language 3D Detection with Chain-of-Sight".

1. بيان المشكلة

تتفوق نماذج الرؤية واللغة (VLMs) الحالية في الإدراك ثنائي الأبعاد مفتوح النهايات (التوطين، الوصف، والاستنتاج)، لكنها تفتقر إلى القدرات الأصلية لـ الكشف ثلاثي الأبعاد لمتعدد الأجسام من الصور أحادية العدسة (monocular images). تعاني كواشف الـ 3D أحادية العدسة الحالية عادةً من:

المفردات المغلقة: تعتمد على مساحات تسمية ثابتة ولا يمكنها كشف الفئات غير المرئية مسبقًا.
البنى المتخصصة: تتطلب رؤوس مهام محددة (مثل كواشف 2D منفصلة تليها رؤوس رفع 3D) مما يكسر بساطة وتعدد استخدامات نموذج الـ VLM.
الافتقار إلى اتباع التعليمات: تواجه صعوبة في التعامل مع التوجيهات النصية الحرة أو المطالبات البصرية (مثل النقر على جسم للعثين عن صندوقه ثلاثي الأبعاد).

التحدي الجوهري هو إنشاء إطار عمل أصيل لنماذج الـ VLM يمكنه إدراك الهندسة ثلاثية الأبعاد، والتعامل مع فئات العالم المفتوح، واتباع تعليمات متنوعة (نصية أو بصرية) باستخدام واجهة موحدة واحدة دون الحاجة لرؤوس 3D متخصصة.

2. المنهجية: سلسلة الرؤية (Chain-of-Sight - CoS)

يقترح المؤلفون LocateAnything3D، وهو إطار عمل يعيد صياغة الكشف ثلاثي الأبعاد كمسألة تنبؤ بالرمز التالي (next-token prediction) ضمن وحدة فك ترميز ذاتية الانحدار (autoregressive decoder). الابتكار الأساسي هو استراتيجية فك الترميز سلسلة الرؤية (CoS)، والتي تحاكي التفكير البشري: أولاً تحديد ما هو المرئي في 2D، ثم استنتاج أين و ما حجمه في 3D.

أ. تحليل سلسلة الرؤية (CoS Factorization)

بدلاً من التنبؤ بصناديق 3D مباشرة، يقوم النموذج بإخراج تسلسل رموز مهيكل يتداخل فيه المعلومات ثنائية وثلاثية الأبعاد لكل جسم:
$\mathcal{S} = (q_1, b_1, q_2, b_2, \dots, \langle \text{eos} \rangle)$
حيث $q_i$ هو الصندوق ثنائي الأبعاد و $b_i$ هو الصندوق ثلاثي الأبعاد المقابل.

سلسلة التفكير البصري (Visual Chain-of-Thought): يعمل الصندوق ثنائي الأبعاد الصريح كخطوة وسيطة عالية الثقة. فهو يربط النموذج ببكسلات الصورة، مما يقلل من الهلوسة ويوفر شرطًا قويًا للتنبؤ ثلاثي الأبعاد اللاحق.
واجهة موحدة: يسمح هذا للنموذج بقبول مطالبات نصية ("حدد جميع السيارات") أو مطالبات بصرية (صندوق 2D رسمه المستخدم) والاستمرار في التسلسل لتوليد الحالة ثلاثية الأبعاد لذلك المثال المحدد.

ب. استراتيجيات التعلم المنهجي (Curriculum Learning)

لتحسين عملية فك الترميز ذاتي الانحدار، قدم المؤلفون منهجين للترتيب المنهجي:

المنهج البيني للأجسام (من القريب إلى البعيد):
- يتم تسلسل الأجسام حسب العمق، من الأقرب إلى الأبعد.
- المنطق: توفر الأجسام القريبة إشارات أحادية العدسة أقوى (أقل غموضًا) وهي أكثر أهمية للمنفعة المتمحورة حول الذات (السلامة/التفاعل). إن إنشاء هندسة الأجسام القريبة يوفر سياقًا (الحجم، الحجب) الذي يقيد التنبؤ بالأجسام البعيدة والأكثر غموضًا.
التحليل البيني للجسم (المركز $\to$ الحجم $\to$ الدوران):
- داخل كل جسم، يتم فك ترميز الصندوق ثلاثي الأبعاد بترتيب دلالي: الموقع ( $t$ ) $\to$ الأبعاد ( $d$ ) $\to$ الدوران ( $R$ ).
- المنطق: هذا يحاكي قابلية الملاحظة للإشارات أحادية العدسة. تحديد "أين هو؟" أسهل من تحديد "ما حجمه؟"، والذي بدوره أسهل من "كيف هو اتجاهه؟". هذا التحليل يثبت استقرار التعلم بجعل الموقع يقيد الخصائص اللاحقة.

ج. تنسيق البيانات

قام المؤلفون بإنشاء مجموعة بيانات ضخمة متمحورة حول الكاميرا (~1.74 مليون مثال) عبر توحيد ست مجموعات بيانات ثلاثية الأبعاد غير متجانسة (ARKitScenes, SUN-RGBD, Hypersim, Objectron, KITTI, nuScenes).

التطبيع (Normalization): يتم تحويل جميع البيانات إلى تنسيق JSONL مشترك بإحداثيات متمحورة حول الكاميرا.
مكافحة الهلوسة: تتضمن مجموعة البيانات "عينات سلبية" حيث يتم توجيه النموذج بفئات غائبة ويجب عليه إصدار رمز <no_object/>.
التوسيم الآلي: تم إنشاء أوصاف نصية واسعة النطاق للربط الأرضي باستخدام نماذج VLM قوية، مما يضمن تعبيرات مرجعية غنية.

3. المساهمات الرئيسية

صياغة سلسلة الرؤية (CoS): نموذج فك ترميز مبتكر يحول الكشف ثلاثي الأبعاد أحادي العدسة مفتوح العالم إلى مهمة تنبؤ بالرمز التالي أصلية. إنه يربط الربط الأرضي ثنائي الأبعاد الصريح مع التقدير ثلاثي الأبعاد، مما يحافظ على قدرات المفردات المفتوحة والمطالبات البصرية دون رؤوس متخصصة.
تصميم المنهج والتمثيل: منهج انحداري مخصص (ترتيب من القريب إلى البعيد وتحليل المركز-الحجم-الدوران) يحسن بشكل كبير المتانة، والمعايرة، وسرعة التقارب.
مجموعة بيانات موحدة متمحورة حول الكاميرا: مجموعة بيانات ضخمة وموحدة تشمل مشاهد داخلية وخارجية، مما يسمح بالتدريب القابل للتوسع والدراسات الاستقصائية المنهماس دون تغييرات هيكلية في المهمة.

4. النتائج التجريبية

تم تقييم النموذج على معيار Omni3D (مجموعة واسعة تغطي المشاهد الداخلية والخارجية).

أداء رائد (State-of-the-Art): حقق LocateAnything3D نسبة 38.90 AP3D على معيار Omni3D الكامل.
- هذا يتفوق على أفضل النتائج السابقة (DetAny3D) بمقدار +13.98 نقطة مطلقة.
- والأهم من ذلك، أنه يتفوق على النماذج المرجعية التي تستعين بصناديق 2D حقيقية (GT 2D boxes) (على سبيل المثال، سجل DetAny3D مع صناديق 2D حقيقية 34.38، بينما سجل LocateAnything3D 38.90). وهذا يثبت أن تعلم الـ 2D والـ 3D معًا في واجهة AR واحدة هو أمر متفوق على "رفع" مقترحات 2D خارجية.
التعميم صفري المحاولة (Zero-Shot Generalization): أظهر النموذج متانة قوية تجاه الفئات غير المرئية (الفئات المستبعدة)، متفوقًا على المنافسين بفوارق كبيرة (على سبيل المثال، +5.26 AP3D في الفئات الجديدة لـ SUN-RGBD).
الربط الأرضي ثلاثي الأبعاد (3D Grounding): في مهام الربط الأرضي الداخلي (Objectron, ARKitScenes, SUN-RGBD)، تفوق النموذج بشكل كبير على Cube-LLM (المدرب على 9.6 مليون صورة) رغم تدريبه على مجموعة بيانات أصغر وأكثر انتقاءً (1.7 مليون صورة)، مما يظهر قدرة فائقة على الاستدلال المكاني.
دراسات الاستبعاد (Ablation Studies):
- إزالة خطوة CoS ثنائية الأبعاد أدى إلى انخفاض الأداء بنحو 10 نقاط.
- عشوائية ترتيب الأجسام أو استخدام مسح خطوط المسح من اليسار إلى اليمين أدى إلى تدهور الأداء مقارنة بترتيب "من القرب إلى البعد".
- تغيير ترتيب الرموز داخل الجسم (مثل الدوران أولاً) قلل من الدقة.

5. الأهمية والتأثير

سد الفجوة: يعمل هذا العمل على سد الفجوة القائمة منذ زمن طويل بين التعرف ثنائي الأبعاد مفتوح المفردات والفهم المتري ثلاثي الأبعاد ضمن نموذج تأسيسي واحد.
الذكاء الاصطناعي المتجسد (Embodied AI): من خلال توفير واجهة أصلية لنماذج VLM للإدراك ثلاثي الأبعاد، فإنه يُمكّن الوكلاء المتجسدين من "رؤية" العالم بمصطلحات مترية ثلاثية الأبعاد، مما يسهل مهام مثل التنقل، والتلاعب، والتخطيط دون الحاجة لوحدات إدراك ثلاثية الأبعاد منفصلة.
الكفاءة: نهج CoS عالي الكفاءة في البيانات؛ حيث يحقق النموذج أداءً تنافسيًا باستخدام 10% فقط من بيانات التدريب مقارنة بنماذج التنبؤ ثلاثي الأبعاد الصرفة.
القابلية للتوسع: يسمح النهج الموحد القائم على الرموز (Tokens) بالتوسع بسهولة مع المزيد من البيانات والأنماط المتنوعة (مثل التوسعات المستقبلية إلى الفيديو أو الاستدلال متعدد الرؤى) دون الحاجة لإعادة تصميم الهيكل المعماري.

باختدال، يوضح LocateAnything3D أنه من خلال هيكلة الكشف ثلاثي الأبعاد كمسألة تنبؤ بالرمز التالي منضبطة وقائمة على المنهج مع ربط أرضي ثنائي الأبعاد صريح، يمكن لنماذج الـ VLMs تحقيق إدراك ثلاثي الأبعاد قوي ومفتوح العالم ينافس أو يتجاوز الأنظمة المتخصصة ذات المفردات المغلقة.