Geometry Beats Estimated Depth: RGB-Only Multi-Camera 3D Tracking under Sim2Real

تخيل أنك تحاول بناء فيلم ثلاثي الأبعاد لمستودع مزدحم باستخدام صور ثنائية الأبعاد مسطحة فقط تم التقاطها من كاميرات مراقبة. هذا هو عالم الإدراك ثلاثي الأبعاد متعدد الكاميرات، وهو مجال يحاول فيه الكمبيوتر فهم العالم الحقيقي ثلاثي الأبعاد بمجرد النظر إلى صور مسطحة. عادةً، للقيام بذلك بشكل مثالي، تستخدم الروبوتات مستشعرات خاصة تقيس المسافة مباشرة، مثل الخفاش الذي يستخدم السونار أو الإنسان الذي يستخدم عينيه لتقدير العمق. لكن في هذا التحدي المحدد، تكون الروبوتات "عمياء" تجاه المسافة؛ فهي تمتلك فقط كاميرات RGB قياسية (مثل تلك الموجودة في هاتفك) ومجموعة من القواعد حول كيفية وضع الكاميرات. السؤال الكبير الذي يطرحه العلماء هو: إذا كنت لا تستطيع قياس المسافة مباشرة، فما هي أفضل طريقة لتخمينها؟ هل يجب أن تجرب استخدام ذكاء اصطناوي فائق الذكاء لتخمين عمق كل بكسل في الصورة (مثل العراف الذي يخمن المسافة إلى شجرة)، أم يجب أن تعتمد على هندسة بسيطة وصارمة — باستخدام زوايا الكاميرات المعروفة لتحديد موقع الأشياء على الأرض؟

هذه الورقة البحثية، التي كتبها فريق من جامعة ولاية لويزيانا في نيو أورلينز وشركة PinPark لتحدي AI City لعام 2026، تغوص مباشرة في هذا الجدل. لقد أقاموا "شد حبل" بين استراتيجيتين مختلفتين تمامًا لتتبع الأشخاص والروبوتات في مستودع. أحد الفريقين (المؤلفون) راهن على الهندسة: استخدام خريطة الأرض المعروفة وزوايا الكميرات لرفع الأشكال ثنائية الأبعاد إلى الفضاء ثلاثي الأبعاد. الفريق الآخر، الذي اختبروه كخط أساس، راهن على العمق المُقدّر: استخدام ذكاء اصطناعي متطور لتخمين المسافة لكل بكسل، وتحويل الصور المسطحة إلى سحابة نقاط ثلاثية الأبعاد (مثل خريطة نقاط رقمية)، ثم تشغيل كاشف ثلاثي الأبعاد عليها. كانت النتائج صادمة وواضيحة. فاز فريق الهندسة باكتساح، بينما انهار فريق "تخمين العمق" تمامًا. تشير الورقة إلى أنه في هذا الإعداد المحدد (Sim2Real) (حيث يتم تدريب الروبوت على بيانات وهمية ولكن يتم اختباره على بيانات حقيقية)، فإن امتلاك فهم مشترك ومتسق للأرض عبر جميع الكاميرات هو أكثر أهمية من امتلاك تخمين مثالي للعمق لكل بكسل على حدة.

عملية سطو كبيرة على المستودع: طريقتان للرؤية ثلاثية الأبعاد

تبدأ القصة في مستودع محاكى ضخم على وشك أن يصبح حقيقيًا جدًا. التحدي هو تتبع الأجسام المتحركة — مثل الرافعات الشوكية، وشاحنات المنصات، وحتى البشر الآليين — باستخدام تغذيات فيديو فقط من كاميرات متعددة. العائق؟ الكاميرات لا تملك مستشعرات عمق. إنها مجرد عيون عادية. يجب على الذكاء الاصطناعي معرفة مكان كل شيء في الفضاء ثلاثي الأبعاد (أعلى/أسفل، يسار/يمين، أمام/خلف) بمجرد النظر إلى صور مسطحة.

قام المؤلفون بإعداد "محققين" مختلفين لحل هذه القضية.

المحقق (أ): فريق الهندسة أولاً
اتخذ هذا الفريق نهجًا منطقيًا "تقليديًا". لم يحاولوا تخمين عمق كل بكسل. بدلاً من ذلك، قالوا: "نحن نعلم أن الأرض مسطحة، ونعرف بالضبط أين توضع الكاميرات".

1. رصد الجسم: أولاً، استخدموا كاشفًا قويًا (يسمى YOLO11x) لإيجاد صناديق ثنائية الأبعاد حول الأجسام في كل عرض للكاميرا.
2. الرفع إلى العالم: أخذوا الجزء السفلي الأوسط من تلك الصناديق ثنائية الأبعاد وقاموا بإسقاطها على مستوى الأرض المعروف باستخدام الرياضيات (Homography). الأمر يشبه تسليط كشاف ضوئي من الكاميرا عبر أسفل الصندوق على الأرض لرؤية أين يستقر.
3. الدمج والتتبع: بما أن نفس الرافعة الشوكية قد تُرى من ثلاث كاميرات مختلفة، فقد قاموا بدمج هذه النقاط "المرفوعة" في موقع ثلاثي الأبعاد واحد. ثم تتبعوا الجسم أثناء تحركه عبر أرض المستودع.
4. السر المكنون: أضافوا خطوة أخيرة تسمى "الربط خارج الخط الزمني" (offline stitching). تخيل محققًا يدرك فجأة: "مهلًا، لقد فقدت المشتبه به لمدة خمس ثوانٍ، لكنه ظهر هنا مجددًا. إنه الشخص نفسه!" لقد ربطوا قطع التتبع المكسورة معًا لإصلاح الهوية.

المحقق (ب): فريق الـ Pseudo-LiDAR
حاول هذا الفريق النهج "الحديث" الذي نجح في الماضي عندما كانت بيانات العمق متاحة. لقد حاولوا تزييف الأمر.

1. تخمين العمق: استخدموا نموذج ذكاء اصطناعي متطور (مثل D4RT أو Metric3D) للنظر إلى الصورة المسطحة وتخمين المسافة لكل بكسل. هذا يحول الصورة ثنائية الأبعاد إلى سحابة نقاط ثلاثية الأبعاد، محاكيًا مستشعرًا ثلاثي الأبعاد حقيقيًا (LiDAR).
2. الكشف في 3D: قاموا بتغذية هذه السحابة النقطية "المزيفة" في كاشف ثلاثي الأبعاد (V-DETR) للعثور على الأجسام.
3. الأمل: أملوا أنه حتى بدون عمق حقيقي، يمكن للذكاء الاصطناعي تخمين العمق جيدًا بما يكفي لبناء خريطة ثلاثية الأبعاد مثالية.

النتيجة الصادمة: الهندسة تفوز، والتخمين يخسر

لم تكن النتائج مجرد فوز، بل كانت اكتساحًا. حقق فريق "الهندسة أولاً" درجة 13.0 HOTA (وهي مقية لمدى جودة تتبع وتحديد مواقع الأجسام). أما فريق "Pseudo-LiDAR"، فريق "التخمين"، فقد انهار إلى درجة 0.12. هذا أسوأ بنحو مائة مرة تقريبًا.

لماذا فشل فريق التخمين بهذا الشكل السيئ؟ تشير الورقة إلى أن المشكلة لم تكن في سوء قدرة الذكاء الاصطناعي على تخمين العمق في صورة واحدة. المشكلة كانت في الاتساق.
تخيل أنك وثلاثة من أصدقائك تحاولون رسم خريطة لغرفة بناءً على صور التقطها كل منكم.

• فريق الهندسة: اتفقوا جميعًا على مكان الأرض. حتى لو لم يكونوا مثاليين، فقد اتفقوا جميعًا على مستوى الأرض. عندما دمجوا خرائطهم، كانت الأرض مسطحة، وكانت الرافعات الشلوكية قائمة بشكل مستقيم.
• فريق Pseudo-LiDAR: قام كل منهم بتخمين العمق بشكل مستقل. صديق ظن أن الأرض ترتفع مترًا واحدًا، وآخر ظن أنها متران، وثالث ظن أنها تطفو في الهواء. عندما حاولوا دمج خرائطهم، أصبحت الأرض مشوهة ومتعرجة. انتهى الأمر بالرافعات الشوكية وهي تطفو في السماء أو مدفونة تحت الأرض.

يسمي المؤلفون هذا "عدم الاتساق عبر الرؤى" (cross-view inconsistency). حتى لو خمن الذكاء الاصطناعي عمق بكسل واحد بشكل صحيح، فإذا خمن عمقًا مختلفًا لنفس الأرض في رؤى كاميرات مختلفة، فإن الخريطة ثلاثية الأبعاد ستنهار. تُظهر الورقة أنه لهذه المهمة المحددة، فإن امتلاك هندسة مشتركة ومتسقة (مخطط الأرض) هو أكثر أهمية بكثير من امتلاك تخمين مثالي للعمق لكل بكسل.

ما الذي لم ينجح (ولماذا)

لم يتوقف المؤلفون عند مقارنة الفريقين فحسب؛ بل حاولوا إصلاح الفريق الخاسر وتحسين الفريق الفائز بكل حيلة ممكنة. لقد اختبروا:

• كواشف أفضل: حاولوا استبدال الكاشف الرئيسي بنماذج أحدث وأكثر تطورًا (مثل RT-DETR) أو دمجها. النتيجة: لم ينفع ذلك. المشكلة لم تكن في الكاشف، بل في نقص البيانات الواقعية للتدريب عليها.
• الكشف المجزأ (Sliced Detection): حاولوا تقسيم الصور إلى قطع صغيرة لالتقاط الأجسام الصغيرة (مثل عربة المنصات البعيدة). النتيجة: أدى هذا في الواقع إلى جعل الأمور أسوأ. لقد وجدوا المزيد من الأجسام، لكن معظمها كان إنذارات خاطئة (أشباح)، مما أربك نظام التتبع.
• تعلم الرفع (Learning to Lift): حاولوا استبدال الرياضيات البسيطة لعملية "الرفع" إلى الأرض بشبكة عصبية "تتعلم" كيفية القيام بذلك. النتيجة: كارثة. انخفضت الدرجة إلى ما يقرب من الصفر. كانت الرياضيات البسيطة في الواقع أكثر موثوقية من التعلم.
• إعادة التعرف على المظهر (Appearance Re-ID): حاولوا تحديد الأجسام من خلال مظهرها (مثل "تلك هي الرافعة الحمراء"). النتيجة: لم يساعد ذلك لأن الإضاءة والزوايا تغيرت كثيرًا في العالم الحقيقي.

الشيء الوحيد الذي ساعد فريق الهندسة هو الربط خارج الخط الزمني (offline stitching). من خلال العودة بعد انتهاء العملية وإصلاح مسارات التتبع المكسورة (ربط القطع "المفقودة" و"الموجودة" لنفس الجسم)، حسنوا درجاتهم قليلاً. وهذا يخبرنا أن العائق الرئيسي هو جودة الكشف (إيجاد الجسم في المقام الأول)، وليس منطق التتبع.

الخلاصة الكبرى

تختتم الورقة بدرس واضح لأي شخص يبني روبوتات تحتاج إلى الرؤية ثلاثية الأبعاد بدون مستشعرات خاصة: لا تحاول تخمين العمق إذا كان بإمكانك استخدام الهندسة.

في عالم يتم فيه تدريب الروبوت على بيانات وهمية ولكن يتم اختباره في العالم الحقيقي، فإن محاولة تعلم عمق كل بكسل تؤدي إلى خريطة فوضوية وغير متسقة. بدلاً من ذلك، فإن الالتزام بقواعد العالم (الأرض مسطحة، والكاميرات ثابتة) واستخدام رياضيات صريحة وبسيطة لرفع الكشوفات ثنائية الأبعاد إلى فضاء ثلاثي الأبعاد هو الأكثر موثوقية. "سحر" تخمين العمق ليس سحريًا بما يكفي للتغلب على ارتباك العالم الحقيقي. المسار الأمثل ليس ذكاءً اصطناعيًا أفضل لتخمين العمق؛ بل هو كواشف أفضل يمكنها بالفعل رؤية الأجسام بوضوح في المقام الأول.