💻 computer science

FOUND-IT: Foundation-model-first Task-driven 3D Scene Graphs with Granularity on Demand

يقدم البحث إطار العمل FOUND-IT، وهو إطار عمل فوري وموجه بالمهام يستفيد من النماذج التأسيسية الهندسية لتوليد رسوم بيانية للمشاهد ثلاثية الأبعاد هرمية ديناميكية ذات دقة قابلة للتعديل لمهام التنقل والتلاعب المتطورة في بيئات أحادية الكاميرا غير معايرة.

المؤلفون الأصليون: Dominic Maggio, Nicolas Gorlo, Luca Carlone

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Dominic Maggio, Nicolas Gorlo, Luca Carlone

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم روبوت كيفية التنقل داخل منزل. معظم الروبوتات اليوم تشبه الطلاب الذين يحفظون خريطة بمستوى واحد ثابت من التفاصيل. إذا احتاجوا للذهول إلى المطبخ، فإنهم يرون الغرفة بأكملها. ولكن إذا احتاجوا لتدوير مقبض معين في الموقد، فإنهم يعلقون لأن خريطتهم ضبابية للغاية بحيث لا يمكنهم رؤية المقبض، أو مزدحمة للغاية بحيث لا يمكنهم رؤية الغرفة بأكملها في وقت واحد. كما أنهم يحتاجون عادةً إلى كاميرات ثلاثية الأبعاد متخصصة وباهظة الثمن لبناء هذه الخريطة.

يقدم البحث نظام FOUND-IT، وهو نظام يعمل كأمين مكتبة ذكي ومتكيف لذاكرة الروبوت. إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

1. ذاكرة "عدسة الزووم" (الدقة عند الطلب)

فكر في FOUND-IT ليس كخريطة ثابتة، بل كـ عدسة كاميرا ذكية تغير تركيزها بناءً على ما يُطلب من الروبوت فعله.

المشكلة: الأنظمة التقليدية تقرر "حجم" الأشياء عند رؤيتها للغرفة لأول مرة. قد تقرر أن الموقد مجرد جسم واحد كبير. لاحقاً، إذا احتاج الروبوت لتدوير مقبض، فلن يتمكن من رؤية المقبض لأن الخريطة بعيدة جداً (Zoomed out).
حل FOUND-IT: يحتفظ بـ "ذاكرة بصرية" لإطارات الفيديو الخام ولكنه لا يحبسها في أحجام أشياء محددة بعد. عندما يتلقى الروبوت مهمة، يقوم بالتقريب أو التبعيد فوراً.
- المهمة: "اذهب إلى المطبخ." -> يقوم النظام بالابتعاد (Zoom out) ليرى الغرفة بأكملها كمساحة واحدة كبيرة.
- المهمة: "أطفئ الموقد." -> يقوم بالتقريب (Zoom in) لتحديد مقابض معينة على الموقد.
- المهمة: "ابحث عن الغلاية." -> يقوم بالتقريب بما يكفي فقط لرؤية الغلاية.
- التشبيه: يشبه الأمر امتلاك "خرائط جوجل" التي يمكنها التبديل فوراً بين إظهار المدينة بأكملها، أو حي معين، أو عنوان شارع واحد، دون الحاجة لإعادة رسم الخريطة في كل مرة.

2. الكاميرا "ذات العين الواحدة" (كاميرا أحادية غير معايرة)

تحتاج معظم الروبوتات المتقدمة إلى كاميرتين (رؤية ستيريو) أو مستشعر عمق (مثل ماسح ليزر) لفهم الفضاء ثلاثي الأبعاد. هذا يجعلها ثقيلة، باهظة الثمن، وصعبة الإعداد.

حل FOUND-IT: يستخدم كاميرا واحدة قياسية (مثل تلك الموجودة في هاتفك) و"نموذج تأسيسي" ذكاء اصطناعي قوي (عقل مدرب مسبقاً يعرف بالفعل كيف يعمل الفضاء ثلاثي الأبعاد) لتخمين العمق وهيكل الغرفة.
التشبيه: يشبه الأمر كيف يمكن للبشر المشي في غرفة مظلمة ومعرفة أماكن الأثاث بمجرد النظر بعين واحدة واستخدام خبرة عقولهم. يقوم FOUND-IT بذلك رياضياً باستخدام بث كاميرا واحدة.

3. مولد "مخطط الطوابق" (طبقة الأماكن)

للتنقل، يحتاج الروبوت لمعرفة أين يمكنه السير (المساحات القابلة للعبور) وأين لا يمكنه ذلك (الجدران، الطاولات).

حل FOUND-IT: بدلاً من الحسابات الهندسية المعقدة، يضيف النظام "رأساً" خاصاً (أداة ذكاء اصطناعي إضافية صغيرة) إلى عقل الكاميرا الرئيسي. هذه الأداة تنظر إلى الفيديو وترسم فوراً "مخطط طوابق" على الأرض، وتحدد البلاطات التي يمكن للروبوت السير عليها.
التشبيه: تخيل روبوتاً ينظر إلى فيديو لغرفة معيشة فوضوية. بينما تعاني الأنظمة الأخرى لتحديد أين ينتهي الأرض وينتهي السجاد، يقوم FOUND-IT فوراً بتظليل بلاطات الأرض القابلة للمشي باللون الأخضر، متجاهلاً الجدران والأثاث، مما يخلق مساراً آمناً يتبعه الروبوت.

4. نظام "التجميع الذكي" (المناطق)

غالباً ما تحتاج الروبوتات لفهم مفاهيم مثل "المطبخ" أو "الرواق"، وهي ليست مجرد أشياء مفردة بل مجموعات من الأماكن.

حل FOUND-IT: يأخذ "بلاطات الأرض" التي وجدها ويجمعها في مناطق بناءً على ما يطلبه الروبوت. إذا طلب الروبوت "المطبخ"، يجمع النظام كل بلاطات الأرض التي تبدو كمطبخ ويربطها ببعضها.
التشبيه: إذا سألت بشراً، "أين المطبخ؟"، فقد يشير إلى منطقة معينة. وإذا سألته، "أين منطقة اللعب؟"، فقد يشير إلى ركن مختلف في نفس الغرفة. يقوم FOUND-IT بهذا ديناميكياً، حيث يجمع بلاطات الأرض في "غرف" فقط عند الطلب، بدلاً من فرض تقسيم المنزل إلى غرف ثابتة مسبقاً.

5. "الوكيل" (العقل)

يتضمن النظام "وكيلاً" للذكاء الاصطنا- (مساعد رقمي) يتحدث مع الروبوت.

كيف يعمل: عندما يتلقى الروبوت أمراً (مثلاً: "أحضر لي المنشفة")، لا يقوم الوكيل بمجرد البحث في قائمة معدة مسبقاً. بل يقوم ببناء الخريطة بنشاط أثناء حركته، باحثاً عن المناشف، والتحقق مما إذا كانت موجودة، وإذا لم تكن موجودة، يدرك أن المنشفة ليست هناك وربما يبحث عن شيء آخر.
التشبيه: يشبه الأمر المحقق الذي لا يكتفي بقراءة ملف، بل يحقق بنشاط في مسرح الجريمة، بحثاً عن الأدلة (الأشياء) ذات الصلة بالقضية المحددة (المهمة)، ويقوم بتحديث خريطته الذهنية في الوقت الفعلي.

ما أثبتوه بالفعل

اختبر المؤلفون هذا النظام بعدة طرق لإثبات نجاحه:

الدقة: كان أفضل بكثير (بتحسن قدره 79%) في العثور على الأشياء وفهم المهام مقارنة بالطرق السابقة في الاختبارات القياسية.
السرعة: يعمل في الوقت الفعلي على روبوت (تحديداً الروبوت الكلب "Spot") باستخدام كمبيوتر داخلي قوي (Jetson Thor).
الاستخدام في العالم الحقيقي: نجحوا في بناء هذه الخرائط ثلاثية الأبعاد باستخدام فيديوهات عادية صورها وكلاء عقارات من موقع YouTube، مما يثبت أنه يعمل على فيديوهات غير مثالية وغير منضبطة من الإنترنت، وليس فقط على بيانات مخبرية مثالية.

باختة، FOUND-IT هو نظام يسمح للروبوت ببناء خريطة ثلاثية الأبعاد لغرفة باستخدام كاميرا واحدة فقط، ثم التكبير أو التصغير فوراً ليرى بالضبط ما يحتاجه للقيام بالمهمة، سواء كان ذلك التنقل في ممر أو تدوير مقبض صغير.