ObjectForesight: Predicting Future 3D Object Trajectories from Human Videos
يُعد ObjectForesight نموذجًا ديناميكيًا ثلاثي الأبعاد يعتمد على الأجسام وقابلًا للتوسع، يتنبأ بمسارات الأجسام المستقبلية ذات درجات الحرية الست (6-DoF) من مقاطع فيديو قصيرة بمنظور الشخص الأول عبر تمثيل هندسة العالم صراحةً على مستوى الأجسام، وقد تم تدريبه على مجموعة بيانات واسعة النطاق تضم مليوني مقطع فيديو ذات حقائق أرضية زائفة لتحقيق دقة وقدرة على التعميم تتفوق على النهج التقليدية القائمة على البكسل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد صديقاً لك وهو يعد فنجان قهوة. تراه يمسك بالمج، يرفعه، ثم يميل به لسكب الماء. حتى قبل أن يلمس الماء الفنجان، يكون عقلك قد "حاكى" بالفعل الثواني القليلة القادمة: أنت تعلم أن المج سينحني، والماء سينساب، ثم سيعود المج إلى وضعه الطبيعي. أنت تفهم فيزياء الشيء دون الحاجة لأن تكون عالم فيزياء.
تقدم هذه الورقة البحثية ObjectForesight، وهو نظام حاسوبي صُمم لمنح الذكاء الاصطناعي هذا "الشعور الحدسي" حول كيفية تحرك الأشياء في العالم الحقيقي.
إليك تفصيل آلية عمله، باستخدام تشبيهات بسيطة:
1. المشكلة: الذكاء الاصطناعي بارع في الرؤية، لكنه سيء في "الشعور"
معظم نماذج الذكاء الاصطناعي اليوم تشبه المصورين الفوتوغرافيين؛ فهي مذهلة في التقاط صورة لمشهد ووصف ما تراه ("هناك كوب على الطاولة"). ولكن إذا سألتها: "ماذا سيحدث لهذا الكوب إذا أمسكه شخص ما؟"، فإنها غالباً ما تخمن عشوائياً أو تكتفي بتكرار الإطار الأخير. إنها تفتقر إلى الفهم الداخلي لـ الفيزياء والسبب والنتيجة.
تحاول الطرق الحالية التنبؤ بالمستقبل عبر تخمين شكل الصورة التالية (بكسل تلو الآخر). هذا يشبه محاولة التنبؤ بفيلم عبر تخمين لون البكسل التالي على الشاشة؛ إنه أمر فوضوي وغالباً ما ينتج عنه فيديوهات ضبابية وغير منطقية.
2. الحل: ObjectForesight (المحاكي الذهني)
لقد بنى المؤلفون نظاماً لا يخمن البكسلات فحسب، بل يخمن الحركة ثلاثية الأبعاد.
فكر في ObjectForesight ليس ككاميرا، بل كـ محرك دمى ثلاثي الأبعاد.
- المدخلات: يشاهد مقطع فيديو قصير لإنسان يتفاعل مع جسم ما (مثل يد تمسك بسكين).
- السحر: بدلاً من النظر إلى الفيديو بأكمله، يركز تماماً على الجسم. ويسأل: "لو كنت أنا هذا السكين، كيف سأتحرك إذا لمستني يد؟"
- المخرجات: يتنبأ بالمسار الدقيق (المسار الحركي) الذي سيتخذه الجسم في الفضاء ثلاثي الأبعاد للثواني القليلة القادمة. فهو يخبرك بالضبط أين سيكون الجسم، وكيف سيدور، وكيف سينحني.
3. كيف دربوه: مكتبة "الـ 2 مليون مقطع"
لتعليم الكمبيوتر هذا النوع من الحدس، تحتاج إلى كمية هائلة من بيانات التدريب. ولكن هناك مشكلة: لا يوجد أحد يمتلك قاعدة بيانات لـ "فيديوهات ثلاثية الأبعاد مثالية لأشخاص يحركون الأشياء".
لذلك، بنى الفريق مصنع بيانات روبوتي:
- المصدر: أخذوا 76,000 ساعة من فيديوهات "Epic-Kitchens" (أشخاص يطبخون في منازلهم).
- الفلترة: استخدموا أدوات ذكاء اصطناائي متقدمة للعثور تلقائياً على المقاطع الجيدة حيث تلمس يدٌ جسماً ما بالفعل.
- إعادة البناء: استخدموا أدوات ذكاء اصطناعي أخرى لتحويل تلك الفيديوهات ثنائية الأبعاد المسطحة إلى نماذج ثلاثية الأبعاد. لقد استنتجوا شكل الملعقة، وعمق الطاولة، والزاوية الدقيقة لليد.
- النتيجة: أنشأوا مكتبة تضم 2 مليون مقطع قصير ثلاثي الأبعاد لأجسام يتم تحريكها. هذا يشبه إعطاء الذكاء الاصطناعي مكتبة من ملايين سيناريوهات "ماذا لو" ليدرسها.
4. المحرك: كرة التنبؤ "الانتشارية" (Diffusion)
جوهر النظام هو محول الانتشار (Diffusion Transformer).
- التشبيه: تخيل أن لديك كرة بلورية شفافة، لكن شخصاً ما غطاها بضجيج إلكتروني (Static noise).
- العملية: يبدأ الذكاء الاصطناعي بضجيج نقي (تشويش عشوائي) ثم يقوم بـ "إزالة الضجيج" تدريجياً، خطوة بخطوة، مسترشداً بالفيديو الذي شاهده للتو.
- لماذا هذا رائع: في العالم الحقيقي، المستقبل ليس مساراً واحداً وحيداً. إذا دفعت كوباً، فقد ينزلق يساراً، أو قد ينقلب. إنه أمر احتمالي.
- نماذج الذكاء الاصطناعي القديمة (مثل النماذج ذات الترتيب الذاتي/Autoregressive) تحاول اختيار مسار واحد وتتعثر إذا ارتكبت خطأً طفيفاً في البداية.
- أما ObjectForesight (باستخدام تقنية الانتشار) فيمكنه توليد مستقبلات متعددة محتملة. يمكنه القول: "هناك احتمال 50% أن ينزلق الكوب يساراً، و30% أن ينقلب". هذا يجعله أكثر قوة وواقعية.
5. لماذا هذا مهم؟
هذا ليس مجرد تنبؤ بمكان ذهاب الكوب. هذه قفزة هائلة لـ الروبوتات.
- الروبوتات الحالية: إذا طلبت من روبوت التقاط كوب، فغالباً ما يعاني إذا كان الكوب زلقاً أو إذا انزلقت اليد. إنه لا "يعرف" ما سيحدث بعد ذلك.
- روبوتات المستقبل: مع ObjectForesight، يمكن للروبوت أن يراقبك ويتنبأ بأن "أوه، إذا أمسكت بهذا البرطمان بقوة شديدة، فسوف يتحطم"، أو "إذا دفعت هذا الصندوق، فسوف ينزلق عن الطاولة". يمكنه التخطيط لأفعاله بناءً على محاكاة ذهنية للمستقبل.
الملخص
ObjectForesight يشبه منح الكمبيوتر "حاسة سادسة" للفيزياء. من خلال تحويل ملايين الفيديوهات المنزلية إلى بيانات حركة ثلاثية الأبعاد واستخدام محرك "إزالة ضجيج" ذكي، فإنه يعلم الآلات كيف تنظر إلى جسم ما وتعرف حدسياً كيف سيتحرك، ويدور، ويتفاعل مع العالم من حوله. إنه ينقل الذكاء الاصطناعي من مجرد رؤية العالم إلى فهم كيفية عمل العالم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.