EgoTraj: Real-World Egocentric Human Trajectory Dataset for Multimodal Prediction
تقدم الورقة البحثية EgoTraj، وهي مجموعة بيانات متعددة الوسائط جديدة ومفتوحة تضم 75 تسلسلاً للملاحة الحضرية في العالم الحقيقي تم التقاطها عبر سماعات الرأس Meta Quest Pro مع فيديو RGB متزامن، ووضعيات رأس بـ 6 درجات حرية، وبيانات نظرة العين ثلاثية الأبعاد، والمصممة لتعزيز الأبحاث في التنبؤ بمسار الإنسان من منظور الشخص الأول للروبوتات والأنظمة المساعدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة بحث EgoTraj، مترجم إلى لغة يومية مع بعض التشبيهات الإبداعية.
الفكرة الكبرى: رؤية العالم من منظور شخص آخر
تخيل أنك تحاول تعليم روبوت كيف يمشي في مدينة مزدحمة. معظم الروبوتات تتعلم من خلال مشاهدة فيديوهات ملتقطة من منظور عين الطائر (مثل طائرة بدون طيار تحلق فوق الشارع). هي ترى أين يذهب الناس، لكنها لا تفهم لماذا يذهبون إلى هناك أو إلى ماذا ينظرون.
تقدم هذه الورقة البحثية EgoTraj، وهي مجموعة بيانات جديدة صُممت لإصلاح ذلك. بدلاً من منظور الطائرة بدون طيار، تسجل EgoTraj العالم تماماً كما يراه الإنسان: من عينيه هو. الأمر يشبه إعطاء الروبوت "نظارات سحرية" لا تعرض الفيديو فحسب، بل تتبع أيضاً بدقة أين ينظر مرتديها، وكيف يتحرك رأسه، وكيف يبدو العالم من حوله.
"النظارات السحرية" (الأجهزة المستخدمة)
استخدم الباحثون نظارات Meta Quest Pro (نوع من نظارات الواقع الافتراضي التي قد ترتديها للألعاب) لجمع هذه البيانات. فكر في هذه النظارات كأنها معدات تجسس عالية التقنية تلتقط ثلاثة أشياء في وقت واحد:
- الفيلم: فيديو كامل الألوان لما يراه الشخص (المنظور "الذاتي المركز").
- حركة الرأس: خريطة دقيقة لكيفية دوران وتحرك رأس الشخص (بـ 6 درجات من الحرية).
- نظرة العين: مؤشر ليزر يوضح بالضبط أين ينظر الشخص في كل لحظة.
"الرحلة الميدانية" (جمع البيانات)
لم يطلب الفريق من الناس مجرد المشي في خط مستقيم داخل مختبر. بل أرسلوا 75 متطوعاً مختلفاً إلى مدينة حقيقية ومزدحمة.
- المهمة: تم إعطاء كل شخص معلمين (مثل "ابدأ من المكتبة، وانتهِ عند المقهى") ولكن كان لديهم الحرية في اختيار مسارهم الخاص. كان بإمكانهم اتخاذ طرق مختصرة، أو عبور شوارع مزدحمة، أو التسلل عبر الحشود.
- النتيجة: خلق هذا مكتبة ضخمة من بيانات المشي تبلغ 10.7 ساعة. وتتضمن أكثر من مليون إطار فيديو وتلتقط 75 شخصاً فريداً يتنقلون في فوضى حضرية حقيقية.
- التنوع: كانت المجموعة متنوعة من حيث العمر والجنس والجنسية، مما يضمن أن البيانات تمثل السلوك البشري الحقيقي، وليس نوعاً واحداً فقط من المشاة.
"الخلطة السرية" (لماذا هذه المجموعة مميزة)
كانت مجموعات البيانات السابقة تشبه النظر إلى خريطة؛ أما EgoTraj فهي تشبه الجلوس في مقعد السائق.
- الارتباط بنظرة العين: تسلط الورقة الضوء على اكتشاف حاسم: البشر ينظرون قبل أن يتحركوا. إذا كنت على وشك الالتفاف عند زاوية، فعادة ما تنظر عيناك إلى هناك قبل ثانية أو ثانيتين من دوران جسدك. تلتقط EgoTraj سلوك "النظر الاستباقي" هذا.
- التعليقات التوضيحية: استخدم الباحثون ذكاءً اصطناعياً ذكياً (نموذج رؤية ولغة) لمشاهدة الفيديوهات وكتابة ما يحدث. لم يكتفِ النموذج بالقول "الشخص يمشي"؛ بل قال: "الشخص ينظر إلى إشارة مرور حمراء وينتظر العبور". هذا يضيف طبقة من "النية" إلى البيانات.
"تجربة القيادة" (القياس المرجعي)
لإثبات فائدة هذه البيانات، اختبر الباحثون عدة نماذج حاسوبية (خوارزميات) لمعرفة ما إذا كان بإمكانها التنبؤ بمكان مشي الشخص تالياً.
- الطريقة القديمة: النماذج التي نظرت فقط إلى الحركة الماضية (مثل سيارة تخمن وجهتها بناءً على سرعتها الحالية) غالباً ما فشلت. كانت تتجاوز المنعطفات أو تخطئ في التوقف المفاجئ.
- الطريقة الجديدة: النماذج التي استخدمت بيانات EgoTraj — وتحديداً تلك التي نظرت إلى أين ينظر الشخص (نظرة العين) و ما يحيط به (سياق المشهد) — كانت أفضل بكثير.
- الفائز: النموذج الأفضل دمج بين تاريخ حركة الشخص ونظرة عينه ووصف المشهد. كان الأمر يشبه وجود مساعد طيار يقول: "مهلاً، إنهم ينظرون إلى ممر المشاة هذا، لذا فمن المرجح أنهم سيتوقفون".
"لوحة التحكم" (أدوات للآخرين)
لم يحتفظ الفريق بالبيانات لنفسه فحسب؛ بل بنوا لوحة تحكم (تسمى EgoViz). تخيل قمرة قيادة حيث يمكنك مشاهدة الفيديو، ورؤية المسار ثلاثي الأبعاد الذي سلكه الشخص، ومشاهدة سهم صغير يوضح بالضبط أين كانت عيناه تنظران، وكل ذلك متزامن بشكل مثالي. هذا يساعد العلماء الآخرين على فحص البيانات وبناء أنظمة أفضل.
لماذا يهم هذا؟ (وفقاً للورقة البحثية)
تنص الورقة على أن مجموعة البيانات هذه هي خطوة نحو:
- الملاحة المساعدة: مساعدة المكفوفين أو ضعاف البصر على التنقل بأمان من خلال التنبؤ بمكان رغبتهم في الذهاب بناءً على نظرة أعينهم.
- الروبوتات: تعليم الروبوتات البشرية كيفية المشي عبر الحشود دون الاصطدام بالناس، من خلال فهم الإشارات الاجتماعية والانتباه البشري.
- الواقع المعزز (AR): جعل نظارات الواقع المعزز أكثر ذكاءً بحيث يمكنها تقديم توجيهات مفيدة (مثل "احذر من تلك السيارة") في اللحظة المناسبة تماماً.
باختصار، EgoTraj هي مكتبة ضخمة وعالية الجودة لـ "المشي البشري من الداخل إلى الخارج"، كاملة بتتبع العين ووصف المشهد، مصممة لمساعدة الآلات على فهم ليس فقط أين نذهب، بل لماذا نذهب إلى هناك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.