MobileEgo Anywhere: Open Infrastructure for long horizon egocentric data on commodity hardware
تقدم هذه الورقة MobileEgo Anywhere، وهو إطار عمل يستفيد من الهواتف الذكية الشائعة لتعميم جمع مجموعات بيانات منظور الشخص الأول واسعة النطاق ومدتها ساعة كاملة مع تتبع الحالة المستمر، مما يعالج ندرة البيانات طويلة المدى اللازمة لتطوير نماذج الرؤية واللغة والعمل (Vision Language Action models).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد تعليم روبوت كيفية طهي وجبة معقدة، مثل تحضير عشاء عيد الشكر كاملاً؛ لا يمكنك مجرد عرض مقطع مدته 10 ثوانٍ لتقطيع بصلة؛ بل تحتاج إلى إظهار العملية بأكملها، بدءاً من المشي إلى المطبخ وصولاً إلى غسل الأطباق، حتى يفهم تدفق العمل وتوقيته في مهمة طويلة.
هذه هي المشكلة التي تحاول ورقة البحث "MobileEgo Anywhere" حلها.
إليك تفصيل لحلها باستخدام تشبيهات بسيطة:
1. المشكلة: فخ "المقطع القصير"
لفترة طويلة، تم تدريب الروبوتات على بيانات تشبه "الإعلانات الترويجية القصيرة والمتقطعة للأفلام". تعرض مجموعات البيانات الحالية للروبوتات مهاماً صغيرة جداً لدقائق معدودة، لكنها تكسر الرابط بين الخطوات.
- التشبيه: تخيل أنك تحاول تعلم كيفية بناء منزل من خلال مشاهدة فيديوهات مدتها 30 ثانية لشخص يضع طوبة واحدة فقط، ثم ينتقل المشهد إلى منزل آخر، ثم ينتقل إلى شخص آخر. لن تفهم أبداً كيفية بناء المنزل بأكمله.
- عقبة الأجهزة: عادةً، يتطلب الحصول على هذا النوع من الفيديو الطويل وعالي الجودة بدلات روبوتية ضخمة وباهظة الثمن أو كاميرات متخصصة لا يستطيع تحمل تكلفتها إلا العلماء.
2. الحل: تحويل هاتفك الآيفون إلى مدرب للروبوت
بنى المؤلفون نظاماً يسمى MobileEgo Anywhere. لقد أدركوا أن الجميع تقريباً يمتلك بالفعل حاسوباً فائق القدرة في جيوبهم: هاتفاً ذكياً حديثاً (تحديداً iPhone Pro).
- التشبيه: بدلاً من بناء منصة كاميرات بتكلفة 50,000 دولار، قاموا بتحويل الهاتف إلى "خوذة ذكية". أنت تربط هاتفك برأسك (مثل كاميرا GoPro)، ويصبح هو "عيون" الروبوت.
- سحر الـ "Anywhere" (في أي مكان): نظرًا لأن الهواتف موجودة في كل مكان، يمكن لأي شخص تسجيل البيانات في مطبخه الخاص، أو غرفة معيشته، أو مرآبه. هذا يزيل "حاجز الأجهزة"، مما يجعل جمع بيانات الروبوت سهلاً مثل التقاط صورة سيلفي.
3. السر الصغير: "العين التي لا ترمش"
تحتاج الروبوتات إلى معرفة موقعها بدقة في الفضاء (6 درجات من الحرية) لتحريك أيديها بشكل صحيح. عادةً، إذا مشيت في غرفة لمدة ساعة، فقد ترتبك الكاميرا وتفقد تتبع موقعها الأصلي (وهذا ما يسمى بالانحراف أو "Drift").
- التشبيه: فكر في تقنية ARKit (البرنامج الموجود داخل الآيفون) كأنها بوصلة وخريطة داخلية فائقة الدقة. حتى لو تجولت في منزلك بأكمله لمدة ساعة، فإن الهاتف يعرف مكانك بالضبط بالنسبة لنقطة البداية، بهامش خطأ أقل من عرض ظفر الإصبع (أقل من 1 سم).
- النتيجة: قاموا بجمع 200 ساعة من الفيديو المستمر حيث لم تفقد "عيون" الروبوت مكانها أبداً.
4. المترجم: تحويل الفيديو إلى "تعليمات روبوتية"
الفيديو الخام ليس كافياً؛ يحتاج الروبوت إلى فهم ما يحدث بالكلمات وفي الفضاء ثلاثي الأبعاد. بنى المؤلفون مسار عمل يعمل مثل مترجم فائق الذكاء.
- تتبع اليد ثلاثي الأبعاد: يراقب النظام يديك ويكتشف بالضبط كيف تنثني أصابعك في الفضاء ثلاثي الأبعاد، حتى لو كنت تمسك بملعقة أو كوب.
- "الراوي الوصفي": بدلاً من الاكتفاء بقول "ارفع الكوب"، يقوم الذكاء الاصطناعي بوصف الفعل بتفاصيل غنية: "انقل العجين من الوعاء المعدني إلى الطبق الكبير". إنه يلتقط اللون، والمادة، والحركة.
- "محرر القصة": بما أن الفيديوهات طويلة (تصل إلى 108 دقيقة!)، يقوم النظام بتقسيمها إلى تسلسل هرمي:
- النطاقات الذرية (Atomic Spans): الخطوات الصغيرة جداً (مثل "صب الدقيق").
- الحلقات (Episodes): مجموعات صغيرة من الخطوات (مثل "خلط العجين").
- الأهداف الفرعية (Sub-goals): قطع أكبر (مثل "تحضير العجين").
- هدف الجلسة (Session Goal): المهمة الكاملة (مثل "صنع الخبز").
5. النتيجة: مكتبة ضخمة ومفتوحة
أصدر الفريق ثلاثة أشياء للعالم:
- مجموعة البيانات: 200 ساعة من الفيديوهات المتنوعة وطويلة المدى لأشخاص يقومون بمهام منزلية.
- التطبيق: تطبيق مجاني يتيح لأي شخص تسجيل بياناته الخاصة.
- مسار العمل (Pipeline): الكود الذي يحول فيديو الهاتف الخام إلى تنسيق يمكن للروبوتات التعلم منه.
باختاًصار:
تقول الورقة البحثية إنهم اكتشفوا كيفية تحويل هواتف الآيفون العادية إلى أدوات احترافية لتدريب الروبوتات. من خلال تسجيل فيديوهات طويلة ومستمرة لأشخاص يقومون بمهام يومية، واستخدام برامج ذكية لترجمة تلك الفيديوهات إلى حركات دقيقة ثلاثية الأبعاد وتعليمات مفصلة، فقد أنشأوا مكتبة ضخمة من البيانات. وهذا يسمح لمطوري الروبوتات بتدريب نماذجهم على "قصص طويلة" بدلاً من مج "جمل قصيرة"، مما يساعد الروبوتات على تعلم التعامل مع المهام المعقدة وطويلة الأمد في العالم الحقيقي.
ملاحظة: تركز الورقة البحثية حصرياً على جمع ومعالجة هذه البيانات لتدريب نماذج الرؤية واللغة والعمل (VLA). وهي لا تدعي أنها قامت ببناء روبوت محدد يمكنه بالفعل أداء هذه المهام، كما أنها لا تناقش أي تطبيقات طبية أو سريرية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.