Ego-OSCAR: Egocentric Open source Stereo CAptuRe System

ملخص تقني: Ego-OSCAR

بيان المشكلة
يتزايد تعثر تطوير نماذج الرؤية واللغة والعمل (VLA) والنماذج العالمية بسبب ندرة مجموعات البيانات المتنوعة والضخمة متعددة الوسائط التي تلتقط التفاعلات في العالم الحقيقي. وبينما يوفر التحكم عن بُعد (Teleoperation) بيانات عالية الدقة، إلا أنه لا يتوسع بشكل كافٍ. أما المحاكاة، فتعاني من فجوة "من المحاكاة إلى الواقع" (sim-to-real gap)، وتظل مزارع الروبوتات ذاتية القي never محددة بقيود السلامة. توفر جمع البيانات من منظور الشخص الأول (Egocentric) بديلاً قابلاً للتوسع، ومع ذلك، تقدم الحلول الحالية مقايضة: تعتمد مجموعات البيانات الاستهلاكية (مثل Ego4D) على كاميرات أحادية العدسة ذات غالق متدحرج (rolling-shutter) تفتقر إلى تدفقات قصور ذاتي متزامنة الأجهزة، بينما تُعد منصات الأبحاث عالية الدقة (مثل Project Aria) مغلقة المصدر، ومكلفة، ولا يمكن توزيعها أو إعادة إنتاجها بحرية من قبل المجتمع العلمي الأوسع. وبناءً على ذلك، لا يوجد جهاز منخفض التكلفة يُثبت على الرأس وقادر على التقاط بيانات ستيريو-قصورية (stereo-inertial) متزامنة على نطاق واسع.

المنهجية
يعالج Ego-OSCAR هذه الفجوة من خلال نظام التقاط مفتوح العتاد ومنخفض التكلفة، مع حزمة برمجية مصممة للنشر الموزع.

• تصميم العتاد: الجهاز عبارة عن وحدة تُثبت على الرأس (بوزن تقريبي 200 جرام) مبنية بالكامل من مكونات تجارية متاحة (COTS) وأجزاء مطبوعة ثلاثية الأبعاد، مع قائمة مواد (BoM) تقل عن 200 دولار أمريكي.

  • المستشعرات: يستخدم وحدة كاميرا ستيريو Dexcin USB تتميز بمستشعرين من نوع Omnivision بـ "غلق عالمي" (global-shutter) متزامنين عتادياً عبر شريحة ASIC واحدة. يضمن هذا التزامن على مستوى الميكروثانية ويقضي على تشوهات الغالق المتدحرج أثناء حركة الرأس السريعة. يتضمن النظام وحدة قياس القصور الذاتي (IMU) سداسية المحاور (ICM-20948) يتم أخذ عينات منها بتردد 120 هرتز.
  • الحوسبة والتحكم: يتولى جهاز Radxa Rock 5C (معالج SoC من نوع Rockchip RK3588) معالجة ترميز الفيديو المسرع عتادياً (من MJPEG إلى H.264) والتخزين. وتدير وحدة تحكم دقيقة من نوع Seeed Studio Xiao ESP32-S3 استجابة المستخدم (حالة LED RGB)، ووظائف مراقبة النظام (Watchdog) للكشف عن تعليق النظام، والأهم من ذلك، مزامنة الوقت.
  • آلية المزامنة: لسد الفجوة بين الساعات المستقلة للكاميرا ووحدة الـ IMU، يقوم نظام ESP32 بالتقاط إشارة "بداية التعرض" (Start-of-Exposure) للكاميرا عبر مقاطعة (interrupt). يقوم النظام بتسجيل الطوابع الزمنية الرتيبة لكل تعريض إطار ودمجها مع بيانات الـ IMU. وتستخدم عملية محاذاة لاحقة (offline alignment) مرساة بصرية (وهي عبارة عن وميض LED أزرق عند المقاطعة رقم 60) لمحاذاة تدفق الـ IMU بشكل حتمي مع مؤشرات إطارات الفيديو، مما يحقق تأخراً متبقياً قدره 700 ميكروثانية.
  • المتانة: يتضمن النظام وظيفة مراقبة (watchdog) تكتشف تعليق الحاسوب ذو النظام المدمج (SBC) (عبر نبض قلب بتردد 1 هرتز) وتفعل حالة الخطأ، مما يمنع فقدان البيانات الصامت.

• المسار البرمجي: تتضمن الحزمة مفتوحة المصدر برنامجاً خلفياً (daemon) للتسجيل مسرعاً عتادياً، وخدمة لأخذ عينات الـ IMU، وأدوات مزامنة الوقت، وبرامج ثابتة للمراقبة. يتم تقسيم البيانات إلى مقاطع مدة كل منها 5 دقائق للحد من الفقد أثناء انقطاع الطاقة، ويتم رفعها مع التحقق من سلامتها.

• جمع البيانات: نشر المؤلفون النظام عبر شبكة موزعة تضم 25 مساهماً في الهند على مدار ستة أشهر، حيث تم جمع 1,462 جلسة بإجمالي حوالي 550 ساعة من الفيديو الستيريو لكل كاميرا (1,100 ساعة كاميرا). تغطي البيانات بيئات داخلية متنوعة، مع التركيز على أنشطة المطبخ بما في ذلك الخياطة والتفصيل.

المساهمات الرئيسية

1. جهاز مفتوح العتاد: جهاز التقاط ستيريو-قصوري يُثبت على الرأس، موثق بالكامل وقابل لإعادة الإنتاج، مع ملفات CAD، ومخططات توصيل الأسلاك، وتعليمات التجميع.
2. حزمة برمجية مفتوحة المصدر: مسار كامل للتسجيل، والمزامنة، وإدارة البيانات، مما يمكّن المجتمع من تكرار عملية الالتقاط.
3. مجموعة بيانات Ego-OSCAR-550h: مجموعة بيانات منسقة تضم حوالي 550 ساعة من الفيديو الستيريو من منظور الشخص الأول مع بيانات IMU متزامنة. وخلافاً لتدفقات المستشعرات الخام، يتضمن هذا الإصدار:
   • تعليقات وصفية للأفعال الحرة: حوالي 209,315 مقطعاً تغطي الجدول الزمني بأكمله باستخدام مفردات مفتوحة.
   • إعادة بناء ثلاثية الأبعاد لليد: وضعيات يد ثلاثية الأبعاد لكل إطار تم إنشاؤها بواسطة WiLoR.
   • معايرة لكل جلسة: ملفات معايرة فردية لكل جلسة بدلاً من الخصائص الاسمية للمصنع.

النتائج والتقييم
يقيم البحث النظام عبر ثلاثة مستويات:

• دقة المستشعرات: تحقق المعايرة لكل جلسة أخطاء إعادة إسقاط أقل من 0.03 بكسل. يسمح الغالق العالمي المتزامن عتادياً مع الـ IMU بنجاح التقدير البصري-القصوري (VINS-Fusion) في 12/20 تسلسلاً قصيراً مستبعداً، مع تأخر بصري-قصوري متبقٍ قدره 700 ميكروثانية. تم توصيف مستوى ضوضاء الـ IMU كجودة استهلاكية، مناسبة لمحاذاة الجاذبية وتصنيف الحركة، ولكن ليس للتكامل القصوري طويل المدى دون استبدالها بمكونات أعلى درجة.
• فائدة البيانات: نجح تقدير العمق الستيري (SGBM, RAFT-Stereo) عبر مجال رؤية يبلغ 126 درجة. وصلت معدلات اكتشاف اليد إلى 94%، مما يشير إلى أن هندسة الجهاز المثبت على الرأس تبقي اليدين بفعالية داخل مجال الرؤية خلال معظم التفاعلات.
• نطاق النشر: حقق النظام معدل جلسات صالحة للاستخدام بنسبة 96% عبر 1,462 جلسة. تم تحديد أوجه الفشل (مثل الإغلاق الحراري، أخطاء إدخال/إخراج بطاقة SD، إجهاد الكابلات) ومعالجتها من خلال مراجعات العتاد (المشتتات الحرارية، التعزيز الميكانيكي) والتحقق من البرمجيات.

الأهمية والادعاءات
يضع البحث Ego-OSCAR ليس كبديل للأنظمة البحثية مثل Project Aria من حيث دقة الوحدة الواحدة، بل كـ "أرخص ركيزة دفاعية للالتقاط من منظور الشخص الأول القائم على التعهيد الجماعي". تكمن أهميته الأساسية في خفض طاقة التنشيط للفرق لجمع بيانات منظور الشخص الأول على نطاق واسع. ومن خلال توفير منصة مفتوحة، قابلة لإعادة الإنتاج، وبأسعار معقولة، يهدف Ego-OSCAR إلى دمقرطة جمع البيانات الستيريو-القصورية عالية الجودة والمتزامنة. يكمل هذا العمل مجموعات البيانات أحادية العدسة أو المنصات المغلقة. ويذكر المؤلفون صراحة أن إثبات المكاسب في السياسات (policy gains) من هذه البيانات هو عمل مستقبلي؛ فالمساهمة الحالية هي البنية التحتية والمجموعة اللازمة لتمكين مثل هذه الأبحاث.