Event-Based Motion Estimation via Oriented Distance Fields
تقدم هذه الورقة البحثية "تقدير الحركة باستخدام حقل المسافة الموجه"، وهي طريقة منخفضة زمن الاستجابة تحقق دقة دون البكسل عبر استبدال التحسين التكراري بخطوة متوسطة واحدة فوق حقول مسافة الأحداث المحسوبة مسبقاً، بينما تتيح في الوقت ذاته إزالة ضبابية الصور في الوقت الفعلي وتتبع بؤبؤ العين بكفاءة في استهلاك الطاقة من خلال تطبيقها المعمم.
المؤلفون الأصليون:Lei Sun, Yuqin Ma, Weilun Li, Haoran Liang, Runyi Yang, Kaiwei Wang, Danda Pani Paudel, Luc Van Gool
تخيل كاميرا لا تلتقط الصور بالطريقة المعتادة، عبر التقاط تدفق مستمر من اللقطات بسرعة ثابتة. بدلاً من ذلك، يعمل هذا المستشعر الخاص كأنه سرب من ملايين المراقبين الصغار والمستقلين، كل منهم يراقب نقطة ضوء واحدة. هم لا يتحدثون إلا عندما تتغير شدة سطوع تلك النقطة، حيث يبلغون عن اللحظة بدقة تصل إلى الميكروثانية. هذه التكنولوجيا، المعروفة باسم "كاميرا الأحداث" (event camera)، مصممة لعالم السرعة العالية، حيث تعجز الكاميرات التقليدية عن مواكبتها. فعندما تتحرك الكاميرا بسرعة، يتسبب المستشعر القياسي في تشويش الصورة لأنه يحاول التقاط كل ما حدث خلال جزء من الثانية. أما كاميرا الأحداث، فهي تسجل التغييرات فقط، مما يخلق تدفقاً من البيانات التي تشفر مسار الحركة بشكل مباشر. وكان التحدي الذي واجه العلماء هو كيفية قراءة هذا التدفق بسرعة كافية ليكون مفيداً؛ إذ تحاول معظم الطرق الموجودة حل لغز الحركة من خلال التخمين والتحقق المتكرر، وهي عملية تستغرق وقتاً وتؤدي إلى إبطاء الميزة ذاتها التي صُنع من أجلها هذا المستشعر.
لقد قدم فريق من الباحثين الآن طريقة جديدة لقراءة تدفقات الحركة هذه تلغي الحاجة إلى التخمين تماماً. فقد طوروا طريقة تسمى "تقدير حركة حقل المسافة الموجه" (Oriented Distance Field Motion Estimation). فبدلاً من إجراء عملية حسابية معقدة لكل قطعة بيانات تصل، يقوم النظام أولاً ببناء خريطة ثابتة بناءً على حواف المشهد الذي يراه. تعمل هذه الخريطة كدليل مُعد مسبقاً. وعند وصول قطعة جديدة من البيانات، يقوم النظام ببساطة بالبحث عن موقعها في هذه الخريطة لإيجاد الاتجاه والمسافة التي تحركها الجسم. ثم يقوم بمتوسط عمليات البحث هذه لتحديد المسار الإجمالي. يستبدل هذا النهج عملية البحث البطيئة والمتكررة بعملية بحث واحدة فورية. والنتي نتيجة ذلك هي نظام يمكنه تتبع الحركة بدقة "دون البكسل" (sub-pixel accuracy) مع العمل بسرعة تفوق الطرق السابقة بعدة مراتب، مما أزال فعلياً التأخير الذي كان يعيق هذه المستشعرات عالية السرعة.
اختبر الباحثون هذه الطة الجديدة على كل من البيانات العامة وتسجيلاتهم الخاصة، مقارنين إياها بأفضل التقنيات الموجودة. ووجدوا أن نظامهم يمكنه تحديد مسار جسم متحرك بخطأ أقل من بكسل واحد، مما يضاهي أو يتفوق على دقة الطرق القديمة. والأهم من ذلك، أنه فعل ذلك بزمن استجابة (latency) أقل بكثير، حيث يقوم بتحديث تقديره مئات المرات في الثانية. ولإثبات أن هذه السرعة والدقة مفيدتان في العالم الحقيقي، طبق الفريق نتائجهم على مهمتين مختلفتين تماماً. أولاً، استخدموا مسار الحركة لإصلاح الصور الضبابية؛ فمن خلال معرفة كيفية تحرك الكاميرا بالضبط أثناء التقاط الصورة، تمكنوا من عكس الضبابية رياضياً. وقد دمجوا بيانات الحركة الخاصة بهم مع برنامج حاسوبي صغير وفعال لاستعادة الصور الحادة، محققين نتائج تضاهي أو تفوق الأنظمة الأكبر والأكثر تعقيداً، ولكن باستخدام موارد حوسبة أقل بكثير.
في تطبيق ثانٍ، استخدم الفريق نفس بيانات الحركة لتتبع حركة العين البشرية. وهذه مهمة صعبة بالنسبة للكاميرات القياسية لأن العين تتحرك بسرعة كبيرة ويمكن للإضاءة أن تتغير بسرعة. ومن خلال استخدام طريقة تقدير الحركة الخاصة بهم لتصفية الضوضاء وتتبع حافة حدقة العين، أنشأوا متتبعاً يمكنه تتبع نظرة الشخص لعشرات الثواني دون أن يفقد مكانه. كما بنوا جهازاً نموذجياً للاستخدام القريب من العين، يشبه ما قد يُرتدى في نظارات الواقع المعزز. استهلك هذا الجهاز طاقة أقل من نصف طاقة نظام كاميرا تقليدي يلتقط صوراً عادية؛ حيث استهلك متتبع الحركة القائم على الأحداث 127.1 ميلي واط فقط عند 60 إطاراً في الثانية، مقارنة بـ 215.0 ميلي واط للكاميرا التقليدية، مما يثبت أن الطريقة الجديدة لا تعمل بشكل أسرع فحسب، بل تسمح أيضاً بإنشاء أجهزة أخف وزناً وأكثر كفاءة في استهلاك الطاقة.
يعتمد نجاح هذا النهج على بضعة شروط محددة. تعمل الطريقة بشكل أفضل عندما يتحرك المشهد بأكمله معاً، مثل تحريك الكاميرا لمسح مشهد طبيعي، بدلاً من تحرك الأجسام في المشهد بشكل مستقل. كما تتطلب أن تحتوي حواف المشهد على تنوع كافٍ في زواياها لتوفير اتجاه واضح للحركة. فإذا كان المشهد يهيمن عليه خط مستقيم واحد أو إذا كانت الأجسام تتحرك في اتجاهات مختلفة، فقد تنخفض الدقة. ويقر الباحثون بهذه الحدود، مشيرين إلى أن عملهم الحالي يركز على الحركة ثنائية الأبعاد، والتي تغطي العديد من الاستخدامات العملية مثل تثبيت الكاميرا أو تتبع رأس الشخص، ولكنها لا تتعامل بعد مع الدورانات المعقدة ثلاثية الأبعاد. ورغم هذه الحدود، يظل الجوهر الأساسي قائماً: من خلال استبدال البحث التكراري البطيء بعملية بحث واحدة مُعدة مسبقاً، نجح الفريق في إطلاق العنان لإمكانات السرعة الكاملة لكاميرات الأحداث، مما يسمح لها برؤية والتفاعل مع العالم بالسرعة التي يتغير بها الضوء نفسه.
ملخص تقني: تقدير الحركة القائم على الأحداث عبر حقول المسافة الموجهة
بيان المشكلة توفر الكاميرات الحدثية (Event cameras) دقة زمنية بالميكروثانية ونطاقاً ديناميكياً عالياً، مما يجعلها مثالية للمنصات التي تتطلب استعادة سريعة للحركة، مثل الروبوتات المتنقلة المزودة بأنظمة التثبيت (Gimbal) أو أنظمة التحريك والإمالة والتقريب (PTZ). ومع ذلك، فإن الطرق الحالية لتقدير الحركة المعتمدة على الأحداث غالباً ما تلغي ميزة انخفاض زمن التأخير المتأصلة في المستشعر. تعتمد النهج الحالية إما على التحسين التكراري (مثل تعظيم التباين) أو البحث في الفرضيات المنفصلة (مثل متتبعات الفرضيات المتعددة). تتطلب هذه الطرق تقييماً متكرراً لدوال الطاقة أو مقارنة حالات مرشحة لكل حدث وارد، مما يخلق عنق زجاجة حسابي يمنع النظام من مواكبة الحركة الزاوية السريعة.
المنهجية: تقدير الحركة عبر حقل المسافة الموجه (ODF) يقترح البحث خوارزمية تقدير الحركة عبر حقل المسافة الموجه (Oriented Distance Field - ODF)، وهي خوارزمية مغلقة الصيغة (closed-form) تستبدل التحسين التكراري والبحث في الفرضيات بخطوة متوسط حسابي واحدة. تعمل الطريقة تحت افتراض وجود ترجمة (إزاحة) متسقة عالمياً في درجتين من درجات الحرية (2-DoF)، وهو أمر شائع في سيناريوهات مثل تحريك الكاميرا أفقياً (Panning) أو اهتزاز اليد.
يتكون خط الإنتاج الأساسي من ثلاث مراحل:
توليد الأنماط التكيفي: بدلاً من استخدام نوافذ زمنية ثابتة أو أعداد أحداث محددة، تقوم الطريقة ببناء قالب حافة عبر مراقبة "معدل التصادم" للأحداث منخفضة العينة. يتم تجميع الأحداث حتى يتجاوز كسر التداخل في الحاويات (bins) الجديدة عتبة معينة، مما يضمن تغطية مكانية كافية دون زيادة كثافة القالب بشكل مفرط.
بناء حقل المسافة الموجه: بالنسبة لقالب حافة معين، يقوم النظام بحساب حقل مسبق عبر نطاق الصورة. في كل موقع بكسل، يخزن هذا الحقل قيمة مسافة D(x) واتجاه انحدار الوحدة d^(x). يمثل حاصل ضربهما v(x)=D(x)d^(x) متجه الترجمة المطلوب لمحاذاة هذا البكسل مع الحافة المرجعية. يتم حساب هذا الحقل مرة واحدة لكل قالب.
استخراج المسار عبر المتوسط الحسابي: مع وصول أحداث جديدة، تقوم الخوارزمية بعملية بحث مباشر عن متجه الترجمة v(x) من الحقل المحسوب مسبقاً. ولحل مشكلة الفتحة (aperture problem) (الغموض في اتجاه الحركة على طول حافة واحدة)، تقوم الطريقة بحساب متوسط هذه المتجهات عبر دفعة من الأحداث. يستفيد هذا المتوسط من تنوع الاتجاهات داخل الدفعة لتقييد كلا مكوني الترجمة في درجتي الحرية (2-DoF).
التعامل مع الضجيج: يقوم مرشح تباين مكاني-زماني خالٍ من المعلمات بإزالة الأحداث المتأخرة، بينما يستبعد قناع المنطقة الصالحة الأحداث البعيدة جداً عن الحواف أو الموجودة في مناطق حواف كثيفة حيث تميل قيم الحقل نحو الصفر.
الكفاءة: يتم تقليل تكلفة الحدث الواحد إلى عملية بحث في الحقل وخطوة تراكم، وهي عملية منفصلة عن تعقيد المشهد أو مقدار الحركة.
التطبيقات النهائية يتحقق المؤلفون من عمومية مُقدر ODF من خلال تطبيقين متميزين، حيث يعاملانهما كاختبارات لدقة المُقدر ومتانته بدلاً من اقتراح بنيات جديدة:
إزالة ضبابية الصور في الوقت الفعلي (غير المعمى): يتم تحويل المسار المُقدر إلى نواة ضبابية مستمرة وغير مكممة. تُقرن هذه النواة بشبكة تكرارية مدمجة (تعتمد على تقسيم نصف التربيع) مدربة على ضجيج تقدير الحركة المحاكى. تستخدم الشبكة قناعاً حدثياً للتركيز على المناطق المشوشة فعلياً.
تتبع الحدقة واللمعان غير المتزامن: يتم إعادة استخدام متجهات المسافة المحسوبة مسبقاً كمرشح اتجاهي لتتبع العين. من خلال جمع المتجهات من الأحداث القريبة من حدود الحدقة وتصفية تلك التي تعارض اتجاه الحركة المُقدر، يحقق النظام تتبعاً مستقراً للحدقة ولمعان القرنية باستهلاك طاقة منخفض.
المساهمات الرئيسية
تقدير حركة ODF: خوارزمية مغلقة الصيغة لتقدير حركة 2-DoF، تستبدل التحسين التكراري بمتوسط مباشر لمتجه المسافة، مع استراتيجية اختيار عدد أحداث تكيفية، ومرشح أثر (trail filter) خالٍ من المعلمات.
التحقق من العمومية: إثبات أن مخرجات المُقدر فعالة عبر مهام متباينة (إزالة الضبابية وتتبع العين) دون الحاجة إلى إعادة تدريب المهمة المحددة للمُقدر الأساسي.
الكفاءة والدقة: تقييم واسع النطاق يظهر أن ODF يحقق دقة تضاهي أو تنافس أحدث التقنيات مع زمن تأخير أقل بكثير (أقل من ميكروثانية لكل حدث) مقارنة بالبدائل القائمة على التحسين.
النتائج التجريبية
تقدير الحركة: في مجموعة بيانات كاميرا الأحداث (Event-Camera Dataset)، حقق ODF دقة تحت البكسل (على سبيل المثال، خطأ 0.328 بكسل في تسلسل "slider far") مع معدلات تحديث تصل إلى 1066 هرتز، متفوقاً بشكل كبير على HASTE (467 هرتز) وتعظيم التباين (19.5 هرتز) من حيث تردد التحديث. وبينما حققت HASTE وتعظيم التباين خطأ أقل قليلاً في تسلسلات معينة بسبب المعلمات القابلة للضبط، فقد ضحى ODF بجزء ضئيل من البكسل من الدقة مقابل زيادة في معدل التحديث بمقدار رتبة عشرية كاملة.
إزالة الضبابية من الصور: في مجموعة بيانات EventAid-B، حققت الطريقة المقترحة (نواة ODF + شبكة خفيفة الوزن) نسبة 27.23 PSNR و 0.860 SSIM باستخدام 0.6 مليون معلمة فقط، متفوقة على الشبكات الكبيرة لإزالة الضبابية (مثل Restormer و NAFNet) والأساسات المدعومة بالأحداث مثل EFNet. وفي مجموعة بيانات واقعية ذات نوى حقيقية، تبعت الطريقة التي تستخدم نواة ODF النواة الأصلية بأقل من 1 ديسيبل في PSNR، مما يؤكد دقة النواة العالية.
تتبع العين: حافظ المتتبع على تتبع مستقر للحدقة واللمعان لمدة تصل إلى 1745 إطاراً (~70 ثانية) في مجموعات البيانات العامة، محققاً متوسط درجات IoU تتراوح بين 0.85 و 0.86. وفي نموذج أولي قريب من العين، عالج النظام الأحداث في 28 ميكروثانية (خيط معالجة واحد) وقلل إجمالي استهلاك الطاقة للوحدة إلى 127.1 ميجاوات مقارنة بـ 215.0 ميجاوات للنظير القائم على الإطارات عند 60 إطاراً في الثانية.
الأهمية والادعاءات يزعم هذا البحث أن تقدير حركة ODF يزيل العنق الحسابي الذي حد تاريخياً من الفائدة العملية للكاميرات الحدثية في سيناريوهات الحركة السريعة. من خلال استبدال التحسين بعملية متوسط حسابي مغلقة الصيغة، تحافظ الطراف على ميزة انخفاض زمن التأخير للمستشعر من البداية إلى النهاية. ويؤكد المؤلفون أن المُقدر ليس مرتبطاً بمهمة واحدة؛ فقدرته على توليد نوى ضبابية دقيقة ومرشحات اتجاهية تثبت فائدته كوحدة استرداد حركة عامة. يسلط العمل الضوء على أن تقدير الحركة عالي الدقة لا يتطلب حلولاً تكرارية ثقيلة، مما يتيح إدراكاً فعالاً وفي الوقت الفعلي على المنصات محدودة الموارد.
القيود يقر المؤلفون بأن الطريقة تفترض وجود ترجمة (إزاحة) 2-DoF متسقة عالمياً. ويتدهور الأداء في المشاهد الديناميكية التي تحتوي على أجسام تتحرك بشكل مستقل، أو عندما تفتقر القوالب إلى تنوع الاتجاهات (على سبيل المثال، عندما تهيمن حافة مستقيمة واحدة)، أو في مناطق الأحداث الشحيحة. علاوة على ذلك، فإن التطبيقات الحالية تقتصر على ترجمة 2-DoF ولا تتعامل بعد مع حركة 6-DoF العامة أو تشوهات أفين (affine) أو إسقاطية (projective) معقدة.