TAPFormer: Robust Arbitrary Point Tracking via Transient Asynchronous Fusion of Frames and Events
تقدم هذه الورقة البحثية TAPFormer، وهو إطار عمل قائم على المحولات يحقق تتبعاً قوياً للنقاط التعسفية من خلال توظيف آلية دمج غير متزامنة عابرة لسد الفجوة الزمنية بفعالية بين إطارات RGB منخفضة المعدل وتدفقات الأحداث عالية المعدل، متفوقاً بذلك على الأساليب الحالية في كل من مجموعة بيانات واقعية تم إنشاؤها حديثاً والمعايير القياسية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تتبع نقطة حمراء محددة على سيارة سريعة الحركة وهي تمر من أمامك بسرعة خاطفة.
إذا استخدمت كاميرا قياسية (مثل تلك الموجودة في هاتفك)، فأنت تلتقط سلسلة من الصور. إذا كانت السيارة تتحرك بسرعة كبيرة، ستتحول النقطة إلى بقعة ضبابية مشتتة. وإذا كانت الشمس ساطعة جدًا أو كان الوقت ليلًا حالكًا، فقد تُصاب الكاميرا بالعمى أو لا ترى شيئًا على الإطلاق. أنت تفقد تتبع النقطة لأن "صورك" بطيئة جدًا وحساسيتها للضوء غير مناسبة.
أما إذا استخدمت كاميرا أحداث (مستشعر خاص ومستقبلي)، فهي لا تلتقط صورًا. بدلاً من ذلك، هي تشبه غرفة مليئة بأجهزة استشعار صغيرة فائقة الحساسة للحركة. في كل مرة يتغير فيها سطوع بكسل واحد، يصرخ المستشعر برسالة: "مهلًا! شيء ما تحرك هنا في الساعة 12:00:01!". هذه المستشعرات سريعة للغاية وتعمل في الظلام، لكنها لا ترى الألوان أو الأشكال؛ هي فقط ترى "الحركة". إذا توقفت السيارة عن الحركة، تصمت كاميرا الأحداث، وتفقد أنت تتبع النقطة مجددًا.
المشكلة:
محاولة الجمع بين هذين النوعين تشبه محاولة إجراء محادثة بين راوٍ بطيء ومفصل (الكاميرا القياسية) وبين عامل تلغراف سريع وذعور (كاميرا الأحداث).
- إذا قمت بمجرد دمجهم معًا، سيكون التوقيت غير متوافق. فالراوي لا يزال يتحدث عن موقع السيارة قبل ثانية واحدة، بينما عامل التلغراف يصرخ بالفعل عن مكانها الآن.
- إذا تحركت السيارة بسرعة، ستصبح صورة الراوي ضبابية.
- إذا توقفت السيارة، سيتوقف عامل التلغراف عن الكلام.
الحل: TAPFormer
قام الباحثون ببناء TAPFormer، وهو نظام ذكاء اصطناعي جديد يعمل مثل مايسترو بارع يقود هذه الأوركسترا. هو لا يكتفي بالاستماع لكليهما فحسب؛ بل يفهم كيف يتحدث كل منهما بشكل مختلف، ويدمجهم في قصة واحدة مثالية.
إليك كيف يعمل، باستخدام تشبيهات بسيطة:
1. "جسر السفر عبر الزمن" (الدمج اللحظي غير المتزامن)
عادةً، يحاول الذكاء الاصطناعي إجبار كاميرا الأحداث السريعة على انتظار الكاميرا الفوتوغرافية البطيئة، أو العكس. لكن TAPFormer يفعل شيئًا أذكى.
تخيل أن الكاميرا القياسية هي فيديو بالحركة البطيئة، وكاميرا الأحداث هي تدفق من الماء.
- عندما تلتقط الكاميرا الفوتوغرافية صورة، يقوم TAPFormer بالإمساك بتلك الصورة.
- ولكن بدلًا من انتظار الصورة التالية، يستخدم "تدفق الماء" (الأحداث) لـ ملء الفجوات بين الصور.
- إنه يعامل المشهد كفيلم مستمر، وليس كسلسلة من الصور الثابتة. حتى لو كانت الكاميرا تلتقط 20 صورة فقط في الثانية، يستخدم TAPFormer بيانات الأحداث لتحديث موقع النقطة 100 مرة في الثانية. الأمر يشبه امتلاك نظام GPS يحدث موقعك كل ميلي ثانية، حتى لو كانت خريطتك تتحدث كل بضع ثوانٍ.
2. "كشاف الضوء الذكي" (الدمج المحلي الموزون عبر الوسائط)
أحيانًا تكون الكاميرا القياسية ضبابية (بسبب الحركة)، لكن كاميرا الأحداث تكون حادة. وفي أحيان أخرى، تكون كاميرا الأحداث صامتة (لأن الجسم توقف)، لكن الكاميرا القياسية تكون واضحة.
يمتلك TAPFormer كشاف ضوء ذكي يعرف بالضبط أي مستشعر يجب الوثوق به في أي لحظة.
- السيناريو أ: السيارة تسرع، والصورة ضبابية. يسلط الكشاف الضوء على كاميرا الأحداث ويقول لها: "أنتِ الخبيرة الآن! أخبرينا أين توجد النقطة".
- السيناريو ب: السيارة تتوقف، وتصبح كاميرا الأحداث صامتة. يحول الكشاف الضوء إلى الكاميرا القياسية ويقول لها: "أنتِ الخبيرة الآن! أظهري لنا التفاصيل".
- يقوم بذلك لكل جزء صغير من الصورة، وبشكل فوري. إنه يشبه فريقًا من اثنين من المحققين، أحدهما بارع في رؤية التفاصيل في الظلام، والآخر بارع في رصد الحركة السريعة. وهما يتبادلان دور "المحقق الرئيسي" باستمرار بناءً على من يملك أفضل دليل في تلك الثانية تحديدًا.
3. "المتتبع الخارق"
من خلال الجمع بين هاتين الحيلتين، يستطيع TAPFormer تتبع نقطة على سيارة تتحرك بسرعة 100 ميل في الساعة تحت المطر، أو في الليل، أو عندما يكون ضوء الشمس ساطعًا.
- المتتبعات القياسية تفقد النقطة عندما تصبح الصورة ضبابية.
- متتبعات الأحداث فقط تفقد النقطة عندما تتوقف السيارة.
- TAPFormer لا يفقد النقطة أبدًا. إنه يستخدم "تدفق الماء" لجعل "الصور البطيئة" أكثر سلاسة، مما يخلق مسارًا فائق الاستقرار وعالي الدقة لا يمكن لأي طريقة أخرى مضاهاته.
لماذا هذا مهم؟
هذه التقنية ليست مجرد تتبع للنقاط. هذا التكنولوجيا هي العقل المدبر خلف:
- السيارات ذاتية القيادة التي تحتاج لرؤية المشاة وهم يقفزون من خلف شاحنة تحت المطر.
- نظارات الواقع المعزز (AR) التي تحتاج لالتصاق ملصق افتراضي تمامًا بجسم متحرك، حتى لو حركت رأسك بسرعة.
- الروبوتات التي تحتاج للإمساك بكرة دون إسقاطها، حتى في الإضاءة المنخفضة.
باختصار، TAPFormer هو اللاعب الجماعي المثالي. إنه يأخذ "البطيء والمفصل" و"السريع والغامض"، ويدمجهم في رؤية خارقة ترى كل شيء، في كل وقت، مهما كانت الظروف المحيطة فوضوية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.