RGLStab: A Robust Online Video Stabilization Framework Based on Grid Flow and LSTM
تقترح هذه الورقة RGLStab، وهو إطار عمل قوي لتثبيت الفيديو عبر الإنترنت يجمع بين التدفق البصري للشبكة الهيكلية وشبكة LSTM أحادية الاتجاه لتحقيق تثبيت فوري عالي الدقة لقطات كاميرات الطائرات من خلال المعالجة الفعالة لفشل تتبع الميزات وتداخل المقدمة الديناميكي مع كبح التشوهات المحلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
عندما تُثبّت كاميرا على آلة طائرة، فإن الفيديو الذي تلتقطه نادراً ما يكون مستقراً. فالهواء نفسه عبارة عن نهر مضطرب، يدفع الطائرة ويجذبها، بينما تضيف المراوح الدوارة والمناورات السريعة اهتزازاتها العنيفة الخاصة. هذا الارتجاف يحول الرؤية الواضحة للعالم إلى ضبابية فوضوية، مما يجعل من الصعب على المشغل البشري تتبع هدف ما، أو على الكمبيوتر التعرف على ما يراه. لعقود من الزمن، حاول المهندسون إصلاح ذلك عبر تنعيم الفيديو بعد تسجيله، وهي عملية تتطلب انتظار انتهاء المقطع بأكمله قبل البدء في العمل. ومع ذلك، بالنسبة لطائرة مسيرة (درون) تؤدي مهمة في الوقت الفعلي، فإن الانتظار ليس خياراً؛ إذ يجب تثبيت الفيديو في اللحظة التي يتم فيها التقاطه، دون تأخير ودون استباق للمستقبل. ويكمن التحدي في القيام بذلك بسرعة كافية لمواكبة الطيران مع ضمان عدم تشوه الصورة أو تمددها لتصبح شيئاً غير قابل للتمييز.
لقد طور باحثون في جامعة "شيان" المتعددة التقنيات نظاماً جديداً يسمى RGLStab لحل هذه المشكلة تحديداً. يعامل نهجهم مهمة تثبيت الفيديو كأحجية مكونة من جزأين: أولاً، تحديد كيفية تحرك الكاميرا بدقة، وثانياً، التنبؤ بمسار سلس للصورة لتتبعه دون استراق النظر إلى الإطار التالي أبداً. تعتمد الطرق التقليدية غالباً على تتبع نقاط أو زوايا محددة في الصورة، ولكن عندما تدور الطائرة المسيرة بسرعة أو تتغير الإضاءة، تختفي هذه النقاط أو تتحرك بشكل غير متوقع، مما يؤدي إلى فشل النظام. وتستخدم طرق حديثة أخرى شبكات كمبيوتر معقدة وثقيلة يمكنها التعامل مع الحركة، لكنها بطيئة جداً للاستخدام في الوقت الفعلي أو تميل إلى لوي الصورة بطرق غير طبيعية، مما يجعل المباني تميل أو الأشجار تنحني مثل المطاط.
للتغلب على هذه العقبات، صمم الفريق إطار عمل ينظر إلى حركة شبكة الصورة بأكملها بدلاً من مجرد نقاط متفرقة. إنهم يستخدمون أداة متطورة لقياس كيفية انزياح كل بكسل بين الإطارات، مما يخلق خريطة حركة كثيفة. وبدلاً من محاولة معالجة هذا الكم الهائل من البيانات دفعة واحدة، مما قد يبطئ كل شيء، يقومون بأخذ عينات من هذه الحركة على فترات منتظمة، مثل التقاط لقطة لتدفق الحركة عند نقاط شبكية محددة. ثم يستخدمون مرشحاً رياضياً لفصل الحركة الحقيقية للكاميرا عن الضجيج الفوضوي الناتج عن الرياح أو الاهتزاز، واستخراج وصف نظيف رباعي الأجزاء لحركة الكاميرا: مدى تحركها يميناً أو يساراً، ومدى تحركها للأعلى أو للأسفل، ودرجة دورانها، ومدى تقريبها أو تبعيدها (الزوم).
بمجرد أن يعرف النظام حركة الكاميرا الخام والمهتزة، يجب عليه أن يقرر كيف يقوم بتنعيمها. تبحث معظم خوارزميات التنعيم في المستقبل لمعرفة كيفية التعامل مع الحاضر، لكن النظام الذي يعمل في الوقت الفعلي لا يمكنه فعل ذلك. لقد حل الباحثون هذه المشكلة عبر تدريب نوع متخصص من ذاكرة الكمبيوتر، يُعرف باسم "الذاكرة الطويلة قصيرة المدى" (LSTM)، لتعلم القوانين الفيزيائية لكيفية عمل مثبت الكاميرا. تعمل هذه الشبكة مثل طيار متمرس حلق لآلاف الساعات؛ فهي تتذكر تاريخ الرحلة واللحظة الحالية للتنبؤ بالحركة السلسة التالية دون الحاجة لرؤية ما سيأتي لاحقاً. إنها تتعلم تجاهل الهزات المفاجئة وعالية التردد الناتجة عن المحرك أو الرياح، مع الحفاظ على الحركات الطبيعية الأبطأ لمسار الطيران.
كان جزء حاسم من نجاحهم هو تعليم الكمبيوتر الأخطاء التي يجب تجنبها. في تثبيت الفيديو، يمكن لخطأ صغير في حساب الدوران أن يتسبب في تأرجح حواف الصورة بشكل جامح، مما يخلق حدوداً سوداء كبيرة أو يقطع الرؤية. وضع الباحثون مجموعة محددة من القواعد ليتبعها الكمبيوتر خلال عملية التعلم، حيث يعاقبه بشدة إذا حاول تدوير الصورة أكثر من اللازم، بينما يكون أكثر تسامحاً مع التحركات الجانبية البسيطة. يضمن هذا بقاء الفيديو النهائي مستقيماً ومعتدلاً، مما يحافظ على مجال الرؤية الكامل دون الحاجة إلى قص الحواف. والنتيجة هي فيديو يبدو ثابتاً وطبيعياً، كما لو كانت الكاميرا مثبتة على مانع اهتزاز (جيمبال) مثالي، حتى عندما تقوم الطائرة المسيرة بانعطافات حادة أو تطير عبر هواء مضطرب.
اختبر الفريق نظامهم على مجموعة من مقاطع الفيديو الصعبة التي تتميز بالدورات السريعة، والتقريب المكثف، والمشاهد المزدحمة. ووجدوا أن طريقتهم يمكنها معالجة الفيديو بسرعة 24.51 إطاراً في الثانية، وهو ما يكفي لمواكبة عمليات الطيران المباشرة. ومن حيث الجودة، كان الفيديو المثبت سلساً بقدر فيديوهات تُعالج بطرق "خارج الإنترنت" (offline) التي تمتلك ترف الوقت والمعلومات المستقبلية، ولكن دون أي تأخير. والأهم من ذلك، تجنب النظام العثرات الشائعة للحلول الأخرى التي تعمل في الوقت الفعلي: فلم يتسبب في تأثير "الجلي" (jello) حيث تتأرجح الخطوط الرأسية، ولم يشوه أشكال المباني أو المناظر الطبيعية. ومن خلال الموازنة بين الحاجة إلى السرعة والحاجة إلى الدقة الهندسية، قدم الباحثون حلاً عملياً يسمح للطائرات المسيرة برؤية العالم بوضوح، حتى عندما يكون الهواء من حولها بعيداً كل البعد عن الهدوء.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.