RS-Prune: Read-Sparse, Store-Sparse Token Pruning for Video Object Segmentation
تُعد RS-Prune طريقة لتقليم الرموز (token pruning) لا تتطلب تدريباً وتُستخدم لتجزئة الأجسام في الفيديو، حيث تعمل على تقليل زمن الاستجابة عند الاستنتاج وذروة استخدام الذاكرة من خلال التقييد الانتقائي لاستعلامات الانتباه عبر الإطارات ومدخلات بنك الذاكرة للرموز ذات الصلة هندسياً، مما يتيح معالجة فعالة لمقاطع الفيديو طويلة المدى على الأجهزة ذات الذاكرة المحدودة دون التضحية بالدقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الرؤية الحاسوبية، هناك مهمة تسمى "تقسيم الأشياء في الفيديو". تخيل مشاهدة فيديو منزلي وتطلب من الكمبيوتر رسم تحديد دقيق حول كلب يركض في كل إطار، مع تمييز الحيوان عن العشب والسماء والأشخاص في الخلفية. لفترة طويلة، كانت أفضل البرامج الحاسوبية لهذه المهمة تعمل عن طريق حفظ كل ما تراه. ومع تقدم الفيديو، كان البرنامج يبني مكتبة ضخمة ومتنامية من التفاصيل المرئية، حيث يخزن قطعة صغيرة من المعلومات لكل بكسل في كل إطار. سمحت هذه المكتبة للكمبيوتر بالتعرف على الكلب حتى لو ركض خلف شجرة أو غير اتجاهه. ومع ذلك، كان لهذا النهج عيب خطير: كلما طال الفيديو، كبرت المكتبة. وفي النهاية، ينفد من الكمبيوتر الذاكرة، مما يضطره إلى التوقف أو التباطؤ بشكل كبير. وهذا يجعل من المستح المستحيل استخدام هذه الأنظمة المتقدمة في الأفلام الطويلة أو على الأجهزة الصغيرة مثل الهواتف الذكية، التي تمتلك سعة تخزين محدودة.
لقد وجد فريق من الباحثين طريقة لكسر هذا الاختناق دون جعل الكمبيوتر أقل دقة. فقد طوروا طريقة جديدة تغير كيفية قرار البرنامج بما يتذكره وما يتجاهله. فبدلاً من حشد كل تفصيل من كل إطار، يعمل النظام الآن مثل أرشيفي حذر يحتفظ فقط بالوثائق الأكثر أهمية. ومن خلال تطبيق مرشحين محددين — أحدهما يقرر ما ينظر إليه في اللحظة الحالية، والآخر يقرر ما يحفظه لوقت لاحق — تمكن الباحثون من تقليص كمية الذاكرة التي يحتاجها الكمبيوتر بشكل كبير. ويظهر عملهم أن نظام تقسيم الفيديو يمكنه العمل بشكل أسرع واستخدام ذاكرة أقل بكثير، مع الاستمرار في تتبع الأشياء بنفس الدقة العالية للأنظمة الأصلية غير المعدلة.
ركز الباحثان، أفيلاشا ماندال وسارفيش شاشيكومار، على نوع محدد من أنظمة تحليل الفيديو المعروف باسم شبكة "بنك الذاكرة" (memory-bank). تعمل هذه الأنظمة في مرحلتين رئيسيتين؛ أولاً، تنظر إلى إطار جديد من الفيديو وتقسمه إلى شبكة من القطع الصغيرة، تسمى "التوكنز" (tokens)، والتي تمثل المعلومات المرئية. ثانياً، تقارن هذه القطع الجديدة ببنك متنامٍ من الذكريات من الإطارات السابقة لمعرفة مكان الأشياء. تكمن المشكلة في أن الأنظمة الحديثة تحاول مقارنة كل "توكن" في الإطار الجديد بكل "توكن" في بنك الذاكرة. ومع طول الفيديو، يتضخم بنك الذاكرة هذا، ويضطر الكمبيوتر للقيام بعمليات حسابية هائلة لكل إطار جديد، مما يستنزف موارده بسرعة.
ولحل هذه المشكلة، قدم الفريق تقنية تسمى RS3-Prune. يرمز الاسم إلى "القراءة المتفرقة، والتخزين المتفرق" (Read-Sparse, Store-Sparse)، وهو ما يصف المكانين اللذين يتم فيهما تقليص البيانات. يحدث القط الأول عندما يقرأ الكمبيوتر الذاكرة؛ فبدلاً من سؤال بنك الذاكرة عن كل جزء من الصورة الحالية، يسأل النظام الآن فقط عن الأجزاء التي من المرجح أن تحتوي على الكائن الذي يتتبعه. وهو يستخدم قاعدة بسيطة تعتمد على شكل الكائن: إذا كانت قطعة من الصورة بعيدة عن الموقع المعروف للكائن، فإن النظام يتجاهلها. وهذا يعني أن الكمبيوتر يتخطى قدراً هائلاً من الحسابات غير الضرورية، مما يسرع العملية بشكل كبير.
أما القط الثاني فيحدث عندما يكتب الكمبيوتر معلومات جديدة في بنك الذاكرة الخاص به. في الأنظمة القديمة، كان كل إطار يضيف مجموعة كاملة من البيانات إلى البنك، بغض النظر عما إذا كانت تلك البيانات مفيدة أم لا. أما الطريقة الجديدة فتطرح سؤالاً مختلفاً قبل حفظ أي شيء: "هل تنتمي هذه القطعة من الصورة إلى الكائن الذي نتتبعه؟" إذا كانت الإجابة "لا"، يتم التخلص من تلك المعلومة فوراً ولا يتم تخزينها أبداً. هذا يمنع بنك الذاكرة من الامتلاء بضجيج الخلفية مثل السماء أو الجدران، مما يضمن بقاء البنك صغيراً ويمكن التحكم فيه حتى بعد ساعات من الفيديو.
اختبر الباحثون هذه الطريقة على خمس مجموعات بيانات للفيديو، تتراوح من المقاطع القصيرة إلى التسلسلات الطويلة جداً، وطبقوها على خمسة نماذج مختلفة من نماذج تقسيم الفيديو المتطورة. ووجدوا أن النهج الجديد جعل الأنظمة تعمل بشكل أسرع بكثير. في المتوسط، زادت السرعة بنسبة تقارب 39 بالمائة، مما يعني أن الكمبيوتر يمكنه معالجة 40 بالمائة أكثر من الإطارات في الثانية الواحدة. وفي الوقت نفسه، انخفضت كمية الذاكرة المطلراء لتشغيل البرنامج بنحو 13 بالمائة. ولعل الأمر الأكثر إثارة للدهشة هو أن دقة التتبع لم تتأثر؛ بل في الواقع، في بعض الفيديوهات الصعبة التي تحتوي على الكثير من الفوضى في الخلفية، كان النظام يعمل بشكل أفضل لأنه لم يعد يرتبك بسبب التفاصيل غير ذات الصلة.
أحد أهم جوانب هذا الاكتشاف هو أنه لا يتطلب إعادة تدريب نماذج الكمبيوتر. فقد أضاف الباحثون ببساال تعليمات صغيرة تعمل مثل "حارس بوابة"، يجلس أمام البرنامج الحالي. لم يحتاجوا إلى تعليم الكمبيوتر أي شيء جديد أو تغيير دماغه الأساسي. وهذا يجعل الحل سهلاً للغاية في الاستخدام؛ إذ يمكن تطبيقه على أي نظام حديث لتقسيم الفيديو يستخدم بنك الذاكرة، مما يحول متطلباً ثابتاً ومكلفاً إلى إعداد مرن يمكن تعديله.
استكشف الفريق أيضاً سبب نجاح هذه الطريقة بشكل جيد. فقد أدركوا أن الأشياء التي يتم تتبعها عادة ما تمتلك شكلاً وملمساً مميزين، بينما تكون الخلفية غالباً ناعمة ومتجانسة. ومن خلال التركيز فقط على "التوكنز" التي تحمل أكبر قدر من الطاقة المرئية وتقع ضمن حدود الكائن، يقوم النظام تلقائياً بتصفية الضجيج. هذا يشبه كيف يركز الشخص الذي يشاهد فيلماً على الممثلين ويتجاهل المقاعد الفارغة في المسرح؛ فالكمبيوتر يتعلم القيام بالشيء نفسه تلقائياً.
وعلى الرغم من أن هذه الطريقة فعالة للغاية، إلا أن الباحثين يقرون بأنها ليست مثالية لكل سيناريو. فإذا تحرك كائن ما بعيداً جداً عن المكان الذي شوهد فيه لأول مرة، فقد يواجه النظام صعوبة في تتبعه إذا كان بنك الذاكرة مقيداً للغاية. ومع ذلك، فقد بنوا آلية أمان تقوم بتوسيع منطقة البحث إذا اختفى الكائن لبضع إطارات، مما يضمن إمكانية العثัง عليه مجدداً. هذا التوازن بين التصفية الصارمة والتعافي المرن يسمح للنظام بالتعامل مع معظم فيديوهات العالم الحقيقي دون تدخل بشري.
إن تداعيات هذا العمل تمتد إلى ما هو أبعد من مجرد جعل البرامج أسرع. فمن خلال تقليل الذاكرة وقوة المعالجة المطلوبة، تصبح هذه الأنظمة قابلة للاستخدام على الأجهزة التي كانت سابقاً أضعف من أن تتحملها. وهذا يمكن أن يتيح تحليل الفيديو في الوقت الفعلي على الهواتف الذكية، والطائرات بدون طيار، والكاميرات القابلة للارتداء، مما يفتح آفاقاً جديدة للتطبيقات التي تتطلب تتبع الأشياء لفترات طويلة. لقد أثبت الباحثون أن حد هذه الأنظمة لم يكن ذكاء الخوارزميات، بل كان حجم البيانات الهائل الذي أُجبرت على معالجته. ومن خلال تقليم تلك البيانات بذكاء، فقد فتحوا مستوى جديداً من الكفاءة، مثبتين أن معرفة ما يجب نسيانه لا تقل أهمية عن معرفة ما يجب تذكره.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.