HiResNets: Native Full-HD Video Recognition with Foveal Residual Streams

السر الخفي للعين

تخيل أنك تحاول التعرف على صديق لك في ملعب مزدحم وصاخب. إذا حاولت النظر إلى كل شخص في المدرجات بنفس التركيز الحاد والواضح، فسيصبح دماغك مثقلاً بالمعلومات. سيكون الأمر أشبه بمحاولة قراءة كل الكتب الموجودة في مكتبة في نفس اللحظة تماماً. بدلاً من ذلك، تمتلك عيناك حيلة ذكية: لديهما بقعة صغيرة فائقة الحدة في المركز تسمى "النقرة" (fovea)، بينما يظل باقي مجال رؤيتك ضبابياً ومنخفض التفاصيل. أنت لا تحدق في بقعة واحدة للأبد؛ بل تتحرك عيناك بسرعة، وتلتقط صوراً عالية الدقة لأجزاء مختلفة من المشهد وتدمجها معاً في عقلك. هذه هي الطريقة التي يرى بها البشر العالم بكفاءة، مما يوفر الطاقة مع الاستمرار في ملاحظة التفاصيل الصغيرة المهمة.

لعقود من الزمن، حاول علماء الكمبيوتر تعليم الآلات أن ترى بالطريقة نفسها. لقد بنوا "شبكات عصبية" — وهي برامج كمبيوتر تتعلم التعرف على الصور — عن طريق تغذيتها بشبكات ضخمة من البكسلات. ولكن هنا تكمن المشكلة: كلما أصبحت الصور أكبر وأكثر وضوحاً (مثل الانتقال من تلفزيون قياسي إلى شاشة 4K Ultra HD)، تحتاج ذاكرة الكمبيوتر وقدرته العقلية إلى النمو بشكل انفجاري. إنه يشبه محاولة تنظيف غرفة حيث تصبح بلاطات الأرضية أصغر وأكثر عدداً باستمرار؛ حيث يتضاعف العمل مرتين ومرتين حتى ينفد جهد الكمبيوتر. هذا "النمو التربيعي" (quadratic growth) يمثل عائقاً رئيسياً. وهذا يعني أنه لرؤية أشياء صغيرة أو مشاهدة فيديوهات عالية الدقة، غالباً ما يتعين على أجهزة الكمبيوتر أن تكون بطيئة للغاية أو ضخمة جداً. وكان السؤال الكبير هو: هل يمكننا بناء نظام رؤية حاسوبية يعمل مثل العين البشرية، يركز قوته فقط حيث تشتد الحاجة إليه، دون فقدان الصورة الكبيرة؟

الفكرة الكبرى للورقة البحثية: HiResNets

في هذه الورقة البحثية، قدم الباحثون بنية جديدة تسمى HiResNets (الشبكات عالية الدقة). كان هدفهم هو حل مشكلة عنق الزجاجة في الذاكرة عبر دمج استراتيجية "النقرة" (foveal) الخاصة بالعين البشرية مباشرة داخل "عقل" الكمبيوتر، بدلاً من مجرد إضافتها كخطوة خارجية.

تخيل نموذج رؤية حاسوبي قياسي كعامل يحاول رسم جدارية ضخمة عن طريق رسم كل بوصة مربعة من الجدار بعناية وبنفس القدر من الجهد، بغض النظر عما إذا كان الجزء المرسوم سماءً أو زهرة صغيرة. هذا أمر مرهق ومضيع للجهد. أما HiResNets، فيعمل كفنان ذكي يحتفظ بلوحة ضخمة عالية الدقة (التي تسمى "المجرى المتبقي" أو residual stream) في ذاكرته، لكنه يستخدم فرشاته الغالية وعالية التفاصيل فقط على قسم صغير ومشوه من الجدار في كل مرة.

إليك كيف يعمل ذلك في واقع الورقة البحثية:

1. التشويه السحري: تستخدم الشبكة خدعة رياضية خاصة تسمى "التشويه القطبي اللوغاريتمي" (log-polar warp). تخيل أنك تأخذ صورة وتقوم بتمديد مركزها ليصبح ضخماً ومفصلاً، بينما تقوم بضغط الأطراف لتصبح صغيرة وضبابية. هذا يشبه عمل عدسة عين السمكة، لكن الكمبيوتر يتعلم اختيار أين يكون المركز.
2. التركيز الذكي: داخل الشبكة، يقرر "متنبئ المركز" الصغير أي جزء من الصورة يحتاج إلى نظرة فاحصة. يقوم بتحريك نقطة التركيز، تماماً كما تتحرك عيناك للانتقال إلى جسم جديد.
3. العملية الفعالة: العمل الشاق (الكتل الالتفافية/convolutional blocks) يحدث فقط على هذا المركز الصغير المشوه وعالي التفاصيل. أما بقية الصورة، فيتم معالجتها بدقة أقل بكثير.
4. مخزن الذاكرة: من الأهمية بمكان أن الشبكة لا تتخلص من بقية الصورة؛ بل تكتب التفاصيل التي تجدها مرة أخرى في "مخزن" عالي الدقة (المجرى المتبقي). ومع مرور الوقت، وبينما تغير الشبكة تركيزها إلى أماكن مختلفة، فإنها تبني صورة كاملة عالية الدقة في ذاكرتها، قطعة قطعة، تماماً كما يفعل دماغك عند مسح الغرفة بنظراتك.

ماذا وجدوا؟

اختبر الباحثون HiResNets في عدة مهام صعبة، لا سيما مع الفيديوهات "من منظور الشخص الأول" (egocentric) — وهي لقطات مسجلة من وجهة نظر الشخص، مثل كاميرا GoPro مثبتة على خوذة. هذه الفيديوهات تكون فوضوية، مهتزة، ومليئة بالأشياء الصغيرة مثل أزرار الهاتف أو الأدوات.

• أفضل في رصد الأشياء الصغيرة: عندما كانت المهمة تتضمن رصد أشياء صغيرة أو تفاصيل دقيقة (مثل التعرف على جزء معين من جسم ما)، تفوقت HiResNets بشكل ملحوظ على النماذج القياسية. على سبيل المثال، في مجموعة بيانات تسمى EgoObjects، ارتفقت دقة النموذج بنسبة تقارب 10% عندما قاموا بزيادة الدقة، بينما لم تتحسن النماذج القياسية كثيراً لأنها لم تستطع التعامل مع البيانات الإضافية بكفاءة.
• السرعة مقابل الحجم: كان الاكتشاف الأكثر إثارة يتعلق بالسرعة. فكلما زادت دقة الصورة، أصبحت النماذج القياسية أبطأ وأبطأ بطريقة "تربيعية" (إذا ضاعفت الحجم، يتضاعف العمل أربع مرات). أما HiResNets، فقد نمت بشكل أبطأ بكثير. فبينما تتناسب العمليات الالتفافية الأساسية مع علاقة "لوغاريتمية مربعة" بالنسبة للدقة، فإن وقت المعالجة الإجمالي (الكمون/latency) ينمو بشكل "خطي تقريباً". وهذا يعني أنه يمكنهم معالجة فيديو بدقة Full HD (وحتى أعلى) دون أن يتوقف الكمبيوتر عن العمل أو يتباطأ بشكل شديد.
• تعلم كيفية النظر: لم تكتفِ الشبكة بالعمل فحسب، بل تعلمت كيف تنظر مثل البشر. بدأ "متنبئ المركز" في التركيز على الأيدي والأشياء في المشاهد القريبة، وفي مسح مناطق مختلفة في اللقطات البانورامية الواسعة، محاكياً بذلك حركات العين الطبيعية.

ما الذي يعارضونه؟

الورقة البحثية واضحة جداً بشأن ما لا ينجح. فهم يعارضون فكرة مجرد تغليف شبكة قياسية بوحدة "لمحة" (glimpse) أو "تكبير" (zoom) توضع خارج الدماغ الرئيسي. لقد وجدوا أنه إذا كان لا يزال يتعين على الشبكة الرئيسية معالجة الصورة بأكملة بدقة كاملة، فإن عنق زجاجة الذاكرة سيظل قائماً، وسيكون النظام بطيئاً جداً. يجب أن يحدث التمركز (foveation) داخل كتل المعالجة الأساسية، وليس مجرد خطوة مسبقة.

كما اختبروا طرقاً مختلفة للتنبؤ بمكان النظر. ووجدوا أن التنبؤ بنقطة تركيز جديدة لكل مرحلة من مراحل الشبكة كان أمراً ضرورياً. فإذا حاولوا استخدام نقطة تركيز واحدة ثابتة للشبكة بأكملها، أو إذا حاولوا النظر إلى نقاط متعددة عالية الدقة في آن واحد، فإن الأداء ينخفض أو يصبح الكمبيوتر بطيئاً جداً. كان نهج "العين المندفعة" هو المفتاح.

الخلاية

يشير المؤلفون إلى أن HiResNets تقدم مساراً واعداً للمستقبل. لقد أثبتوا أنه من خلال معاملة مخزن ذاكرة الكمبيوتر كلوحة عالية الدقة واستخدام قوة المعالجة المكلفة فقط على البقعة المحددة التي يتم النظر إليها، يمكننا التعرف على التفاصيل الدقيقة في الفيديو عالي الدقة دون الحاجة إلى أجهزة كمبيوتر خارقة. تُظهر النتائج أن هذا النهج ليس مجرد فكرة نظرية، بل هو واقع عملي، حيث يوفر دقة أفضل للمهام الصعبة وكفاءة أفضل بكثير مع زيادة أحجام الصور. إنها خطوة نحو منح الآلات نفس الرؤية الفعالة والمندفعة التي امتلكها البشر لملايين السنين.