MASS-ScanDMM: A Panoramic Image Scanpath Prediction Method Integrating Multiple Attention Mechanisms and Spherical Semantic Enhancement
تقترح هذه الورقة البحثية MASS-ScanDMM، وهي طريقة للتنبؤ بمسار المسح في الصور البانورامية تدمج آليات إدراك المشهد متعدد الانتباه (MASP) وإدراك تعزيز المعلومات الكروية (SIEP) لتحقيق دقة فائقة وقدرة عالية على التعميم عبر مجموعات بيانات متعددة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في العصر الرقمي، لم تعد شاشاتنا مجرد مستطيلات مسطحة، بل أصبحت نوافذ غامرة في عوالم بزاوية 360 درجة. تسمح لنا سماعات الواقع الافتراضي بالنظر في أي اتجاه، مما يحول صورة بسيطة إلى بيئة كروية شاسعة حيث يمكننا تحريك رؤوسنا لاستكشاف متحف، أو منتزه، أو غرفة معيشة. ومع ذلك، فإن رندرة (توليد) هذه العوالم بأكملها بدقة عالية يتطلب قدرة حوسبية ونطاقًا تردديًا هائلاً للإنترنت. ولحل هذه المشكلة، يتطلع الباحثون إلى كيفية عمل العين البشرية في الواقع؛ فرؤيتنا ليست متساوية، إذ لا نرى سوى تفاصيل دقيقة في بقعة مركزية صغيرة، بينما يظل باقي مجال رؤيتنا ضبابيًا. ومن خلال التنبؤ بمكان نظر الشخص التالي، يمكن للحواسيب رندرة تلك المنطقة الصغيرة والحادة فقط بدقة عالية وإبقاء البقية بدقة منخفضة، مما يوفر كميات هائلة من الموارد. إن التنبؤ بحركة العين هذا، والمعروف باسم "مسار المسح" (scanpath)، هو المفتاح لجعل الواقع الافتراضي فعالاً واستجابيًا.
لعقود من الزمن، درس العلماء كيفية مسح الصور ثنائية الأبعاد المسطحة، لكن القواعد تتغير تمامًا عندما تلتف الصورة حول كرة. في الصورة المسطحة، تنجذب العين طبيعيًا نحو المركز، ولكن في البانوراما بزاوية 360 درجة، يجب على المشاهد أن يحرك رأسه بنشاط للعثور على التفاصيل المثيرة للاهتمام. غالبًا ما تعاني النماذج الحاسوبية الحالية من هذا الأمر، حيث تنتج أنماط نظرات تكون إما عشوائية للغاية أو تفشل في مراعاة الهندسة الفريدة للعالم الكروي. قد تغفل هذه النماذج عن الأشياء المهمة أو تقترح حركات عين تبدو غير طبيعية للمراقب البشري. ويكمكن التحدي في تعليم الكمبيوتر ليس فقط فهم الأشياء الموجودة في المشهد، بل وأيضًا كيف توجد تلك الأشياء ضمن فضاء منحني وشامل.
لقد عالج فريق من الباحثين من جامعة فوتشو هذا التحدي بطريقة جديدة تسمى MASS-ScanDMM. صُمم نهجهم لمحاكاة الطريقة المعقدة التي تعالج بها الأدمغة البشرية المعلومات البصرية في هذه البيئات الغامرة. وبدلاً من الاعتماد على طريقة واحدة للنظر إلى الصورة، يجمع النظام الجديد عدة استراتيجيات مختلفة لتحديد أين ستذهب أعين المشاهد. إنه يعامل الصورة البانورامية كمشهد ديناميكي حيث يتغير الانتباه بمرور الوقت، تمامًا مثل شخص يستكشف غرفة. بني النظام على أساس تتبع الحالات البصرية، وهو ما يحاكي في جوهره شكلًا من أشكال الذاكرة العاملة التي تحتفظ بما تمت رؤيته للتو للتنبؤ بما سيتم رؤيته بعد ذلك.
يتضمن جوهر هذه الطريقة الجديدة مكونين متخصصين يعملان معًا لتحسين الدقة. يعمل المكون الأول كمرشح متطور، يساعد الكمبيوتر في تحديد الأجزاء الأكثر أهمية من الصورة. يقوم بذلك عبر وزن جوانب مختلفة من البيانات البصرية في آن واحد، مثل سطوع مناطق معينة، وملمس الأشياء، والعلاقات بين أجزاء المشهد المختلفة. ومن خلال دمج طبقات الانتباه المتعددة هذه، يصبح النظام أفضل بكثير في تحديد النقاط المحددة التي ستجذب العين البشرية، بدلاً من الضياع في اتساع الرؤية بزاوية 360 درجة.
ويركز المكون الثاني تحديدًا على الشكل الفريد للصورة البانورامية. نظرًا لأن الصور بزاوية 360 درجة غالبًا ما يتم بسطها على شاشة مسطحة لمعالجتها حاسوبيًا، فإن العلاقات المكانية المهمة قد تتعرض للتشوه. يصحح هذا النظام الجديد هذا التشوه عن طريق تجميع المعلومات بطريقة تحترم الطبيعة الكروية للعالم. فهو يحلل الصورة من خلال النظر في الاتجاهات الأفقية والرأسية بشكل منفصل، مما يضمن فهم الكمبيوتر لكيفية اتصال قمة مبنى بقاعدته، حتى عندما تكون الصورة ملفوفة. وهذا يسمح للنموذج بالحفاظ على إحساس واضح بهيكل المشهد، مما يمنع الارتباك الذي غالبًا ما يعاني منه غيره من الأساليب عند التعامل مع حواف العرض البانورامي.
عندما اختبر الباحثون نظامهم مقابل النماذج الحالية باستخدام ثلاث مجموعات مختلفة من الصور البانورامية الكبيرة، كانت النتائج واضحة. لقد قاسوا مدى قرب حركات العين التي تنبأ بها الكمبيوتر من المسارات الفعلية التي سلكها المشاهدون البشريون الحقيقيون. وقد تفوق النهج الجديد باستمرار على الأساليب السابقة، حيث أنتج أنماط نظرات أكثر سلاسة ودقة. وفي إحدى الاختبارات التي شملت مشهدًا لمتحف، نجح النظام في التنبؤ بأن المشاهدين سينظرون إلى معروضات محددة، في حين كانت النماذج القديمة غالبًا ما تشتت تنبؤاتها عبر الجدران الفارغة. وأظهرت البيانات أن النظام الجديد قلل الخطأ في التنبؤ بشكل كبير، مما جعل سلوك الكمبيوتر أقرب بكما إلى الطريقة الطبيعية التي يستكشف بها البشر هذه البيئات.
وجد الباحثون أيضًا أنه يمكن استخدام النظام لمهمة ذات صلة: إنشاء خرائط حرارية توضح الأجزاء الأكثر قدرة على جذب الانتباه في المشهد. ومن خلال تجميع حركات العين المتوقعة، تمكنوا من إنشاء دليل بصري يسلط الض الضوء على المناطق الأكثر إثارة للاهتمام في الصورة البانورامية. أثبت هذا التطبيق أن النظام لا يتنبأ بالحركة فحسب، بل يفهم أيضًا محتوى المشهد بما يكفي لتحديد ما يجعل المكان جذابًا. وتؤكد الدراسة أنه من خلال الجمع بين طرق متعددة للانتباه وفهم عميق للهندسة الكروية، يمكن للحواسيب أخيرًا أن تتعلم رؤية العالم كما نراه نحن، مما يفتح الباب أمام تجارب واقع افتراضي أكثر كفاءة وواقعية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.