Vision-Language Models for Egocentric Video: From Hand-Object Interaction to Embodied AI
تراجع هذه الدراسة النقدية تطبيق نماذج الرؤية واللغة في فهم الفيديو من منظور الشخص الأول، متتبعةً تطورها من التعرف التقليدي إلى الذكاء الاصطناعي المتجسد، مع تسليط الضوء على القيود الحالية في نمذجة التفاعلات طويلة المدى وتحديد الأولويات الرئيسية للأنظمة القابلة للنشر في المستقبل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد العالم من خلال عيني شخص آخر. ترى يداه تمتدان نحو كوب، وتشعر بضبابية دوران الرأس، وتلاحظ كيف يختفي جسم صغير خلف جسم أكبر مع حركته. هذا هو عالم "الفيديو من منظور الشخص الأول" (egocentric video)، وهو منظور تلتقطه الكاميرات التي تُرتدى على الجسم لتسجل الحياة تماماً كما يعيشها الشخص. وبخلاف كاميرات المراقبة التقليدية التي تراقب الناس من مسافة بعيدة، فإن هذه الأجهزة القابلة للارتداء ترى العالم من الداخل إلى الخارج، مع التركيز بشدة على ما يفعله مرتديها وما يلمسه. هذا المنظور أصبح حاسماً لبناء آلات يمكنها مساعدتنا في حياتنا اليومية، بدءاً من النظارات الذكية التي تحذرنا من الخطر، وصولاً إلى الروبوتات التي تتعلم مهارات جديدة من خلال مراقبتنا أثناء العمل. ومع ذلك، فإن تعليم الحواسيب فهم هذا المنظور الفوضوي أمر صعب للغاية؛ فالكاميرا تهتز مع كل خطوة، والأجسام غالباً ما تكون محجوبة عن الرؤية، وأهم الأفعال تحدث في اللحظة الخاطفة التي تلمس فيها اليد شيئاً ما.
تأخذ دراسة استقصائية جديدة أجراها باحثون في جامعة طهران نظرة عميقة في كيفية محاولة الذكاء الاصطناعي إتقان هذا المنظور الفريد. يتفحص المؤلفون مجالاً ينمو بسرعة حيث يتم تعليم الحواسيب ليس فقط رؤية الصور، بل فهمها من خلال اللغة. هذه الأنظمة، المعروفة بنماذج الرؤية واللغة (vision-language models)، مصممة لربط ما تراه الكاميرا بالكلمات التي ننطق بها. وقد تتبع الباحثون تاريخ هذه النماذج، من الأنظمة المبكرة التي كانت تكتفي بالتعرف على الأجسام الثابتة، إلى المحاولات الحديثة التي تحاول فهم الأفعال والتفاعلات المعقدة. ووجدوا أنه بينما تتحسن هذه النماذج المتقدمة في تسمية الأجسام الموجودة في الفيديو، إلا أنها لا تزال تكافح لفهم "القصة" لما يحدث بالفعل. فغالباً ما تخطئ النماذج في التمييز بين شخص يمسك سكيناً وشخص يقطع بها، أو تفشل في رؤية تسلسل الخطوات في نشاط طويل. وتكشف الدراسة أن العقبة الكبرى ليست مجرد رؤية المشهد، بل فهم العلاقات بين الأيدي والأشياء والزمن أثناء تطورها.
نظم الباحثون مراجعتهم حول التحدي الجوهري المتمثل في "التفاعل بين اليد والجسم". في فيديو منظور الشخص الأول، تكون الأيدي هي الشخصيات الرئيسية؛ فهي التي تتحرك، وتلمس، وتغير حالة العالم. توضح الدراسة أنه لكي يفهم الكمبيوتر حقاً فيديو من منظور الشخص الأول، يجب عليه تحديد أي يد تلمس أي جسم بالضبط، وكيف يتغير هذا التلامس بمرور الوقت. وهذا أصعب مما يبدو، لأن الأيدي غالباً ما تحجب الرؤية عن الأجسام التي تمسك بها، كما تتحرك الكاميرا بشكل غير منتظم. ويشير المؤلفون إلى أن أنظمة الذكاء الاصطناعي الحالية تعتمد بشكل مفرط على مجرد التعرف على الأجسام الموجودة؛ إذ يمكنها إخبارك بوجود كوب ويد، لكنها غالباً ما تفشل في استيعاب الفعل المحدد الذي يربطهما، مثل السكب أو التحريك. ويصبح هذا القصور واضحاً عند اختبار النماذج على فيديوهات طويلة؛ حيث تميل إلى الضياع في التفاصيل وتفقد الصورة الكلية للنشاط.
ولمعالجة هذه الإخفاقات، تسلط الورقة الضوء على التحول نحو استخدام الاستدلال الهيكلي، وتحديداً عبر النظر إلى الفيديو كشبكة من العلاقات بدلاً من مجرد تسلسل من الصور. يرى الباحثون أن أفضل طريقة لمساعدة الحواسيب على فهم هذه الفيديوهات هي تعليمها بناء "خريطة ذهنية" للمشهد، تربط الأيدي بالأشياء التي تلمسها وتتتبع كيفية تغير تلك الروابط. هذا النهج، الذي يستخدم الاستدلال القائم على الرسوم البيانية (graph-based reasoning)، يعامل الفيديو كمجموعة من الأحداث المترابطة بدلاً من كومة من الإطارات. وتظهر الدراسة أنه عندما تُصمم النماذج للتركيز على هذه العلاقات المحددة، فإنها تؤدي بشكل أفضل في فهم المهام المعقدة. ومع ذلك، يشير المؤلفون إلى أن هذه التكنولوجيا لا تزال في مراحلها الأولى؛ فمعظم الطرق الناجحة لبناء خرائط العلاقات هذه تم تطويرها في الأصل لفيديوهات منظور الشخص الثالث، حيث تكون الكاميرا مستقرة والرؤية واضحة. وإن تكييف هذه الأساليب مع الرؤية المهتزة والمحجوبة لكاميرا تُرتدى على الجسم يظل مشكلة كبيرة لم تُحل بعد.
كما تتناول الدراسة البيانات المستخدمة لتدريب هذه الأنظمة. وجد الباحثون أن مجموعات بيانات الفيديو المتاحة غالباً ما تكون محدودة النطاق، حيث تركز بكثافة على أنشطة المطبخ أو بيئات ثقافية محددة. وهذا يخلق انحيازاً يجعل الذكاء الاصطناعي يتعلم التعرف فقط على شريحة ضيقة من السلوك البشري. علاوة على ذلك، فإن اللغة المستخدمة لوصف هذه الفيديوهات غالباً ما تكون غير متسقة، مما يجعل من الصعب على النماذج تعلم المعنى الدقيق لمختلف الأفعال. ويؤكد المؤلفون أن مجرد إضافة المزيد من البيانات أو جعل النماذج أكبر ليس هو الحل؛ بل يحتاج المجال إلى طرق أفضل لتعليم النماذج الانتباه إلى اللحظات الصحيحة وفهم تسلسل الأحداث. ويقترحون أن التقدم المستقبلي سيعتمد على دمج البيانات المرئية مع إشارات أخرى، مثل حركة رأس المرتدي أو صوت صوته، لخلق صورة أكثر اكتمالاً لما يحدث.
في الختام، تخلص الورقة إلى أن الطريق نحو آلات ذكية حقاً يمكنها مساعدتنا في حياتنا اليومية لا يزال طويلاً. وبينما قطعنا خطوات كبيرة في تعليم الحواسيب الرؤية والتحدث، فإن القدرة على فهم الطبيعة التفاعلية والمرنة للحياة البشرية من منظور الشخص الأول لا تزال عصية على المنال. يحدد الباحثون عدة مجالات رئيسية للعمل المستقبلي، بما في ذلك تحسين كيفية استدلال النماذج عبر الزمن، وتطوير طرق أفضل للتعامل مع الحركة المستمرة للكاميرات القابلة للارتداء، وإنشاء أنظمة يمكنها التعميم على بيئات وثقافات جديدة. إنهم يتصورون مستقبلاً يمكن لهذه النماذج فيه سد الفجوة بسلاسة بين العرض البشري والعمل الروبوتي، مما يسمح للآلات بتعلم مهارات معقدة بمجرد مراقبتنا. ولكن قبل وصول ذلك المستقبل، يجب على المجال حل المشكلة الأساسية المتمثلة في تعليم الحواسيب ليس فقط رؤية الأشياء في العالم، بل فهم العلاقات التي تربطها ببعضها البعض عبر الزمن.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.