EgoArgus: Benchmarking VLMs as Situational Assistants for Modality-Grounded User Supports
تقدم الورقة البحثية EgoArgus، وهي مجموعة بيانات مرجعية مُوسومة بشرياً صُممت لتقييم قدرة نماذج الرؤية واللغة على العمل كمساعدين موثوقين في منظور الشخص الأول من خلال التحكيم بين الأدلة البصرية وحوار المستخدم في السيناريوهات اليومية، مما يكشف عن القيود الحالية في تقييم الثقة في الأنماط وتأثير طرق الحد من الانحياز الحالية المحدودة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل زوجًا من النظارات يمكنه رؤية ما تراه، وسماع ما تقوله، وتقديم نصيحة مفيدة في الوقت الفعلي. هذا هو الوعد الذي يقدمه جيل جديد من الذكاء الاصطناعي يُعرف بنماذج الرؤية واللغة. صُممت هذه الأنظمة لتعمل كمساعدين يوميين، يراقبون العالم من خلال كاميرا مثبتة على رأسك أو صدرك بينما يستمعون إلى محادثتك. والمقصود منها هو فهم موقفك، والتنبؤ بما قد تفعله بعد ذلك، والتدخل بتحذير أو اقتراح عند الضرورة. ولكن لكي تكون هذه المساعدات موثوقة حقًا، يجب عليها حل لغز صعب: عندما يروي الفيديو الذي تراه والكلمات التي تنطق بها قصتين مختلفتين، أيهما يجب أن تثق به؟
لقد طور باحثون في جامعة "تشانغ تشينغ" الوطنية (National Yang Ming Chiao Tung University) في تايوان اختبارًا جديدًا لمعرفة ما إذا كان الذكاء الاصطناعي الحالي يمكنه التعامل مع هذا التعارض. لقد أنشأوا مجموعة بيانات تسمى "EgoArgus"، والتي تحاكي خمسة أنواع مختلفة من التفاعلات اليومية بين المستخدم والمساعد. في بعض السيناريوهات، يتفق الفيديو والمحادثة، ويعملان معًا لرسم صورة واضحة. وفي حالات أخرى، قد تكون المحادثة غير مرتبطة تمامًا بما يحدث على الشاشة، أو قد تكون مضللة بأسلوب مهذب. وتحدث الحالات الأكثر تحديًا عندما يقول المستخدم شيئًا بينما تظهر الكاميرا بوضوح شيئًا آخر، مثل شخص يدعي أنه أغلق صنبور الماء بينما لا يزال الماء يتدفق. أراد الباحثون معرفة ما إذا كان بإمكان الذكاء الاصطناعي تجاهل الكلمات المضللة والاعتماد على الدليل المرئي، أم أنه سيصاب بالارتباك ويتبع المسار الخاطئ.
لاختبار ذلك، جمع الفريق آلاف الأمثلة من فيديوهات واقعية لأشخاص يقومون بمهام يومية، مثل الطبخ أو التسوق أو القيادة. وقد ربطوا هذه الفيديوهات بحوارات تتناسب مع سيناريوهاتهم الخمسة. كما أنشأوا حلقات اصطناعية حيث يتعين على مساعد الذكاء الاصطناعي أن يقرر ما إذا كان سيتحدث أم يظل صامتًا. كانت النتائج كاشفة؛ فعندما تتعارض كلمات المستخدم مع الفيديو، تفشل نماذج الذكاء الاصطناعي بشكل دراماتيكي. فبدلاً من الثقة في الكاميرا، التي تظهر الحقيقة، اتبعت النماذج عبارات المستخدم غير الصحيحة بشكل أعمى. وفي هذه المواقف المتعارضة، كان أداء النماذج أسوأ مما لو كانت قد خمنت عشوائيًا؛ إذ كانت تؤكد خطأ المستخدم بدلاً من تصحيحه، أو تقترح أفعالاً لا معنى لها بالنظر إلى ما يحدث بالفعل على الشاشة.
كما بحثت الدراسة فيما إذا كان بإمكان الذكاء الاصطناعي اتخاذ قرار بشأن التدخل. فالمساعد الجيد يعرف متى يتحدث ومتى يظل صامتًا. ووجد الباحثون أنه حتى أقوى النماذج تعاني من هذا التوازن. فبعض النماذج كانت متحمسة للغاية، حيث قدمت تحذيرات رغم عدم وجود خطأ ما، بينما أغفلت نماذج أخرى مخاطر حقيقية تمامًا. وعندما كانت تتدخل، كان توقيتها غالبًا غير دقيق، إما بالتحرك مبكرًا قبل وجود أدلة كافية، أو متأخرة بعد وقوع المشكلة بالفعل. حاول الفريق استخدام عدة طرق لإصلاح هذه الأخطاء، مثل إجبار النماذج على إعطاء اهتمام أكبر للفيديو أو تدريبها على تفضيل الدليل المرئي على النص. ولم تقدم هذه المحاولات سوى مساعدة محدودة؛ إذ ظلت النماذج منحازة بعناد نحو النص، مما يشير إلى أن مجرد تعديل انتباهها ليس كافيًا لجعلها موثوقة.
وكشف تحقيق إضافي في كيفية تفكير هذه النماذج أن المشكلة عميقة. فقد نظر الباحثون داخل النماذج ليروا كيف تعالج الفيديو والكلمات، ووجدوا أن النماذج تبقي نوعي المعلومات مختلطين معًا لفترة طويلة. وفقط في المراحل النهائية من معالجتها، بدأت النماذج في فصل الدليل المرئي عن الكلمات المنطوقة. ولكن بحلول ذلك الوقت، كان القرار قد تأثر بالفعل بالحوار المضلل. وهذا يشير إلى أن النماذج لا تمتلك آلية قوية لوزن الأدلة المتعارضة في الوقت الفعلي؛ فهي تستطيع التمييز بين الصورة والجملة، لكنها لا تستطيع دائمًا تحديد أيهما هو الحقيقة عندما يختلف الاثنان.
تشير النتائج إلى أنه على الرغم من أن أنظمة الذكاء الاصطناعي هذه تصبح أفضل في فهم العالم، إلا أنها ليست جاهزة بعد ليتم الوثوق بها كمساعدين يوميين مستقلين. فهي تفتقر إلى الحكم النقدي اللازم للتعامل مع بيئة صاخبة قد يُساء فيها فهم الكلام البشري، أو يكون غير ذي صلة، أو حتى مضللاً. ولكي تصبح هذه المساعدات مفيدة حقًا، فإنها تحتاج ليس فقط لتعلم الرؤية والسمع، بل لتعلم متى تثق في عينيها أكثر من أذنيها. وإلى أن تتمكن من فعل ذلك، ستظل عرضة لاتباع المسار الخاطئ، حتى عندما تكون الإجابة أمام أعينها مباشرة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.