💻 computer science

Results of the 1st Asynchronous CASTLE Challenge at the Joint Egocentric Vision Workshop in Conjunction with CVPR 2026

تلخص هذه الورقة المساهمات والنتائج الخاصة بتحدي CASTLE الأول غير المتزامن، والذي عُقد في ورشة عمل الرؤية من منظور الشخص الأول (Egocentric Vision) بالاقتران مع مؤتمر CVPR 2026.

المؤلفون الأصليون: Luca Rossetto, Werner Bailer, Cathal Gurrin, Graham Healy, Omar Shahbaz Khan, Stevan Rudinac, Klaus Schöffmann, Allie Tran

نُشر 2026-08-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Luca Rossetto, Werner Bailer, Cathal Gurrin, Graham Healy, Omar Shahbaz Khan, Stevan Rudinac, Klaus Schöffmann, Allie Tran

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن تحاول تذكر كل ما حدث خلال عطلة استمرت أربعة أيام، ليس فقط اللحظات البارزة، بل كل محادثة، وكل غرض تم تحريكه، وكل تغيير طفيف في الغرفة، كل ذلك وأنت تشاهد من أعين عشرة أشخاص مختلفين في آن واحد. هذا هو نوع اختبار الذاكرة الذي تعاني الحواسيب في التعامل معه، حتى عندما تُغذى بآلاف الساعات من الفيديو. في مجال الذكاء الاصطناعي، يحاول الباحثون بناء أنظمة يمكنها مشاهدة تسجيلات طويلة وغير مكتوبة للحياة اليومية والإجابة على أسئلة محددة حولها، تماماً كما يفعل البشر بعد قراءة مذكرات أو مشاهدة فيلم. يكمكم التحدي في الحجم الهائل للمعلومات والحاجة إلى ربط التفاصيل التي قد تفصل بينها ساعات أو أيام. إذا تعلمت الآلة القيام بذلك، فقد يساعدنا ذلك في النهاية على البحث عبر سنوات من اللقطات الشخصية للعثور على لحظة معينة أو فهم الأنماط المعقدة لكيفية عيش الناس.

ولاختبار مدى قربنا من حل هذه المعضلة، نظم مجموعة من الباحثين مسابقة تسمى "تحدي كاسل" (CASTLE Challenge). قدموا للفرق مجموعة بيانات ضخمة تحتوي على أكثر من 600 ساعة من الفيديو فائق الدقة، سُجلت بسرعة عالية لالتقاط كل التفاصيل. جاءت اللقطات من كاميرات يرتديها عشرة مشاركين أثناء ممارسة حياتهم الطبيعية، إلى جانب خمس كاميرات ثابتة تراقب من الغرفة. كانت البيانات غنية، حيث شملت الصوت، وأجهزة مراقبة معدل ضربات القلب، وحتى الصور الحرارية، مما خلق سجلاً رقمياً كاملاً لأربعة أيام من النشاط. كانت المهمة الموكلة للفرق المتنافسة بسيطة من الناحية النظرية ولكنها صعبة للغاية من الناحية العملية: كان عليهم الإجابة على 185 سؤالاً من نوع الاختيار من متعدد حول ما حدث في الفيديوهات. تطلبت هذه الأسئلة من الكمبيوتر تتبع الأشخاص، وعد الأشياء، وتذكر أين كانت الأشياء مخبأة، وفهم توقيت الأحداث، مثل معرفة من أكل قطعة الكعك أولاً أو مدى سرعة شحن شخص ما لسيارته في اليوم الأخير.

تقدمت أربعة فرق لمواجهة التحدي، حيث جلب كل منها استراتيجية مختلفة للمشكلة. الفريق الفائز، المعروف باسم "دبليو دي إل" (WDL)، تعامل مع المهمة كأنها عمل محقق يجمع الأدلة. فبدلاً من محاولة مشاهدة جميع الـ 600 ساعة من الفيديو دفعة واحدة، نظر نظامهم أولاً إلى السؤال للعث ط كلمات مفتاحية، مثل اسم شخص أو يوم محدد. ثم استخدم هذه الأدلة لاستخراج الأجزاء الأكثر صلة من الفيديو والنصوص المنطوقة فقط، متجاهلاً الباقي. قاموا بتدريب نموذج الكمبيوتر الخاص بهم للتركيز بدقة على الأدلة التي وجدوها، من خلال تشغيل متغيرات مطالبات صارمة ومتوازنة وهجومية لكل سؤال لضمان الاتساق عبر تعدد العينات. سمح هذا النهج لهم بالوصول إلى دقة تقارب 58 بالمائة، مما يعني أنهم أجابوا بشكل صحيح على حوالي 108 من أصل 185 سؤالاً.

أما الفريق الآخر، "مارس" (MARS)، فقد اتبع نهجاً أكثر تفاعلية. فقد بنوا نظاماً يعمل كوكيل فضولي، يقرر خطوة بخوة نوع المعلومات التي يجب النظر إليها تالياً. فإذا كان السؤال يتعلق بالنشاط البدني، فقد يختار النظام التحقق من بيانات معدل ضربات القلب خصيصاً لتلك الاستعلامات. وإذا كان السؤال عن المكان الذي ينظر إليه شخص ما، فسيقوم باستدعاء بيانات تتبع العين. ومن خلال الاختيار الديناميكي لقطعة الأدلة التي سيتم فحصها بدلاً من محاولة معالجة كل شيء في وقت واحد، رفعوا درجتهم إلى 57 بالمائة. أما الفريق الثالث، "تحكم" (TAHAKOM)، فقد نظم المعلومات في خريطة هيكلية من العلاقات، تربط بين الأشخاص والأماكن والأشياء مع طوابع زمنية. سمح لهم ذلك بطرح أسئلة محددة على النظام حول الروابط بين الأحداث، محققين دقة بلغت 54.6 بالمائة. وركز الفريق الأخير، "كيوريوس آي" (CuriosAI)، على منع الكمبيوتر من اختلاق الأمور. فقد بنوا عملية صارمة حيث يتعين على النظام البحث عن دليل، والتحقق منه مقابل الفيديو الخام، ثم الإجابة، لضمان أن كل ادعاء يستند إلى ما تمت رؤيته أو سماعه بالفعل. ووصلت أفضل طريقتهم إلى دقة 49.7 بالمائة.

تظهر نتائج المسابقة أنه بينما تتحسن الحواسيب في فهم الفيديوهات الطويلة، إلا أنها لا تزال بعيدة جداً عن الهدف. لقد أجابت الفرق المتصدرة على أكثر من نصف الأسئلة بشكل صحيح، وهو تحسن كبير مقار بالتخمين العشوائي، لكنهم لا يزالون يفتقدون نصف الإجابات تقريباً. ولعل الأمر الأكثر كشفاً هو أن الفرق لم تكن جميعها تصيب في نفس الأسئلة. فعند دمج الإجابات الصحيحة من الفرق الأربعة، تمكنوا من حل 176 سؤالاً من أصل 185، تاركين تسعة أسئلة فقط لم يتمكن أي فريق من الإجابة عليها. يشير هذا إلى أنه لا توجد طريقة واحدة مثالية بعد، ولكن النهج المختلفة تلتقط قطعاً مختلفة من اللغز. وقد وجد الباحثون أن العقبة الكبرى تظل في القدرة على تغطية ما يكفي من الأدلة دون الضياع في الحجم الهائل للبيانات. وبينما تستطيع الأنظمة التنقل عبر مئات الساعات من اللقطات، فإن مهمة التفكير والاستنتاج من خلال أحداث واقعية غير مكتوبة على فترات طويلة تظل مشكلة صعبة. لم تحل المسابقة المشكلة، لكنها أظهرت بوضوح أن الجمع بين هذه الاستراتيجيات المختلفة قد يكون المفتاح لبناء آلات تفهم حقاً حياتنا اليومية.

أبحاث مشابهة