CuriosAI Submission to the CASTLE Challenge at EgoVis 2026
يقدم فريق CuriosAI نهجين، هما SVA وTMKG، لتحدي CASTLE في مؤتمر EgoVis 2026، حيث حقق مسار عملهم المكون من ثلاث مراحل (البحث-التحقق-الإجابة) دقة بنسبة 0.50 على لوحة المتصدرين من أصل 185 سؤالاً من نوع الاختيار من متعدد مستمدة من أكثر من 600 ساعة من فيديوهات منظور الشخص الأول متعددة المشاهد والمتزامنة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حل لغز ضخم بناءً على 600 ساعة من لقطات الفيديو لـ 12 شخصاً يعيشون معاً، تم تصويرهم من 15 كاميرا مختلفة في آن واحد. التحدي؟ الإجابة على 185 سؤالاً محدداً من نوع الاختيار من متعدد حول ما حدث، ومن فعل ذلك، ومتى.
هذا هو تحدي CASTLE، وقد جرب فريق من SoftBank (CuriosAI) طريقتين مختلفتين لحله باستخدام الذكاء الاصطناعي. أطلقوا على أساليبهم اسم SVA و TMKG.
إليك كيف عملوا، مشروحاً بتبسيط:
الأساس المشترك: "المكتبة"
قبل محاولة حل الأسئلة، قام كلا الأسلوبين أولاً ببناء مكتبة ضخمة ومنظمة للفيديو. لم يكتفوا بمشاهدة الفيديو الخام فحسب؛ بل قاموا بتفكيكه إلى خمس طبقات مفيدة:
- من هو مَن: تحديد الأشخاص الـ 12.
- ماذا يحدث: كتابة أوصاف للمشاهد.
- ما هي الأشياء الموجودة: رصد عناصر محددة مثل ألعاب الطاولة أو أدوات المطبخ.
- ماذا قيل: تفريغ الصوت ومعرفة من تحدث.
- الخط الزمني: إنشاء جدول زمني للأفعال لكل شخص.
استخدم كلا الأسلوبين هذه "المكتبة" نفسها، لكنهما سلكا مسارات مختلفة تماماً للعثور على الإجابات.
النهج (أ): SVA (بحث – تحقق – أجب)
التشبيه: المحقق ذو كتاب القواعد الصارم
فكر في SVA كفريق من ثلاثة محققين يعملون في خط تجميع صارم:
- البحث (المستكشف): أولاً، يبحثون في المكتبة بأكملها ويخمنون أي مقطع مدته 15 دقيقة من الفيديو يحتوي على الإجابة على الأرجح. إنهم يقلصون النطاق من ساعات إلى نافذة زمنية صغيرة جداً.
- التحقق (المشكك): هذا هو الجزء الأهم. يأخذون تلك النافذة المكونة من 15 دقيقة ويقسمونها إلى مقاطع أصغر مدة كل منها 5 دقائق. يطلبون من ذكاء اصطناعي النظر في هذه المقاطع، لكنهم يعطونه كتاب قواعد صارم لمنعه من الكذب (الهلوسة/التأليف).
- القاعدة 1: لا تكتفِ بإعادة صياغة السؤال إلينا.
- القاعدة 2: إذا كان الفيديو صامتاً أو فارغاً، اعترف بأنك لا تعرف.
- القاعدة 3: إذا كنت تعد شيئاً ما، يجب أن تشير بدقة إلى مكانه في الفيديو.
- القاعدة 4: لا تخترع حقائق إذا لم تكن تراها.
- الإجابة (القاضي): أخيراً، ينظر "قاضٍ" ذكي من الذكاء الاصطناعي إلى جميع الأدلة التي جمعها "المشكك"، ويزنها (حيث يثق في الاقتباسات الصوتية أكثر من التخمينات البصرية الغامضة)، ثم يختار الإجابة النهائية.
النتيجة: كان هذا الأسلوب حذراً للغاية. لقد طرحوا أسئلة كثيرة على الذكاء الاصطناعي (حوالي 28 مرة لكل لغز)، لكنهم حصلوا على الإجابة الصحيحة بنسبة 50%. كانت هذه هي مشاركتهم الفائزة.
النهج (ب): TMKG (الرسم البياني المعرفي الزمني متعدد الوسائط)
التشبيه: شبكة الروابط
فكر في TMKG كبناء شبكة عنكبوتية ثلاثية الأبعاد ضخمة من الحقائق.
- كل 5 دقائق، ينشئ النظام "عقدة" (نقطة) تحتوي على كل ما حدث: من كان هناك، وماذا قالوا، وما هي الأشياء المرئية.
- يربط النظام هذه النقاط بخيوط (حواف) توضح من فعل ماذا، وأين كانوا، وماذا حدث بعد ذلك.
- عندما يأتي سؤال، يبحث النظام في هذه الشبكة للعثور على المجموعة الصحيحة من النقاط.
- بمجرد العثور على الموقع، يسلم النظام الفيديو وبيانات الشبكة إلى ذكاء اصطناعي واحد فقط ليعطي الإجابة فوراً.
النتيجة: كان هذا الأسلوب أسرع وطرح أسئلة أقل على الذكاء الاصطناعي (مرة واحدة فقط تقريباً لكل لغز)، ولكنه كان أقل دقة، حيث حصل على الإجابة الصحيحة بنسبة 35% فقط.
الخلاصة الكبرى
قارن الفريق بين الأسلوبين ووجدوا درساً واضحاً:
- فاز SVA (المحقق) لأنه كان منضبطاً. من خلال إجبار الذكاء الاصطناعي على مراجعة عمله واتباع قواعد صارمة بشأن عدم اختلاق الأمور، تجنبوا الأخطاء السخيفة.
- عانى TMKG (الشبكة) لأنه اعتمد على ذكاء اصطناعي واحد للقيام بكل شيء في وقت واحد دون تلك الطبقة الإضافية من "التحقق من الحقائق".
الاستنتاج:
عند هذا النطاق الضخم (600 ساعة من الفيديو)، فإن مجرد بناء قاعدة بيانات أذكى ليس كافياً. السر الحقيقي كان في التحقق. وعلى الرغم من أن طريقة "المحقق" استغرقت قوة حوسبة ووقتاً أكثر للتشغيل، إلا أن الخطوة الإضافية المتمثلة في إجبار الذكاء الاصطناعي على إثبات حقائقه قبل الإجابة هي ما صنع الفارق بين نتيجة 35% و50%.
لاحظ الفريق أن كلا الطريقتين فشلتا أحياناً لأنهما اختارتا النافذة الزمنية (الـ 15 دقيقة) الخاطئة للبدء. لكنهما استنتجا أنه إذا تمكنت من العثء على النافذة الصحيحة، فإن إضافة "مدقق منضبط" هو أفضل وسيلة للحصول على الإجابة الصحيحة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.