ViSAGE: Constructing Self-Correcting Memories for Long-Form Video Understanding
يُعد ViSAGE إطار عمل ذاكرة وكيلية متعددة الوسائط يعزز فهم الفيديو طويل المدى من خلال بناء ذكريات ذاتية التصحيح ومركزة حول الكيانات عبر الربط عبر الوسائط، والتحسين ثنائي الاتجاه، والتحقق المتقاطع متعدد الوكلاء لمنع خلط الهوية والهلوسة، محققاً تحسناً بنسبة 5.9% في الدقة مقارنة بالنماذج المرجعية الرائدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حل لغز يمتد عبر فيلم كامل، لكن يُسمح لك فقط بالنظر إلى إطار واحد ثابت في كل مرة، وكل بضع دقائق، تُمسح ذاكرتك تماماً. هذه هي المعاناة اليومية للذكاء الاصطناعي الحديث عندما يحاول فهم مقاطع الفيديو الطويلة. إن أذكى نماذج الذاء الاصطناعي اليوم تشبه المحققين العباقرة الذين يمكنهم قراءة صفحة واحدة من كتاب بإتقان، ولكن إذا سلمتهم فيلماً مدته 40 دقيقة، فإنهم يصابون بالارتباك. إنهم يحاولون حشر القصة بأكملها في صندوق ذهني صغير، أو يقطعون الفيلم إلى قطع صغيرة ومنعزلة. ما المشكلة؟ عندما تقطع قصة، فإنك تفقد الروابط. تنسى من هم الشخصيات، وتخلط بين أسمائهم، وتبدأ في التخمين بجنون حول ما حدث في المشهد الأول لأنك لا تستطيع تذكر الأدلة من المشهد الأخير.
هنا يأتي دور مجال "فهم الفيديو طويل المدى". يحاول العلماء تعليم الحواسيب مشاهدة ساعات من الفيديو، وتذكر التفاصيل، والإجابة على أسئلة صعبة حول ما حدث، ومن فعل ذلك، ولماذا. الهدف هو بناء ذكاء اصطناعي لا يرى مجرد بكسلات فحسب، بل يفهم القصة، ويتتبع الأشخاص والأشياء من المشهد الافتتاحي حتى تترات النهاية. لكن الأساليب الحالية غالباً ما تفشل لأنها مفرطة في تلخيص الفيديو، حيث تتخلص من التفاصيل الدقيقة اللازمة للتمييز بين شخص وآخر، أو أنها تقع في حلقة مفرغة حيث لا يمكنها تصحيح خطأ وقع قبل خمس دقائق لأنها تنظر فقط إلى "الآن".
إليك ViSAGE، وهو نظام جديد صممه باحثون من جامعة تشجيانغ وجامعة شيديان يعمل مثل ذاكرة فائقة القدرة وذاتية التصحيح لوكلاء الذكاء الاصطناعي. فكر في ذاكرة الذكاء الاصطناعي القياسية كدفتر ملاحظات فوضوي تدون فيه ملاحظاتك أثناء مشاهدة فيلم، ولكن بمجرد أن تقلب الصفحة، لا يمكنك العودة لتصحيح تخمين خاطئ. إذا اعتقدت أن الشخصية هي "ماريو" في المشهد الأول، ثم اكتشفت لاحقاً أنه في الواقع "إيما"، فإن النظام العادي سيستمر في تسميته ماريو للأبد، مما يؤدي إلى إجابات مشوشة وخاطئة. أما ViSAGE، فهو يشبه المحقق الذي يحتفظ بقائمة مشتبه بهم وجدول زمني للأحداث. عندما يصل دليل جديد — مثل سماع اسم يُذكر في محادثة عند الدقيقة 30 — فإنه لا يكتفي بمجرد أرشفته؛ بل يعود ويكتب الملاحظات من البداية لضمان أن القصة بأكملها منطقية.
وجد الباحثون أنه من خلال بناء هذا النظام "ذاتي التصحيح"، استطاع الذكاء الاصطناعي أخيراً التعامل مع ارتباك الفيديوهات الطويلة. لقد أنشأوا إطار عمل يفصل بين "ماذا حدث" (الأحداث) و"من فعل ذلك" (الشخصيات). عندما يرى الذكاء الاصطناعي شخصاً ولا يعرف اسمه بعد، فإنه يعطيه تسمية مؤقتة. ولاحقاً، عندما يكشف الفيديو عن اسمه، يستخدم ViSAGE عملية "تحديث عكسي" لإصلاح جميع الملاحظات السابقة فوراً، مما يضمن ربط كل فعل بالشخص الصحيح. كما يستخدم فريقاً من "الوكلاء" للتدقيق في عمله. إذا لم يكن الذكاء الاصطناعي متأكداً من إجابة ما، فبدلاً من تأليف قصة (وهو ما يسمى بالهلوسة)، يتم برمجته ليقول: "لا أعرف"، وهو أمر أكثر أماناً وموثوقية.
في اختباراتهم، حقق هذا النهج الجديد نتائج أفضل بكثير من أفضل الأساليب السابقة. في مجموعة من الاختبارات الصعبة للفيديوهات الطويلة، حسن ViSAGE الدقة بنسبة 5.9% مقارنة بأقوى نظام موجود. وتحديداً، سجل 45.5% في مهام الفيديو المتعلقة بالروبوتات، و 58.4% في مهام الفيديو القائمة على الويب، ونسبة هائلة بلغت 79.1% في معيار Video-MME-long. أظهر الباحثون أنه من خلال إصلاح أخطاء الذاكرة، لم يكتفِ الذكاء الاصطناعي بالإجابة على المزيد من الأسئلة بشكل صحيح فحسب، بل توقف أيضاً عن ارتكاب أخطاء خطيرة، مثل الخلط بين من يفعل ماذا، وأصبح أفضل بكثير في الاعتراف بنقص المعلومات لديه. وهذا يشير إلى أنه لكي يفهم الذكاء الاصطناعي القصص الطويلة حقاً، فإنه يحتاج إلى ذاكرة يمكن أن تنمو، وتتغير، وتصحح نفسها، بدلاً من مجرد قائمة ثابتة من الحقائق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.