← أحدث الأبحاث
💻 computer science

Persistent Object Narratives for Token-Efficient Video Language Models

تقدم الورقة البحثية SlotNarrative، وهي واجهة لنموذج لغوي للفيديو تتسم بكفاءة الرموز (tokens)، تقوم بتنظيم محتوى الفيديو في سرديات كائنات مستمرة باستخدام رموز هوية وحالة مدمجة، محققةً توازناً ملائماً بين الدقة وعدد الرموز من خلال فصل تجميع الكائنات عن الضغط لكل إطار.

المؤلفون الأصليون: Junzhe Chen, Siyuan Meng, Xiaojie Guo

نُشر 2026-08-06
📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Junzhe Chen, Siyuan Meng, Xiaojie Guo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يفهم فيلماً. لديك مكتبة ضخمة من الكتب (عقل الروبوت)، لكنه لا يستطيع قراءة سوى صفحات قليلة في كل مرة قبل أن يشعر بالإرهاق. إذا حاولت عرض كل إطار من إطارات الفيلم على الروبوت —آلاف الصور في الدقيقة— فإنه سيختنق. سيتوه في الحجم الهائل من البكسلات وينسى أن الشخصية التي كانت تركض في المشهد الأول هي نفسها التي تقفز في المشهد الأخير. هذه هي المعضلة الكبيرة التي يحاول العلماء حلها في مجال نماذج اللغات الكبيرة للفيديو (Video Large Language Models). هذه أنظمة ذكاء اصطنا-عي مصممة لـ "مشاهدة" الفيديوهات والإجابة عن أسئلة حولها، لكنها تعاني لمتابعة الأشياء عبر الزمن دون استهلاك كل ذاكرتها. التحدي الرئيسي يكمكمن في إيجاد طريقة لتلخيص فيديو طويل في قصة صغيرة وفعالة يمكن للروبوت قراءتها بالفعل، دون أن يفقد خيط القصة.

هنا يأتي دور SlotNarrative، وهي طريقة جديدة اقترحها باحثون من جامعة تيانجين تعمل كمحرر ذكي لهذه الروبوتات المدعومة بالذكاء الاصطناعي. فبدلاً من تغذية الروبوت بمجموعة فوضوية من آلاف إطارات الفيديو، يقوم SlotNarrative بتنظيم الفيديو إلى "سرديات للأجسام المستمرة". فكر في الأمر بهذه الطريقة: إذا كنت تصف مباراة كرة قدم لصديق فاتته المباراة بأكملها، فلن تسرد كل ثانية من المباراة. بدلاً من ذلك، ستقول: "كان هناك مهاجم يدعى أليكس، ركض في الملعب، ثم مرر الكرة، ثم سجل هدفاً". أنت تتبع قصة أليكس، وليس بكسلات قميصه.

تشير الورقة البحثية إلى أن SlotNarrative يعمل أولاً عن طريق تجميع الميزات المرئية في "فتحات" (slots) —وهي عبارة عن دلاء صغيرة تلتقط الأشياء التي تبدو كأجسام. ثم يستخدم نظام ذاكرة خاص وغير مرئي لربط هذه الدلاء معاً بمرور الوقت. حتى لو اختفى الجسم خلف شجرة أو انقطع المشهد عن الكاميرا، فإن النظام يتذكر: "آه، هذا لا يزال أليكس!". أخيراً، يكتب تقريراً صغيراً وثابت الحجم للروبوت. يحتوي هذا التقرير على جزأين: "رمز الهوية" (بطاقة هوية دائمة للجسم، مثل "أليكس المهاجم") ومجموعة من "رموز الحالة" (مذكرات لما حدث له في أجزاء مختلفة من الفيديو).

وجد الباحثون أن هذه الطريقة فعالة للغاية. فقد تمكنوا من حشر القصة المرئية الكاملة لفيديو ما في 144 "موضع رمز" (tokens) فقط (وهي وحدات المعلومات التي يقرأها الروبوت). وهذا جزء ضئيل جداً من آلاف الرموز التي تستخدمها الطرق الأخرى. ورغم استخدام مساحة صغيرة جداً، إلا أن النظام حقق أداءً جيداً للغاية في اختبارات الفيديو القياسية، متفوقاً في كثير من الأحيان على الطرق المختصرة الأخرى. تشير الورقة البحثية إلى أنه من خلال فصل "من هو" (الهوية) عن "ماذا حدث" (الحالة)، يمكن للروبوت فهم الفيديوهات بشكل أفضل دون الارتباك بسبب الكم الهائل من البيانات. ومع ذلك، يلاحظ المؤلفون أيضاً أنه بينما يعمل هذا بشكل رائع لتتبع الأجسام، فإنه يعاني أحياناً في المشاهد المعقدة للغاية ذات التوقيت طويل المدى أو المشاهد المزدحمة حيث تختلط الأجسام، مما يظهر أن هناك المزيد من العمل الذي يتعين القيام به لجعل محرري الذكاء الاصطناعي هؤلاء مثاليين.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💻 cs →