Token Reduction via Local and Global Contexts Optimization for Efficient Video Large Language Models
تقترح هذه الورقة البحثية طريقة AOT، وهي طريقة لا تتطلب تدريباً تعمل على تحسين تقليل الرموز (tokens) في نماذج اللغات الكبيرة للفيديو عبر إنشاء ركائز رموز محلية وعالمية وتجميع السياقات المعلوماتية عبر النقل الأمثل للتخلص بكفاءة من الحشو مع الحفاظ على الدقة المكانية والزمانية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول وصف فيلم مدته ساعتان لصديق، لكن ليس لديك سوى وقت يكفي لقول بضع جمل فقط. إذا حاولت وصف كل إطار، وكل تفصيل في الخلفية، وكل حركة، فسينفد منك الوقت قبل أن تصل حتى إلى الحبكة الدرامية.
هذه هي المشكلة التي تواجهها نماذج اللغات الكبيرة للفيديو (VLLMs) اليوم. هذه حواسيب ذكية للغاية يمكنها "مشاهدة" الفيديوهات والإجابة عن أسئلة حولها. ومع ذلك، يتكون الفيديو من آلاف الإطارات، وكل إطار يتم تقسيمه إلى آلاف القطع الصغيرة من البيانات تسمى "الرموز" (Tokens). محاولة معالجة كل هذه الرموز تشبه محاولة الشرب من خرطوم حريق؛ فهي عملية بطيئة، ومكلفة، وتستهلك الكثير من الطاقة.
تحاول الطرق الحالية حل هذه المشكلة ببساطة عن طريق التخلص من الأجزاء "المملة" من الفيديو أو لصق الأجزاء المتشابهة معاً. لكن هذا يشبه التخلص من مناظر الخلفية في فيلم لأنها تبدو "ثابتة"، لتكتشف لاحقاً أن الخلفية كانت تحتوي على دليل حاسم للغز.
تقدم هذه الورقة البحثية طريقة جديدة تسمى AOT (المرتكزات عبر النقل الأمثل - Anchors via Optimal Transport). وإليك كيف تعمل، باستخدام بعض التشبيهات من الحياة اليومية:
1. المشكلة: "خرطوم الحريق" من المعلومات
تخيل الفيديو كمكتبة ضخمة من الكتب (الرموز). معظم هذه الكتب ليست سوى نسخ من نفس القصة ولكن بخطوط مختلفة قليلاً.
- الطرق القديمة: تختار بعض الكتب العشوائية، وترمي البقية في القمامة، أو تلصق 100 نسخة من نفس الكتاب لتصبح مجلداً واحداً سميكاً وفوضوياً. والنتيجة؟ تفقد التفاصيل الدقيقة، ويصاب الذكاء الاصطناعي بالارتباك.
2. الحل: "القيم المنسق الذكي" (AOT)
بدلاً من مجرد الحذف أو اللصق، يعمل AOT مثل قيم متحف ذكي للغاية. فهو لا يكتفي باختيار أفضل اللوحات فحسب؛ بل يكتشف كيفية أخذ جوهر اللوحات التي يقوم بإزالتها ثم يرسم ذلك الجوهر على اللوحات التي يحتفظ بها.
إليك العملية خطوة بخوة:
الخطوة أ: اختيار "المرتكزات" (كبار الشخصيات - VIPs)
أولاً، ينظر الذكاء الاصطناعي إلى إطار واحد من الفيديو. وعليه أن يقرر ما هي قطع المعلومات الأكثر أهمية للاحتفاظ بها.
- المرتكز المحلي (The Local Anchor): ينظر إلى أحياء صغيرة في الصورة (مثل الشبكة) للتأكد من الاحتفاظ بجزء من كل شيء (السماء، الشخص، الطاولة).
- المرتكز العالمي (The Global Anchor): ينظر إلى الصورة بأكملها ليرى من هو "الشخصية الرئيسية" أو أهم كائن في المشهد.
- النتيجة: يختار مجموعة صغيرة من "رموز كبار الشخصيات" (المرتكزات) لتبقى. هذه الرموز هي الممثلون الرسميون للمشهد.
الخطوة ب: "شركة النقل" (النقل الأمثل - Optimal Transport)
هذا هو الجزء السحري. يجب على الذكاء الاصطناعي التعامل مع جميع الرموز التي لم يختارها (التي كان سيحذفها).
- الطريقة القديمة: مجرد حذفها. بوف. اختفت.
- طريقة AOT: يستخدم أداة رياضية تسمى النقل الأمثل (Optimal Transport). تخيل أن الرموز غير المختارة هي شاحنات نقل مليئة بحمولات قيمة (معلومات)، وأن رموز "المرتكز" المختارة هي المستودعات.
- يحسب الذكاء الاصطناعي المسار الأكثر كفاءة لنقل الحمولة من الشاحنات إلى المستودعات. هو لا يفرغ الحمولة فحسب؛ بل يمزج المعلومات من رموز "القمامة" بعناً في رموز "كبار الشخصيات".
- التشبيه: إذا كان لديك دلو من الماء (الفيديو) وتريد صبه في كوب أصغر (الفيديو المضغوط)، فأنت لا ترمي نصف الماء فحسب. بل تستخدم قمعاً خاصاً (النقل الأمثل) لضمان انتقال كل قطرة من نكهة الماء المتروك إلى الكوب بشكل مثالي.
الخطوة ج: "المسافر عبر الزمن" (بين الإطارات - Inter-Frame)
الفيديوهات تتحرك! الخطوة التالية هي التعامل مع الوقت بين الإطارات.
- تخيل فيديو لشخص يمشي. الإطار 1 والإطار 2 يبدوان متطابقين تقريباً.
- يعامل AOT الإطار الأول من مقطع قصير كـ "القائد". ويسأل القائد: "هل تغير أي شيء في الإطار التالي؟"
- إذا كان الإطار التالي هو مجرد خطوة بسيطة اتخذها القائد، يقول AOT: "حسناً، هذه مجرد تحديث صغير"، ويقوم بدمج هذا التحديث في بيانات القائد.
- إذا أظهر الإطار التالي أن القائد تحول فجأة إلى بطل خارق، يقول AOTH: "واو! هذا تغيير كبير!" ويحتفظ بهذا الإطار الجديد كرمز منفصل وخاص للحفاظ على الحركة.
لماذا يعد هذا أمراً هاماً؟
- الكفاءة: يقلل من كمية البيانات التي يعالجها الذكاء الاصطناعي بنسبة 90%. إنه يشبه تقليص فيلم بدقة 4K إلى ملف صغير جداً دون فقدان أحداث القصة.
- السرعة: نظرًا لوجود بيانات أقل، يجيب الذكاء الاصطناعي على الأسئلة بشكل أسرع ويستهلك كهرباء أقل.
- الجودة: على عكس الطرق الأخرى التي تجعل الفيديو "ضبابياً" أو "ناسيًا"، فإن هذه الطريقة تحافظ على الدقة الزمنية (تدفق الوقت) والدقة البصرية (التفاصيل) سليمة.
الخلاصة
تعلم هذه الورقة البحثية الذكاء الاصطناعي كيف يكون محرراً أفضل. فبدلاً من مجرد قص المشاهد من فيلم، تعلمه كيفية تلخيص المشاهد المقطوعة ونسج أهم تفاصيلها في المشاهد المتبقية.
النتيجة؟ ذكاء اصطناعي للفيديو يكون سريعاً، ومنخفض التكلفة، ولا يزال يتذكر بالضبط ما حدث في الفيديو، حتى عندما ينظر فقط إلى جزء ضئيل من البيانات الأصلية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.