LLaVA-OneVision-2: Towards Next-Generation Perceptual Intelligence
تقدم الورقة البحثية LLaVA-OneVision-2، وهو نموذج لغوي بصري من الجيل التالي يحقق أداءً هو الأفضل في فئته عبر مهام الفيديو، والتموضع المكاني، والتموضع الزمني، وذلك من خلال الاستفادة من استراتيجية ترميز تدفق الرموز (codec-stream tokenization) المبتكرة، ونظام إحداثيات 3D RoPE الموحد، والإشراف واسع النطاق المفتوح.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول وصف فيلم مدته 30 دقيقة لصديق، لكن ليس لديك سوى وقت كافٍ لعرض 30 صورة فقط.
نماذج الذكاء الاصطناي الحالي (مثل النماذج التي سبقت هذا النموذج الجديد) تلعب في المنطقة الآمنة: فهي تختار 30 صورة موزعة بالتساوي. صورة واحدة كل دقيقة. إذا حدث شيء مثير بين الدقيقة 10 والدقيقة 11، فإن الذكاء الاصطناي سيفقدها تماماً لأنه لم يكن ينظر في تلك الثانية تحديداً. الأمر يشبه محاولة فهم مباراة كرة قدم سريعة الإيقاع من خلال النظر إلى لوحة النتائج كل دقيقة فقط؛ ستفوتك لحظة تسجيل الهدف.
LLaVA-OneVision-2 هو نوع جديد من "المراقب الفائق" الذي يغير القواعد. بدلاً من النظر إلى الفيديو كمجموعة من اللقطات الثابتة، فإنه يعامل الفيديو كـ ملف رقمي مضغوط (النوع الذي يستخدمه هاتفك لتوفير المساحة).
إليك كيف يعمل، باستخدام تشبيهات بسيطة:
1. بوصلة "تكلفة البت" (Bit-Cost)
عندما تضغط فيديو (مثل تحويل فيلم خام إلى ملف MP4)، يضطر الكمبيوتر للعمل بجهد أكبر لوصف أجزاء الفيديو التي تتحرك بسرعة أو تتغير بشكل جامح (مثل حادث سيارة أو راقص يدور). إنه يستهلك المزيد من "الطاقة الرقمية" (البتات) في تلك الأجزاء. بينما يستهلك طاقة قليلة جداً في الأجزاء المملة حيث لا يحدث شيء (مثل جدار ثابت).
يقرأ LLaVA-OneVision-2 "خريطة الطاقة" هذه.
- الطريقة القديمة: "سأنظر إلى الفيديو لمدة ثانية واحدة، ثم أتخطى ثانية، ثم أنظر مرة أخرى."
- الطريقة الجديدة: "أرى أن ملف الفيديو يستخدم الكثير من الطاقة الآن لأن الحركة مكثفة! سأركز انتباهي هناك. أرى أن الطاقة منخفضة هنا؛ سأتخطى هذا الجزء."
إنه يركز "قدراته الذهنية" (الرموز/Tokens) تماماً حيث تحدث الحركة، بدلاً من توزيعها بالتساوي.
2. "محقق الحركة"
يبحث النموذج أيضاً عن "البواقي" (Residuals). تخيل أنك تشاهد فيديو لشخص يمشي. الخلفية (الغرفة) تظل كما هي. يدرك النموذج: "لست بحاجة لإعادة شرح الغرفة في كل إطار." هو يهتم فقط بالأجزاء التي تغيرت (الشخص المتحرك).
إنه ينشئ "لوحة بصرية" عبارة عن كولاج (تجميع) لأهم الأجزاء المتحركة، والتي يتم دمجها بكفاءة. هذا يسمح له بمشاهدة فيديو مدته 15 دقيقة دون أن يشعر بالارتباك، لأنه يتجاهل الأجزاء المملة والمتكررة ويركز على "القصة".
3. اختبار "نط الحبل"
لإثبات نجاح ذلك، أنشأ الباحثون اختباراً جديداً يسمى JumpScore. تخيل فيديو لشخص يقفز بالحبل. هو يقفز للأعلى والأسفل مئات المرات. بالنسبة للذكاء الاصطناي العادي، تبدو كل قفزة متطابقة تماماً. ومن الصعب معرفة أي قفزة محددة يسأل عنها المستخدم.
- الذكاء الاصطناي القديم ارتبك وخمن بشكل عشوائي، محققاً درجة تقارب 30 من 100.
- LLaVA-OneVision-2 رصد اللحظات الدقيقة جداً عندما يلمس الحبل الأرض أو عندما تتغير وضعية أقدام الشخص. لقد سجل 75 من 100.
لم يكتفِ برؤية "القفز" فحسب؛ بل رأى اللحظة الدقيقة التي حدثت فيها القفزة.
4. "الملاح المكاني"
لقد أصبح النموذج أيضاً بارعاً في فهم المساحات. إذا سألته: "أشر إلى المساحة الفارغة بين كوب القهوة وجهاز الكمبيوتر المحمول،" يمكنه القيام بذلك بدقة عالية. يمكنه حتى تتبع الأشياء التي تتحرك عبر الفيديو (مثل قطة تركض في غرفة) ويحافظ على عينيه عليها دون أن يفقد أثرها، حتى لو اختفت القطة جزئياً.
الصورة الكبيرة
الباحثون لم يبنوا مجرد عقل أكبر؛ بل بنوا طريقة أذكى لـ النظر.
- قبل: كان الذكاء الاصطاي مثل سائح يلتقط صورة كل دقيقة أثناء رحلة سير طويلة، آملاً ألا تفوته الإطلالة.
- الآن: الذكاء الاصطاي مثل دليل يعرف تماماً أين توجد الإطلالة، لذا فهو يتوقف فقط لالتقاط صورة عندما تتغير المناظر الطبيعية فعلياً.
النتيجة هي نموذج يفهم الفيديوهات الطويلة، ويجد لحظات محددة في الحركة السريعة، ويفهم المساحات بشكل أفضل بكثير من النماذج السابقة، كل ذلك مع استخدام نفس القدر من قوة الكمبيوتر. لقد جعلوا كل أكوادهم، وبياناتهم، والنموذج نفسه متاحاً لأي شخص لاستخدامه مجاناً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.