Act2See: Emergent Active Visual Perception for Video Reasoning
تقدم الورقة البحثية إطار العمل Act2See، وهو إطار عمل مبتكر يعزز الاستدلال بالفيديو في نماذج الرؤية واللغة من خلال تمكينها من التداخل النشط بين استرجاع الإطارات الديناميكي والتركيب ضمن عمليات "سلسلة الأفكار" الخاصة بها، مما يحقق أداءً رائدًا في عدة معايير قياسية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حل لغز معقد، مثل معرفة ما حدث في مشهد سينمائي. معظم نماذج الذكاء الاصطناً الرؤية واللغة (Vision-Language Models) الحالية تُعامل كالمحققين الذين يُعطون بضع لقطات ثابتة من الفيلم في البداية فقط، ويُطلب منهم حل اللغز بأكمله بناءً على تلك الصور الساكنة فقط. إنهم يشبهون شخصاً يحاول تخمين حبكة فيلم عبر النظر فقط إلى غلافه الفني وأول صفحتين من السيناريو؛ فهم يفوتون كل الحركة، والحوار، والتفاصيل الحاسمة التي تحدث لاحقاً.
ACT2SEE هو إطار عمل جديد يمنح هؤلاء المحققين من الذكاء الاصطناعي قوة خارقة: الإدراك البصري النشط (Active Visual Perception). فبدلاً من أن يكونوا عالقين مع اللقطات الأولية، يعلّم ACT2SEE الذكاء الاصطناعي كيف يدرك قائلاً: "مهلاً، ليس لدي ما يكفي من الأدلة بعد"، ومن ثم يسعى بنشاط للحصول على مزيد من المعلومات.
إليك كيف يعمل ذلك، مقسماً إلى خطوات بسيطة:
1. نهج "اسأل واعمل" (The "Ask and Act" Approach)
في الطريقة القديمة، يقوم الذكاء الاصطناعي بمجرد التخمين بناءً على ما يراه في البداية. أما مع ACT2SEE، فقد تم تدريب الذكاء الاصطناعي على إيقاف عملية التفكير لديه والقول: "أحتاج لرؤية هذه اللحظة المحددة"، أو "أريد أن أتخيل ماذا سيحدث لو..."
- الاسترجاع (المسافر عبر الزمن): إذا احتاج الذكاء الاصطناعي لرؤية لحظة محددة حدثت بالفعل في الفيديو ولكنها لم تكن موجودة في اللقطات الأولية، فإنه يستخدم "أداة استرجاع" للقفز عائدًا إلى الفيديو واستخراج الإطار (frame) الدقيق الذي يحتاجه. الأمر يشبه طلب صورة من أمين مكتبة لسحب صفحة محددة من كتاب تقرأه.
- التوليد (الحالم): أحياناً، يكون السؤال عن شيء لم يحدث، مثل "ماذا لو توقفت القطار في المحطة قبل غروب الشمس؟". بما أن هذا المشهد غير موجود في الفيديو، يستخدم الذكاء الاصطناعي "أداة توليد" لإنشاء صورة جديدة تماماً لهذا السيناريو الافتراضي. إنه يشبه فناناً يرسم مشهداً لا يوجد إلا في خيالك.
2. معسكر التدريب (الضبط الدقيق الخاضع للإشراف)
كيف علموا الذكاء الاصطناعي القيام بذلك؟ لم يكتفوا بمجرد إخباره بأن "يحاول بجهد أكبر"، بل بنوا معسكراً تدريبياً خاصاً باستخدام ذكاء اصطناعي متطور جداً (Gemini 2.5 Pro).
- التمرين: طلبوا من هذا الذكاء الاصطناعي المتطور حل ألغاز الفيديو. وكلما أدرك الذكاء الاصطناعي أنه بحاجة إلى مزيد من الأدلة البصرية، كان يُوجه لإيقاف العملية وكتابة ملاحظة تقول: "اذهب وأحضر لي صورة لـ [س]" أو "ارسم لي صورة لـ [ص]".
- فحص الجودة: لم يقبلوا أي إجابة فحسب. لقد قارنوا خطوات التفكير لدى الذكاء الاصطناعي مقابل إجابات "المعيار الذهبي" التي كتبها البشر. إذا كان تفكير الذكاء الاصطناعي فوضوياً أو لم يتطابق مع المنطق البشري، كانوا يستبعدونه. احتفظوا فقط بـ "العمل الاستقصائي" عالي الجودة حيث طلب الذكاء الاصطناعي الدليل البصري الصحيح بشكل صحيح.
- النتيجة: أنشأوا مجموعة بيانات ضخمة من هذه "السجلات الاستقصائية" عالية الجودة (حوالي 3,300 مثال)، حيث كان الذكاء الاصطناعي يضطر في حوالي نصف الحالات إلى سحب صورة جديدة أو رسم صورة جديدة لحل القضية. ثم استخدموا هذه المجموعة لتدريب نموذج ذكاء اصطناعي أصغر وأكثر كفاءة (Qwen3-VL-8B).
3. "السحر الناشئ" (The "Emergent" Magic)
الجزء الأكثر إثارة هو ما يحدث عندما يتم اختبار الذكاء الاصطناዊ المدرب على ألغاز جديدة لم يسبق له رؤيتها. إنه لا يتبع نصاً جامداً، بل يقرر تلقائياً متى يطلب المزيد من الصور.
- إذا كان السؤال يتعلق بتفصيل واقعي (مثل: "ما لون السيارة؟")، فإنه يعرف كيف يسترجع الإطار الدقيق من الفيديو.
- إذا كان السؤال عبارة عن سيناريو "ماذا لو" (مثل: "ماذا لو كانت السيارة حمراء؟")، فإنه يعرف كيف يولد صورة جديدة لتصور تلك الإمكانية.
هذه القدرة على "التفكير بالصور" وجمع الأدلة ديناميكياً هي ما يسميه المؤلفون "القدرة الناشئة" (Emergent Capability). إنه يشبه تعلم الذكاء الاصطناعي فجأة كيف يقول: "لا يمكنني حل هذا بمجرد النظر؛ أحتاج للنظر بدقة أكبر أو تخيل البقية".
4. النتائج
عند اختبار ACT2SEE على اختبارات معايير الاستنتاج المعقدة للفيديو (مثل الألغاز المنطقية المعقدة التي تتضمن فيديوهات)، تفوق على العديد من النماذج الأكبر والأقوى.
- تفوق على نماذج تبلغ ضعف حجمه.
- تفوق على الطرق الأخرى التي حاولت إضافة إطارات فيديو لعملية الاستنتاج لكنها لم تعلم الذكاء الاصطناعي كيف يقرر بنشاط متى يستخدمها.
- تعامل مع الأسئلة "الافتراضية" (سيناريوهات "ماذا لو") بشكل أفضل بكثير من أي شخص آخر، مما يثبت أن القدرة على توليد صور افتراضية أمر بالغ الأهمية للاستنتاج العميق.
باختصار
فكر في ACT2SEE كترقية للذكاء الاصطناعي من مراقب سلبي (يكتفي بالتحديق في بضع صور) إلى محقق نشط (يعرف متى يبحث بعمق أكبر في الأدلة أو يستخدم خياله لملء الفجوات). من خلال تعليم الذكاء الاصطناعي كيفية طلب أو إنشاء المعلومات البصرية التي يحتاجها أثناء عملية التفكير، فإنه يحل ألغاز الفيديو المعقدة بمستوى من الفهم كان مستحيلاً في السابق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.