AdaFocus: Adaptive Relevance-Diversity Sampling with Zero-Cache Look-back for Efficient Long Video Understanding
يُعد AdaFocus إطار عمل فعال لفهم الفيديوهات الطويلة يتغلب على قيود الترميز أحادي المرحلة الجامد من خلال الجمع بين عينة ذات صلة وتنوع تكيفي مدركة للاستعلام وبين آلية استرجاع من القرص بدون ذاكرة تخزين مؤقت تُحفزها حالة عدم اليقين، وذلك للحصول تدريجياً على أدلة عالية الدقة عند الطلب، محققاً توازناً فائقاً بين الدقة والكفاءة عبر معايسات متعددة.
تخيل أنك تحاول حل لغز من خلال مشاهدة فيلم مدته ساعتان، ولكن لديك كمية ضئيلة جداً من الذاكرة لاستيعاب الصور في رأسك.
المشكلة: معضلة "الكل أو لا شيء" تواجه نماذج الذكاء الاصطناي الحالية خياراً صعباً عند مشاهدة فيديوهات طويلة:
نهج "القوة الغاشمة" (Brute Force): تحاول تذكر كل إطار (Frame) على حد. هذا يشبه محاولة حفظ كل ثانية من فيلم. إنه أمر ثقيل جداً، وبطيء، وغالباً ما يتسبب في إرباك الذكاء الاصطناعي لأن هناك الكثير من المعلومات لمعالجتها في وقت واحد.
نهج "التصفح السريع" (Skim): يختارون بعض الإطارات العشوائية لتوفير الذاكرة. هذا يشبه تقليب صفحات كتاب وقراءة الصفحة 1، والصفحة 50، والصفحة 100 فقط. المشكلة هي أنك قد تفوت الدليل الحاسم الذي ظهر في الصفحة 49.
الحل: AdaFocus يقدم بحث AdaFocus طريقة أذكى لمشاهدة الفيديوهات. بدلاً من محاولة تذكر كل شيء أو التخمين عشوائياً، يعمل AdaFocus مثل محقق يحمل عدسة مكبرة. وهو يعمل عبر مرحلتين رئيسيتين:
المرحلة الأولى: "النظرة الخاطفة" (المعاينة التكيفية - Adaptive Preview)
أولاً، يأخذ الذكاء الاصطناعي نظرة سريعة جداً ومنخفضة الدقة على الفيديو بأكمله (مثل مشاهدة إعلان ترويجي للفيلم بمعدل إطار واحد في الثانية).
الفلتر الذكي: هو لا يختار الإطارات عشوائياً، بل يسأل: "هل يتوافق هذا الإطار مع السؤال الذي أحاول الإجابة عليه؟"
شبكة الأمان: إذا كان السؤال غامضاً (مثلاً: "ما هو الجو العام للفيديو؟")، ينتقل الذكاء الاصطناعي إلى "رؤية واسعة الزاوية" لضمان عدم تفويت الصورة الكبيرة.
النتيجة: يقوم ببناء "معاينة" مصغرة ومثالية للفيديو تتناسب بسهولة مع ذاكرته.
المرحلة الثانية: "النظر إلى الخلف بدون ذاكرة مؤقتة" (الخدعة السحرية - Zero-Cache Look-Back)
هذا هو الابتكار الأكبر في البحث. عادةً، إذا أدرك الذكاء الاصطناعي أنه فاته تفصيل ما، يجب عليه إعادة تحميل الفيديو بالكامل في ذاكرته للتحقق منه مجدداً، وهذا أمر بطيء ومكلف.
يفعل AdaFocus شيئاً مختلفاً: إنه يبقي الفيديو على القرص الصلب ("الديسك") ويسحب فقط المشهد المحدد الذي يحتاجه، في الوقت الذي يحتاجه فيه تماماً.
فحص الثقة: بعد "النظرة الخاطفة"، يجيب الذكاء الاصطناعي على السؤال. ولكنه أيضاً يتحقق من مستوى ثقته: "هل أنا متأكد من ذلك؟"
المُحفّز (Trigger): إذا كان الذكاء الاصطناعي غير متأكد (ثقة منخفضة)، فإنه لا يصاب بالذعر، بل يسأل: "أين في الفيديو كنت مرتبكاً؟"
الاسترجاع: يستخدم نظام "Zero-Cache" الخاص به للقفز فوراً إلى ذلك الطابع الزمني المحدد على القرص الصلب، ويسحب مقطعاً عالي الجودة مدته 3 ثوانٍ، ويطلع عليه. وهو يفعل ذلك دون تحميل بقية الفيلم في الذاكرة.
إعادة الإجابة: مع وجود هذا الدليل الجديد عالي الجودة، يجيب على السؤال مرة أخرى.
لماذا يهم هذا الأمر (النتائج)
اختبر المؤلفون هذا النظام على سبعة تحديات مختلفة للفيديو، وإليكم ما وجدوه:
دقة أفضل: حقق AdaFocus درجات أفضل بكثير من الطرق الأخرى. على سبيل المثال، في اختبار فهم الفيديو المسمى VideoMME، حسن الدقة بمقدار 2.59 نقطة. وفي مهمة تسمى Charades-STA (تحديد متى يحدث شيء ما بالضبط في الفيديو)، حقق تحسناً هائلاً قدره 8.39 نقطة.
كفاءة فائقة: استخدم حوالي 33 مرة أقل من "الرموز البصرية" (Visual Tokens) مقارنة بمنهج "القوة الغاشمة". إنه يشبه حل لغز باستخدام 33% فقط من القطع ولكن مع الحصول على نتيجة أفضل.
لا يوجد حمل زائد على الذاكرة: نظرًا لأنه يسحب البيانات من القرص الصلب عند الضرورة فقط، فإنه لا يحتاج إلى تخزين الفيديو بأكمله في ذاكرة الكمبيوتر السريعة والمكلفة (RAM/VRAM).
الخلاصة
يغير AdaFocus قواعد اللعبة من خلال التعامل مع فهم الفيديوهات الطويلة كـ تحقيق تدريجي وليس كاختبار ذاكرة لمرة واحدة. إنه يأخذ نظرة سريعة، ويتحقق مما إذا كان واثقاً، وإذا لم يكن كذلك، يقوم بعملية "نظر إلى الخلف" مستهدفة وعند الطلب للعثور على الأدلة المفقودة. هذا يسمح للذكاء الاصطناعي بفهم الفيديوهات الطويلة والمعقدة بدقة عالية دون الحاجة إلى كمبيوتر خارق ليحمل الفيلم بأكمله في رأسه.
ملخص تقني: AdaFocus
بيان المشكلة
يواجه فهم الفيديو الطويل حاليًا قيودًا بسبب نموذج "المرة الواحدة" (one-shot) الجامد. تواجه الأساليب الحالية مقايضة جوهرية: فإما أن تقوم بترميز الفيديوهات بالكامل بكثافة، مما يؤدي إلى تكاليف باهظة في الذاكرة وزمن الاستجابة، أو تضغطها بشدة إلى مجموعات إطارات متفرقة، مما يؤدي إلى فقدان الأدلة البصرية الدقيقة المطلوبة للاستنتاج اللاحق بشكل لا رجعة فيه. وبناءً على ذلك، تعاني النماذج الحالية من صعوبة في الموازنة بين التغطية الزمنية، والاحتفاظ بالتفاصيل البصرية، وكفاءة الحوسبة في آن واحد. علاوة على ذلك، فإن الأساليب التي تحاول "النظر إلى الوراء بتأنٍ" (deliberate look-back) غالبًا ما تعتمد على تدريب ثقيل باستخدام التعلم المعزز (RL) أو التخزين المؤقت الكثيف في الذاكرة، مما يحد من قابليتها للتوسع.
المنهجية
يقترح المؤلفون AdaFocus، وهو إطار عمل فعال يعيد صياغة فهم الفيديو الطويل كعملية استحواذ تدريجي على الأدلة بدلاً من الترميز لمرة واحدة. يعمل النظام بتصميم I/O من القرص إلى وحدة معالجة الرسومات بدون تخزين مؤقت (Zero-Cache Disk-to-GPU I/O)، مما يضمن بقاء تسلسل الفيديو الكامل على القرص وعدم تخزينه مسبقًا في ذاكرة الوصول العشوائي (RAM) أو ذاكرة الفيديو (VRAM).
يقوم هذا النموذج بتوليد معاينة فيديو مدمجة ومعلوماتية من مجموعة مرشحة بمعدل 1 إطار في الثانية باستخدام مشفر CLIP مجمد.
يعمل على تحسين مجموعة فرعية من الإطارات عبر الموازنة بين الارتباط (تشابه جيب التمام مع استعلام النص) والتنوع الزمني (مع معاقبة الاختيارات المتجاورة زمنيًا).
توجيه الحد الأقصى للتنشيط (Max-Activation Routing): بالنسبة للاستعلامات العامة التي تفتقر إلى ركائز بصرية محلية قوية (حيث تكون درجات الارتباط القصوى منخفضة)، ينتقل النظام إلى "وضع التجميع الزمني" (Temporal-Clustering Mode). يعطي هذا الوضع الأولوية للتغطية الزمنية الكلية عبر اختيار الإطارات الأقرب إلى مراكز تجمعات (centroids) خوارزمية K-Means، مما يضمن أن تلتقط المعاينة الهيكل العام للفيديو.
بوابة الثقة الداخلية (Endogenous Confidence Gating):
بدلاً من الاعتماد على حكم خارجي، يراقب نموذج اللغة البصرية الكبيرة (LVLM) الأساسي درجة عدم اليقين الخاصة به.
يحسب النظام الاحتمالية اللوغاريتمية الموحدة حسب الطول للإجابة المولدة. إذا انخفضت درجة الثقة هذه عن عتبة محددة حسب الطول، يتم تفعيل عملية "النظر إلى الوراء الوكيلية" (agentic look-back). هذا القرار داخلي ومنبثق من عملية توليد النموذج الأساسي.
التحسين الزمني بدون تخزين مؤقت (Zero-Cache Temporal Refinement):
عند التفعيل، يسترجع النظام أدلة عالية الدقة مباشرة من القرص دون تحميل التسلسل الكامل مسبقًا.
تأصيل الطابع الزمني (Timestamp Grounding): يتم توجيه النموذج للاستشهاد بطوابع زمنية غير مؤكدة. في حال فشل تحليل التعبيرات النمطية (regex)، تعمل آلية "الاحتياط عبر الانتباه المتقاطع" (cross-attention fallback) على تجميع كتلة الانتباه عبر الطبقات والرؤوس لتحديد الإطار الأكثر استجابة للانتباه.
الاسترجاع النافذي (Windowed Retrieval): بدلاً من جلب إطار واحد، يقوم النظام بفك تشفير نافذة زمنية قصيرة (الافتراضي 1.5 ثانية) حول الطابع الزمني المستهدف.
يتم دمج هذه الأدلة المسترجعة مع المعاينة الأولية، ويعيد النموذج توليد الإجابة. تستمر هذه الحلقة حتى يتم استيفاء الثقة أو الوصول إلى حد أقصى لعدد التكرارات (3 جولات).
استراتيجية التدريب: يخضع النموذج الأساسي (Qwen2.5-VL-7B) لعملية تحسين السياسة النسبية الجماعية (GRPO) خفيفة الوزن في مرحلة واحدة (~64 ساعة من معالجة GPU A100) لمواءمة النموذج لتدريب سلسلة الأفكوت (chain-of-thought). والأهم من ذلك، أن جميع مكونات وقت الاستدلال (AdaRD، بوابة الثقة، والاسترجاع) تعمل بـ معلمات مجمدة ولا تتطلب ضبطًا دقيقًا لكل مهمة.
المساهمات الرئيسية
إطار عمل AdaFocus: نظام مصمم بشكل مشترك يجمع بين مواءمة Backbone خفيفة الوزن باستخدام التعلم المعزز (RL) ومكونات استدلال نمطية لا تتطلب تدريبًا لمكونات الفيديو الطويل.
الاسترجاع عند الطلب بدون تخزين مؤقت (Zero-Cache On-Demand Retrieval): تصميم مبتكر يتيح التحسين دون التخزين المؤقت المسبق للتسلسل الكثيف بالكامل. يستخدم التأصيل الزمني النافذي والاحتياط عبر الانتباه المتقاطع لاسترجاع أدلة عالية الدقة مباشرة من القرص، محولًا التفاصيل البصرية المهملة إلى أدلة يمكن استرجاعها عند الطلب.
التقييم المنهجي: تجارب واسعة عبر سبعة معايير (بما في ذلك VideoMME وMVBench وCharades-STA) مع دراسات استبعاد منهجية. تُظهر هذه الدراسات أن المعاينة الموجهة بالاستعلام والتأصيل المستهدف يساهمان بشكل مستقل، وتحدد أوجه القصور المحددة.
النتائج التجريبية
تم تقييم AdaFocus على سبعة معايير قياسية، حيث أظهر تفوقًا في كفاءة-دقة المقايضة مقارنة بالنماذج المرجعية القوية:
مكاسب الأداء: مقارنة بالترميز الكثيف التقليدي والاستدلال أحادي المرة، يحقق AdaFocus تحسينات كبيرة، بما في ذلك +2.59 في الدقة على VideoMME و +8.39 في mIoU على Charades-STA. كما يتفوق على الأساليب المعاصرة مثل VideoAuto-R1 وVideoChat-R1.5.
كفاءة الرموز (Tokens): يحقق AdaFocus هذه المكاسب مع تقليل استهلاك الرموز البصرية بنحو 33 ضعفًا مقارنة بالنموذج المرجعي الكثيف (ترميز 1 إطار في الثانية، بحد أقصى 512 إطارًا). وهذا يسمح للنماذج بحجم 7B بمعالجة فيديوهات طويلة قد تتجاوز حدود سياق النموذج (context length).
تحليل المكونات:
AdaRD مقابل الوكيل (Agent): يوفر كل من المُنقي التكيفي ووحدة توجيه الوكيل مكاسب متكاملة.
المستهدف مقابل العشوائي: بينما يوفر الاسترجاع العشوائي للإطارات الإضافية تحسنًا طفيفًا، فإن التأصيل المستهدف (عبر regex أو الانتباه المتقاطع) يوفر مكاسب أكبر بكثير، مما يؤكد قيمة استرجاع الأدلة الدقيقة.
تعميم النموذج الأساسي: تعمل مكونات الاستدلال على تحسين الأداء حتى على النموذج الأساسي (غير الخاضع للتعلم المعزز RL)، ولكن الجمع بين مواءمة RL وAdaFocus يعطي أفضل النتائج، مما يشير إلى أن الاثنين يعملان بشكل تراكمي.
زمن الاستجابة (Latency): يتسبب النظام في زيادة قدرها حوالي ضعفي وقت الجدار (wall-clock time) لنموذج المرة الواحدة في المتوسط (بسبب عمليات الاستدلال الأمامي لـ LVLM وليس بسبب I/O القرص)، مع حد أقصى للتكلفة يصل إلى ~4.4 ضعفًا.
الأهمية والادعاءات
يزعم البحث أن المعاينة التدريجية المقترنة بتحسين الأدلة بدون تخزين مؤقت هي نموذج فعال للغاية للاستدلال متعدد الوسائط القابل للتوسع. من خلال كسر نموذج التخزين المؤقت الصارم في الذاكرة، يحول AdaFocus التفاصيل البصرية من فقدان لا رجعة فيه إلى أدلة يمكن استرجاعها عند الطلب دون أعباء باهظة في ذاكرة الفيديو (VRAM).
يؤكد المؤلفون على نمطية (modularity) نهجهم: نظرًا لأن التعيين التكيفي، وبوابة الثقة، وI/O بدون تخزين مؤقت تعمل بشكل مستقل عن الأوزان الداخلية للنموذج الأساسي، فإن إطار العمل قابل للتوسع بطبيعته ويمكن دمجه بسلاسة مع نماذج LVLMs الأكبر حجمًا أو البنى ذات السياقات الممتدة. يشير العمل إلى أنه بالنسبة للنماذج الحالية بحجم 7B، فإن أخذ العينات التكيفي الموجه بالاستعلام هو استخدام أكثر فعالية لميزانيات الانتباه المحدودة من عملية استيعاب الإطارات بالقوة الغاشمة.