🤖 AI

GridProbe: Posterior-Probing for Adaptive Test-Time Compute in Long-Video VLMs

يقدم GridProbe نموذجاً حسابياً تكيفياً في وقت الاختبار وخالياً من التدريب لنماذج الرؤية واللغة (VLMs) للفيديوهات الطويلة، يعتمد على سبر البعد اللاحق (posterior probing) على شبكة إطارية لتوليد خرائط أهمية قابلة للتفسير، مما يتيح اختياراً ديناميكياً للإطارات يقلل بشكل كبير من التكلفة الحسابية مع الحفاظ على الدقة أو تحسينها في المهام التي تتطلب قدرات استدلالية عالية.

المؤلفون الأصليون: Mohamed Eltahir, Lama Ayash, Ali Habibullah, Tanveer Hussain, Naeemullah Khan

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mohamed Eltahir, Lama Ayash, Ali Habibullah, Tanveer Hussain, Naeemullah Khan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فيلماً مدته ساعتان ومساعد ذكاء اصطناعي ذكي جداً يحتاج للإجابة على سؤال محدد حول هذا الفيلم. الطريقة القديمة للقيام بذلك هي تغذية الذكاء الاصطناعي بالفيلم بأكمله، إطاراً تلو الآخر، دفعة واحدة. الأمر يشبه مطالبة طالب بقراءة كتاب مدرسي مكون من 500 صفحة في جلسة واحدة فقط للإجابة على سؤال واحد في الصفحة 42. هذه الطريقة بطيئة، ومكلفة، وتجعل الذكاء الاصطناعي يشعر بالتشتت بسبب كثرة التفاصيل غير ذات الصلة.

GridProbe هو طريقة جديدة وأكثر ذكاءً للتعامل مع هذا الموقف. بدلاً من قراءة الكتاب بأكمله، فإنه يعمل مثل أمين مكتبة ماهر يمسح جدول المحتويات وبعض الفصول الرئيسية بسرعة ليعرف بالضبط أين تكمن الإجابة، ثم يقرأ فقط تلك الصفحات المحددة.

إليك كيف يعمل، مقسماً إلى خطوات بسيطة:

1. المشكلة: الكثير من الضجيج

تحاول نماذج فيديو الذكاء الاصطناعي الحالية معالجة آلاف الإطارات في "تمريرة أمامية" (forward pass) واحدة ضخمة. هذا أمر ثقيل حسابياً (مثل محاولة رفع صخرة ضخمة) وغالباً ما يجبر الذكاء الاصطناعي على "تضييق عينيه" عند النظر للصور، مما يؤدي لفقدان التفاصيل لمجرد استيعابها جميعاً.

2. الحل: مسح الـ "شبكة" (Grid)

بدلاً من النظر إلى الفيديو بأكمله مرة واحدة، يعامل GridProbe الفيديو كأنه لوحة شطرنج عملاقة (شبكة $K \times K$ ).

المسبار (The Probe): هو لا ينظر إلى كل مربع على حدة. بدلاً من ذلك، يقوم بعمل مسحين سريعين وخفيفين:
- مسح الصفوف (Row Scan): ينظر إلى شرائط أفقية من الفيديو (مثل قراءة بضعة أسطر من نص).
- مسح الأعمدة (Column Scan): ينظر إلى شرائط رأسية (مثل القفز عبر الفيديو على فترات منتظمة).
اختبار "الثقة": بالنسبة لكل شريط، يسأل الذكاء الاصطناعي: "إذا عرضتُ عليك هذا الشريط فقط، ما مدى ثقتك في الإجابة على السؤال؟"
- إذا قال الذكاء الاصطناعي: "أنا متأكد بنسبة 100%"، يتم تحديد هذا الشريط كـ مهم.
- إذا قال: "ليس لدي أدنى فكرة"، يتم تحديد هذا الشريط كـ غير مهم.

3. الخريطة السحرية: العثور على "الكنز"

من خلال دمج نتائج مسح الصفوف والأعمدة، ينشئ GridProbe خريطة حرارية للفيديو.

التقاطع: يُعتبر الإطار المحدد "مهماً للغاية" فقط إذا تم تحديد صفه وعموده كأجزاء مهمة.
النتيجة: هذا يخلق خريطة تسلط الضوء على مكان اختباء الإجابة، دون الحاجة لأن يشاهد الذكاء الاصطناعي الفيديو بأكمله أولاً.

4. الميزانية "متغيرة الشكل"

هذا هو الجزء الأكثر ذكاءً. معظم الأنظمة تختار عدداً ثابتاً من الإطارات لمشاهدتها (مثلاً: "شاهد دائماً 50 إطاراً").

الخلل: بعض الأسئلة سهلة ولا تحتاج سوى 5 إطارات (مثل: "ما لون السيارة؟"). وأخرى صعبة وتحتاج 100 إطار (مثل: "لخص حبكة الفيلم بأكامل"). العدد الثابت يهدر الوقت في الأسئلة السهلة ويفشل في الأسئلة الصعبة.
حل GridProbe: ينظر النظام إلى شكل الخريطة الحرارية التي أنشأها للتو.
- خريطة حادة (Spiky Map): إذا كانت الخريطة الحرارية تحتوي على قمم قليلة وحادة، يعرف الذكاء الاصطناعي أن الإجابة موجودة في أماكن قليلة فقط. فيختار عدداً صغيراً من الإطارات.
- خريطة مسطحة (Flat Map): إذا كانت الخريطة منتشرة بشكل متساوٍ، يعرف الذكاء الاصطناعي أن الإجابة موجودة في كل مكان. فيختار عدداً كبيراً من الإطارات.
- خريطة مكررة (Redundant Map): إذا كانت الخريطة ساطعة في كل مكان ولكنها تبدو متكررة، يعرف أنه يمكنه اختيار عينة صغيرة وممثلة.

يسمح هذا للنظام بتكييف جهده الخاص بناءً على صعوبة السؤال، دون أن يرى الإجابة مسبقاً.

5. خدعة "العقل الصغير، والعقل الكبير"

اكتشفت الورقة البحثية أيضاً حيلة كفاءة رائعة.

يمكنك استخدام ذكاء اصطناعي صغير وسريع (2 مليار بارامتر) للقيام بعمليات المسح واختيار الإطارات فقط (المُحدد - Selector).
ثم تقوم بتغذية تلك الإطارات المختارة لـ ذكاء اصطناعي أكبر وأذكى بكثير (4 أو 8 مليار بارامتر) لتقديم الإجابة النهائية.
النتيجة: هذا المزيج أسرع وأرخص من استخدام الذكاء الاصطناعي الكبير لمشاهدة الفيديو بأكمله، ومع ذلك فهو في الواقع أكثر دقة من استخدام الذكاء الاصطناعي الصغير لمشاهدة الفيديو بأكمله. إنه يشبه وجود مساعد مبتدئ يجد المستندات الصحيحة، ثم يقوم بروفيسور خبير بكتابة التقرير النهائي.

ملخص الفوائد

السرعة: يستخدم طاقة حوسبة أقل بكثير (تصل إلى 3 أضعاف أقل) لأنه يتخطى الأجزاء المملة من الفيديو.
الدقة: لا يفقد الدقة؛ بل في الواقع، يتفوق في بعض الاختبارات على طريقة "مشاهدة كل شيء" القديمة.
القابلية للتفسير: يمكنك فعلياً رؤية الخريطة الحرارية وفهم لماذا اختار الذكاء الاصطناعي إطارات معينة. إنه ليس صندوقاً أسود؛ بل عملية شفافة.

باختصار، يعلم GridProbe الذكاء الاصطنا artificial لـ يتصفح قبل أن يقرأ، ويكيف جهده وفقاً لصعوبة السؤال، ويفعل ذلك دون الحاجة إلى أي تدريب إضافي.

ملخص تقني: GridProbe

بيان المشكلة

تواجه عملية فهم الفيديوهات الطويلة في نماذج الرؤية واللغة (VLMs) حاليًا عائقًا يتمثل في التكلفة الحسابية لمعالجة آلاف الإطارات في تمريرة أمامية واحدة ضخمة. وتتسبب هذه الطريقة في تكاليف انتباه تربيعية ( $O(N^2)$ ) بالنسبة لطول التسلسل. وبينما تتضمن استراتيجيات التخفيف الحالية اختيار مجموعة فرعية من الإطارات المعلوماتية ( $M \ll N$ ) قبل الاستنتاج، فإن طرق "الاختيار في فضاء المشفر" (مثل MDP3 وCLIP-matching) تعتمد على مشفرات رؤية-نص مساعدة. وتعتبر هذه الطرق محدودة بقدرة التمثيل الخاصة بتدريبها المسبق، وغالبًا ما تفشل في الاستعلامات التي تتطلب قدرة عالية على الاستنتاج مثل النفي، والعد عبر الإطارات، والتلخيص الشامل. علاوة على ذلك، تفرض الطرق الحالية ميزانية إطارات ثابتة ( $M$ )، مما يخلق مقايضة حيث تُهدر الحوسبة في الأسئلة المحلية أو تكون غير كافية للأسئلة الشاملة.

المنهجية: GridProbe

يقدم GridProbe نموذج استنتاج يعتمد على "الاستقصاء اللاحق" (posterior-probing) دون الحاجة لإعادة التدريب، وهو ينقل عملية اختيار الإطارات من فضاء المشفر إلى فضاء الإجابة الخاص بالنموذج (VLM). تعمل هذه الطريقة في مرحلتين:

1. صياغة الشبكة ورسم خرائط الأهمية

بدلاً من تسجيل درجات الإطارات بشكل فردي أو عبر مشفرات خارجية، يعامل GridProbe مجموعة الإطارات المرشحة ( $K^2$ من الإطارات) كشبكة مفاهيمية بمقاس $K \times K$ .

تمريرات الاستقصاء (Probe Passes): يقوم نموذج VLM المجمد بإجراء $2K$ من التمريرات خفيفة الوزن: $K$ من تمريرات الصفوف (تغطية زمنية محلية) و $K$ من تمريرات الأعمدة (تغطية عالمية متباعدة). تعالج كل تمريرة $K$ فقط من الإطارات.
تسجيل الاحتمال اللاحق (Posterior Scoring): لكل صف $r$ وعمود $c$ ، يحسب النموذج "ثقة الاستقصاء" $c(S, q)$ ، والتي تُعرف بأنها ذروة الاحتمال اللاحق لمساحة الإجابة $Y$ بناءً على المجموعة $S$ والاستعلام $q$ .
خريطة الأهمية: يتم إنشاء خريطة أهمية $M$ مشروطة بالسؤال عبر الضرب الخارجي لثقة الصفوف والأعمدة: $M[r, c] = c_{row}^r \cdot c_{col}^c$ . تعكس هذه الخريطة عملية جمع الأدلة الداخلية للنموذج، وهي ترث كامل قدرته على الاستنتاج.

2. الاختيار المتكيف مع الشكل

بدلاً من استخدام ميزانية إطارات ثابتة، يستنتج GridProbe عدد الإطارات الفعال لكل سؤال ( $M_{eff}$ ) بناءً على الشكل الإحصائي لخريطة الأهمية.

إحصائيات شكل التوزيع: تستخدم الطريقة إحصائية $\sigma(M)$ $σ (M)$ تجمع بين الالتواء المطلق (absolute skewness) والتفرطح الزائد (excess kurtosis) لتوزيع خريطة الأهمية.
- الالتواء الموجب (القمم المتفرقة): يشير إلى أن عددًا قليلًا من الإطارات الحاسمة يحتوي على الإجابة.
- الالتواء السالب (التكرار): يشير إلى أن العديد من الإطارات معلوماتية ولكنها متداخلة؛ لذا يكفي اختيار مجموعة فرعية صغيرة.
- التوزيع شبه المنتظم: يشير إلى أن الأدلة شحيحة ومشتتة، مما يتطلب تغطية كاملة.
القاعدة المتكيفة: تربط قاعدة مغلقة الصيغة (closed-form rule) بين $\sigma(M)$ و $M_{eff}$ . يسمح هذا للنظام بتخصيص المزيد من الحوسبة للأسئلة الصعبة جوهريًا (الخرائط المنتظمة) وأقل للأسئلة السهلة أو المتكررة، دون ملاحظة الإجابة الصحيحة أبدًا.

3. خط أنابيب الاستنتاج ثنائي المرحلة

المرحلة 1 (الاستقصاء): تنفيذ $2K$ من التمريرات لإنشاء خريطة الأهمية وحساب $M_{eff}$ .
المرحلة 2 (التمريرة المركزة): اختيار أفضل $M_{eff}$ من الإطارات من الخريطة وإجراء تمريرة واحدة كاملة الدقة لتوليد الإجابة النهائية.

المساهمات الرئيسية

نموذج الاستقصاء اللاحق (Posterior-Probing Paradigm): يستبدل GridProbe التمريرة الأمامية القياسية ذات الخطوة الواحدة بآلية استقصاء ذاتي تعمل في مساحة الإجابة. يسمح هذا لإشارة الاختيار بالاستفادة من قدرات الاستنتاج الأصلية للنموذج، مما يعالج الاستعلامات المعقدة (النفي، العد) التي تفشل فيها طرق فضاء المشفر.
خرائط أهمية قابلة للتفسير: تنتج الطريقة خريطة أهمية على مستوى الإطار ومشروطة بالسؤال، مما يكشف عن عملية جمع الأدلة للنموذج، ويوفر قابلية التفسير على مستوى الإطار.
حوسبة متكيفة مدفوعة بالشكل: من خلال استخدام إحصائيات شكل التوزيع (الالتواء والتفرطح)، يستبدل GridProbe ميزانيات الإطارات الثابتة بـ $M_{eff}$ ديناميكي يتكيف مع صعوبة السؤال، محققًا تكاليف انتباه أقل من التربيع ( $O(N^{1.5})$ ) مع حد أدنى من فقدان الدقة.
فك الارتباط بين المختار والمجيب: تسمح الإطار بفصل المختار (المستقصي) والمجيب (QA). إن الجمع بين مستقصٍ صغير وفعال (مثل 2B) مع نموذج QA أقوى (مثل 4B أو 8B) يحقق تحسينات باريتو صارمة على النماذج أحادية الهيكل دون إعادة تدريب.

النتائج التجريبية

تم التقييم باستخدام Video-MME-v2 و LongVideoBench باستخدام نماذج خلفية Qwen3-VL (2B, 4B, 8B):

كفاءة النموذج الواحد: في Video-MME-v2، يطابق GridProbe (2B) النموذج الأساسي الأحادي (2B) ضمن 1.6 نقطة مئوية (pp) من متوسط الدقة، مع تقليل TFLOPs بمقدار 3.36×. وفي LongVideoBench، يتفوق على النموذج الأساسي (Pareto-dominates)، محققًا +0.9 pp دقة عند 0.35× من الحوسبة.
هيمنة باريتو عبر النماذج: تحقيق استخدام مستقصٍ (2B) مع نموذج QA (8B) لـ +3.56 pp دقة في Video-MME-v2 و +3.30 pp في LongVideoBench مقارنة بالنموذج الأساسي (2B)، مع تقليل تكاليف الحوسبة.
تفوق المختار: عند ميزانية إطارات ثابتة ( $M=8$ )، يتفوق GridProbe على المستقصي القوي والخالي من التدريب MDP3، خاصة في LongVideoBench (+3.6 pp)، مما يثبت فشل إشارات فضاء المشفر في المهام التي تتطلب استنتاجًا مكثفًا.
الحوسبة المتكيفة: تتبع $M_{eff}$ المتكيفة صعوبة السؤال الجوهرية بنجاح. فالأسئلة في نظام "الانتظام" (الأصعب) تتلقى تغطية قريبة من الكاملة، بينما تتلقى الأسئلة "الملتوية" (الأسهل) عددًا أقل بكثير من الإطارات. معامل التباين في تخصيص الحوسبة أعلى بـ 44 مرة من النماذج الأساسية ذات المدخلات الثابتة.

الأهمية والادعاءات

يزعم البحث أن GridProbe يقدم تحولًا هيكليًا في استنتاج الفيديو الطويل من خلال:

إلغاء الحاجة لإعادة التدريب لتحقيق الحوسبة المتكيفة واختيار الإطارات.
سد الفجوة بين اختيار الإطارات والاستنتاج، مما يضمن أن إشارة الاختيار مبنية على قدرة النموذج نفسه على الإجابة على الاستعلام.
توفير آلية غير تكرارية ذات جدول زمني ثابت للحوسبة المتكيفة أثناء الاختبار، مما يتجنب عبء التنسيق في أنظمة الاستنتاج القائمة على الوكلاء متعدد الخطوات.
إثبات أن "شكل" الأدلة (توزيع الأهمية) هو وسيط موثوق لصعوبة السؤال، مما يسمح بحل مغلق الصيغة لتخصيص الموارد الديناميكي.

يشير المؤلفون إلى بعض القيود، بما في ذلك الاعتماد على مساحات إجابة محدودة (متعددة الخيارات) لتعريف ثقة الاستقصاء، وزيادة متطلبات ذاكرة المضيف عند فك الارتباط بين المختار ونموذج QA. كما يُقترح العمل المستقبلي لتعميم ذلك على الأسئلة مفتوحة النهاية وتحسين إحصائيات الشكل لكثافات فيديو مختلفة.