ملخص تقني: VideoHarness-RSI

بيان المشكلة

لا يزال فهم الفيديوهات الطويلة يمثل تحديًا كبيرًا لنماذج الرؤية واللغة (VLMs)، حتى عندما تكون النماذج الأساسية قوية. تكمن العقبة الجوهرية ليس بالضرورة في قدرة النموذج على الاستدلال، بل في بناء السياق (context construction): أي كيفية اختيار وتنظيم مجموعة محدودة من الملاحظات المرئية من فيديو يحتوي على آلاف الإطارات غير ذات الصلة.

تعالج النهج الحالية ذلك عبر الضغط، أو الاسترجاع، أو الذاكرة، أو اكتساب الأدلة عبر الوكلاء (agentic evidence acquisition). ومع ذلك، تقوم هذه الأنظمة عادةً بتعديل مكونات متعددة في آن واحد (على سبيل المثال، تغيير النموذج، وآلية الاسترجاع، وسير عمل الاستدلال معًا). وهذا يجعل من الصعب عزل سؤال محدد: ما مقدار مكاسب الأداء التي يمكن تحقيقها فقط من خلال تحسين البرنامج القابل للتنفيذ الذي يبني السياق، مع إبقاء النموذج (VLM) وواجهته ثابتين تمامًا؟

المنهجية: VideoHarness-RSI

يقدم البحث VideoHarness-RSI (التحسين الذاتي للحامل المتكرر - Recursive Harness Self-Improvement)، وهو إطار عمل محكوم للبحث المتكرر عن بنائي سياق (harnesses) قابلة للتنفيذ ومثالية حول نموذج رؤية ولغة (VLM) مجمد.

الإطار الأساسي

يعامل النظام "الحامل" (harness) كبرنامج $H$ يقوم برسم خريطة من زوج (فيديو-سؤال) $(V, q)$ إلى سياق متعدد الوسائط محدود $C_H$، والذي يتم بعد ذلك تغذيته إلى نموذج $M$ مجمد لتوليد إجابة $\hat{y}$.
$$\hat{y} = M(H(V, q; K), q)$$
هدف التحسين هو تعظيم دقة التطوير عبر فضاء البرامج القابلة للتنفيذ $H_{exec}$، مع مراعاة قيد سياق ثابت $K$.

تفكيك الحامل (The Harness Decomposition)

يقوم المؤلفون بتفكيك أي حامل تحليليًا إلى ثلاث مراحل وظيفية، رغم أنها ليست أهدافًا تُحسّن بشكل منفصل، بل هي مسار لطفرة البرنامج:

1. الكتابة ($Write_H$): بناء تمثيل قابل للعنونة للفيديو (مثل: تدفق، قائمة تسميات توضيحية، أو فهرس تضمينات).
2. القراءة ($Read_H$): استرجاع الأدلة مشروطة بالسؤال $q$.
3. التعبئة ($Pack_H$): ترتيب وتنسيق السياق المحدود لنموذج الرؤية واللغة (VLM).

بروتوكول البحث المتكرر

يعمل البحث عبر حلقة خارجية تقترح، وتنفذ، وتقيم طفرات الحامل:

1. المقترح (Proposer): يقوم مقترح يعتمد على نموذج لغوي كبير (Claude Opus 4.6) بتوليد كود الحامل المرشح بناءً على جبهة (frontier) أفضل البرامج الحالية ($F_t$) وأرشيف ($A_t$) من الكود التاريخي، والدرجات، وآثار التنفيذ.
2. التقييم: يتم اختبار المرشحين عبر "اختبار دخان" (smoke-test) وتقييمهم بشكل كامل (end-to-end) على مجموعة تطوير ($D_{dev}$).
3. الاختيار: قاعدة التحديث صارمة؛ حيث يتم ترقية المرشح $H_{t,j}$ إلى الجبهة $F_{t+1}$ فقط إذا تجاوزت دقة التطوير الخاصة به $S(H_{t,j})$ دقة الجبهة الحالية بدقة.
4. القيود: يظل نموذج الرؤية واللغة (Qwen3-VL-8B-Instruct)، وإعدادات فك التشفيد الخاصة به، ومقاييس التقييم ثابتة طوال عملية البحث. لا يمس البحث بارامترات النموذج.

الإعداد التجريبي

• مجموعة البيانات: LVBench (1,232 زوجًا من الأسئلة والأجوبة بعد التصفية). تم استخدام 350 سؤالاً للبحث/التطوير؛ وتم حجز 882 سؤالاً للتقييم المستقل (held-out evaluation).
• النماذج المرجعية (Baselines): تمت المقارنة مقابل أخذ عينات موحد محدد مسبقًا، وحوامل مصممة يدويًا مستوحاة من الأدبيات (مثل AKS، وWorldMM-style، وHomer-style)، ونماذج VLM مملوكة تعمل بنظام أخذ العينات الموحد.
• مقياس التكلفة: تُقاس تكلفة سياق المدخلات كمجموع الرموز (tokens) المرئية والمساعدة لكل سؤال، باستثناء تكاليف الفهرسة غير المتصلة (offline indexing).

النتائج الرئيسية

1. مكاسب الأداء من البحث

يحسن البحث المتكرر الأداء باستمرار مقارنة بكل من النماذج المرجعية الضعيفة والقوية:

• من أخذ العينات الموحد: بدءًا من نموذج مرجعي لأخذ العينات الموحد العشوائي (دقة 36.3%)، اكتشف البحث EMBEDNAVIGATE-HYBRID، الذي حقق 45.4% في مجموعة الاختبار المستقلة.
• من النماذج المرجعية القوية المصممة يدويًا: بدءًا من نموذج مرجعي قوي مصمم يدويًا (AKS، بدقة 46.5%)، اكتشف البحث TIMESTAMPED-AKS، الذي حسن دقة الاختبار المستقل إلى 50.3%.
• نقل عبر الاختبارات المعيارية (Cross-Benchmark Transfer): تم تجميد الحوامل التي تم اختيارها على LVBench وتطبيقها مباشرة على Video-MME و MLVU دون بحث أو تكييف إضافي. وقد تفوقت على أخذ العينات الموحد في كلا المعيارين (على سبيل المثال، 61.5% مقابل 59.9% في Video-MME)، مما يشير إلى أن السياسات المكتشفة قابلة للنقل.

2. آلية التحسين

يكشف تحليل الحوامل المكتشفة عن استراتيجيات متميزة:

• الملاحة مقابل الاسترجاع: اكتشف البحث أن الجمع بين الملاحة الزمنية (استخدام التسميات التوضيحية للتركيز على المناطق الزمنية ذات الصلة) مع الاسترجاع بالتشابه المرئي (باستخدام تضمينات CLIP) يعطي نتائج أفضل من كل منهما بمفرده.
• رؤية الأدلة: حسن الحامل الهجين الدقة ليس فقط من خلال تعريض المزيد من فترات الأدلة المشروحة (زيادة الإطارات "المرئية")، ولكن أيضًا من خلال تحسين الأداء في الحالات التي فُقدت فيها الأدلة، مما يشير إلى أن تنظيم السياق وكثافته أمر بالغ الأهمية.
• الحساسية لنوع السؤال: كانت استراتيجيات الملاحة فعالة بشكل خاص للأسئلة الزمنية والاستدلالية، بينما ساعد الاسترجاع المرئي في أسئلة الكيانات والمعلومات الرئيسية.

3. المقايضة بين التكلفة والدقة

كشف البحث عن جبهة باريتو (Pareto frontier) بين الدقة وتكلفة رموز المدخلات.

• حقق EMBEDNAVIGATE-HYBRID دقة عالية ولكنه تحمل عبئًا نصيًا إضافيًا كبيرًا بسبب مرحلة ملاحة إضافية.
• حقق TIMESTAMPED-AKS أعلى دقة مع بصمة مدخلات أصغر، مما يثبت أن البحث يمكنه إيجاد تكوينات فعالة قد تغفل عنها النماذج المرجعية المصممة يدويًا.

الأهمية والادعاءات

يضع هذا البحث VideoHarness-RSI كـ خط أساس محكوم لدراسة التصميم الآلي للحامل. وتتمثل مساهماته وادعاءاته الرئيسية في:

1. عزل المتغيرات: يثبت أنه يمكن اعتبار بناء السياق القابل للتنفيذ طبقة تحسين متميزة. يمكن تحقيق مكاسب كبيرة من خلال تحسين "الحامل" (البرنامج الذي يدير ما يراه النموذج) دون إعادة تدريب النموذج أو تغيير واجهته.
2. قابلية التكرار: يوفر المؤلفون أرشيفًا قابلًا للتدقيق من الكود المرشح، والنسبة، وآثار التنفيذ، والدرجات، مما يوفر خط أساس قابل للتكرار للأبحاث المستقبلية في اكتشاف الحامل.
3. القابلية للنقل: تظهر النتائج أن الحوامل المكتشفة على أحد الاختبارات المعيارية يمكن أن تنتقل إلى اختبارات أخرى دون الحاجة لإعادة البحث، مما يشير إلى أن البحث يكتشف سياسات بناء سياق عامة وليس مجرد التكيف مع خصائص بيانات معينة.
4. القيود: يشير المؤلفون بتواضع إلى أن جبهة البحث غالبًا ما تستقر بعد التحسينات المبكرة، وأن الاختيار الصارم القائم على نقطة تقدير واحدة لا يضمن التعميم إحصائيًا، وإن كانت النتائج التجريبية على مجموعات الاختبار المستقلة تدعم هذا النهج. كما أوضحوا أن مقاييس التكلفة الخاصة بهم تعكس حجم رموز المدخلات، وليس زمن الوصول النهائي أو التكلفة المالية، حيث تختلف تكاليف الفهرسة غير المتصلة.

باختصار، يجادل البحث بأن "النظام" المحيط بنموذج الرؤية واللغة (VLM) المجمد هو مكون حاسم وقابل للتحسين يمكن تحسينه من خلال البحث البرمجي المتكرر والآلي.