Scaling Video Understanding via Compact Latent Multi-Agent Collaboration

إليك ملخص تقني مفصل لورقة البحث بعنوان "Scaling Video Understanding via Compact Latent Multi-Agent Collaboration" (MACF).

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) الحالية عقبة جوهرية في فهم الفيديو الطويل بسبب ميزانيات سياق الإدراك المحدودة.

• القصور: لا يمكن لنموذج واحد (MLLM) معالجة فيديوهات عالية الدقة وطويلة المدة دون اللجوء إلى خفض عينات مكثف (زمانياً ومكانياً)، مما يؤدي إلى فقدان كبير في المعلومات (مثل فقدان تفاصيل كائنات محددة أو أحداث زمنية).
• فشل الأساليب الوكيلة الحالية: تحاول الأساليب القائمة على تعدد الوكلاء (multi-agent) التخفيف من حدة هذه المشكلة عبر المعالجة المسبقة القائمة على القواعد (مثل أخذ العينات) أو الاسترجاع. ومع ذلك، تعتمد هذه الأساليب غالباً على التواصل القائم على النصوص بين الوكلاء. والنصوص هي وسيلة "فاقدة للمعلومات" (lossy) للمهام البصرية، حيث تفشل في الحفاظ على التفاصيل الدقيقة مثل الحركة، والعلاقات المكانية، والأنسجة. علاوة على ذلك، فإن المسارات القائمة على النصوص غالباً ما تكون مكلفة وتعتمد على جودة النص الوسيط، مما يخلق انفصالاً عن التمثيلات البصرية الأصلية.
• التحدي الجوهري: كيف يمكن توزيع عبء العمل الإدراكي عبر عدة وكلاء تحت ميزانيات محلية صارمة، مع تمكين تنسيق عالمي فعال يحافظ على المعلومات دون الاعتماد على الملخصات النصية التي تفقد الكثير من التفاصيل.

2. المنهجية: إطار عمل MACF

يقترح المؤلفون إطار عمل MACF (Multi-Agent Collaboration Framework)، وهو نظام موزع متكامل يفك الارتباط بين ميزانيات الإدراك لكل وكيل وبين التعقيد العالمي للفيديو.

أ. البنية الهيكلية

• الوكلاء المحليون الموزعون: يتم تقسيم الفيديو المدخل إلى مقاطع زمنية منفصلة. يعالج كل مقطع وكيل محلي ($A_m$) يعمل تحت ميزانية إدراك ($B_{per}$) صارمة، تُعرف كأقصى عدد من البكسلات (الإطارات $\times$ الدقة) التي يمكنه استيعابها.
• المنسق المركزي: يقوم وكيل منسق ($A_0$) بتجميع المعلومات من جميع الوكلاء المحليين لإنتاج الإجابة النهائية.
• التواصل الكامن الأصيل للوكلاء (Agent-Native Latent Communication): بدلاً من تبادل التسميات التوضيحية النصية، يقوم الوكلاء المحليون بتشفير ملاحظاتهم إلى رموز كامنة (latent tokens) مدمجة ومستمرة ضمن فضاء تضمين مشترك.
  • يقوم كل وكيل $A_m$ بخرائط مدخلاته البصرية $X^{(m)}$ والاستعلام $q$ إلى تسلسل ثابت الطول من رموز التواصل $c^{(m)} \in \mathbb{R}^{K \times d}$.
  • يستهلك المنسق هذه الرموز مباشرة، متجاوزاً الحاجة إلى توليد وتفسير النصوص.

ب. التحسين والتدريب المنهجي (Curriculum Training)

التدريب المباشر من البداية إلى النهاية (end-to-end) غير مستقر بسبب عقبة "القطع الأدنى" (min-cut) في تدفق المعلومات. لذا قدم المؤلفون استراتيجية تدريب منهجية من ثلاث مراحل:

1. المحاذاة الدلالية (Semantic Alignment): يتعلم الوكلاء رسم خرائط للمدخلات البصرية إلى فضاء كامن موحد باستخدام الإشراف عبر التسميات التوضيحية. يضمن هذا قدرة المنسق على فك تشفير الرموز إلى لغة ذات معنى، مما يؤسس قناة اتصال مستقرة.
2. تلخيص الأدلة (Evidence Summarization): يتم ضبط الوكلاء بدقة (fine-tuning) باستخدام مجموعات بيانات (Image-QA) لتعلم كيفية ضغط الأدلة ذات الصلة بالمهمة في رموز مدمجة مشروطة بالاستعلام.
3. التعاون بين الوكلاء (Cross-Agent Collaboration): يتم تدريب النظام الكامل على مجموعات بيانات (Video-QA). يتعلم المنسق دمج الرموز الموزعة من عدة وكلاء للقيام بالاستدلال العالمي.

3. المساهمات الرئيسية

1. صياغة فهم الفيديو متعدد الوكلاء المقيد بالميزانية: تحدد الورقة إعداداً للمشكلة حيث تكون كل من عملية الإدراك (البكسلات) والتواصل (الرموز) محدودة بصرامة، وتقترح إطار عمل يوسع طول الفيديو عبر زيادة عدد الوكلاء بدلاً من زيادة حجم المدخلات لكل وكيل.
2. آلية التواصل الكامن الأصيلة للوكلاء: بروتوكول مبتكر حيث يتبادل الوكلاء ناقلات (vectors) كثيفة ومستمرة بدلاً من النصوص. هذا يحافظ على الدلالات البصرية الدقيقة (مثل الألوان المحددة، الأنسجة، العلاقات المكانية) التي تضيع غالباً في التلخيص النصي.
3. استراتيجية التدريب المنهجي: نهج تدريب تدريجي يعمل على استقرار تحسين الفضاء الكامن المشترك، مما يضمن المحاذاة الدلالية وتجميع الأدلة الفعال عبر الوكلاء.

4. النتائج التجريبية

قيم المؤلفون MACF على أربع معايض للفيديوهات الطويلة: Video-MME، وLongVideoBench، وLVBench، وMLVU-Test.

• الأداء: يتفوق MACF باستمرار على نماذج MLLM الرائدة (بما في ذلك Qwen3-VL-8B، وLLaVA-OneVision، وGPT-4o) تحت قيود ميزانية الإدراك المتطابقة.
  • مثال: باستخدام Qwen3-VL-8B كنموذج أساسي، حقق MACF مكاسب تتراوح بين +4.5% إلى +7.7% فوق النموذج الأساسي عبر المعايض.
  • في MLVU-Test، تفوق MACF على جميع النماذج مفتوحة المصدر التي تمت مقارنتها، حتى تلك التي لا تملك قيوداً على ميزانية المدخلات.
• كفاءة التواصل:
  • مقارنة بـ التواصل القائم على النصوص (MapReduce)، حسن MACF الأداء بنسبة 9.7% إلى 20.3%.
  • مقارنة بـ مشاركة ذاكرة التخزين المؤقت KV (LatentMAS)، حسن MACF الأداء بنسبة 10.3% إلى 14.1%، مع تحقيق تكاليف أقل بكثير في زمن الاستجابة والإنتاجية.
• التحليل النوعي: في دراسة حالة تتعلق بلون حبل كلب، فشلت الوكلاء القائمة على النصوص لأن أحد الوكلاء أخطأ في تحديد الكلب بسبب أخطاء الضغط النصي. حافظت الرموز الكامنة في MACF على الأدلة البصرية، مما سمح للمنسق بتحديد لون الحبل بشكل صحيح.
• القابلية للتوسع: يتوسع الأداء خطياً مع عدد الوكلاء (السعة الزمنية) والدقة المكانية حتى الوصول إلى عنق زجاجة التواصل، مما يثبت قدرة الإطار على التعامل مع فيديوهات أطول عبر إضافة المزيد من الوكلاء.

5. الأهمية والأثر

• تحول في النموذج المعرفي: ينقل MACF التركيز من الأنظمة متعددة الوكلاء المتمحورة حول النصوص إلى التعاون الكامن الأصيل، مما يثبت أن التواصل البصري-الدلالي المباشر هو الأفضل لمهام فهم الفيديو.
• القابلية للتوسع: يقدم حلاً عملياً لتحليل الفيديوهات الطويلة ضمن قيود الأجهزة الثابتة (مثل محدودية ذاكرة VRAM أو نوافذ السياق) من خلال توزيع الحمل بدلاً من ضغط المدخلات.
• التعميم: الإطار مستقل عن النموذج (model-agnostic)، حيث يعمل بفعالية مع بنيات أساسية مختلفة (Qwen، LLaVA) عبر وحدات تكييف (adapter modules)، مما يجعله قابلاً للتكيف مع تطورات MLLM المستقبلية.
• الكفاءة: من خلال تجنب توليد النصوص التتابعي (autoregressive) للتواصل بين الوكلاء، يقلل MACF من زمن استجابة الاستدلال والتكاليف الحسابية بشكل كبير مقارنة بالأنظمة متعددة الوكلاء القائمة على الاسترجاع أو النصوص.

في الختام، يثبت MACF أن فك الارتباط بين الإدراك والتعقيد عبر التعاون الكامن المدمج هو استراتيجية فعالة للغاية لتوسيع نطاق فهم الفيديو، مع الحفاظ على الدقة البصرية والالتزام بميزانيات حوسبية صارمة.