🤖 AI

Agentic Active Omni-Modal Perception for Multi-Hop Audio-Visual Reasoning

تقدم هذه الورقة MOV-Bench، وهو معيار للتحليل والاستنتاج السمعي البصري متعدد الخطوات، وتقترح AOP-Agent، وهو إطار عمل وكيل كفء يعزز قدرات الاستنتاج لنماذج Omni-LLM مفتوحة المصدر من خلال الإدراك النشط لجميع الأنماط دون الحاجة إلى تدريب إضافي.

المؤلفون الأصليون: Ke Xu, Yuhao Wang, Ziyang Cheng, Hongcheng Liu, Yanfeng Wang, Yu Wang

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ke Xu, Yuhao Wang, Ziyang Cheng, Hongcheng Liu, Yanfeng Wang, Yu Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: فيديو "الإبرة في كومة القش"

تخيل أنك مُنحت فيديو مدته 30 دقيقة لورشة عمل مزدحمة. ثم سألك أحدهم سؤالاً صعباً: "لماذا وضع الفني ذلك النوع المحدد من الغراء على الشريحة؟"

للإجابة على هذا، لا يمكنك مجرد النظر إلى ثانية واحدة. عليك أن:

تستمع إلى تعليق قيل قبل 5 دقائق عن "شريحة سيئة".
تنظر إلى لقطة بصرية ظهرت قبل 10 دقائق تظهر سلكاً مرتخياً.
تربط بين هاتين المعلومتين المتباعدتين لتدرك أن الغراء هو إصلاح مؤقت لوصلة لحام سيئة.

النماذج الحالية للذكاء الاصطناعي (التي تسمى Omni-LLMs) تشبه الطلاب الذين يحاولون حفظ الفيديو بأكمله دفعة واحدة. عندما يكون الفيديو طويلاً، يشعرون بالارتباك؛ فينسون الدليل من 5 دقائق مضت، أو يغفلون عن الدليل البصري من 10 دقائق مضت. إنهم يحاولون تخمين الإجابة بناءً على الفوضى الكاملة، وغالباً ما يخطئون لأن الأدلة مشتتة ومتباعدة.

الحل 1: MOV-Bench (الاختبار الصعب)

قام الباحثون أولاً ببناء اختبار جديد يسمى MOV-Bench.

ما هو: مجموعة من 519 سؤالاً صعباً تعتمد على فيديوهات حقيقية.
العقبة: كل سؤال يتطلب استنتاجاً "متعدد الخطوات" (multi-hop). لا يمكنك الإجابة بمجرد مشاهدة مقطع واحد؛ بل يجب أن تنتقل بين أوقات مختلفة في الفيديو وتتنقل بين الاستماع (الصوت) والنظر (البصر).
النتيجة: عندما اختبروا نماذج الذاء الاصطناعي الحالية في هذا الاختبار، فشلت النماذج. لقد عانوا في العثور على الأدلة المشتتة وربط النقاط ببعضها.

الحل 2: AOP-Agent (المحقق)

بدلاً من إجبار الذكاء الاصطناعي على حفظ الفيديو بأكمله دفعة واحدة، ابتكر الباحثون نظاماً جديداً يسمى AOP-Agent. لا تنظر إلى هذا النظام كطالب يحشد معلوماته للامتحان، بل كـ محقق يحل لغزاً.

إليك كيف يعمل المحقق، باستخدام نهج "الموارد المنخفضة" (بمعنى أنه لا يحتاج إلى حواسيب فائقة باهظة الثمن أو تدريب خاص):

خزانة الملفات (الذاكرة الهرمية):
قبل أن يبدأ المحقق، يتم تنظيم الفيديو في خزانة ملفات ذكية.
- النظرة العامة: ملخص من صفحة واحدة للفيديو بأكمله.
- الفصول: يتم تقسيم الفيديو إلى أجزاء مدة كل منها 30 ثانية، مع ملخص قصير وقائمة من "الكلمات المفتاحية" (مثل "غراء"، "شريحة"، "لحام").
- التفاصيل: إذا لزم الأمر، يمكن للمحقق التكبير والتركيز على مقاطع محددة مدتها 5 ثوانٍ للحصول على تفاصيل عالية الدقة.
الحلقة الثلاثية (الملاحظة، التأمل، إعادة التخطيط):
المحقق لا يشاهد فحسب؛ بل يبحث بنشاط عن الأدلة باستخدام ثلاثة أدوار:
- المخطط (The Planner): ينظر إلى السؤال و"خزانة الملفات". يقول: "أحتاج للعثور على المكان الذي تحدثوا فيه عن الغراء. لنبحث في قسم 'الكلمات المفتاحية' أولاً".
- المراقب (The Observer): يستخدم الأدوات لاستخراج مقاطع الفيديو المحددة التي طلبها المخطط.
- المتأمل (The Reflector): يفحص الأدلة. "حسناً، وجدنا الغراء، لكننا لم نجد 'الشريحة السيئة' بعد. الأدلة الحالية غير كافية. لنعد ونبحث في قسم 'الصوت' للثلاثين ثانية التالية".

إذا كانت الأدلة لا تزال مفقودة، يقوم المخطط بتغيير الاستراتيجية (إعادة التخطيط) ويجرب أداة بحث مختلفة. تستمر هذه الحلقة حتى يشعر المحقق أن لديه جميع القطع.

الإجابة:
بمجرد أن يجمع المحقق أدلة كافية من أجزاء مختلفة من الفيديو، يقوم المستنتج (الحكم النهائي) بتجميع اللغز وتقديم الإجابة.

لماذا هذا مهم؟

لا يوجد تدريب سحري: يعمل هذا النظام مع نماذج الذكاء الاصطناعي مفتوحة المصدر دون الحاجة لإعادة تدريبها أو استخدام نماذج "الصندوق الأسود" باهظة الثمن والمملوكة لشركات.
نشط مقابل سلبي: الأساليب القديمة كانت سلبية (تشاهد الفيديو بأكمله وتأمل في تذكر ما رأيت). أما AOP-Agent فهو نشط (يقرر بالضبط ما الذي ينظر إليه، ومتى ينظر، ومتى يتوقف).
النتائج: عند اختباره على "الاختبار الصعب" (MOV-Bench) وغيرها من معايير تقييم الفيديو، تفوق AOP-Agent بشكل كبير على الأساليب القديمة، خاصة في الفيديوهات الطويلة والأسئلة التي تتطلب ربط العديد من الأدلة المختلفة.

القيود (أخطاء المحقق)

تعترف الورقة بأن النظام ليس مثالياً:

الهلوسة: إذا وصف "خزانة الملفات" (الذاكرة) مشهداً بشكل خاطئ (على سبيل المثال، ذكر أن شخصاً صرخ بينما لم يفعل)، فقد يبني المحقق نظرية خاطئة بناءً على تلك الكذبة.
السرعة: نظرًا لأن المحقق يجب أن يتوقف، ويفكر، ويبحث، ويتحقق عدة مرات، فإنه يستغرق وقتًا أطول من مجرد مشاهدة الفيديو مرة واحدة.
الوقت الفعلي: يحتاج النظام إلى معالجة الفيديو بأكمله في خزانة الملفات أولاً، لذا لا يمكنه حالياً العمل على فيديو مباشر (مثل البث المباشر للرياضة) في الوقت الفعلي.

الملخص

تقدم الورقة طريقة جديدة لتعليم الذكاء الاصطناٍء كيفية الاستنتاج من الفيديوهات الطويلة. بدلاً من محاولة ابتلاع الفيديو بأكمله دفعة واحدة، فإنهم يمنحون الذكاء الاصطناعي أدوات المحقق: نظام ملفات ذكي وعملية خطوة بخوة للبحث عن الأدلة المشتتة، والتأمل فيما وجدوه، وعدم الإجابة إلا عندما يتأكدون. هذا يسمح لنماذج الذكاء الاصطناعي القياسية مفتوحة المصدر بحل ألغاز الفيديو المعقدة التي لم يكن بإمكانها التعامل معها سابقاً.

ملخص تقني: الإدراك النشط متعدد الأنماط القائم على الوكيل للاستدلال السمعي البصري متعدد الخطوات

بيان المشكلة

تواجه النماذج اللغوية الكبيرة متعددة الأنماط (Omni-LLMs) الحالية تحديات كبيرة في الاستدلال السمعي البصري متعدد الخطوات، لا سيما عندما تكون الأدلة ذات الصلة نادرة، ومشتتة زمنياً، وموزعة عبر كل من التدفقات الصوتية والبصرية. تفشل الاختبارات المعيارية الحالية غالباً في عزل هذه القدرة المحددة، حيث تتضمن عادةً أنماطاً محدودة، أو مقاطع زمنية قصيرة، أو أدلة حاسمة أحادية النمط. وبناءً على ذلك، لا يزال من غير الواضح ما إذا كانت النماذج اللغوية الكبيرة متعددة الأنماط قادرة على دمج الأدلة المتقاطعة والمنتقاة بفعالية والموزعة عبر مقاطع زمنية متعددة للإجابة على أسئلة معقدة. علاوة على ذلك، تعتمد النهج الوكيلية للإدراك النشط حالياً على نماذج مملوكة باهظة التكلفة أو تتطلب تدريباً مكثفاً، مما يحد من قابليتها للتطبيق على النماذج مفتوحة المصدر في ظل ظروف الموارد المنخفضة.

المنهجية

1. MOV-Bench: اختبار معياري للاستدلال متعدد الخطوات

لتقييم هذه القدرة بدقة، قدم المؤلفون MOV-Bench (اختبار الفيديو متعدد الأنماط متعدد الخطوات).

بناء مجموعة البيانات: تم بناء MOV-Bench استناداً إلى مجموعة بيانات Fine-Video، وهي تحتوي على 519 سؤالاً من نوع الاختيار من متعدد تم اختيارها بعناية.
مبادئ التصميم:
- الاستدلال الزمني متعدد الخطوات: تتطلب الأسئلة أدلة من 2 إلى 4 مقاطع زمنية متميزة، مما يمنع النماذج من الاعتماد على الإدراك في لحظة واحدة.
- التكامل متعدد الأنماط: تم تصميم الأسئلة بحيث لا يكون التدفق الصوتي أو البصري وحده كافياً؛ إذ يجب على النماذج تفسير الأحداث البصرية، ومحتوى الكلام، والإشارات الصوتية بشكل مشترك.
- مواضيع الاستدلال: تغطي الأسئلة خمسة أنماط استدلال متميزة: السببية، والمرجعية، والارتباطية، والافتراضية، واستدلال النوايا.
ضبط الجودة: تضمن عملية تصفية مكونة من مرحلتين (تصفية لغوية فقط لإزالة الانحياز، تليها عملية تحقق بشري) أن الأسئلة تتطلب استدلالاً حقيقياً متعدد الخطوات ومتعدد الأنماط.

2. AOP-Agent: إطار عمل الإدراك النشط متعدد الأنماط

لمعالجة قيود المعالجة السلبية، اقترح المؤلفون AOP-Agent، وهو إطار عمل وكيل كفء مصمم للنماذج اللغبية الكبيرة مفتوحة المصدر دون الحاجة إلى تدريب إضافي أو مكونات مملوكة.

الذاكرة الهرمية متعددة الأنماط: بدلاً من معالجة تدفقات الفيديو الخام مباشرة، ينظم AOP-Agent محتوى الفيديو في ذاكرة مهيكلة:
- مقاطع دقيقة: للحفاظ على التفاصيل المحلية.
- مقاطع متوسطة المستوى: مقاطع مدمجة (≤30 ثانية) مضغوطة بدقة أقل.
- البيانات الوصفية المهيكلة: لكل مقطع، يقوم النظام بتوليد نقاط مفتاحية بصرية، ونقاط مفتاحية صوتية، وكلمات مفتاحية للاسترجاع، وأوصاف على مستوى المقطع.
- الملخص العام: وصف تركيبي لكامل الفيديو.
حلقة الملاحظة-التفكير-إعادة التخطيط: يستخدم إطار العمل عملية تعاون متعددة الوكلاء:
- وكيل المخطط ( $A_P$ ): يحدد هدف الملاحظة التالي بناءً على حالة الاستدلال الحالية، ويختار مناطق محددة من الفيديو لفحصها.
- أدوات الملاحظة: توفر مجموعة من خمس أدوات تكميلية للوكيل التنقل عبر الذاكرة الهرمية:
  - القائم على الوصف: المطابقة الدلالية للأحداث عالية المستوى.
  - الموجه بالكلمات المفتاحية: الاسترجاع المعجمي للكيانات أو الأفعال الصريحة.
  - الموجه بالنقاط المفتاحية: المطابقة للنقاط المفتاحية البصرية/الصوتية للبحث عن أدلة متقاطعة الأنماط.
  - ملاحظة الجوار: التوسع إلى المقاطع المجاورة زمنياً.
  - الملاحظة الدقيقة: التعمق للتحقق المحلي.
- وكيل المفكر ( $A_R$ ): يقيم ما إذا كانت الملاحظات الحالية كافية. إذا لم تكن كذلك، فإنه يقدم ملاحظات لتوجيه إعادة التخطيط؛ وإذا كانت كذلك، فإنه يطلق عملية الاستدلال النهائي.
- وكيل المستدل ( $A_A$ ): يجمع الأدلة المتراكمة لتوليد الإجابة النهائية.

المساهمات الرئيسية

MOV-Bench: اختبار معياري جديد يستهدف تحديداً الاستدلال السمعي البصري متعدد الخطوات عبر مقاطع زمنية مشتتة، مما يكشف أن النماذج اللغبية الكبيرة متعددة الأنماط الحالية تعاني في تحديد ودمج الأدلة المتقاطعة والنادرة.
AOP-Agent: إطار عمل وكيلي منخفض الموارد يمكّن النماذج اللغبية الكبيرة مفتوحة المصدر من القيام بالإدراك النشط. يحقق ذلك من خلال بناء ذاكرة هرمية وحلقة تعاونية للملاحظة والتفكير وإعادة التخطيط، مما يلغي الحاجة إلى تدريب إضافي أو نماذج مملوكة.
التحقق التجريبي: إثبات أن AOP-Agent يحسن باستمرار أداء الاستدلال في كل من MOV-Bench وOmniVideoBench، مع مكاسب كبيرة في الفيديوهات الطويلة والأسئلة كثيفة الاستدلال.

النتائج التجريبية

أُجريت التجارب على MOV-Bench وOmniVideoBench باستخدام نماذج لغبية كبيرة مفتوحة المصدر متنوعة (مثل Qwen3-Omni-Instruct، Qwen2.5-Omni-7B).

قيود خط الأساس: كشف الاستدلال المباشر على MOV-Bench أن النماذج اللغبية الكبيرة الحالية تحقق دقة منخفضة نسبياً (على سبيل المثال، Qwen3-Omni-Instruct عند ~52.8%). ويتدهور الأداء بشكل كبير مع زيادة طول الفيديو وزيادة عدد خطوات الاستدلال (على سبيل المثال، ينخفض إلى ~44% في الأسئلة ذات الـ 4 خطوات).
أداء AOP-Agent:
- التحسن العام: تفوق AOP-Agent باستمرار على خطوط الأساس للاستدلال المباشر عبر مختلف النماذج الأساسية. على سبيل المثال، في الفيديوهات الطويلة مع Qwen3-Omni-Instruct، تحسنت الدقة من 45.50% إلى 60.85%.
- المقارنة مع الأطر الوكيلية: على عكس الأطر الوكيلية الموجودة (OmniAgent، ActiveVideoPerception) التي كان أداؤها أسوأ من الاستدلال المباشر عند تكييفها مع النماذج مفتوحة المصدر، حقق AOP-Agent نتائج متفوقة. يشير هذا إلى أن الطرق الحالية، المصممة غالباً للنماذج المملوكة القوية، تضاعف تراكم الأخطاء في النماذج المفتوحة الأضعف دون الدعم الهيكلي المحدد الذي يوفره A-OP-Agent.
- دراسات الاستئصال (Ablation Studies):
  - المكونات: ساهم كل من وكيل المخطط ووكيل المفكر في الأداء، حيث حققت الحلقة الكاملة أفضل النتائج.
  - تعيين النموذج: وُجد أن قدرات التخطيط والتفكير القوية أكثر أهمية من قوة المستدل النهائي، مما يسلط الضوء على أن اختيار الأدلة الفعال يسبق الاستدلال الناجح.
  - جولات الملاحظة: تحسن الأداء مع زيادة جولات الملاحظة (حتى 3 جولات) ولكنه وصل إلى حالة التشبع أو تراجع قليلاً مع الجولات المفرطة، مما يشير إلى وجود مقايضة بين استعادة الأدلة وتراكم الضجيج.

الأهمية والادعاءات

يزعم البحث أن العائق الرئيسي أمام النماذج اللغبية الكبيرة في الاستدلال متعدد الخطوات ليس مجرد قدرة الاستدلال نفسها، بل القدرة على تحديد وحفظ ودمج الأدلة النادرة والمشتتة زمنياً بفعالية.

من خلال التحول من معالجة الفيديو السلبية إلى الإدراك النشط والمتكرر، يسمح AOP-Agent للنماذج مفتوحة المصدر بفحص الأدلة ذات الصلة بالسؤال بشكل انتقائي. ويرى المؤلفون أن هذا النهج يوفر نموذجاً قابلاً للتوسع وفعالاً للاستدلال متعدد الأنماط للفيديوهات الطويلة، خاصة في السيناريوهات التي تكون فيها الأدلة الحاسمة نادرة. يوضح العمل أن الاستدلال المعقد متعدد الخطوات يمكن تحقيقه دون نماذج مملوكة باهظة الثمن أو تدريب واسع النطاق، بشرط تزويد النظام بذاكرة هرمية وحلقة إدراك نشط مهيكلة.

القيود المعترف بها:

حجم MOV-Bench محدود بتكاليف التوسيم (Annotation).
تضيف الحلقة متعددة الجولات عبئاً على وقت الاستدلال.
يظل النظام عرضة للهلاوس في قاعدة الذاكرة الأساسية، والتي يمكن أن تؤدي إلى انتشار الأخطاء.
بناء الذاكرة الحالي يعتمد على المعالجة غير المتزامنة (Offline)، مما يحد من إمكانية التطبيق في سيناريوهات البث المباشر (Real-time streaming).