💻 computer science

LE-NeuS: Latency-Efficient Neuro-Symbolic Video Understanding via Adaptive Temporal Verification

يُعد LE-NeuS إطار عمل عصبي-رمزي كفؤ من حيث زمن الاستجابة للإجابة على الأسئلة المتعلقة بالفيديوهات طويلة التنسيق، حيث يحقق تقليلاً كبيراً في زمن استجابة الاستدلال (من 90 ضعفاً إلى حوالي 10 أضعاف مقارنة بنماذج الرؤية واللغة الأساسية) مع الحفاظ على مكاسب الدقة من خلال أخذ عينات إطارية تكيفية موجهة بواسطة CLIP وكشف القضايا المجمع؛

المؤلفون الأصليون: Shawn Liang, Sahil Shah, Chengwei Zhou, SP Sharan, Harsh Goel, Arnab Sanyal, Sandeep Chinchali, Gourav Datta

نُشر 2026-03-02

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shawn Liang, Sahil Shah, Chengwei Zhou, SP Sharan, Harsh Goel, Arnab Sanyal, Sandeep Chinchali, Gourav Datta

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول العثور على لحظة معينة ومعقدة في فيلم مدته ثلاث ساعات للإجابة على سؤال مثل: "بعد أن وجد البطل الشجرة، وقشر لحاءها، وبنى مأوى، ماذا فعل بعد ذلك؟"

المشكلة: المحقق "بطيء الحركة"

نماذج الذكاء الاصطناعي الحالية (التي تسمى VLMs) تشبه المحققين الأذكياء للغاية ولكنهم بطيئون وحرفيون للغاية.

الطريقة القديمة (العينات المنتظمة): ينظر المحقق إلى 32 لقطة عشوائية من الفيلم. قد يفوته مشهد تقشير اللحاء تمامًا لأنه حدث بين لقطتين.
الطريقة "الذكية" السابقة (NeuS-QA): كان هذا محققًا منظمًا للغاية كتب قائمة مرجعية صارمة (خطة "منطق زمني"). لقد شاهد كل إطار في الفيلم للتحقق من بنود القائمة: "هل وجد الشجرة؟ نعم. هل قشر اللحاء؟ نعم."
- العائق: كان هذا دقيقًا للغاية، ولكنه استغرق وقتًا أطول بـ 90 مرة من مجرد طرح سؤال بسيط على الذكاء الاصطناوي. كان الأمر يشبه توظيف فريق مكون من 90 شخصًا لمشاهدة الفيلم إطارًا بإطار لمجرد العثات على مشهد واحد. وبالنسبة للاستخدام في العالم الحقيقي (مثل الهاتف أو الروبوت)، كان هذا بطيئًا جدًا ليكون عمليًا.

الحل: LE-NeuS (المتخطّي الذكي)

ابتكر المؤلفون LE-NeuS، وهو نظام جديد يحافظ على دقة "القائمة المرجعية الذكية" ولكنه يجعل العملية أسرع بـ 10 مرات. لقد فعلوا ذلك باستخدام ثلاث حيل ذكية:

1. فلتر "CLIP" (الحارس)

قبل أن يبدأ محقق الذكاء الاصطناعي المكلف بالعمل، يقوم "حارس" خفيف وسريع (يسمى CLIP) بمسح الفيلم.

كيف يعمل: يعرف الحارس كيف يبدو "العثور على شجرة". إذا كان الإطار مجرد لقطة للسماء أو لشجرة لا يتم لمسها، يقول الحارس: "تخطَّ هذا، إنه ممل".
التشبيه: تخيل أن لديك فيلمًا مدته 3 ساعات. بدلًا من مشاهدة كل ثانية، تشاهد فقط المشاهد التي يفعل فيها الشخصية الرئيسية شيئًا ما. أنت تتخطى كل الفترات الطويلة من الصمت والمناظر الخلفية.

2. حيلة "التجميع" (خط التجميع)

كان النظام القديم يسأل محقق الذكاء الاصطناعي سؤالًا واحدًا في كل مرة: "هل هذه شجرة؟" (انتظر الإجابة). "هل هذا لحاء؟" (انتظر الإجابة). هذا يشبه عامل مصنع يلتقط قطعة واحدة، يدهنها، يضعها جانبًا، ثم يلتقط القطعة التالية.

الإصلاح: يقوم LE-NeuS بالتقاط مجموعة كاملة من الأسئلة ويطرحها جميعًا في وقت واحد.
التشبيه: بدلًا من عامل واحد يدهن قطعة واحدة، لديك خط إنتاج. يقوم العامل بطلاء 10 قطع في الوقت الذي كان يستغرقه لطلاء قطعة واحدة سابقًا. هذا يستخدم قدرة الكمبيوتر بكفاءة أكبر بكثير.

3. استراتيجية "القطع المتعددة" (شريط اللقطات المميزة)

أحيانًا لا تكون الإجابة في مشهد واحد طويل مستمر. ربما وجد البطل الشجرة في الدقيقة 5، وقشر اللحاء في الدقيقة 20، وبنى مأوى في الدقيقة 45.

الطريقة القديمة: حاول الذكاء الاصطناعي مشاهدة الفيلم بأكم من الدقيقة 5 إلى 45 بشكل مستمر، مما أدى إلى ارتباكه بسبب الأجزاء المملة في المنتصف.
الطريقة الجديدة: يقوم LE-NeuS بإنشاء "شريط لقطات مميزة". إنه يجمع معًا فقط المقاطع ذات الصلة (الشجرة، اللحاء، المأوى) ويتجاهل الـ 30 دقيقة من الفراغ فيما بينها. ثم يطلب من الذكاء الاصطناعي حل اللغز باستخدام هذه المقاطع عالية الجودة فقط.

النتيجة: سريع ودقيق

من خلال الجمع بين هذه الحيل، يحقق LE-NeuS "نقطة التوازن المثالية":

السرعة: لم يعد أبطأ بـ 90 مرة من الذكاء الاصطناعي الأساسي؛ بل أصبح أبطأ بحوالي 10 مرات فقط. وهذا يجعله سريعًا بما يكفي للعمل محتملاً على الأجهزة الطرفية القوية (مثل الكاميرات المتقدمة أو الروبوتات).
الدقة: نظرًا لأنه لا يزال يستخدم "القائمة المرجعية الصارمة" (المنطق الرسمي) للتحقق من تسلسل الأحداث، فإنه في الواقع أكثر دقة من الذكاء الاصطناعي الأساسي، خاصة بالنسبة للأسئلة الصعبة التي تتطلب فهم الوقت والترتيب.

باختدال شديد

فكر في LE-NeuS كـ محرر فيديو ذكي لا يشاهد الفيلم بأكمله بعشوائية. بدلاً من ذلك، هو يقوم بـ:

مسح الفيلم بسرعة للعثور على الأجزاء المثيرة للاهتمام (أخذ عينات تكيفي).
تجميع أسئلته لطرحها على الذكاء الاصطناعي بكفاءة (التجميع).
قص الأجزاء المملة للتركيز فقط على الأدلة (استرجاع المقاطع المتعددة).

هذا يسمح للذكاء الاصطناعي بحل الألغاز المعقدة القائمة على الوقت في الفيديوهات الطويلة دون أن يستغرق الأمر ساعات للقيام بذلك.

إليك ملخص تقني مفصل لورقة البحث: "LE-NeuS: فهم الفيديو عبر النماذج العصبية الرمزية بكفاءة زمن الاستجابة عبر التحقق الزمني التكيفي."

1. بيان المشكلة

يتطلب الإجابة على الأسئلة حول الفيديوهات طويلة المدى (LVQA) من الأنظمة إجراء تأصيل دلالي (semantic grounding)، واستدلال زمني، واستدلال تركيبي عبر فترات زمنية ممتدة للفيديو. وبينما أظهرت النهج العصبية الرمزية (Neuro-symbolic approaches) (وتحديداً NeuS-QA) دقة فائقة من خلال ترجمة الاستعلامات باللغة الطبيعية إلى مواصفات المنطق الزمني (TL) وإجراء التحقق الرسمي من النموذج، إلا أنها تعاني من تكاليف حوسبية باهظة.

عنق الزجاجة: تعتمد خطوط معالجة النماذج العصبية الرمزية الحالية على الكشف الكثيف والمتسلسل للقضايا (propositions) عبر كل نافذة إطار لبناء "أوتوماتون" (automaton) للفيديو. وينتج عن ذلك تأخير في زمن الاستجابة يصل إلى 90 ضعفاً مقارنة بنماذج الرؤية واللغة (VLM) القياسية التي تستخدم التلقين (prompting).
النتيجة: هذا التأخير يجعل الطرق العصبية الرمزية غير عملية للنشر في الأجهزة الطرفية (edge deployments) الحساسة لزمن الاستجابة أو التطبيقات التي تتطلب استجابة فورية، رغم دقتها العالية وقابليتها للتفسير.

2. المنهجية: إطار عمل LE-NeuS

يقترح المؤلفون LE-NeuS، وهو إطار عمل مصمم لتقليل زمن استجابة الاستدلال بشكل جذري مع الحفاظ على ضمانات الاستدلال المنطقي الزمني. يعيد هذا الأسلوب هيكلة خط المعالجة من خلال ثلاثة تحسينات جوهرية:

أ. أخذ العينات التكيفي في مرحلتين بتوجيه من CLIP

بدلاً من معالجة كل إطار بشكل موحد، يستغل LE-NeuS التكرار البصري المتأصل في الفيديوهات طويلة المدى.

المرحلة الأولى: تصفية الصلة الدلالية: يقوم مشفر CLIP خفيف الوزن بإسقاط إطارات الفيديو والقضايا المستعلم عنها في مساحة كامنة مشتركة. يتم استبعاد الإطارات ذات التشابه الدلالي المنخفض مع القضايا المستهدفة. ويتم الاحتفاظ فقط بالإطارات التي تتجاوز عتبة التشابه $\tau_s$ ، مع الحفاظ على نافذة زمنية للحفاظ على السياق.
المرحلة الثانية: إزالة التكرار البصري: ضمن مجموعة المرشحين، تقوم مرحلة ثانية بإزالة الإطارات المتشابهة تقريباً. باستخدام عتبة التكرار $\tau_r$ ، يختار النظام فقط الإطارات المفتاحية (keyframes) التي تمثل تغيرات بصرية جوهرية.
نشر الملصقات (Label Propagation): بالنسبة للإطارات التي تم استبعادها أثناء عملية إزالة التكرار، يتم نشر ملصقات القضايا من الإطار المفتاحي السابق، مما يتجنب عمليات استدلال غير ضرورية من نماذج الرؤية واللغة (VLM).

ب. الكشف المجمع للقضايا (Batched Proposition Detection)

يعامل نظام NeuS-QA الأساسي كل زوج من (نافذة الإطار، القضية) كعملية استدلال منفصلة، مما يؤدي إلى عدم استغلال موارد وحدة معالجة الرسومات (GPU) بشكل جيد.

التحسين: يستخدم LE-NeuS الاستدلال المجمع (batched inference). حيث يقوم بتجميع عدة أزواج من (نافذة القضية، القضية) في دفعة واحدة.
الآلية: بما أن المدخل البصري (نافذة الإطار) ثابت عبر الدفعة، يتم حساب ميزات مشفر الرؤية مرة واحدة ويتم بثها (broadcasted). هذا يقلل عدد عمليات التمرير الأمامي من $|P|$ (عدد القضايا) إلى $\lceil |P|/B \rceil$ ، حيث $B$ هو حجم الدفعة، مما يقلل بشكل كبير من تكاليف الاستدال الثابتة.

ج. استرجاع أطر الاهتمام (FoI) متعددة القطع

على عكس الطرق السابقة التي تستخرج فقط القطعة المستمرة الأكبر التي تحقق المنطق، يقوم LE-NeuS باسترجاع قطع متعددة ومنفصلة حيث يتحقق المنطق الزمني.

الفائدة: يركز هذا على تركيز استدلال الـ VLM النهائي على قطع الأدلة عالية الكثافة بدلاً من تشتيت الانتباه عبر مساحات مستمرة طويلة وغير ذات صلة. وهذا يحسن احتمالية أخذ عينات من إطارات الأدلة الحقيقية ضمن نافذة السياق الثابتة لنموذج الـ VLM.

د. حدود زمن الاستجابة النظرية

اشتق المؤلفون حداً نظرياً لزمن الاستجابة:
$L_{LE-NeuS} \leq L_{LQ2TL} + T \cdot L_{CLIP} + \lceil \alpha \rho T \rceil \cdot L_{VLM} + L_{MC} + L_{VQA}$
حيث $\alpha$ هي نسبة التصفية الدلالية و $\rho$ هو معدل الاحتفاظ بالإطارات المفتاحية. يثبت التحليل أن كفاءة زمن الاستجابة يمكن تحقيقها عندما تكون الكثافة المشتركة ( $\alpha\rho$ ) للنوافذ المعالجة منخفضة بما يكفي.

3. المساهمات الرئيسية

إطار عمل عصبي رمزي كفء في زمن الاستجابة: أول نهج منهجي لتقليل زمن استجابة فهم الفيديو العصبي الرمزي من حوالي 90 ضعفاً إلى حوالي 10 أضعاف مقارنة بنماذج VLMs الأساسية.
تحسينات مبدئية: تقديم أخذ العينات التكيفي الموجه بـ CLIP و الكشف المجمع للقضايا لمعالجة الاختناق المحدد في بناء الأوتوماتون.
التحليل النظري: اشتقاق حدود زمن الاستجابة والشروط التي يمكن بموجبها لعمليات الاستدلال العصبي الرمزي أن تعمل بكفاءة على نطاق واسع.
استرجاع القطع المتعددة: استراتيجية مبتكرة للتعامل مع الاستعلامات التركيبية من خلال استرجاع قطع أدلة منفصلة، مما يحسن كل من الدقة وكفاءة أخذ العينات.

4. النتائج التجريبية

أُجريت التجارب على LongVideoBench و Video-MME و MLVU باستخدام وحدات معالجة رسومات NVIDIA H100.

الدقة:
- يحقق LE-NeuS دقة جديدة (SOTA) على LongVideoBench، حيث يصل إلى 67.10% من الدقة الإجمالية (باستخدام InternVL2.5-8B)، متفوقاً على خط الأساس NeuS-QA (61.89%) بنسبة 5.21%.
- يتفوق على أطر الاستدلال المهيكلة الأخرى (مثل VideoTree) بأكثر من 16%.
- في مهمة Video-MME (الاستدلال الزمني)، يحقق تحسناً بنسبة 12.07% عن NeuS-QA.
الكفاءة (زمن الاستجابة):
- تسريع السرعة: يحقق تسريعاً عالمياً قدره 12.53 ضعفاً مقارنة بخط الأساس NeuS-QA.
- زمن الاستجابة المطلق: يقلل متوسط وقت الاستدلال من ~554 ثانية (NeuS-QA) إلى ~44 ثانية (LE-NeuS) للفيديوهات الطويلة.
- استخدام الموارد: بالنسبة للفيديوهات التي تبلغ مدتها 60 دقيقة، فإنه يعالج 281 إطاراً فقط مقارنة بـ 1,427 إطاراً في خط الأساس، مع الحفاظ على توسع زمن الاستجابة دون خطي (sub-linear).
دراسات الاستئصال (Ablation Studies):
- يوفر التجميع (Batching) وحده تسريعاً بنسبة ~3.2 ضعفاً.
- يزيد أخذ العينات التكيفي (Adaptive Sampling) من تقليل زمن الاستجابة بنسبة ~3.8 ضعفاً.
- استرجاع القطع المتعددة (Multi-Segment Retrieval) يستعيد الدقة المفقودة بسبب التصفية الشديدة، مما يضيف زيادة في الدقة بنسبة ~6.9%.

5. الأهمية والتأثير

سد الفجوة: نجح LE-NeuS في سد الفجوة بين الدقة العالية/القابلية للتفسير للذكاء الاصطناعي العصبي الرمزي وبين متطلبات زمن الاستجابة المنخفض للنشر في العالم الحقيقي.
القابلية للتوسع: من خلال فصل تكلفة الاستدلال عن طول الفيديو عبر أخذ العينات التكيفي، فإنه يتيح الاستدلال العصبي الرمزي لفيديوهات تصل مدتها إلى ساعة واحدة، وهي مهمة كانت تعتبر سابقاً غير مجدية حوسبياً لطرق التحقق الرسمي.
قابلية التطبيق الأوسع: تمتد مبادئ التأصيل الانتقائي والتحقق المتوازي إلى ما وراء LVQA لتشمل مجالات أخرى حساسة لزمن الاستجابة مثل القيادة الذاتية، ووكلاء الذكاء الاصطناعي المجسد (Embodied AI agents)، والمراقبة الطرفية الحرجة للسلامة، حيث يجب أن يعمل الاستدلال الزمني المهيكل تحت جداول زمنية صارمة.

في الختام، يثبت LE-NeuS أن فهم الفيديو العصبي الرمزي لا يجب أن يكون بطيئاً بشكل غير مبرر؛ فمن خلال تغييرات معمارية مدروسة، يمكنه تحقيق أداء يقترب من الوقت الفعلي دون التضحية بالضمانات المنطقية الصارمة التي تجعله متفوقاً على طرق الاسترجاع الاستدلالي.